JP4269153B2 - 情報機器およびデータ表示方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の情報機器に係り、画像と音声とが関連付けられているデータを再生する情報機器およびデータ表示方法に関する。
【０００２】
【従来の技術】
従来より、デジタルカメラには、画像（静止画、動画）の撮影機能に加え、音声を録音する機能を有し、録音した音声データを上記画像データに埋め込んで記憶することが可能となっている。また、携帯電話においては、カメラを備え、撮影した画像データに録音した音声データを埋め込み、該画像データをメールに添付して送受信する機能を備えるものがある。
【０００３】
従来、このようなデジタルカメラや携帯電話にあっては、再生中の画像データに音声データが埋め込まれていた場合、音声データをスピーカで出力していた。しかしながら、周囲の雑音が大きい場合などには、音声が聞き取りにくかったり、周囲が静かな場合などには、周りに迷惑をかけたりするという問題があった。そこで、画像データに埋め込まれた音声データをテキストに変換し、画像データの再生中に文字として表示させることができれば、ユーザにとって利便性が向上する。
【０００４】
例えば、携帯電話においては、カメラを備え、撮影した画像データをメールに添付して送受信し、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する技術が提案されている（例えば特許文献１、特許文献２、特許文献３参照）。
【０００５】
特許文献１に記載されている技術では、画像データにメール本文を重ねて表示する際に、画像データの明度、コントラストを補正するとともに、文字色を画像データの色度に応じて設定することで文字の視認性を向上させている。また、画像データが表示しきれない場合には、表示エリアに表示されない部分をスクロールして表示させるようになっている。
【０００６】
また、特許文献２に記載されている技術では、メールに画像データが添付されていた場合、画像データを表示するとともに、該画像データ上にメール本文を重ねて表示する。このとき、メール本文が長い場合、画像データを固定した状態でメール本文のみをスクロールすることができるようになっている。
【０００７】
また、特許文献３に記載されている技術では、多くの画像データの中から所望する画像データを検索するために、画像データ毎に、内容が分かるような音声を関連付け、該音声を可変速再生して目的の画像データを探すようになっている。また、上記音声を音声認識によりテキストに変換し、該テキストを画像データのインデックスとして用いて、画像データのソート（並び替え）を行なうようになっている。
【０００８】
また、特許文献４に記載されている技術では、音楽データの再生中に、再生中の音楽に適した被写体（歌詞）を撮影すると、音楽データの再生タイミングに合わせて撮影した被写体の画像を記憶し、次回の音楽データ再生時には、再生タイミングに合わせて対応する画像を表示するようになっている。被写体として歌詞を撮影した場合には、歌詞（イメージ）をテキストデータに変換することで、音楽データの再生に合わせて歌詞（テキスト）を表示するようになっている。
【０００９】
【特許文献１】
特開２００２−１４０２６５号公報
【特許文献２】
特開２００２−２８８０８２号公報
【特許文献３】
特開２００２−４１５２９号公報
【特許文献４】
特開２０００−３５０１４６号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した特許文献１による従来技術では、テキストが長文であった場合、画像データを表示した画面一杯にテキストが表示されてしまい画像データが見にくくなるという問題があった。仮に、上述した特許文献２にあるように、メール本文が長い場合、画像データを固定した状態でメール本文のみを行単位でスクロールしたとしても、それ以外の表示方法はなく、表現方法が乏しいという問題がある。また、上述した特許文献３による従来技術では、音声データをテキストへ変換する音声認識技術などが開示されているが、変換したテキストの表示方法などについては何ら記述されていない。また、特許文献４による従来技術では、変換したテキストの表示方法については、単に画像データに重ねて表示するか、異なる領域に表示するとしており、それ以外の表示方法はなく、表現方法が乏しく、画像データおよびテキストデータの視認性を向上させることができない。
【００１１】
また、従来のデジタルカメラや携帯電話においては、上述した携帯電話のように画像データの再生中に、これら画像データに埋め込まれた音声データをテキストに変換し、該テキストを文字として表示させる技術は提案されていない。仮に、特許文献１ないし４に記載されている従来技術をデジタルカメラや携帯電話に適用したとしても、上述した課題、すなわち画像が見にくくなる、表現方法が乏しいという課題が残ってしまうという問題があった。
【００１２】
そこで本発明は、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができる情報機器およびデータ表示方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記目的達成のため、請求項１記載の発明による情報機器は、音声データが付加された画像データを再生表示する情報機器において、画像データを表示する表示手段と、画像データに付加された音声データを認識して文字列データに変換する音声認識手段と、前記音声認識手段により変換された文字列データに含まれる所定の語彙を短縮語に置換する短縮語置換手段と、前記音声認識手段により変換された文字列データが前記表示手段の一画面内に表示可能であるか否かを判断する判断手段と、前記判断手段により文字列データが一画面内に表示できると判断された場合、前記音声認識手段により変換された文字列データを前記表示手段に表示されている画像データに重ねて表示させ、前記判断手段により文字列データが一画面内に表示できないと判断された場合、前記短縮語置換手段により語彙が置換された文字列データを前記表示手段に表示されている画像データに重ねて表示させる文字表示制御手段とを具備することを特徴とする。
【００１８】
上記目的達成のため、請求項２記載の発明による情報機器は、音声データが付加された動画データを再生表示する情報機器において、動画データを表示する表示手段と、動画データに付加された音声データを認識して文字列データに変換する音声認識手段と、前記音声認識手段により変換された文字列データを所定の長さで分割する分割手段と、前記音声認識手段により変換された文字列データが前記表示手段の一画面内に表示可能であるか否かを判断する判断手段と、前記判断手段により文字列データが一画面内に表示できると判断された場合、前記音声認識手段により変換された文字列データを前記表示手段に表示されている動画データに重ねて表示させ、前記判断手段により文字列データが一画面内に表示できないと判断された場合、動画データの再生時間に基づいて前記分割手段により分割された文字列データ毎に表示時間を設定すると共に、該設定した表示時間に基づいて各分割文字列データを前記表示手段に表示されている動画データに重ねて順次切り換え表示させる文字表示制御手段とを具備することを特徴とする。
【００２１】
また、好ましい態様として、例えば請求項３記載のように、請求項２記載の情報機器において、前記表示手段に表示されている文字列データの切り換えを任意のタイミングで指示可能な指示手段を更に備え、前記文字表示制御手段は、前記指示手段から指示があると、表示時間を経過していなくても、前記表示手段に表示されている文字列データを前記分割手段により分割された次の文字列データに直ちに切り換えるようにしてもよい。
【００２２】
また、好ましい態様として、例えば請求項４記載のように、請求項２記載の情報機器において、前記表示手段に表示されている文字列データの切り換えを指示するための指示手段を更に備え、前記文字表示制御手段により設定した表示時間が所定時間よりも短い文字列データがある場合、該文字列データが表示されたときには、表示時間が経過しても表示状態を維持して次の文字列データへの切り換えを禁止すると共に、動画データの再生を一時停止させ、前記指示手段から指示があると、前記表示手段に表示されている文字列データを前記分割手段により分割された次の文字列データに直ちに切り換えると共に、動画データの再生を再開させるようにしてもよい。
【００２７】
上記目的達成のため、請求項５記載の発明によるデータ表示方法は、音声データが付加された画像データを再生表示するデータ表示方法において、前記画像データに付加された音声データを認識して文字列データに変換し、該文字列データを前記画像データに重ねて表示させる工程と、前記変換された文字列データを一画面内に表示可能であるか否かを判断する工程と、前記文字列データを一画面内に表示できると判断されたときは、前記変換された文字列データを表示させると共に、前記文字列データを一画面内に表示できないと判断されたときは、該文字列データに含まれる所定の語彙を短縮語に置換し、該短縮語に置換された文字列データを表示させる工程とを具備することを特徴とする。
【００２８】
上記目的達成のため、請求項６記載の発明によるデータ表示方法は、音声データが付加された動画データを再生表示するデータ表示方法において、前記動画データに付加された音声データを認識して文字列データに変換し、該文字列データを前記動画データに重ねて表示させる工程と、前記変換された文字列データを一画面内に表示可能であるか否かを判断する工程と、前記文字列データを一画面内に表示できると判断されたときは、前記変換された文字列データを表示させ、前記文字列データを一画面内に表示できないと判断されたときは、該文字列データを分割して、前記動画データの再生時間に基づいて前記分割された文字列データ毎に表示時間を設定し、該設定した表示時間に基づいて各分割文字列データを順次切り換え表示させる工程とを具備することを特徴とする。
【００３７】
【発明の実施の形態】
以下、本発明の実施の形態を、デジタルカメラに適用した一実施例として、図面を参照して説明する。
【００３８】
Ａ．第１実施形態
Ａ−１．第１実施形態の構成
図１は、本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。図において、レンズ１は、いわゆる写真レンズであり、被写体を光学的に撮影し、ＣＣＤ２上に結像する。ＣＣＤ２は、電荷をアレイ状に転送するＭＯＳ（metal-oxide semiconductor）構造のデバイスで、タイミング発生器（ＴＧ）３、垂直ドライバ４によって駆動され、一定周期毎に光電変換出力を１画面分出力する。タイミング発生器３および垂直ドライバ４は、ＣＣＤ２の読み出しに必要なタイミング信号を生成する。サンプルホールド回路（Ｓ／Ｈ）５は、ＣＣＤ２から読み出された時系列的なアナログ信号を、ＣＣＤ２の解像度に適合した周波数でサンプリングする。Ａ／Ｄ変換器６は、サンプリングされた信号をデジタル信号（ベイヤーデータ）に変換する。
【００３９】
カラープロセス回路７は、Ａ／Ｄ変換器６の出力から輝度・色差マルチプレクス信号（以下、ＹＵＶ信号と言う）を生成するためのカラープロセス処理を行なう。カラープロセス処理では、上記ベイヤーデータがＲ，Ｇ，Ｂデータに変換され、さらに、デジタルの輝度、色差マルチプレクス信号（Ｙ，Ｃｂ，Ｃｒデータ）に変換される。
【００４０】
ＤＭＡコントローラ８は、カラープロセス回路７とＤＲＡＭ１０（正確にはＤＲＡＭインターフェース９）との間のデータ転送を、ＣＰＵ１１の介在なしに行なうものであり、いわゆるダイレクト・メモリ転送（ＤＭＡ：direct memory access）を行なうものである。ＤＭＡコントローラ８は、カラープロセス回路７のＹ，Ｃｂ，Ｃｒデータ出力を、同じくカラープロセス回路７の同期信号、メモリ書き込みイネーブル、クロック出力を用いて、一度、ＤＭＡコントローラ８内部のバッファに書き込み、ＤＲＡＭインターフェース（ＤＲＡＭＩ／Ｆ）９を介してＤＲＡＭ１０にＤＭＡ転送を行なう。ＤＲＡＭインターフェース９は、ＤＲＡＭ１０とＤＭＡコントローラ８との間の信号インターフェース、およびＤＲＡＭ１０とバスとの間の信号インターフェースをとるものである。ＤＲＡＭ１０は、ＤＲＡＭインターフェース９を介してＤＭＡコントローラ８からＤＭＡ転送される画像データ（Ｙ，Ｃｂ，Ｃｒデータ）を蓄積する。
【００４１】
ＣＰＵ１１は、プログラムＲＯＭ２０に記録された、所定のプログラムを実行してカメラの動作を集中制御するものであり、メインスイッチ、記録／再生モード切り換えスイッチ、機能選択キー、シャッターキーなどの実施ボタンを含む操作部１６が接続されている。記録モードでは、そのモード用のプログラムが、また、再生モードでは、そのモード用のプログラムがプログラムＲＯＭ２０からＣＰＵ１１の内部のＲＡＭにロードされて実行される。ＣＰＵ１１は、上記画像データ（Ｙ，Ｃｂ，Ｃｒデータ）のＤＲＡＭ１０へのＤＭＡ転送終了後に、該画像データ（Ｙ，Ｃｂ，Ｃｒデータ）を、ＤＲＡＭインターフェース９を介してＤＲＡＭ１０から読み出し、ＶＲＡＭコントローラ１２を介してＶＲＡＭ１３に書き込む。
【００４２】
ＣＰＵ１１は、上記シャッターキーが押下された記録保存の状態では、ＤＲＡＭ１０に書き込まれている１フレーム分のＹ，Ｃｂ，Ｃｒデータを、ＤＲＡＭインターフェース９を介して、Ｙ，Ｃｂ，Ｃｒの各コンポーネント毎にＭＣＵ単位で、１フレームを８０×６０ブロック（「０」〜「４７９９」）に分割した、１６×１６ピクセルからなるＭＣＵブロック毎に読み出して、さらに付加する画像のＭＣＵブロックを挿入してＪＰＥＧ処理部１７に送る。該ＪＰＥＧ処理部１７に送られた画像データは、ＤＣＴ変換、量子化、符号化といった処理を経て圧縮される。ＣＰＵ１１は、圧縮後の画像データに、ヘッダ情報を付加して、不揮発性メモリであるフラッシュメモリ１８に書き込む。上記ヘッダ情報には、画像に関する情報などが含まれる。
【００４３】
上記ＤＣＴ変換では、上記ＭＣＵブロックのデータ（以下、単にＭＣＵデータという）は、所定ピクセルからなるブロックの輝度成分データと、所定ピクセルからなるブロックの色差成分データとを１組として、個々のブロック毎に、周波数成分の大きさを示すＤＣＴ係数へ変換される。そして、ＣＰＵ１１は、上記１フレーム分のＹ，Ｃｂ，Ｃｒデータの圧縮処理およびフラッシュメモリ１８への全圧縮データの書き込みが終了すると、再度、ＣＣＤ２からＤＲＡＭ１０への経路を起動する。
【００４４】
ＶＲＡＭコントローラ１２は、ＶＲＡＭ１３とバスとの間、およびＶＲＡＭ１３とデジタルビデオエンコーダ１４との間のデータ転送を制御するものであり、表示用画像（プレビュー画像）のＶＲＡＭ１３への書き込みと、同画像のＶＲＡＭ１３からの読み出しを制御する。
【００４５】
ＶＲＡＭ１３は、いわゆるビデオＲＡＭであり、プレビュー画像が書き込まれると、そのプレビュー画像がデジタルビデオエンコーダ１４を介して表示装置１５に送られ、表示されるようになっている。なお、ビデオＲＡＭには、書き込み用と読み出し用の２つのポートを備え、画像の書き込みと読み出しを同時並行的に行なうことができるようになっている。
【００４６】
デジタルビデオエンコーダ（以下、単にビデオエンコーダという）１４は、上記画像データ（Ｙ，Ｃｂ，Ｃｒデータ）を、ＶＲＡＭコントローラ１２を介してＶＲＡＭ１３から周期的に読み出して、該画像データを元にビデオ信号を発生して表示装置１５に出力する。これにより、記録モードの状態における表示装置１５には、現在、ＣＣＤ２から取り込まれている画像情報に基づくスルー画像が表示される。表示装置１５は、例えば２７９×２２０の画素数からなる、カメラ本体の裏側に取り付けられた数インチ程度の小型の液晶パネルである。
【００４７】
ＪＰＥＧ処理部１７は、ＪＰＥＧの圧縮と伸長を行なう部分である。ＪＰＥＧの圧縮パラメータは圧縮処理の都度、ＣＰＵ１１から与えられる。なお、ＪＰＥＧ処理部１７は、処理速度の点で専用のハードウェアにより実現することが好ましいが、ＣＰＵ１１でソフト的に行なうことも可能である。
【００４８】
フラッシュメモリ１８は、書き換え可能な読み出し専用メモリ（ＰＲＯＭ：programmable read only memory）のうち、電気的に全ビット（又はブロック単位）の内容を消して内容を書き直せるものを指す。フラッシュメモリ１８は、カメラ本体から取り外せない固定型であってもよいし、カード型やパッケージ型のように取り外し可能なものであってもよい。
【００４９】
音声認識処理部１９は、撮影した画像データ（静止画像や動画像）、記録されている画像データ（静止画像、動画像など）に埋め込まれた音声、または付加された音声を認識し、テキストに変換する。画像データに埋め込まれた、あるいは付加された音声データは、所定のフォーマット（例えば、ＷＡＶ形式、ＭＰ３形式、ＰＣＭ形式など）により符号化されている。テキスト分割処理部２０は、上記音声認識部１９により変換されたテキストを解析し、句点、読点、もしくは文末を検出してテキストを分割する。
【００５０】
また、プログラムＲＯＭ２１は、ＣＰＵ１１の動作用のプログラム（撮影用プログラムや、静止画・動画再生プログラム、テキスト表示用プログラムなど）や、上記音声認識処理部１９により変換されたテキストを、再生されている静止画像や動画像上に表示する際に、所定の語彙を短縮語彙（例えば、ワールドカップ杯→Ｗ杯など）に変換するための短縮類語データベースを記憶している。ＪＰＥＧ処理部１７は、原画像データを所定の圧縮率で圧縮し、フラッシュメモリ１８に保存する。
【００５１】
ＣＰＵ１１は、上記プログラムＲＯＭ２０の各種プログラムに従って各部を制御する。特に、本実施形態では、ＣＰＵ１１は、撮影した静止画像や動画像、フラッシュメモリ１８に記録されている静止画像、動画像などを再生する際に、音声認識処理部１９により変換され、テキスト分割処理部２０により分割されたテキストを、表示装置１５に再生中の静止画像や動画像上に表示するようになっている。このとき、ＣＰＵ１１は、テキスト長が画面サイズより小さい場合には、そのままセンタリング表示や縦書き表示する。また、テキスト長が画面サイズより大きい（画面に入りきらない）場合には、テキスト文字のフォントを小さいものに変換したり、テキストの語彙を短縮語彙に変換したり、スクロールしたりするなどして表示する。テキストの表示方法、すなわち縮小するか、短縮するかなどは、ユーザによって設定可能となっている。また、本第１実施形態では、再生中の静止画や動画像、および変換されたテキストの双方が見やすいように、１行分のテキスト表示領域を確保して表示するようにしているが、表示装置１５の表示領域の大きさによっては、２行分、あるいは３行分など、複数行のテキスト表示領域を確保して表示するようにしてもよい。
【００５２】
Ａ−２．第１実施形態の動作
次に、上述した第１実施形態によるデジタルカメラの動作について説明する。ここで、図２は、本第１実施形態の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、撮影した静止画像、フラッシュメモリ１８に記録されている静止画像などを再生する際に、ステップＳ１０で、音声データがあるか否かを判断する。静止画像に音声データがない場合には、当該処理を終了し、通常の再生を行なう。
【００５３】
一方、静止画像に音声データがある場合には、ステップＳ１２で、音声認識処理部１９により音声データを認識し、テキストデータに変換する。次に、ステップＳ１４で、テキスト分割処理部２０により、上記テキストデータの句点、読点または文末を認識し、テキストを分割し、ステップＳ１６で、変数Ｎを「１」だけインクリメントする。該変数Ｎは、分割したテキストをカウントするもので、初期値は「０」である。
【００５４】
次に、ステップＳ１８で、縦書き表示モードに設定されているか否かを判断する。縦書き表示にするか否かは、予めユーザにより設定されているものとする。ここで、縦書き表示に設定されている場合には、ステップＳ２０で、表示テキストを縦書き用の文字フォントに変換した後、ステップＳ２２へ進む。一方、縦書き表示に設定されていなければ、そのままステップＳ２２へ進む。
【００５５】
次に、ステップＳ２２では、音声認識により変換されたテキスト長が画面サイズより大であるか否かを判断する。テキスト長が画面サイズと同じか、小さければ、ステップＳ２４で、図４に示すように、再生中の静止画像の下部中央にセンタリング表示する。図示の例では、音声データが「おきなわのうみ」であり、音声認識の結果、テキストが「沖縄の海」となる。そして、この場合、テキスト「沖縄の海」が画面サイズより小さいので、再生画面の下部にセンタリング表示されている。
【００５６】
一方、テキスト長が画面サイズより大である場合には、ステップＳ２６で、縮小モードであるか否かを判断する。そして、縮小モードに設定されている場合には、ステップＳ２８で、縮小可能であるか否か、すなわち既に最小文字サイズになっていないかを判断する。そして、縮小可能であるならば、ステップＳ３０で、テキストの文字サイズを縮小し、ステップＳ２２へ戻り、上述した処理を繰り返し、ステップＳ２８で、文字サイズを段階的に縮小し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ２４で、図５に示すように、再生中の静止画像の下部中央にセンタリング表示する。
【００５７】
一方、縮小過程で、これ以上縮小すると、判読が難しくなるサイズまで縮小しても、画面サイズより小さくならなければ、後述する短縮処理（ステップＳ３４）へ進む。
【００５８】
一方、縮小モードに設定されていない場合には、ステップＳ３２で、短縮モードであるか否かを判断する。そして、短縮モードに設定されていない場合には、ステップＳ４０で、図６（ａ）〜（ｃ）に順次示すように、再生画面の下部に、右から左へ流れるようにスクロール表示する。
【００５９】
一方、短縮モードに設定されている場合には、ステップＳ３４で、短縮類語データベースを検索し、ステップＳ３６で、マッチングするか否かを判断する。そして、マッチングする語彙があれば、ステップＳ３８で、その語彙を短縮語彙に変換し、ステップＳ２２へ戻り、上述した処理を繰り返し、ステップＳ３２で、テキストに含まれる語彙を短縮語彙に変換し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ２４で、再生中の静止画像または動画像の下部中央にセンタリング表示する。図７には、テキストに含まれる語彙「ワールドカップ」が短縮語彙「Ｗ杯」に変換される様子を示している。
【００６０】
一方、テキストに含まれる語彙を短縮語彙に変換し、短縮すべき語彙がなくなり、かつテキスト長が画面サイズより大きい場合、例えば、図７に示すテキストの場合には、ステップＳ４０で、図８に示すように、テキストをスクロール表示する。
【００６１】
次に、ステップＳ４２で、所定のキー操作が行なわれたか否かを判断し、所定のキー操作が行なわれるまで待機し、テキストを画面上に表示させておく。スクロール表示の場合には、一旦、一文のスクロールが終わっても、再度、スクロールを繰り返す。
【００６２】
そして、画面上にテキストを表示させた状態で、所定のキー操作が行なわれると、ステップＳ４４で、テキストが終了であるか否かを判断し、まだ、表示すべきテキストがあれば、ステップｓ１６へ戻り、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの再生を行なう。一方、分割したテキストの全てを表示し終えれば、当該処理を終了する。
【００６３】
また、図９には、表示テキストを縦書き用の文字フォントに変換する様子を示しており、図１０には、再生画面上に縦書きでテキストを表示する様子を示している。縦書きテキストについても、前述したセンタリング、縮小、短縮、スクロール表示のいずれもが有効である。
【００６４】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
Ｂ−１．第２実施形態の構成
なお、デジタルカメラの構成は、図１に示す第１実施形態によるデジタルカメラと同様であるので説明を省略する。本第２実施形態では、前述した第１実施形態の動作に加えて、動画に添付された音声の表示を制御することを特徴としている。静止画であれば、再生時間の長短を考慮せずに、静止画を表示した状態で、テキストを表示すればよいが、動画の場合、可能な限り、動画再生時間内で全てのテキストを表示することが望ましい。但し、再生時間が短いような場合には、テキスト一文の表示時間が短くなる可能性があり、あまり短いと、判読するのが難しくなるので、容易に判読できるような手段が必要となる。そこで、本第２実施形態では、動画再生時間内で、全てのテキストを表示させつつ、表示時間が短くなるようなテキストについては、判読可能とすることを優先し、全体として、円滑に、かつ容易に動画に添付された音声をテキスト表示する手段を提供する。
【００６５】
Ｂ−２．第２実施形態の動作
ここで、図１１および図１２は、本発明の第２実施形態の動作を説明するためのフローチャートである。まず、ＣＰＵ１１は、撮影した動画像、フラッシュメモリ１８に記録されている動画像などを再生する際に、ステップＳ６０で、動画像に添付された音声データがあるか否かを判断する。動画像に添付された音声データがない場合には、当該処理を終了し、通常の動画再生を行なう。
【００６６】
一方、動画像に添付された音声データがある場合には、ステップＳ５２で、音声認識処理部１９により音声データを認識し、テキストデータに変換する。次に、ステップＳ５４で、動画像の再生時間Ｔを取得する。そして、ステップＳ５６で、テキスト分割処理部２０により、上記テキストデータの句点、読点または文末を認識してテキストを分割し、ステップＳ５８で、分割数おび動画再生時間に従って、各分割テキストの表示時間を自動的に算出する。本第２実施形態では、例えば、分割数が３つであれば、動画再生時間を３分割するという単純な演算により、各分割テキストの表示時間を算出する。これ以外には、分割テキストの長さ（文字数）に応じて、表示時間を長くしたり短くしたりするようにしてもよい。
【００６７】
次に、ステップＳ６０で、動画の再生が終了したか否かを判断し、再生が終了していれば、当該処理を終了する。一方、再生が終了していなければ、ステップＳ６２で、変数Ｎを「１」だけインクリメントする。該変数Ｎは、分割したテキストをカウントするもので、初期値は「０」である。次に、ステップＳ６４で、テキストの表示時間を計時する表示カウンタをスタートする。
【００６８】
次に、ステップＳ６６で、変数Ｎで示される、分割テキスト長（文字数）が画面サイズより大であるか否かを判断する。そして、テキスト長が画面サイズと同じか、小さければ、ステップＳ６８で、再生中の動画像の下部中央にセンタリング表示する。
【００６９】
一方、テキスト長が画面サイズより大である場合には、ステップＳ７０で、縮小モードであるか否かを判断する。そして、縮小モードに設定されている場合には、ステップＳ７２で、縮小可能であるか否か、すなわち既に最小文字サイズになっていないかを判断する。そして、縮小可能であるならば、ステップＳ７４で、テキストの文字サイズを縮小し、ステップＳ６６へ戻り、上述した処理を繰り返し、ステップＳ７４で、文字サイズを段階的に縮小し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ６８で、再生中の動画像の下部中央にセンタリング表示する。
【００７０】
一方、縮小過程で、これ以上縮小すると、判読が難しくなるサイズまで縮小しても、画面サイズより小さくならなければ、短縮処理（ステップＳ７８）へ進む。
【００７１】
一方、縮小モードに設定されていない場合には、ステップＳ７６で、短縮モードであるか否かを判断する。そして、短縮モードに設定されていない場合には、ステップＳ８４で、再生画面の下部に、右から左へ流れるようにスクロール表示する。
【００７２】
一方、短縮モードに設定されている場合には、ステップＳ７８で、短縮類語データベースを検索し、ステップＳ８０で、マッチングするか否かを判断する。そして、マッチングする語彙があれば、ステップＳ８２で、その語彙を短縮語彙に変換し、ステップＳ６６へ戻り、上述した処理を繰り返し、ステップＳ８２で、テキストに含まれる語彙を短縮語彙に変換し、テキスト長が画面サイズと同じか、小さくなれば、ステップＳ６８で、再生中の動画像の下部中央にセンタリング表示する。
【００７３】
一方、テキストに含まれる語彙を短縮語彙に変換し、短縮すべき語彙がなくなり、かつテキスト長が画面サイズより大きい場合には、ステップＳ８４で、テキストをスクロール表示する。
【００７４】
次に、ステップＳ８６で、表示時間が終了したか否かを判断し、終了していなければ、ステップＳ８８で、所定のキー操作が行なわれたか否かを判断し、所定のキー操作が行なわれなければ、分割したテキストの表示を継続する。一方、表示時間内に所定のキー操作が行なわれると、ステップＳ６０へ戻り、動画再生が終了していなければ、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの表示を行なう。これは、動画再生時間がテキストの長さに比べて十分に長い場合、１つ１つの分割されたテキストの表示時間が長くなりすぎて冗長になってしまうためで、この場合、ユーザが所定のキー操作を行なうことで、次の分割したテキストの表示へ移行させることが可能となっている。
【００７５】
一方、表示時間が終了すると、ステップＳ９０で、該分割したテキストに対する表示時間が所定時間（例えば、２秒）より短いか否かを判断する。これは、分割したテキストの表示時間が極端に短いと、判読するのが難しくなるためにである。そして、表示時間が所定時間以上であれば、ステップＳ９２で、テキストが終了であるか否かを判断し、まだ、表示すべきテキストがあれば、ステップＳ６０へ戻り、動画再生が終了していなければ、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの表示を行なう。一方、分割したテキストの全てを表示し終えれば、当該処理を終了する。
【００７６】
一方、分割したテキストに対する表示時間が所定時間より短い場合には、判読が難しい可能性があるので、ステップＳ９４で、動画再生を一時停止する。そして、ステップＳ９６で、所定のキー操作が行なわれたか否かを判断し、所定のキー操作が行なわれるまで待機し、動画再生を一時停止するとともに、分割テキストを画面上に表示させておく。スクロール表示の場合には、動画再生を一時停止するとともに、分割テキストのスクロールを繰り返す。
【００７７】
そして、一時停止した再生動画上にテキストを表示させた状態で、所定のキー操作が行なわれると、ステップＳ９８で、テキストが終了であるか否かを判断し、まだ、表示すべきテキストがあれば、ステップＳ１００で、動作再生の一時停止を解除し（再生を再開し）、ステップＳ６０へ戻り、動画再生が終了していなければ、変数Ｎを「１」だけインクリメントし、前述した処理に従って、次の分割したテキストの再生を行なう。一方、分割したテキストの全てを再生し終えれば、当該処理を終了する。
【００７８】
なお、上述した第２実施形態では、縦書きについて説明しなかったが、第１実施形態と同様に、縦書きテキストについても、前述したセンタリング、縮小、短縮、スクロール表示のいずれもが有効である。
【００７９】
Ｃ．第３実施形態
次に、本発明の第３実施形態を、カメラ付き携帯電話に適用した一実施例として、図面を参照して説明する。
【００８０】
Ｃ−１．第３実施形態の構成
図１３（ａ），（ｂ）は、携帯電話１の外観を示す模式図である。本第３実施形態における携帯電話１は、蓋部と本体部からなる二つ折り構造であり、図１３（ａ）は、携帯電話１を開いた状態での正面図を示し、図１３（ｂ）は、携帯電話１を開いた状態での背面図を示したものである。アンテナ１１は、蓋部の背面に設けられており、伸縮自在となっている。スピーカ１２は、蓋部の前面側に設けられており、音声出力を行なう。表示部（メイン表示部）１３は、カラーＬＣＤ（液晶表示器）であり、１２０ドット（幅）×１６０ドット（高さ）である。該表示部１３には、画像付き（背景画付き）メールの画像（写真）と本文とを同時に表示可能となっている。
【００８１】
キー操作部１４は、本体部の前面に設けられており、メールキー１４１、アドレスキー１４２、カメラキー１４３、サブメニューキー１４４、十字キー（４方向カーソルキー）１４５、センターキー（決定キー）１４６、オフフックキー１４７、オンフックキー１４８、テンキー１４９などからなる。メールキー１４１は、メール機能を起動し、メールメニューを表示するためのものである。アドレスキー１４２は、送信先のメールアドレスや発呼先の電話番号などを選択する際に用いるアドレス帳を開くためのものである。カメラキー１４３は、カメラ機能を起動し、カメラメニューを表示するためのものである。なお、このカメラキー１４３は、メール作成モードやメール表示モードにおいてメール本文と背景画像とを重ね合わせて表示しているときには、表示をメール本文のみにしたり背景画像のみにしたりする表示切換キーとしての機能を備えている。
【００８２】
サブメニューキー１４４は、各機能におけるサブメニューを表示させるためのものである。十字キー１４５は、各機能において表示されたメニューの中から所望のメニューを選択したり、テンキーでデータを入力する際にデータ入力位置をシフトさせたりするためのものである。センターキー（決定キー）１４６は十字キー１４５の操作で選択されたメニューなどを確定するためのものである。オフフックキー１４７は通話を開始するためのものであり、オンフックキー１４８通話を終了するためのものである。テンキー１４９は、電話番号や文字の入力の際に使用するものである。マイク１５は、本体部の下部に設けられており、音声入力を行なう。
【００８３】
サブ表示部１６は、蓋部の背面に設けられている。背面キー１７は、透明、または半透明部材で構成され、着信の際、発光するＬＥＤ１７１を内蔵している。撮像レンズ１８は、蓋部２の背面、上記サブ表示部１６の下部に設けられている。報知スピーカ１９は、着信などを報知するものであり、蓋部を本体部に閉じた状態でも報知音が聞こえるように、本体部の裏面に配置されている。
【００８４】
次に、図１４は、携帯電話１の回路構成を示すブロック図である。無線送受信部２０は、無線によりアンテナ１１を介して音声やデータ（メールデータ）を送受する。無線信号処理部２１は、無線送受信部２０で受信した音声やデータ（メールデータ）を復調し、あるいは無線送受信部２０へ送信するための音声やデータを変調するなどの無線通信に必要な処理をする。制御部２２は、各種動作および全体の動作を制御する。
【００８５】
画像メモリ２３は、撮像部（撮像レンズ１８、撮像モジュール１８１、ＤＳＰ１８２）で撮像され、画像処理プログラム領域２４１３に格納されたプログラムにより圧縮符号化された画像ファイルを格納するためのメモリである。ＲＯＭ２４は、書換可能なＦｌａｓｈ ＲＯＭで構成され、本発明の特徴となる、後述の各種プログラムを格納する。
【００８６】
ドライバ２５は、表示部１３を駆動させる。ドライバ２６は、サブ表示部１６を駆動させる。加入者情報記憶部２７は、本携帯電話１を呼び出すための電話番号や、操作者（加入者）のＩＤ等、プロフィールデータを格納する。ＲＯＭ２８は、制御部１８を制御する各種プログラムなどを格納する。ＲＡＭ２９は、無線通信端末として必要な各種データを記憶し、かつ制御部２５が動作する上で必要なデータを格納するとともに、メールデータやメールに添付された画像データなどを格納記憶する。
【００８７】
音声信号処理部２００は、マイク１５から入力された音声信号を符号化処理して無線信号処理部２１へ出力したり、無線信号処理部２１から入力された通信相手からの音声信号を復号化してスピーカ１２を駆動させ、音声を出力する。撮像モジュール１８１は、ＣＣＤ、若しくはＣＭＯＳで構成され、カラー画像を取り込む。ＤＳＰ１８２は、撮像モジュール１８１に取り込まれた画像を符号化処理する。報知ドライバ１９２は、報音スピーカ１９、バイブレータ１９１、ＬＥＤ１７１を駆動させるためのドライバである。
【００８８】
Ｃ−２．第３実施形態の動作
次に、本第３実施形態による携帯電話の動作について説明する。ここで、図１５は、本第３実施形態による携帯電話の動作を説明するためのフローチャートである。また、図１６および図１７は、携帯電話の表示例を示す模式図である。
携帯電話では、ステップＳ１１０で、メールを受信したか否か、あるいはステップＳ１１２で、メールの受信フォルダの選択が検出されたか否かを判断する。そして、メールを受信したか、あるいは受信フォルダが選択されると、ステップＳ１１４で、受信リストを表示する。
【００８９】
図１６は、表示部１３に表示される受信リストの表示例を示す模式図である。アイコン１３０１は、バッテリの充電量を表わしている。また、アイコン１３０２は、電波受信状態を表わしている。また、受信リストでは、アイコン１３０３〜１３０６でメールの既読／未読を判別できるようになっている。すなわち、アイコン１３０３は、未読メールを表わしている。また、アイコン１３０４は、未読の画像付きメールを表わしている。また、アイコン１３０５は、既読メールを表わしている。そして、アイコン１３０６は、既読の画像付きメールを表わしている。
【００９０】
そして、ステップＳ１１６で、制御部２２は、画像付きメールが選択されたか否かを判断し、画像付きメールが選択されなかった場合には、ステップＳ１１８で、通常のメール処理へ進む。一方、画像付きメールが選択された場合には、ステップＳ１２０で、図１７（ａ）に示すように、メールに添付されている画像を背景にしてメール本文を表示部１３に表示する。このとき、メール本文がよく見えるように、画像の明度を変えたり、メール本文の文字色を変えたりするようにしてもよい。
【００９１】
画像付きメールが選択されて、メールに添付されている画像を背景にしてメール本文が表示部１３に表示されている状態では、次に、ステップＳ１２２で、キャンセル操作が検出されたか否かを判断するとともに、ステップＳ１２４で、カメラキー１４３が操作されたか否かを判断する。
【００９２】
これらの判断において何れの操作も検出されなかった場合には、ステップＳ１２０へ戻って、図１７（ａ）に示すように、メール本文が重ねられた画像の表示を継続する。一方、キャンセル操作が検出された場合には、ステップＳ１１４へ戻って受信リストの表示へ移行する。
【００９３】
一方、カメラキー１４３が操作された場合には、ステップＳ１２６で、メール本文の表示を徐々に消し、図１７（ｂ）に示すように、背景画像のみの表示にする。その後、第１実施形態で説明した、図２に示すステップＳ１０へ進み、画像データに音声データが添付されているか否かを判断し、音声データが添付されている場合には、音声データを音声認識によりテキストに変換し、図１７（ｃ）に示すように、画像データ上に重ねてテキストを表示する。このとき、第１実施形態と同様に、テキストの長さに応じて、センタリング、縮小、短縮、スクロール表示を行なう。なお、本第３実施形態においても、静止画だけでなく、動画についても同様の処理が可能である。
【００９４】
なお、上述した第１ないし第３実施形態では、画像データに付加されていた音声データをテキストに変換し、センタリング、縮小、短縮、スクロール表示を行なう際、元の音声データの再生出力について説明しなかったが、元の音声データを音声として出力するか、出力しないかをユーザが状況に応じて選択できるようにしてもよい。
【００９５】
また、上述した第１ないし第３実施形態では、デジタルカメラ、カメラ付き携帯電話について説明したが、これに限らず、音声データが付加された画像（静止画、動画）を再生する機能を有する機器であれば適用可能である。例えば、近年、ハードディスクなどの大容量記憶媒体と表示装置とを備え、デジタルカメラやカメラ付き携帯電話で撮影した画像データ（静止画、動画）を記憶する記録媒体を装着すると、記録媒体から画像データを大容量記憶媒体に転送する、いわゆるバックアップする情報機器が実用化されている。
【００９６】
このような情報機器においては、大容量記録媒体に画像データをバックアップするだけでなく、バックアップした画像データを表示装置に表示（スライド表示なども可能）することができるようになっている。この場合、本発明の実施形態として説明してきた、音声認識機能、テキスト表示機能を付加することにより、上述した情報機器においても、バックアップした画像データを表示する際に、画像データに音声データが付加されていた場合、その音声データをテキストに変換し、画像データ上に重ねて表示させることが可能となる。
【０１０１】
【発明の効果】
請求項１の発明によれば、前記判断手段により文字列データが一画面上に入りきらないと判断された場合、前記文字表示制御手段により、前記短縮語置換手段により語彙が置換された文字列データを表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０４】
請求項２の発明によれば、前記判断手段により文字列データが一画面上に入りきらないと判断された場合、前記文字表示制御手段により、動画データの再生時間に基づいて前記分割手段により分割された文字列データ毎に設定した表示時間に基づいて各分割文字列データを順次切り換え表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０５】
請求項３の発明によれば、前記指示手段からの指示があると、前記表示手段に表示されている文字列データを、前記分割手段により分割された次の文字列データに直ちに切り換えるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１０６】
請求項４の発明によれば、前記文字表示制御手段により設定された表示時間が所定時間よりも短い文字列データが表示されたときには、表示状態を維持して次の文字列データへの切り換えを禁止すると共に、動画データの再生を一時停止させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１１】
請求項５の発明によれば、前記画像データに付加された音声データを認識して文字列データに変換し、該文字列データを、前記画像データに重ねて表示させる際に、前記変換された文字列データを一画面内に表示可能であるか否かを判断し、前記文字列データを一画面内に表示可能であると判断されたとき、該文字列データを表示させるとともに、前記文字列データが一画面内に入りきらないと判断されたとき、該文字列データに含まれる所定の語彙を短縮語に置換し、該短縮語に置換された文字列データを表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、静止画や動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【０１１２】
請求項６の発明によれば、前記動画データに付加された音声データを認識して文字列データに変換し、該文字列データを、前記動画データに重ねて表示させる際に、前記変換された文字列データを一画面内に表示可能であるか否かを判断し、前記文字列データを一画面内に表示可能であると判断されたとき、該文字列データを表示させ、前記文字列データが一画面内に入りきらないと判断されたとき、該文字列データを分割して、前記動画の再生時間に基づいて、前記分割された文字列データ毎に表示時間を設定し、分割された文字列データ毎に前記設定された表示時間に基づいて前記動画に重ねて順次切り換え表示させるようにしたので、画像データに付加された音声データを容易に認識可能にすることができ、また、動画に文字を重ねて表示する際に視認性を向上させることができるという利点が得られる。
【図面の簡単な説明】
【図１】本発明の第１実施形態によるデジタルカメラの構成を示すブロック図である。
【図２】本第１実施形態の動作を説明するためのフローチャートである。
【図３】本第１実施形態の動作を説明するためのフローチャートである。
【図４】テキストをセンタリング表示した状態を示す模式図である。
【図５】文字サイズを縮小してセンタリング表示した状態を示す模式図である。
【図６】テキストをスクロール表示した状態を示す模式図である。
【図７】テキストに含まれる語彙を短縮語に置換する様子を示す概念図である。
【図８】短縮語に置換したテキストをスクロール表示した状態を示す模式図である。
【図９】テキストを縦書きに変換する様子を示す概念図である。
【図１０】テキストを縦書き表示した状態を示す模式図である。
【図１１】本発明の第２実施形態の動作を説明するためのフローチャートである。
【図１２】本発明の第２実施形態の動作を説明するためのフローチャートである。
【図１３】本発明の第３実施形態による携帯電話の外観を示す模式図である。
【図１４】携帯電話の回路構成を示すブロック図である。
【図１５】本第３実施形態による携帯電話の動作を説明するためのフローチャートである。
【図１６】本第３実施形態による携帯電話の表示例を示す模式図である。
【図１７】本第３実施形態による携帯電話の表示例を示す模式図である。
【符号の説明】
１ レンズ
２ ＣＣＤ
３ タイミング発生器
４ 垂直ドライバ
５ サンプルホールド回路
６ Ａ／Ｄ変換器
７ カラープロセス回路
８ ＤＭＡコントローラ
９ ＤＲＡＭインターフェース
１０ ＤＲＡＭ
１１ ＣＰＵ（画像表示制御手段、文字表示制御手段、判断手段、縮小手段、短縮語置換手段、分割手段、表示時間設定手段）
１２ ＶＲＡＭコントローラ
１３ ＶＲＡＭ
１４ デジタルビデオエンコーダ
１５ 表示装置
１６ 操作部（指示手段）
１７ ＪＰＥＧ処理部
１８ フラッシュメモリ
１９ 音声認識処理部（音声認識手段）
２０ テキスト分割処理部
２１ プログラムＲＯＭ

Claims (6)

1. 音声データが付加された画像データを再生表示する情報機器において、
   画像データを表示する表示手段と、
   画像データに付加された音声データを認識して文字列データに変換する音声認識手段と、
   前記音声認識手段により変換された文字列データに含まれる所定の語彙を短縮語に置換する短縮語置換手段と、
   前記音声認識手段により変換された文字列データが前記表示手段の一画面内に表示可能であるか否かを判断する判断手段と、
   前記判断手段により文字列データが一画面内に表示できると判断された場合、前記音声認識手段により変換された文字列データを前記表示手段に表示されている画像データに重ねて表示させ、前記判断手段により文字列データが一画面内に表示できないと判断された場合、前記短縮語置換手段により語彙が置換された文字列データを前記表示手段に表示されている画像データに重ねて表示させる文字表示制御手段と
   を具備することを特徴とする情報機器。
2. 音声データが付加された動画データを再生表示する情報機器において、
   動画データを表示する表示手段と、
   動画データに付加された音声データを認識して文字列データに変換する音声認識手段と、
   前記音声認識手段により変換された文字列データを所定の長さで分割する分割手段と、
   前記音声認識手段により変換された文字列データが前記表示手段の一画面内に表示可能であるか否かを判断する判断手段と、
   前記判断手段により文字列データが一画面内に表示できると判断された場合、前記音声認識手段により変換された文字列データを前記表示手段に表示されている動画データに重ねて表示させ、前記判断手段により文字列データが一画面内に表示できないと判断された場合、動画データの再生時間に基づいて前記分割手段により分割された文字列データ毎に表示時間を設定すると共に、該設定した表示時間に基づいて各分割文字列データを前記表示手段に表示されている動画データに重ねて順次切り換え表示させる文字表示制御手段と
   を具備することを特徴とする情報機器。
3. 前記情報機器は、
   前記表示手段に表示されている文字列データの切り換えを任意のタイミングで指示可能な指示手段を更に備え、
   前記文字表示制御手段は、前記指示手段から指示があると、表示時間を経過していなくても、前記表示手段に表示されている文字列データを前記分割手段により分割された次の文字列データに直ちに切り換えることを特徴とする請求項２記載の情報機器。
4. 前記情報機器は、
   前記表示手段に表示されている文字列データの切り換えを指示するための指示手段を更に備え、
   前記文字表示制御手段により設定した表示時間が所定時間よりも短い文字列データがある場合、該文字列データが表示されたときには、表示時間が経過しても表示状態を維持して次の文字列データへの切り換えを禁止すると共に、動画データの再生を一時停止させ、前記指示手段から指示があると、前記表示手段に表示されている文字列データを前記分割手段により分割された次の文字列データに直ちに切り換えると共に、動画データの再生を再開させることを特徴とする請求項２記載の情報機器。
5. 音声データが付加された画像データを再生表示するデータ表示方法において、
   前記画像データに付加された音声データを認識して文字列データに変換し、該文字列データを前記画像データに重ねて表示させる工程と、
   前記変換された文字列データを一画面内に表示可能であるか否かを判断する工程と、
   前記文字列データを一画面内に表示できると判断されたときは、前記変換された文字列データを表示させると共に、前記文字列データを一画面内に表示できないと判断されたときは、該文字列データに含まれる所定の語彙を短縮語に置換し、該短縮語に置換された文字列データを表示させる工程と
   を具備することを特徴とするデータ表示方法。
6. 音声データが付加された動画データを再生表示するデータ表示方法において、
   前記動画データに付加された音声データを認識して文字列データに変換し、該文字列データを前記動画データに重ねて表示させる工程と、
   前記変換された文字列データを一画面内に表示可能であるか否かを判断する工程と、
   前記文字列データを一画面内に表示できると判断されたときは、前記変換された文字列データを表示させ、前記文字列データを一画面内に表示できないと判断されたときは、該文字列データを分割して、前記動画データの再生時間に基づいて前記分割された文字列データ毎に表示時間を設定し、該設定した表示時間に基づいて各分割文字列データを順次切り換え表示させる工程と
   を具備することを特徴とするデータ表示方法。

Images