JP4577012B2 - 音声画像再生装置、音声画像再生方法及びプログラム - Google Patents

Description

本発明は、音声画像再生装置、音声画像再生方法及びプログラムに関するものである。

従来の音声・画像の記録再生装置として、ＬＣＤ（Liquid Crystal Display）にインデックス画像を表示して、インデックス画像に対応した音声を再生するようにしたデジタルカメラがある（例えば、特許文献１参照）。

かかる従来のデジタルカメラは、複数の画像を縮小してＬＣＤに表示する。そして、録音済みの音声が記憶された画像がある場合、デジタルカメラは、その画像にマークを付し、その画像が選択されると、選択された画像に対応する音声を再生する。
特開２００２−８４４９０号公報（第３頁、図１〜図３）

しかし、かかる従来のデジタルカメラでは、ＬＣＤに表示するための複数の画像を記憶しなければならず、画像を記憶するのに必要なメモリの記憶容量が増大する。

本発明は、このような従来の問題点に鑑みてなされたもので、インデックス画像の表示に必要な記憶容量を低減することが可能な音声画像再生装置、音声画像再生方法及びプログラムを提供することを目的とする。

上記目的を達成するため、請求項１記載の音声画像再生装置は、
録音時刻情報が付加された音声データを記憶する音声データ記憶部と、
第１の被写体画像と第２の被写体画像との差分からなる差分画像に、前記第２の被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶部と、
前記音声データ記憶部が記憶する音声データに基づいて、指定された録音時刻から音声を再生する音声再生部と、
前記差分画像データ記憶部が記憶するデータに基づいて、すべての差分画像を合成し最終画像を復元する最終画像復元部と、
前記最終画像復元部が復元した最終画像を表示する最終画像表示部と、
前記最終画像表示部が表示した最終画像の中から選択された差分画像を特定するための選択情報を取得する画像選択情報取得部と、
前記画像選択情報取得部が取得した選択情報に基づいて、特定された差分画像を含む画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生部に音声を再生させる再生制御部と、を備えたことを特徴とする。

請求項２記載の発明は、請求項１記載の音声画像再生装置において、
前記音声再生部が再生する音声の録音時刻情報と前記差分画像のデータに付加された撮影時刻情報とを参照して、音声を再生する録音時刻以前の差分画像を合成して合成画像を生成する合成画像生成部と、
前記合成画像生成部が合成した合成画像を前記録音時刻に合わせて表示する合成画像表示部と、を更に備えたことを特徴とする。

請求項３に記載の発明は、音声画像再生方法であって、
録音時刻情報が付加された音声データを記憶する音声データ記憶ステップと、
第１の被写体画像と第２の被写体画像との差分からなる差分画像に、前記第２の被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶ステップと、
前記音声データ記憶ステップにて記憶された音声データに基づいて、指定された録音時
刻から音声を再生する音声再生ステップと、
前記差分画像データ記憶ステップにて記憶されたデータに基づいて、すべての差分画像
を合成し最終画像を復元する最終画像復元ステップと、
前記最終画像復元ステップが復元した最終画像を表示する最終画像表示ステップと、
前記最終画像表示ステップにて表示された最終画像の中から選択された差分画像を特定するための選択情報を取得する画像選択情報取得ステップと、
前記画像選択情報取得ステップが取得した選択情報に基づいて、特定された差分画像を含む画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生ステップに音声を再生させる再生制御ステップと、を含むことを特徴とする。

請求項４に記載の発明は、
表示部を有するコンピュータを、
録音時刻情報が付加された音声データを記憶する音声データ記憶手段、
第１の被写体画像と第２の被写体画像との差分からなる差分画像に、前記第２の被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶手段、
前記音声データ記憶手段が記憶する音声データに基づいて、指定された録音時刻から音声を再生する音声再生手段、
前記差分画像データ記憶手段が記憶するデータに基づいて、すべての差分画像を合成し最終画像を復元する最終画像復元手段、
前記最終画像復元手段が復元した最終画像を前記表示部に表示させる最終画像表示制御手段、
前記最終画像表示制御手段に表示された最終画像の中から選択された差分画像を特定するための選択情報を取得する画像選択情報取得手段、
前記画像選択情報取得手段が取得した選択情報に基づいて、特定された差分画像を含む画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生手段に音声を再生させる再生制御手段、として機能させることを特徴とする。

本発明によれば、記憶容量を低減することができる。

以下、本発明の実施形態に係る音声画像記録装置、音声画像再生装置を図面を参照して説明する。尚、本実施形態では、音声画像記録装置、音声画像再生装置をデジタルカメラに適用した場合について説明する。

本実施形態に係るデジタルカメラ１の外観を図１に示す。
本実施形態に係るデジタルカメラ１は、文字、図、写真等が記載された白板２を撮影するとともに、音声の録音、再生を行うものであり、撮影レンズ１１と、シャッタボタン１２と、液晶モニタ１３と、を備える。

撮影レンズ１１は、光を集光するレンズ等を備え、被写体としての白板２からの光を集光するものである。シャッタボタン１２は、撮影するときに押下するものである。

液晶モニタ１３は、撮影レンズ１１を介して内部に取り込まれた画像を表示するためのものである。

このデジタルカメラ１は、白板２に記載された情報、マーク、コメント等の各画像をインデックスとして、選択された画像に対応する音声を再生するように構成されている。

白板２に、図２に示すような情報Ａ，Ｂ，Ｃ，マーク，コメント等が最終的に記載された場合、液晶モニタ１３は、この記載事項の画像を最終画像として表示する。そして、液晶モニタ１３の表面には、画像選択した場合の選択情報を取得するタッチパネル（図示せず）が備えられている。

デジタルカメラ１は、図３に示すように、撮影部２１と、イメージセンサ２２と、メモリ２３と、表示制御部２４と、計時部２５と、ボイスレコーダ２６と、操作部２７と、画像処理部２８と、コンピュータインタフェース部２９と、外部記憶ＩＯ装置３０と、音声再生部３１と、プログラムコード記憶部３２と、ＣＰＵ（Central Processing Unit）３３と、を備えて構成される。

撮影部２１は、ＣＰＵ３３によって制御されて撮影レンズ１１の位置を制御し、被写体としての白板２を撮影して、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させるものである。

イメージセンサ２２は、結像した画像をデジタル化し、この画像データを取り込むためのものであり、ＣＣＤ（Charge Coupled Device;電荷結合素子）等によって構成される。イメージセンサ２２は、ＣＰＵ３３によって制御され、画像データを秒３０枚程度の間隔で定期的に生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、音声データ、画像データ、作業データ等を記憶するものである。メモリ２３は、これらのデータが書き込まれる領域として、図４に示すように、センサ画像記憶領域２３ａと、音声データ記憶領域２３ｂと、処理画像記憶領域２３ｃと、差分画像記憶領域２３ｄと、表示画像記憶領域２３ｅと、作業データ記憶領域２３ｆと、を有する。

センサ画像記憶領域２３ａは、イメージセンサ２２が取り込んだ画像データを一時記憶するための領域である。

音声データ記憶領域２３ｂは、音声データを記憶するための領域である。処理画像記憶領域２３ｃは、画像処理部２８が画像処理した画像データ等を書き込むための領域である。

差分画像記憶領域２３ｄは、撮影によって得られた各画像の差分画像を記憶する領域である。表示画像記憶領域２３ｅは、液晶モニタ１３に表示する画像を記憶するための領域である。作業データ記憶領域２３ｆは、ＣＰＵ３３の作業に必要なデータを記憶するための領域である。

図３に戻り、表示制御部２４は、メモリ２３の表示画像記憶領域２３ｅに記憶された画像データを液晶モニタ１３に供給し、液晶モニタ１３に画像を表示させるためのものである。

また、表示制御部２４は、前述のように、差分画像をインデックスとして音声を再生するシンクロモードを選択するメニューを液晶モニタ１３に表示する。

計時部２５は、時刻を計時するものである。ボイスレコーダ２６は、ＣＰＵ３３から指令されて録音を開始し、音声を音声データに変換して、メモリ２３の音声データ記憶領域２３ｂに記録するものである。

また、ボイスレコーダ２６は、音声を音声データに変換したときに計時部２５が計時した時刻を録音時刻として録音時刻情報を取得し、取得した録音時刻情報を、音声データに付加してメモリ２３の音声データ記憶領域２３ｂに記録する。

操作部２７は、シャッタボタン１２等、デジタルカメラ１の機能を制御するためのスイッチ、キーを備えたものである。操作部２７は、この他にも、撮影キー、再生キー、カーソルキー、コントロールキー等（図示せず）を備える。

撮影キーは、撮影対象を撮影するときの撮影モードを選択するためのキーである。再生キーは、撮影によって得られた撮影対象画像を再生するときの再生モードを選択するためのキーである。コントロールキーは、操作を確定させるＹＥＳキー、操作をキャンセルするためのＮＯキー、編集を行うための編集キー等として機能するキーである。

カーソルキーとコントロールキーとは、デジタルカメラ１の各種機能を実行するためのものであり、液晶モニタ１３に表示されたメニューを選択するためのキー、選択したメニューを解除するためのキーとしても用いられる。

操作部２７は、ユーザによって、これらのキー、スイッチが押下されると、その操作情報を取得する。また、操作部２７は、液晶モニタ１３に表示されたシンクロモードが、ユーザによって選択されると、この選択情報を取得する。

また、操作部２７は、液晶モニタ１３の表面に設けられたタッチパネルが押下されると、この押下された位置に対応する画像の選択情報を取得する。そして、操作部２７は、操作情報、選択情報を取得すると、取得した操作情報、選択情報をＣＰＵ３３に送信する。

画像処理部２８は、メモリ２３のセンサ画像記憶領域２３ａに記憶された画像データに対して、画像の歪み補正処理、差分画像生成処理、画像合成処理等の画像処理を行うものである。

画像の歪み補正処理は、図５（ｂ），（ｃ）に示すように歪んだ画像Ｗを、図５（ｄ）に示すようなあたかも正面から撮影したような画像Ｗ’に補正する処理である。

即ち、デジタルカメラ１が、図５（ａ）にそれぞれ示すように、白板２の文字等を、向かって左方向、右方向から撮影すると、液晶モニタ１３には、図５（ｂ），（ｃ）に示すように、白板２と文字、図、写真等の画像が歪んで表示される。画像処理装置２５は、この図５（ｂ），（ｃ）に示すような画像に対して歪み補正を行うことにより、図５（ｄ）に示すような、正面から撮影したような画像Ｗ’を生成する。画像処理部２８は、このように歪み補正を行った画像のデータをメモリ２３の処理画像記憶領域２３ｃに記憶する。

差分画像生成処理は、白板２に、順次、文字等が記載され、被写体画像が変化した場合に、既に得られた被写体画像と新たに得られた被写体画像との差分からなる差分画像を生成する処理である。画像処理部２８は、画像をインデックス化するためにこの差分画像生成処理を実行する。

例えば、歪み補正が行われた新たな画像、既に歪み補正を行った画像を、それぞれ、図６（ａ），（ｂ）に示すような画像Ｇ１，Ｇ２として、処理画像記憶領域２３ｃに、そのデータが記憶されているものとする。画像処理部２８は、この画像Ｇ２のデータをメモリ２３の処理画像記憶領域２３ｃから読み出して、画像Ｇ１と画像Ｇ２とを比較する。

そして、画像処理部２８は、画像Ｇ１と画像Ｇ２との差分画像として、図６（ｃ）に示すような差分画像ｇ２を生成する。画像処理部２８は、生成した差分画像ｇ２をメモリ２３の差分画像記憶領域２３ｄに記憶する。

尚、画像処理部２８は、差分画像ｇ２を生成すると、既に得られた画像Ｇ１を消去して、メモリ２３の記憶領域を開放する。

また、画像処理部２８は、画像が変化したか否かを判定するため、前回の画像データと今回の画像データとから各画素値を取得し、２つの画像データの各画素値を比較する。そして、画像処理部２８は、２つの画像データの各画素値の差の総和を画像変化量として取得し、画像変化量を予め設定された閾値と比較する。そして、画像処理部２８は、画像変化量がこの閾値を超えている場合、画像が変化したと判定する。

画像合成処理は、画像を合成する処理である。画像処理部２８は、すべての差分画像を合成し、録音終了時の最終画像を復元したり、音声の再生に合わせて表示する画像を復元したりするため、この画像合成処理を行う。

コンピュータインタフェース部２９は、デジタルカメラ１がコンピュータ（図示せず）に接続されたときに、ＵＳＢのストアレジクラスドライバとして動作するものである。これにより、コンピュータは、デジタルカメラ１に接続されると、メモリカード３４をコンピュータの外部記憶装置として取り扱う。

外部記憶ＩＯ装置３０は、メモリカード３４との間で、画像データ等の入出力を行うものである。メモリカード３４は、外部記憶ＩＯ装置３０から供給された画像データ等を記憶するものである。

音声再生部３１は、メモリ２３の音声データ記憶領域２３ｂに記憶された音声データに基づいて音声を、ＣＰＵ３３によって指定された録音時刻から再生するものである。

プログラムコード記憶部３２は、ＣＰＵ３３が実行するプログラムを記憶するためのものであり、ＲＯＭ等によって構成される。

ＣＰＵ３３は、プログラムコード記憶部３２に格納されているプログラムに従って、システム全体を制御するものである。

また、ＣＰＵ３３は、操作部２７から、シンクロモードが選択された旨の選択情報を受信すると、ボイスレコーダ２６に録音開始を指令する。

また、ＣＰＵ３３は、撮影部２１を制御して定期的に白板２を撮影させる。そして、文字等の追記により、画像が変化した場合、ＣＰＵ３３は、画像処理部２８に画像の歪み補正、差分画像生成処理を実行させる。

ＣＰＵ３３は、画像が変化したと画像処理部２８が判定した場合、撮影部２１が新たに白板２を撮影したときに計時部２５が計時した時刻を撮影時刻として撮影時刻情報を計時部２５から取得する。ＣＰＵ３３は、取得した撮影時刻情報をメモリ２３の差分画像記憶領域２３ｄに記憶された差分画像のデータに付加する。

ＣＰＵ３３は、音声を再生する場合、画像処理部２８に画像合成処理を実行させ、表示制御部２４に、復元した最終画像を液晶モニタ１３に表示させる。そして、ＣＰＵ３３は、操作部２７から画像の選択情報を受信すると、この選択情報に基づいて、選択された差分画像を特定し、特定した差分画像の撮影時刻情報に対応する録音時刻を指定して、音声再生部３１に音声を再生させる。

次に本実施形態に係るデジタルカメラ１の動作を説明する。
ユーザがデジタルカメラ１の電源をオン（投入）すると、ＣＰＵ３３はプログラムコード記憶部３２に記憶されているすべてのプログラムのデータを取得する。

ユーザがカーソルキー、コントロールキー等を操作してメニューを選択した場合、ＣＰＵ３３は、液晶モニタ１３にメニューを表示するように表示制御部２４を制御する。

ユーザがメニューから、シンクロモードを選択すると、操作部２７は、このシンクロモードを選択した旨の選択情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この選択情報を受信すると、図７に示すフローチャートに従って、画像処理部２８とともに記録処理を実行する。

まず、ＣＰＵ３３は、ボイスレコーダ２６に録音を開始させる（ステップＳ１１）。

ＣＰＵ３３は、撮影部２１に、文字等が記載された白板２を撮影させる（ステップＳ１２）。
ＣＰＵ３３は、計時部２５が計時した時刻を撮影時刻として撮影時刻情報を計時部２５から取得する（ステップＳ１３）。

画像処理部２８は、既にメモリ２３のセンサ画像記憶領域２３ａに記憶した画像と新たに撮影した画像とを比較する（ステップＳ１４）。
画像処理部２８は、比較の結果、画像が変化したか否かを判定する（ステップＳ１５）。

画像が変化したと判定した場合（ステップＳ１５においてＹｅｓ）、画像処理部２８は、新たな被写体画像の歪み補正を行う（ステップＳ１６）。

画像処理部２８は、歪み補正を施した画像をメモリ２３の処理画像記憶領域２３ｃに記憶する（ステップＳ１７）。

画像処理部２８は、前回撮影時に歪み補正した画像をメモリ２３の処理画像記憶領域２３ｃから読み出して、新たな画像と前回撮影時の画像との差分画像を生成する（ステップＳ１８）。

画像処理部２８は、生成した差分画像をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１９）。

ＣＰＵ３３は、画像処理部２８が差分画像記憶領域２３ｄに記憶した差分画像に、取得した撮影時刻情報を付加する（ステップＳ２０）。

画像処理部２８は、メモリ２３の処理画像記憶領域２３ｃに記憶した前回撮影時の画像を消去する（ステップＳ２１）。

ＣＰＵ３３は、録音処理の終了か否かを判定する（ステップＳ２２）。操作部２７から、シンクロモードを解除する旨の選択情報を受信しなかった場合、ＣＰＵ３３は、録音処理の継続と判定する（ステップＳ２２においてＮｏ）。この場合、ＣＰＵ３３、画像処理部２８は、ステップＳ１２〜Ｓ２１の処理を再度実行する。

操作部２７からシンクロモードを解除する旨の選択情報を受信した場合、ＣＰＵ３３は、録音処理は終了と判定し（ステップＳ２２においてＹｅｓ）、この記録処理を終了させる。

次に、ユーザが操作部２７を操作してメニューから、音声再生処理を選択した場合、操作部２７は、この音声を再生する旨の操作情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この操作情報を受信すると、画像処理部２８を制御して、図８に示すフローチャートに従って、画像合成処理を実行させる。

画像処理部２８は、すべての差分画像をメモリ２３の差分画像記憶領域２３ｄから読み出す（ステップＳ３１）。
画像処理部２８は、すべての差分画像を合成する（ステップＳ３２）。

画像処理部２８は、合成した画像をメモリ２３の表示画像記憶領域２３ｅに記憶する（ステップＳ３３）。

液晶モニタ１３のタッチパネルが押下された場合、操作部２７は、この押下位置を判別し、差分画像の選択情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この選択情報を受信すると、図９に示すフローチャートに従って音声再生処理を実行する。

ＣＰＵ３３は、選択情報に基づいて、選択された差分画像を特定する（ステップＳ４１）。
ＣＰＵ３３は、特定した差分画像に付加された撮影時刻情報を取得する（ステップＳ４２）。

ＣＰＵ３３は、取得した撮影時刻情報に対応する録音時刻を指定して、音声生成部３１に音声を再生させる（ステップＳ４３）。

次に、デジタルカメラ１の動作を具体的に説明する。
ＣＰＵ３３が録音の開始をボイスレコーダ２６に指示すると（ステップＳ１１の処理）、ボイスレコーダ２６は、音声を音声データに変換して、メモリ２３の音声データ記憶領域２３ｂに記録する。

また、ボイスレコーダ２６は、音声を音声データに変換したときに計時部２５が計時した時刻を録音時刻として録音時刻情報を取得し、取得した録音時刻情報を、音声データに付加する。

撮影部２１は、ＣＰＵ３３に制御されて、文字等が記載された白板２を撮影する（ステップＳ１２の処理）。そして、撮影部２１は、イメージセンサ２２上に、白板２の文字、図、写真等からの光を集光させて像を結像させる。

イメージセンサ２２は、ＣＰＵ３３によって制御され、結像した画像を、デジタル化した画像データとして取り込み、画像データを定期的に生成し、生成した画像データをメモリ２３に送出する。

メモリ２３は、イメージセンサ２２から送出された画像データをセンサ画像記憶領域２３ａに記憶する。

画像処理部２８は、画像が変化したか否かを判定する（ステップＳ１５の処理）。図１０に示すように、時刻ｔ１１において、なにも記載されていない白板２に、情報Ａが記載されると、画像処理部２８は、画像が変化したと判定する。

この場合、メモリ２３の処理画像記憶領域２３ｃには、画像データは記憶されていない。このため、画像処理部２８は、画像Ｇ１の歪み補正を行ってから、差分画像ｇ１を生成する（ステップＳ１６〜Ｓ１８の処理）。

画像処理部２８は、生成した差分画像ｇ１をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１９の処理）。ＣＰＵ３３は、この差分画像ｇ１に時刻情報ｔ１１を付加する（ステップＳ２０の処理）。

時刻ｔ１２になって、白板２に情報Ｂが記載されると、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、撮影によって得られた画像Ｇ２の歪み補正を行い、既に時刻ｔ１１において歪み補正を行った画像Ｇ１と、時刻ｔ１２において新たに歪み補正を行った画像Ｇ２と、を比較する。そして、画像処理部２８は、その差分画像ｇ２を生成する（ステップＳ１６〜Ｓ１８の処理）。画像処理部２８は、生成した差分画像ｇ２をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１９の処理）。

ＣＰＵ３３は、生成した差分画像ｇ２に時刻情報ｔ１２を付加し、画像処理部２８は、画像処理した前回撮影時の画像Ｇ１を消去する（ステップＳ２０，Ｓ２１の処理）。

時刻ｔ１３において、白板２に情報Ｃが記載されると、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、情報Ｃが追加された画像Ｇ３と画像Ｇ２との差分画像ｇ３を生成し、生成した差分画像ｇ３をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１６〜Ｓ１９の処理）。ＣＰＵ３３は、差分画像ｇ３に時刻情報ｔ１３を付加し、画像処理部２８は、画像Ｇ２を消去する（ステップＳ２０，Ｓ２１の処理）。

図１１に示すように、時刻ｔ１４において、情報Ａにマークが記載された場合、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、画像Ｇ４と画像Ｇ３との差分画像ｇ４を生成し、生成した差分画像ｇ４をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１６〜Ｓ１９の処理）。ＣＰＵ３３は、差分画像ｇ４に時刻情報ｔ１４を付加し、画像処理部２８は、画像Ｇ３を消去する（ステップＳ２０，Ｓ２１の処理）。

時刻ｔ１５において、白板２にコメントが記載された場合、画像処理部２８は、画像が変化したと判定する（ステップＳ１５の処理）。画像処理部２８は、画像Ｇ５と画像Ｇ４との差分画像ｇ５を生成し、生成した差分画像ｇ５をメモリ２３の差分画像記憶領域２３ｄに記憶する（ステップＳ１６〜Ｓ１９の処理）。ＣＰＵ３３は、差分画像ｇ５に時刻情報ｔ１５を付加し、画像処理部２８は、画像Ｇ４を消去する（ステップＳ２０，Ｓ２１の処理）。

ここで、ユーザがシンクロモードを解除する操作を行うと、操作部２７は、この操作情報をＣＰＵ３３に送信する。ＣＰＵ３３は、この操作情報を受信して、記録処理と終了と判定し（ステップＳ２２の処理）、記録処理を終了させる。尚、ＣＰＵ３３は、記録処理の終了に際し、画像Ｇ５を消去する。

次に、ユーザが操作部２７を操作して、音声再生を選択した場合、ＣＰＵ３３は、操作部２７からのこの操作情報を受信して、画像合成を行う。まず、画像処理部２８は、メモリ２３の差分画像記憶領域２３ｄから、すべての差分画像ｇ１〜ｇ５を読み出して、読み出した差分画像ｇ１〜ｇ５を合成し、図１１に示す最終画像Ｇ５を復元する（ステップＳ３１，Ｓ３２の処理）。

画像処理部２８は、復元した最終画像Ｇ５をメモリ２３の表示画像記憶領域２３ｅに記憶する（ステップＳ３３の処理）。表示制御部２４は、この画像Ｇ５を表示画像記憶領域２３ｅから読み出して、液晶モニタ１３に表示させる。

最終画像Ｇ５を液晶モニタ１３に表示することによって、ユーザは、この液晶モニタ１３に表示された差分画像ｇ１〜ｇ５をインデックスとして、音声の再生箇所を選択することが可能になる。

例えば、ユーザによって液晶モニタ１３のタッチパネルが押されて情報Ｂが選択された場合、操作部２７は、この情報Ｂが選択された旨の選択情報をＣＰＵ３３に送信する。

ＣＰＵ３３は、この選択情報を受信すると、選択情報に基づいて選択された差分画像ｇ２を特定する（ステップＳ４１の処理）。

ＣＰＵ３３は、差分画像ｇ２に付加された撮影時刻情報ｔ１２を取得する（ステップＳ４２の処理）。

ＣＰＵ３３は、取得した撮影時刻情報ｔ１２に対応する録音時刻を指定して、音声再生部３１に音声を再生させる（ステップＳ４３）。

音声再生部３１は、メモリ２３の音声データ記憶領域２３ｂから、指定された録音時刻の音声データを読み出して、読み出した音声データを再生する。

また、画像処理部２８は、液晶モニタ１３に、時刻ｔ１２までの差分画像ｇ１とｇ２とを合成し、画像Ｇ２を復元し、復元した画像Ｇ２を表示画像記憶領域２３ｅに記憶する。表示制御部２４は、表示画像記憶領域２３ｅから、この画像Ｇ２を読み出して液晶モニタ１３に表示させる。

音声が時刻ｔ１３まで再生されると、画像処理部２８は、差分画像ｇ３をメモリ２３の差分画像記憶領域２３ｄから読み出して、画像Ｇ２に差分画像ｇ３を合成して画像Ｇ３を復元する。画像処理部２８は、復元した画像Ｇ３を表示画像記憶領域２３ｅに記憶する。表示制御部２４は、この画像Ｇ３を表示画像記憶領域２３ｅから読み出し、読み出した画像Ｇ３を液晶モニタ１３に表示させる。

このように、ユーザによって画像Ｇ２が選択された場合、このデジタルカメラ１は、差分画像ｇ２をインデックスとして、時刻ｔ１２から音声を再生する。

以上説明したように、本実施形態によれば、記録処理において、ボイスレコーダ２６は、録音を行い、画像処理部２８は、差分画像を生成し、ＣＰＵ３３は、音声データ、生成した差分画像に時刻情報を付加する。そして、再生処理において、画像が選択されると、ＣＰＵ３３と音声再生部３１とは、選択画像に対応する時刻から音声を再生するようにした。

従って、記憶容量を低減しつつ、最終画像から選択された画像に対応する音声を再生することができる。また、画像を確認して音声にランダムアクセスすることができる。

また、従来のカメラでは、サイズに制限がある液晶モニタ１３に、すべての被写体画像を表示するようにしているので、情報Ａ〜Ｃ、コメント等が小さく表示され、各情報が見づらくなってしまう。これに対して、本実施形態のデジタルカメラ１では、最終画像だけを液晶モニタ１３に表示して、各差分画像を個々に選択できる。

このため、液晶モニタ１３に表示された各情報が見やすくなり、記載事項の履歴を把握しやすくなり、また、画像の選択作業も容易となる。従って、本実施形態に係るデジタルカメラ１は、プレゼンテーション用として、特に有効である。

尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施形態では、画像の変化を判別し、画像が変化したときの被写体画像を記憶するようにした。しかし、画像変化を判別しなくても、シャッターを押下することにより、手動で被写体画像を取り込み、取り込んだ被写体画像を記憶するようにすることもできる。

また、音声を再生する場合、それぞれのシャッタータイミングの一定時間前から音声の再生を開始するようにすることもできる。あるいは、シャッタータイミングより以前に、無音声状態から音声がある状態に切り替わるタイミングがある場合、このタイミングから再生を開始することもできる。

また、指定時刻に追記した画像をハイライト等で明示することもでき、全体の画像インデックスを明示してもよい。

上記実施形態では、白板２に追加された内容の画像だけでなく、削除された内容の画像も音声再生に従って、液晶モニタ１３に表示させることもできる。

即ち、図１２に示すように、時刻ｔ１２〜ｔ１３の間の時刻ｔ２１において、情報Ｄが追加され、時刻ｔ２２において、情報Ｄが削除された場合、画像処理部２８は、時刻ｔ２１において、画像Ｇ１１と画像Ｇ２との差分画像ｇ１１を生成する。

時刻ｔ２２において、画像処理部２８は、画像Ｇ１２と画像Ｇ１１との差分画像ｇ１２を生成する。但し、差分画像ｇ１２は、情報Ｄが削除されたことを示す画像である。

そして、記録再生時に、画像Ｇ２が選択された場合、画像処理部２８は、差分画像ｇ１、ｇ２、ｇ１１、ｇ１２から、画像Ｇ２、Ｇ１１，Ｇ１２を復元し、表示制御部２４は、液晶モニタ１３にこの復元した画像Ｇ２、Ｇ１１，Ｇ１２を表示させる。

このようにすれば、音声の再生に伴って、削除された画像も時系列的に表示させることができる。

上記実施形態では、音声画像記録装置、音声画像再生装置をデジタルカメラに適用した場合について説明した。しかし、これに限らず、ＰＤＡ（Personal Digital Assistance；携帯情報端末）、携帯電話等に適用することもできる。

また、上記実施形態では、画像処理部２８が画像の歪み補正を行うようにした。しかし、特に歪み補正を行う必要がなければ、このような処理を省略することができる。

また、上記実施形態では、液晶モニタ１３に表示された画像のうち、選択可能な画像は１つとして説明した。しかし、選択可能な画像は１つである必要はなく、例えば、２つの画像選択して、音声の再生範囲を指定することもできる。さらには、画像を２つ選択することができれば、指定された範囲内で音声を繰り返し再生するように構成されることもできる。

また、上記実施形態では、液晶モニタ１３に、タッチパネルを備えるようにした。しかし、画像の選択情報を取得できれば、必ずしも、タッチパネルを備える必要はなく、タッチパネルの代わりに、例えば、マウス、トラックボール、キーボード、タブレット、画像の一部を指定することができるポインティング装置等を備えることもできる。

また、上記実施形態では、復元した画像を液晶モニタ１３に表示させるようにした。しかし、デジタルカメラ１に、コンピュータ又はプロジェクタを接続し、復元した画像をコンピュータのディスプレイに表示させたり、プロジェクタからスクリーンに復元した画像を投影することもできる。

さらに、上記実施の形態では、プログラムが、プログラムコード記憶部３２に予め記憶されているものとして説明した。しかしながら、これらのプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）などのコンピュータ読み取り可能な記録媒体に格納して配布するものとしてもよい。そして、インターネット上のサーバ装置が有するディスク装置等にプログラムを格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロード等するものとしてもよい。）

本発明の実施形態に係るデジタルカメラの外観を示す図である。 図１に示すデジタルカメラの機能を説明するための図である。 図１に示すデジタルカメラの構成を示すブロック図である。 図３に示すメモリの記憶領域を示す図である。 図３に示す画像処理部が実行する画像の歪み補正処理を示す図である。 図３に示す画像処理部が実行する差分画像生成処理を示す図である。 図１に示すデジタルカメラが実行する記録処理を示すフローチャートである。 図１に示すデジタルカメラが実行する画像合成処理を示すフローチャートである。 図１に示すデジタルカメラが実行する音声再生処理を示すフローチャートである。 図１に示すデジタルカメラの具体的な動作（その１）を示す図である。 図１に示すデジタルカメラの具体的な動作（その２）を示す図である。 図１に示すデジタルカメラの応用例として、画像を削除した場合の動作を示す図である。

符号の説明

１・・・デジタルカメラ、２・・・白板、１３・・・液晶モニタ、２１・・・撮影部、２２・・・イメージセンサ、２３・・・メモリ、２４・・・表示制御部、２５・・・計時部、２６・・・ボイスレコーダ、２７・・・操作部、２８・・・画像処理部、３１・・・音声再生部、３３・・・ＣＰＵ

Claims (4)

1. 録音時刻情報が付加された音声データを記憶する音声データ記憶部と、
   第１の被写体画像と第２の被写体画像との差分からなる差分画像に、前記第２の被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶部と、
   前記音声データ記憶部が記憶する音声データに基づいて、指定された録音時刻から音声を再生する音声再生部と、
   前記差分画像データ記憶部が記憶するデータに基づいて、すべての差分画像を合成し最終画像を復元する最終画像復元部と、
   前記最終画像復元部が復元した最終画像を表示する最終画像表示部と、
   前記最終画像表示部が表示した最終画像の中から選択された差分画像を特定するための選択情報を取得する画像選択情報取得部と、
   前記画像選択情報取得部が取得した選択情報に基づいて、特定された差分画像を含む画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生部に音声を再生させる再生制御部と、
   を備えたことを特徴とする音声画像再生装置。
2. 前記音声再生部が再生する音声の録音時刻情報と前記差分画像のデータに付加された撮影時刻情報とを参照して、音声を再生する録音時刻以前の差分画像を合成して合成画像を生成する合成画像生成部と、
   前記合成画像生成部が合成した合成画像を前記録音時刻に合わせて表示する合成画像表示部と、
   を更に備えたことを特徴とする請求項１に記載の音声画像再生装置。
3. 録音時刻情報が付加された音声データを記憶する音声データ記憶ステップと、
   第１の被写体画像と第２の被写体画像との差分からなる差分画像に、前記第２の被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶ステップと、
   前記音声データ記憶ステップにて記憶された音声データに基づいて、指定された録音時刻から音声を再生する音声再生ステップと、
   前記差分画像データ記憶ステップにて記憶されたデータに基づいて、すべての差分画像を合成し最終画像を復元する最終画像復元ステップと、
   前記最終画像復元ステップが復元した最終画像を表示する最終画像表示ステップと、
   前記最終画像表示ステップにて表示された最終画像の中から選択された差分画像を特定するための選択情報を取得する画像選択情報取得ステップと、
   前記画像選択情報取得ステップが取得した選択情報に基づいて、特定された差分画像を含む画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生ステップに音声を再生させる再生制御ステップと、
   を含むことを特徴とする音声画像再生方法。
4. 表示部を有するコンピュータを、
   録音時刻情報が付加された音声データを記憶する音声データ記憶手段、
   第１の被写体画像と第２の被写体画像との差分からなる差分画像に、前記第２の被写体画像の撮影時刻情報が付加されたデータを記憶する差分画像データ記憶手段、
   前記音声データ記憶手段が記憶する音声データに基づいて、指定された録音時刻から音声を再生する音声再生手段、
   前記差分画像データ記憶手段が記憶するデータに基づいて、すべての差分画像を合成し最終画像を復元する最終画像復元手段、
   前記最終画像復元手段が復元した最終画像を前記表示部に表示させる最終画像表示制御手段、
   前記最終画像表示制御手段に表示された最終画像の中から選択された差分画像を特定するための選択情報を取得する画像選択情報取得手段、
   前記画像選択情報取得手段が取得した選択情報に基づいて、特定された差分画像を含む画像の撮影時刻情報に対応する録音時刻を指定して前記音声再生手段に音声を再生させる再生制御手段、
   として機能させることを特徴とするプログラム。

Images