本発明にかかる実施形態の撮像装置は、音声に応じた撮像画像を表示させることができる。すなわち、本実施形態の撮像装置は、画像表示装置となり得る。さらに、この撮像装置は、音声をテキスト化して、そのテキスト及びそのテキストに応じた撮像画像を表示させることができる。
さらに、操作部材を用いてそのテキスト及びその撮像画像を操作することができる。そしてその操作に基づいて、様々な表示形態でそのテキスト及びそのテキストに応じた撮像画像を表示させることができる。
それでは、以下に本発明の実施形態の詳細について説明する。
図1は、本実施形態における撮像装置の構成を示す。本発明にかかる撮像装置1は、静止画撮影機能(静止画モード)と動画撮影機能(動画モード)を備えている。そのため、この撮像装置1を用いて、静止画又は動画を選択的に撮影できる。
撮像装置1は、さらに、集音機能を備えている。そのため、この撮像装置1を用いて、撮影前、撮影中、及び撮影後での音声の録音が可能である。このような撮像装置1の一例には、例えば、デジタルカメラがある。
撮像装置1は、レンズ2、撮像素子3、撮像回路4、AE(自動露出)制御回路5、AF(オートフォーカス)制御回路6、画像処理回路7、着脱メモリ8、内蔵メモリ9、パワーSW(スイッチ)10、電池11、電源回路12、CPU13、計時手段14、モードSW(スイッチ)15、操作部材16、音声検出手段17、音声出力手段18、音声→文字変換手段19、表示駆動回路20、表示部材21、及びバス22から構成される。
レンズ2は、被写体像を撮像素子3へ結像する。撮像素子3は、撮影レンズ2の作用により撮像素子3上に結像されている被写体像を光電変換して画像を表現している電気信号を出力する。撮像素子3は、例えば、CCD(Charge Coupled Device)である。
撮像回路4は、ノイズ成分を低減させるCDS(Correlated DoubleSampling)、信号レベルを安定化させるAGC(Automatic Gain Control)、及びアナログ電気信号をデジタル電気信号に変換するA/D等を有する。そうして、この撮像回路4は、撮像素子3から出力されたアナログ電気信号のノイズ成分を低減させると共に、信号レベルを安定化させ、それをデジタル電気信号に変換して出力する。
AE(自動露出)制御回路5は、露出の制御を行う機構である。AF(オートフォーカス)制御回路6は、画像データを用いてコントラストAF処理又は不図示の測距センサによるAF処理を行う回路である。
画像処理回路7は、画像データの記録の際に行うガンマ補正やホワイトバランス補正等の補正処理や、画像を構成する画素数を増減させる画像の拡大・縮小処理(リサイズ処理)、等といった各種の画像処理を行う。
着脱メモリ8は、このデジタルカメラに着脱可能な記録媒体であって、このデジタルカメラで撮影された静止画若しくは動画を表現している画像データ等が記録される保存用の記録媒体である。例えば、この着脱メモリ8は、xDカード、スマートメディア(登録商標)やコンパクトフラッシュ(登録商標)等のメモリカード等である。この着脱メモリ8は、撮像装置1に設けられた不図示のインターフェースに挿入されることにより、撮像装置1と着脱メモリ8との間でのデータの授受を行う。
内蔵メモリ9は、本実施形態において、例えば、撮像回路4から出力されるデジタル電気信号である画像データ(静止画若しくは動画を表現している画像データ、以下同じ)や画像処理回路7による各種画像処理における処理中の画像データ等の一時保存用として使用されたり、CPU13による制御処理の実行のためのワークエリアとして使用されたり、または一定量のデータを格納する保存用等として使用されたりするメモリの総称である。
CPU13は、中央演算処理部であり、内蔵メモリ9に格納されている所定のカメラプログラムを実行することで、このデジタルカメラ全体の動作を制御する。尚、この内蔵メモリ9は、電気的に書き換え動作を行わせることも可能な不揮発性メモリであり、CPU13により実行されるカメラプログラムの他、そのカメラプログラムの実行中に使用される各種データ等が格納される。
パワーSW(スイッチ)10は、電源回路12を介して電池からの電力を撮像装置1の構成要素となる各回路に供給させるためのスイッチである。電源回路12は、昇圧回路や保護回路などを備えた回路である。
計時手段14は、所定時間の経過をカウントするためのタイマー機能を有するものである。この計時手段14は、回路またはプログラムにより当該機能を実現することができる。モードSW(スイッチ)15は、撮像時の各種モードまたは再生時の各種モードを切り替えるためのスイッチである。
操作部材16は、撮影者からの各種指示を受け付け、それをCPU13へ通知するための各種ボタン等である。操作部材16は、例えば、メニューボタン、十字ボタン、OKボタン、レリーズボタン、録音開始ボタン、録音終了ボタン等である。
メニューボタンは、表示部材21へのメニュー表示指示を可能にさせるためのものである。十字ボタンは、表示部材21に表示されている各種項目や画像等の選択を可能にさせるためのものである。OKボタンは、選択されている項目や画像等の決定指示を可能にさせるためのものである。レリーズボタンは、静止画撮影指示及び動画撮影開始/終了指示を可能にさせるためのものである。録音開始ボタンは、録音開始指示を可能にさせるためのものである。録音終了ボタンは、録音終了指示を可能にさせるためのものである。
尚、このデジタルカメラでは、動画撮影開始指示と動画撮影終了指示を1つのレリーズボタンにより可能なように構成されているがこれに限定されず、それぞれの指示毎にボタンを設けるように構成しても良い。
音声検出手段17は、マイクと、そのマイクより入力された音声を検出して電気信号に変換する回路とを含む機構である。音声出力手段18は、この電気信号を音声に変換して出力するための機構である。
音声→文字変換手段19は、音声検出手段17から出力された音声信号を認識して文字に変換する回路である。なお、音声→文字変換手段19は、当該機能を実行するためのプログラムであってもよく、この場合、CPU13により読み込まれて実行される。
表示部材21は、例えば、LCDディスプレイ、液晶ディスプレイ、または有機ELディスプレイ等である。表示駆動回路20は、表示部材21を駆動させて、表示部材21に画像が表示できる状態にするための回路である。
バス22は、CPU13が各種回路や機構等を制御するためにそのような回路(機構)と接続するためのバスである。バス22は、さらに、不図示の映像信号生成回路、圧縮伸長回路とも接続されている。
映像信号生成回路(不図示)は、画像処理回路7により画像処理された画像データから、表示部材21が表示可能な映像信号を生成してこの表示部材21へ出力する、等といった処理を行う。これにより、表示部材21には、その映像信号に基づく映像(静止画や動画等)が表示される。
圧縮伸長回路(不図示)は、画像データの記録・再生のための、例えば、JPEG(Joint Photographic Experts Group)方式等による画像データの圧縮・伸張処理を行う。
図2は、本実施形態における撮像装置1の再生条件を示す。枠30には、音声信号31(31a,31b)と画像ファイルとの関連を時系列で示す。音声信号31は、Highの場合には「音声あり」を示し、Lowの場合には「音声無し」を示す。
画像ファイルの種類には、音声無し静止画ファイル(S)と、音声付き静止画ファイル(SSa−1,SSa−2,・・・、SSb−1,SSb−2,・・・、これらを総称してSS*−*と表す)と、動画ファイル(M)とがある。
音声付き静止画ファイルSS*−*と音声信号31とを結んでいる線は、音声信号と画像の関連付けの位置を示す。音声信号と画像とが関連付けられている場合、その画像が再生されると、その画像に関連付けられた音声も再生される。その画像に対応する音声の再生は、その画像と関連付けられた位置から、次に関連付けが行われている位置の直前またはその音声信号が終了するまでの音声信号が対象となる。例えば、図2では、SSa−1が再生された場合に再生される音声信号は、SSa−1と関連付けられた位置32−1から次の画像SSa−2と関連付けられた位置32−2の直前までに対応する音声信号である。また、例えば、図2では、SSa−5が再生された場合に再生される音声信号は、SSa−5と関連付けられた位置32−3から当該音声信号31aが終了する位置32−4までに対応する音声信号である。
なお、音声無し静止画ファイルSには、音声信号31と関連付けられていないのは言うまでもない。また、本実施形態において、音声信号31と動画ファイルMとも関連付けられていない。
次に、枠30で示されたような音声信号31(31a,31b)と画像ファイルとの関係における、再生条件の一例を説明する。
全ての画像ファイルを再生する再生条件の場合(図2(a)の場合)、「S→S→SSa−1→SSa−2→SSa−3→SSa−4→SSa−5→M→S→SSb−1→SSb−2→SSb−3→S」が再生される。
音声の出力部分(音声信号がHighである部分)に関連付けされている音声のみ再生する再生条件の場合(図2(b)の場合)、「SSa−1→SSa−2→SSa−4→SSb−2→SSb−3」が再生される。
音声に関連付けされている画像のみ再生する再生条件の場合(図2(c)の場合)、「SSa−1→SSa−2→SSa−3→SSa−4→SSa−5→SSb−1→SSb−2→SSb−3」が再生される。
図3は、本実施形態における画像ファイル、音声ファイル、及び画像/音声管理ファイルの一例を示す。なお、これらのファイルは、通常、着脱メモリ8に格納されているが、これに限定されず、内蔵メモリ9に記憶されていてもよい。
本実施形態では一例として、画像ファイルとしてJPEG形式(ファイル名:***.jpg)を用いるが、これに限定されず、例えば、TIFF形式やGIF形式等であってもよい。
また、本実施形態では一例として、音声ファイルとしてwav形式(ファイル名:***.wav)を用いるが、これに限定されず、例えば、MP3形式やWMA形式等であってもよい。
画像/音声管理ファイルは、画像ファイル及び音声ファイルを管理するファイル(本実施形態では、ファイル名:***.setで表す)である。この画像/音声管理ファイルは、図2の枠30で示した音声データと画像データとの関連付け情報が格納されている。具体的には、例えば、音声データにおいて、画像データと関連付けられている位置情報(例えば、図2の32−1,32−2,32−3等に相当する情報)や、音声ファイルのうち音声なしの部分の位置を示す情報(図2の音声信号31のLow部分に相当する情報)等が格納されているものである。
図3において、符号40は、画像/音声管理ファイル名が「0001.set」であることを示す。符号41は、音声ファイル名が「0001.wav」であることを示す。符号42は、画像ファイル名「0001.jpg,0002.jpg,・・・,0021.jpg」を示している。符号43は、画像ファイル名42を音声ファイル名41に対して数文字分字下げすることで、音声ファイル41と画像ファイル42との組が定義されていることを示している。
符号44は、音声データのどの部分と画像とが関連付けされているかを定義している部分である。同図の符号44では、「音声データ内のアドレス:画像ファイル番号」(000A:0001.jpg,001C:0002.jpg,・・・,03DF:0021.jpg)でその関連付けられた位置を示している。
このような画像/音声管理ファイルを用いることにより、1つの連続した音声に対して複数の画像を関連付けることができる。なお、上記の画像/音声管理ファイルでは、wav形式の音声ファイルと画像ファイルとを関連付けたが、これに限定されない。例えば、音声→文字変換手段19によりテキスト化された音声のテキストファイルと、画像ファイルとを関連付けてもよい。なお、この場合、このテキストファイルは、着脱メモリ8に格納されている。以下では、説明の便宜上、画像/音声管理ファイルの管理対象ファイルは、音声→文字変換手段19によりテキスト化された音声のテキストファイルと、画像ファイルとする。
さて、ここで、図2と図3とを参照する。図3の符号41は、図2の音声信号31a(または31b)に相当する。図3の符号42は、図2の音声付き静止画SSa−1,SSa−2,SSa−3,SSa−4,SSa−5に相当する。図3の符号44は、音声信号31aについて、「32−1:SSa−1」、「32−2:SSa−2」、・・・と表すことができる。
次に、音声付画像の撮影方法について説明する。撮影方法には、例えば、第1の撮影方法と第2の撮影方法がある。
まず、第1の撮影方法について説明する。操作部材16の1つであるメニューボタンを押下すると、表示部材21にメニュー画面が表示される。そのメニューから「録音スタート」を選択する。録音をしながら、レリーズボタンを押下することにより被写体を撮影する。このとき、撮像装置1において、撮影した画像は録音した音声と関連付けられる(この間、撮影は複数回可能である)。その後、メニュー画面で録音終了を選択し、一連のセット撮影を終了する。
次に、第2の撮影方法について説明する。操作部材16の1つである録音ボタンを押下することにより録音をスタートさせた後、レリーズボタンを押下することによりそのタイミングで撮影した画像と録音した音声とを関連付け、再度録音ボタンを押下することにより、一連のセット撮影を終了する。
なお、上記の第1及び第2の撮影方法において、カメラからは極力音は出さないようにする。
次に、撮像装置1側における撮像及び録音プロセスについて説明する。
図4は、本実施形態における撮影フローチャートを示す。まず、ユーザはパワーSW10をONにして撮像装置1を起動させる(プロセス1、以下、プロセスを「P」と称する)。
次に、CPU13は、撮像装置1を撮影可能状態へ遷移させる(P2)。ここでは、CPU13は、撮像装置1の各構成要素の初期化等、撮像装置1が撮影動作を行なうために必要な各種の初期設定の処理を行なう。具体的には、例えば、CPU13は、AE制御回路5を駆動させて、AE制御回路5にAE制御をさせたり、またはAF制御回路6を駆動させて、AF制御回路6にAF制御をさせたりする。さらに、内蔵メモリ9に格納されている本実施形態にかかるプログラムがCPU13より読み出され、以下のフローが実行される。
次に、CPU13は、録音中フラグに基づいて当該撮像装置1が録音中か否かを判断する(P3)。録音中フラグは、内蔵メモリ9の所定の領域に格納されている、録音状態を判別するためのフラグ情報である。CPU13は、録音中フラグ=1の場合、録音中であると判断し、録音中フラグ=0の場合、録音中でないと判断する。電源投入直後は、当該撮像装置1は初期化されているので、録音中フラグ=0である。
録音中フラグ=0の場合(P3で「NO」へ進む)、CPU13は、P4の処理を行う。また、録音中フラグ=1の場合(P3で「NO」へ進む)、CPU13は、P8の処理を行う。
P4で、録音開始指示信号を検知した場合(P4で「YES」へ進む)、CPU13はP8の処理を行う。録音開始指示信号は、録音開始ボタンが押下されることにより発信される信号である。CPU13は、P4で録音開始指示信号を検知しなかった場合(P4で「NO」へ進む)、P5の処理を行う。
CPU13は、静止画撮影指示信号を検知しなかった場合(P5で「NO」へ進む)、P15の処理を行う。静止画撮影指示信号は、レリーズボタンが押下されることにより発信される信号である。
P5で、静止画撮影指示信号を検知した場合(P5で「YES」へ進む)、CPU13は撮影処理を行う(P6)。具体的には、CPU13の制御により、撮像素子3に結像されている被写体像の取り込みが開始される。
次に、撮影された静止画像が着脱メモリ8に記録される(P7)。具体的には、CPU13の制御により、撮像素子3や撮像部4等を介して得られた静止画像を表現している画像データ(以下、単に静止画データという)が着脱メモリ8へ格納される。その後、CPU13は、P15の処理を行う。
上述したように、P3及びP4のそれぞれで「YES」へ進んだ場合、CPU13は、録音中フラグに1をセットする(P8)。それから、CPU13は、音声データの記録を開始する(P9)。具体的には、CPU13は、音声検出手段17を駆動させて、音声検出手段17に入力された音声を電気信号に変換して音声データとする。CPU13は、その音声データを着脱メモリ8に格納する。また、CPU13は、その音声データを音声→文字変換手段19を介してテキストデータに変換し、そのテキストデータを着脱メモリ8に格納する。
P10で、音声データの記録中に静止画撮影指示信号を検知しなかった場合(P10で「NO」へ進む)、CPU13は、P13の処理を行う。また、P10で、音声データの記録中に静止画撮影指示信号を検知した場合(P10で「YES」へ進む)、CPU13は、撮影処理を行う(P11)。P11の撮影処理は、P6と同様である。
次に、CPU13は、P11で撮影された静止画データを、その音声データ(またはテキスト化されたデータ)と関連づけて記録する(P12)。具体的には、図3で説明した画像/音声管理ファイルが作成される。それから、CPU13は、この画像/音声管理ファイルに、静止画データと音声データ(またはテキスト化されたデータ)とを関連付けを示すデータを書き込み、この画像/音声管理ファイルを着脱メモリ8に格納する。その後、CPU13は、P13の処理を行う。
次に、CPU13は、録音終了指示信号を検知した場合(P13で「YES」へ進む)、録音中フラグをクリアにして録音中フラグ=0とする(P14)。ここで、録音終了指示信号は、録音終了ボタンが押下されることにより発信される信号である。CPU13は、録音終了指示を検知しなかった場合(P13で「NO」へ進む)、またはP14の処理が終了した場合、P15の処理を行う。
CPU13は、パワーSW10により電源がOFFになるまで、上述のP3〜P14の処理を繰り返す(P15)。パワーSW10により電源がOFFにされた場合、CPU13は撮像装置1をパワーオフ状態へ遷移させる(P16)。
次に、撮影した画像の再生において、操作部材16を用いることにより表示部材21の表示領域に表示される画像及び文字(テキスト)を操作する場合について説明する。
図5は、本実施形態における撮像装置1の背面を示す図である。撮像装置1の背面に設けられている操作部材16には、一例として、フラッシュボタン16a、セルフタイマーボタン16b、マクロボタン16c、メニューボタン16d、決定ボタン16e、及び十字キー16fがある。
十字キー16fは、表示部材21に表示されるカーソル等を上下左右に移動させたり、表示部材21に表示される画像及ぶ文字を選択したり、フレーム画像を送ったり(次の画像を表示させること)もしくは戻したり(1つ前の画像を表示させること)、または文字(テキスト)を送ったり(次の文字(文字列)を表示させること)もしくは戻したり(1つ前の文字(テキスト)を表示させること)等するためのものである。十字キー16fには、上キー、下キー、左キー、右キーが設けられている。
表示部材21には、1つまたは複数の画像を表示させる画像表示領域21aと、テキストを表示させる文字表示領域21bとがある。同図では、画像表示領域21aには、9つの画像がサムネイル形式で表示されている。
なお、文字表示領域21bの大きさ等より、1度に表示させる文字数は制限されているので、その制限を越えた文字列は十字キーを操作して文字表示領域21bをスクロールさせることにより表示させることができる。以下では、1度に文字表示領域21bに表示させるテキストの単位を「ページ」という。例えば、あるテキストファイルに含まれる文字数が65文字あり、文字表示領域21bの文字の表示制限が20文字である場合、20文字×3ページ+5文字×1ページの4ページで表示させることができる。また、1回のスクロール操作で次ページまたは1つ前のページを表示させることができる。
図6は、十字キー16fの動作と、表示部材21に表示される画像と文字との関係を示す。同図では、文字表示領域21b、画像表示領域21aへの操作が自動であるか否かを示し、さらに画像表示領域21aと文字表示領域21bとの動作が同期(同期:○、非同期:×)しているか否かを示している。
同図では、一例として、パターン1からパターン7について説明する。
パターン1の場合、十字キー16fの上キーを押下することで画像表示領域21a、下キーを押下することで文字表示領域21bを選択することができる。画像表示領域21aを選択した場合、左右キーにより、次の画像を送ったり、前の画像を戻したりできる。文字表示領域21bを選択した場合、左右キーにより、次の文字を送ったり、前の文字を戻したりできる。この場合、画像表示領域21aの動作と文字表示領域21bの動作は非同期である。
パターン2の場合、文字表示領域21bの文字は一定時間で表示が切り替わり、画像表示領域21aの画像は十字キーで上下左右に選択できる。この場合、画像表示領域21aの動作と文字表示領域21bの動作は非同期である。
パターン3の場合、画像表示領域21aの画像は一定時間で表示が切り替わり、文字表示領域21bの文字は十字キーで送ったり戻したりできる。この場合、画像表示領域21aの動作と文字表示領域21bの動作は非同期である。
パターン4の場合、画像表示領域21aの画像がある時間毎(所定の時間または等分割時間)に自動的に切り替わり、文字表示領域21bの文字がある時間毎(所定の時間または等分割時間)に自動的に切り替わる。この場合、画像表示領域21aの動作と文字表示領域21bの動作は非同期である。したがって、画像表示領域21aと文字表示領域21bの切り替え時間は異なっている場合もあり得る。
パターン5の場合、パターン4において画像表示領域21aの動作と文字表示領域21bの動作とを同期させたものである。したがって、両方の関連付けを基に自動的に表示が切り替わる。
パターン6の場合、テキストと画像とが関連付けられているため、文字表示領域21bの文字を十字キーで送ったり戻したりすると、テキストの切り替えに伴って画像が自動的に切り替わる。
パターン7の場合、テキストと画像とが関連付けられているため、画像表示領域21aの画像を十字キーで送ったり戻したりすると、画像の切り替えに伴って文字が自動的に切り替わる。
次に、撮像装置1により撮影した画像の再生に関して説明する。
図7は、本実施形態における撮像装置1の再生フローを示す。まず、ユーザはパワーSW10をONにして撮像装置1を起動させる(P21)。
次に、ユーザは、モードSW15により、「全画像再生モード」、「音声付画像再生モード」、「音声無し画像再生モード」のいずれかの再生モードを選択する。なお、「音声付画像再生モード」には、さらに、「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」、「音声付画像のうち画像だけを再生する再生モード」、「音声付画像を全て再生する再生モード」があり、いずれかを選択することができる。
モードSW15による指示信号を検知して、CPU13は、撮像装置1を再生状態へ遷移させる(P22)。CPU13は、撮像装置1の表示部材21に画像を再生させるために必要な各種の初期設定の処理が行なわれる。例えば、内蔵メモリ9に格納されている本実施形態にかかるプログラムがCPU13より読み出され、以下のフローが実行される。
CPU13は、検知した指示信号に基づいて、選択されている再生モードが「全画像再生モード」か否かを判定する(P23)。「全画像再生モード」が選択されている場合(P23で「YES」へ進む)、CPU13は、「全画像再生モード」処理を実行する(P24)。
P23で「全画像再生モード」が選択されていない場合(P23で「NO」へ進む)、CPU13は、選択されている再生モードが「音声付画像再生モード」か否かを判定する(P25)。「音声付画像再生モード」が選択されている場合(P25で「YES」へ進む)、CPU13は、さらに、音声付画像のうち画像だけ再生するモード(すなわち、「音声付画像のうち画像だけを再生するモード」のこと)か否かを判定する(P26)。
「音声付画像のうち画像だけ再生するモード」が選択されている場合(P26で「YES」へ進む)、CPU13は、「音声付画像のうち画像だけを再生するモード」処理を実行する(P27)。
「音声付画像のうち画像だけ再生するモード」が選択されていない場合(P26で「NO」へ進む)、CPU13は、「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」が選択されているかを判定する(P28)。
「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」が選択されている場合(P28で「YES」へ進む)、CPU13は、「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」処理を実行する(P29)。
P28で「音声付画像のうち音声が所定値以上の部分に関連付けされた画像だけ再生する再生モード」が選択されていない場合、すなわち、「音声付画像を全て再生する再生モード」が選択されている場合(P28で「NO」へ進む)、CPU13は、「音声付画像のうち画像だけを再生する再生モード」処理を実行する(P30)。
P25で、「音声付画像再生モード」が選択されていない場合、すなわち、「音声無し画像再生モード」が選択されている場合(P25で「NO」へ進む)、CPU13は、「音声無し画像再生モード」処理を実行する(P31)。
上記のそれぞれの再生モードは、図2で説明したように、それぞれの再生条件に適合する画像が抽出されて、再生される。なお、再生される画像群の再生順は、通常、撮影順(すなわち時系列)であるが、これに限定されず、例えば、編集等により任意に再生順を設定していてもよい。
次に、図7のそれぞれの再生モードにおいて、図6の操作を行う場合の詳細な処理フローを説明する。
図8は、図6のパターン1に対応する処理フローを示す。同図のフローは、画像表示領域21a及び文字表示領域21bのうち選択した方の画像又はテキストについて、手動で画像送りやテキスト送り等をするフローである。
まず、ある画像(例えば、画像1)が画像表示領域21aに再生される(P41)。CPU13は、画像/音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する(P42)。P42で、その再生中の画像が音声付画像でないと判定した場合(P42で「NO」へ進む)、CPU13は、文字表示領域21b内を非表示、すなわちクリアにする(P43)。これは、ループ処理がなされた場合、文字表示領域21bに表示されている前回のテキストをクリアにするためである。
P42で、その再生中の画像が音声付画像であると判定した場合(P42で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる(P44)。
次に、CPU13は、上キーまたは下キーが操作されたかを判定する(P45)。P45で、上キー及び下キーのいずれもが操作されていないと判定した場合(P45で「なし」へ進む)、CPU13は、P49の処理を実行する。なお、音声無し画像の場合は、当該判断は行わず、P49へ進む。
P45で、上キーまたは下キーが操作されたと判定した場合(P45で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれか操作されたかを判定する(P46)。
P46で、下キーが操作されたと判定した場合(P46で「下」へ進む)、CPU13は、文字表示領域21bに表示されたテキストにカーソルを移動させる(P47)。また、P46で、上キーが操作されたと判定した場合(P46で「上」へ進む)、CPU13は、画像表示領域21aに表示された画像にカーソルを移動させる(P48)。
次に、CPU13は、左キーまたは右キーが操作されたかを判定する(P49)。P49で、左キー及び右キーのいずれもが操作されていないと判定した場合(P49で「なし」へ進む)、CPU13は、P54の処理を実行する。なお、音声無し画像の場合は、後述するP52の処理を行って、P54へ進む。
P49で、左キーまたは右キーが操作されたと判定した場合(P49で「あり」へ進む)、CPU13は、カーソルが画像表示領域21a及び文字表示領域21bのうちのいずれかにあるかを判定する(P50)。
P50で、カーソルが文字表示領域21bにあると判定した場合(P50で「テキスト」へ進む)、CPU13は、左キーが操作されたならテキストのページを1つ戻した内容を文字表示領域21bに表示させ、右キーが操作されたならテキストのページを1つ送った内容を文字表示領域21bに表示させる(P51)。
P50で、カーソルが画像表示領域21aにあると判定した場合(P50で「画像」へ進む)、CPU13は、左キーが操作されたなら1つ戻した画像を画像表示領域21aに表示させ、右キーが操作されたなら1つ送った画像を画像表示領域21aに表示させる(P52)。さらに、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる(P53)。
再生が終了するまで、CPU13は、P42〜P53の処理を繰り返し実行する(P54)。ここでいう、再生が終了するとは、例えば、再生モードから他のモード(撮影モード等)に切り替わったり、その他の割り込み処理が入ったりした場合等である。以降で説明するフローについても同様である。このようにして再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
図9は、図6のパターン1の変形例(パターン1aで表す)に対応する処理フローを示す。同図は、左右キーを操作することで画像を選択し、上下キーを操作することでその選択された画像に関するテキストをスクロールさせるフローである。
まず、ある画像(例えば、画像1)が画像表示領域21aに再生される(P61)。CPU13は、上キーまたは下キーが操作されたかを判定する(P62)。上キー及び下キーのいずれもが操作されていないと判定した場合(P62で「なし」へ進む)、CPU13は、P68の処理を実行する。
P62で、上キーまたは下キーが操作されたと判定した場合(P62で「あり」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する(P63)。P63で、その再生中の画像が音声付画像でないと判定した場合(P63で「NO」へ進む)、CPU13は、文字表示領域21b内を非表示、すなわちクリアにする(P64)。その後、CPU13は、P68の処理を実行する。
P63で、その再生中の画像が音声付画像であると判定した場合(P63で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる。さらに、CPU13は、上記で操作された上下キーのうちいずれが操作されたかを判定する(P65)。
P65で、下キーが操作されたと判定した場合(P65で「下」へ進む)、CPU13は、文字表示領域21bに表示されたテキストのページをスクロールさせて、次のページを表示させる(P66)。また、P65で、上キーが操作されたと判定した場合(P65で「上」へ進む)、CPU13は、文字表示領域21bに表示されたテキストのページの1つ前のページにスクロールさせる(P67)。その後、P62の処理へ戻る。
次に、CPU13は、左キーまたは右キーが操作されたかを判定する(P68)。左キー及び右キーのいずれもが操作されていないと判定した場合(P68で「なし」へ進む)、CPU13は、P71の処理を実行する。
左キーまたは右キーが操作した場合(P68で「あり」へ進む)、CPU13は、次の画像を再生する(P69)。さらに、CPU13は、画像/音声管理ファイルに基づいて、その新たに再生された画像に対応するテキストデータを文字表示領域21bに表示させる(P70)。
再生が終了するまで、CPU13は、P62〜P70の処理を繰り返し実行する(P71)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
図10は、図6のパターン2に対応する処理フローを示す。同図は、十字キーでの操作の対象は画像であり、文字は画像とは連動せずに自動で次のテキストファイルの内容に切り替えるフローを示している。
まず、ある画像(例えば、画像1)が画像表示領域21aに再生される(P81)。CPU13は、画像/音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する(P82)。P82で、その再生中の画像が音声付画像でないと判定した場合(P82で「NO」へ進む)、CPU13は、文字表示領域21bの表示内容を非表示にする(P83)。
P82で、その再生中の画像が音声付画像であると判定した場合(P82で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる(P84)。
P84でテキストデータを文字表示領域21bに表示させた後、CPU13は、計時手段14により所定時間が経過したか否かを判定する(P85)。P85で、所定時間が経過していないと判定した場合(P85で「NO」へ進む)、CPU13は、P88の処理を行う。
P85で、計時手段14による計時の結果より所定時間経過したと判定した場合(P85で「YES」へ進む)、CPU13は、次のテキストデータを文字表示領域21bに表示させる(P86)。そして、CPU13は、計時手段14の計時を初期化して再スタートさせる(P87)。
次に、CPU13は、上キーまたは下キーが操作されたかを判定する(P88)。P65で、上キー及び下キーのいずれもが操作されていないと判定した場合(P88で「なし」へ進む)、CPU13は、P92の処理を実行する。
P88で、上キーまたは下キーが操作されたと判定した場合(P88で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれが操作されたかを判定する(P89)。
P89で、下キーが操作されたと判定した場合(P89で「下」へ進む)、CPU13は、最終画像を再生する(P90)。また、P89で、上キーが操作されたと判定した場合(P89で「上」へ進む)、CPU13は、先頭画像を再生させる(P91)。
次に、CPU13は、左キーまたは右キーが操作されたかを判定する(P92)。P92で、左キー及び右キーのいずれもが操作されていないと判定した場合(P92で「なし」へ進む)、CPU13は、P96の処理を実行する。
P92で、左キーまたは右キーが操作されたと判定した場合(P92で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれか操作されたかを判定する(P93)。
P93で、右キーが操作されたと判定した場合(P93で「右」へ進む)、CPU13は、次の画像を再生する(P94)。また、P93で、左キーが操作されたと判定した場合(P93で「左」へ進む)、CPU13は、1つ前の画像を再生させる(P95)。
再生が終了するまで、CPU13は、P82〜P95の処理を繰り返し実行する(P96)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
図11は、図6のパターン3に対応する処理フローを示す。同図は、画像が所定時間経過後自動で切り替わり、その切り替えられて表示された画像に関連するテキストについて十字キーで操作することができる処理フローを示す。
まず、ある画像(例えば、画像1)が画像表示領域21aに再生される(P101)。CPU13は、計時手段14による計時の結果より所定時間が経過したか否かを判定する(P102)。P102で、所定時間が経過していないと判定した場合(P102で「NO」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する(P105)。
P105で、その再生中の画像が音声付画像でないと判定した場合(P105で「NO」へ進む)、文字表示領域21bの表示内容を非表示にする(P106)。P105で、その再生中の画像が音声付画像であると判定した場合(P105で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる(P107)。
P102で、計時手段14による計時の結果より所定時間経過したと判定した場合(P102で「YES」へ進む)、CPU13は、次の画像を再生(表示)させる。そして、CPU13は、計時手段14の計時を初期化して再スタートさせる(P104)。
次に、CPU13は、上キーまたは下キーが操作されたかを判定する(P108)。P108で、上キー及び下キーのいずれもが操作されていないと判定した場合(P108で「なし」へ進む)、CPU13は、P112の処理を実行する。
P108で、上キーまたは下キーが操作されたと判定した場合(P108で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれか操作されたかを判定する(P109)。
P109で、下キーが操作されたと判定した場合(P109で「下」へ進む)、CPU13は、文字表示領域21bにそのテキストデータの最終ページを表示させる(P110)。また、P109で、上キーが操作されたと判定した場合(P109で「上」へ進む)、CPU13は、文字表示領域21bにそのテキストデータの先頭ページを表示させる(P111)。
次に、CPU13は、左キーまたは右キーが操作されたかを判定する(P112)。P112で、左キー及び右キーのいずれもが操作されていないと判定した場合(P112で「なし」へ進む)、CPU13は、P116の処理を実行する。
P112で、左キーまたは右キーが操作されたと判定した場合(P112で「あり」へ進む)、CPU13は、この操作された左右キーのうちいずれか操作されたかを判定する(P113)。
P113で、右キーが操作されたと判定した場合(P113で「右」へ進む)、CPU13は、文字表示領域21bに次のページを表示(ページ送り)させる(P114)。また、P113で、左キーが操作されたと判定した場合(P113で「左」へ進む)、CPU13は、1つ前のページを表示(ページ戻し)させる(P115)。
再生が終了するまで、CPU13は、P102〜P115の処理を繰り返し実行する(P116)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
図12は、図6のパターン4に対応する処理フローを示す。同図は、画像及び文字が所定時間経過後自動で切り替わる処理フローを示す。
まず、ある画像(例えば、画像1)が画像表示領域21aに再生される(P121)。CPU13は、計時手段14による計時の結果より所定時間T1(T1:画像切り替え用時間)が経過したか否かを判定する(P122)。P122で、所定時間T1が経過していないと判定した場合(P122で「NO」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する(P123)。
P123で、その再生中の画像が音声付画像でないと判定した場合(P123で「NO」へ進む)、文字表示領域21bの表示内容を非表示にする(P124)。P123で、その再生中の画像が音声付画像であると判定した場合(P123で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる(P125)。
P125の処理後、CPU13は、計時手段14による計時の結果より所定時間T2(T2:テキスト切り替え用時間)が経過したか否かを判定する(P126)。P126で、所定時間T2が経過していないと判定した場合(P126で「NO」へ進む)、CPU13は、P129の処理を実行する。
P126で、所定時間T2が経過したと判定した場合(P126で「YES」へ進む)、CPU13は、次のテキストデータを文字表示領域21bに表示させる(P127)。そして、CPU13は、計時手段14の計時C2(C2:テキスト切り替え用時間T2をカウントするためのカウンタ)を初期化して再スタートさせる(P128)。
次に、CPU13は、一連のテキスト、すなわち、テキストデータの全ページを表示したか否かを判定する(P129)。CPU13は、例えば、ファイルの終了部分を示す「EOF」を検知したか否かで当該判定を行うことができる。
P129で、全ページを表示していないと判定した場合(P129で「NO」へ進む)、CPU13はP132の処理を行う。P129で、全ページを表示したと判定した場合(P129で「YES」へ進む)、CPU13は、次の画像を再生(表示)させる(P130)。そして、CPU13は、計時手段14の計時C1(C1:画像切り替え用時間T1をカウントするためのカウンタ)を初期化して再スタートさせる(P131)。
次に、CPU13は、十字キーが操作されたかを判定する(P132)。P132で、十字キーが操作されていないと判定した場合(P132で「なし」へ進む)、CPU13は、P134の処理を実行する。
P132で、十字キーが操作されたと判定した場合(P132で「あり」へ進む)、CPU13は、十字キー操作関連処理を行う(P133)。このP133の処理は、図13で詳述する。
再生が終了するまで、CPU13は、P122〜P133の処理を繰り返し実行する(P134)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。なお、本フローにおいて、S132及びS133の処理はなくてもよい。
図13は、十字キー操作関連処理の詳細なフローである。CPU13は、上キーまたは下キーが操作されたかを判定する(P141)。P141で、上キー及び下キーのいずれもが操作されていないと判定した場合(P141で「なし」へ進む)、CPU13は、P145の処理を実行する。
P141で、上キーまたは下キーが操作されたと判定した場合(P141で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれか操作されたかを判定する(P142)。
P142で、下キーが操作されたと判定した場合(P142で「下」へ進む)、CPU13は最終画像を表示させる(P143)。また、P142で、上キーが操作されたと判定した場合(P142で「上」へ進む)、CPU13は、先頭画像を表示させる(P144)。
次に、CPU13は、左キーまたは右キーが操作されたかを判定する(P145)。P145で、左キーまたは右キーが操作されたと判定した場合(P146で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれか操作されたかを判定する(P146)。
P113で、右キーが操作されたと判定した場合(P146で「右」へ進む)、CPU13は、次の画像を表示させる(P147)。また、P146で、左キーが操作されたと判定した場合(P146で「左」へ進む)、CPU13は、1つ前の画像を表示させる(P148)。
P145で、左キー及び右キーのいずれもが操作されていないと判定した場合(P145で「なし」へ進む)、またはP147もしくはP148の処理が終了した場合、CPU13は、本フローを終了し、遷移元のフローへ処理が戻る。
図14は、図6のパターン5に対応する処理フローを示す。同図は、画像及びテキスト相互の関連付けを基に、所定時間経過後、画像及びテキストが自動で切り替わる処理フローを示す。図14を説明するに際して、図15〜図17を用いるため、これらの図面について説明する。
図15は、一連のテキストとそのテキストに関係付けられた関連画像を示す。一連のテキストAのデータの内容は、「砂漠にそびえたつピラミッドの傍を」(1ページ目)、「2頭のラクダが歩いています。」(2ページ目)、「神殿には、古王国時代の壁画があります。」(3ページ目)である。このテキストAのデータと関連付けられている画像(関連画像)は、画像1〜画像9である。
また、一連のテキストBのデータの内容は、「エジプトには、ギザの3大ピラミッド」(1ページ目)、「と呼ばれるものがあります。」(2ページ目)である。このテキストBのデータと関連付けられている画像(関連画像)は、画像10〜画像13である。
図16は、図15の条件におけるパターン5の表示例を示す。同図では、画面表示は、表示1→表示2→表示3→表示4→表示5→表示6→表示7の順で遷移する。
表示1は、パターン5の再生開始時の表示例である。表示1では、画像表示領域21aに画像1〜画像9がサムネイルで表示され、文字表示領域21bは非表示状態である。
表示2へ遷移すると、文字表示領域21bに一連のテキストAの1ページ目が表示される。所定時間経過後、表示3へ遷移し、文字表示領域21bに一連のテキストAの2ページ目が表示される。さらに、所定時間経過後、表示43へ遷移し、文字表示領域21bに一連のテキストAの3ページ目が表示される。
所定時間経過後、表示5へ遷移し、画像表示領域21aに画像10〜画像13が表示される。なお、文字表示領域21bの表示内容は遷移前の表示4のテキストのままである。その後、すぐに、表示6に遷移し、文字表示領域21bに一連のテキストBの1ページ目が表示される。所定時間経過後、表示7へ遷移し、文字表示領域21bに一連のテキストBの2ページ目が表示される。
図17は、図16での画面表示の表示時間と図14での対応する処理のタイミングを示している。以下では、この図15〜図17を参照しながら、図14のフローを説明する。
図14において、まず、ある画像(図16の場合、表示1で示した画像1〜図9)が画像表示領域21aに再生される(P151)。CPU13は、計時手段14による計時の結果より所定時間Tが経過したか否かを判定する(P152)。P152で、所定時間Tが経過していないと判定した場合(P152で「NO」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する(P158)。
P158で、その再生中の画像が音声付画像でないと判定した場合(P158で「NO」へ進む)、文字表示領域21bの表示内容を非表示にする(P159)。P158で、その再生中の画像が音声付画像であると判定した場合(P158で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる(P160)。
P152で、所定時間が経過していると判定した場合(P152で「YES」へ進む)、CPU13は、P1153の処理を実行する。
次に、CPU13は、一連のテキスト、すなわち、テキストデータの全ページを表示したか否かを判定する(P153)。CPU13は、例えば、ファイルの終了部分を示す「EOF」を検知したか否かで当該判定を行うことができる。
P153で、全ページを表示していないと判定した場合(P153で「NO」へ進む)、CPU13は、次のテキストデータを文字表示領域21bに表示させる(P156)。そして、CPU13は、計時手段14の計時を初期化して再スタートさせる(P157)。
P153で、全ページを表示したと判定した場合(P153で「YES」へ進む)、CPU13は、次の画像を再生(表示)させる(P154)。そして、CPU13は、計時手段14の計時を初期化して再スタートさせる(P155)。
次に、CPU13は、十字キーが操作されたかを判定する(P161)。P161で、十字キーが操作されていないと判定した場合(P161で「なし」へ進む)、CPU13は、P163の処理を実行する。
P161で、十字キーが操作されたと判定した場合(P161で「あり」へ進む)、CPU13は、十字キー操作関連処理を行う(P162)。このP162の処理は、図13で説明した処理内容である。
再生が終了するまで、CPU13は、P152〜P162の処理を繰り返し実行する(P134)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。なお、本フローにおいて、S161及びS162の処理はなくてもよい。
図17を見てみると、図16において、表示1から表示2への遷移は、P151〜P160の処理により行われる。所定時間、表示2が表示された後、P156の処理がなされることにより表示3へ遷移する。さらに、所定時間、表示3が表示された後、P156の処理がなされることにより表示4へ遷移する。さらに、所定時間、表示4が表示された後、P154の処理がなされることにより表示5へ遷移する。
表示5から表示6への遷移は、P154からP160の処理がなされることにより、間もなく遷移する。所定時間、表示6が表示された後、P156の処理がなされることにより表示7へ遷移する。
図18は、図6のパターン6に対応する処理フローを示す。同図は、文字を十字キーで送ったり戻したりすると、その文字と画像との関連付けを基に、画像が自動的に切り替わる処理フローを示す。
まず、ある画像(例えば、画像1)が画像表示領域21aに再生される(P171)。CPU13は、画像/音声管理ファイルに基づいて、その再生中の画像が音声付画像か否かを判定する(P172)。
P173で、その再生中の画像が音声付画像でないと判定した場合(P172で「NO」へ進む)、文字表示領域21bの表示内容を非表示にする(P173)。その後、CPU13は、P185の処理を行う。
P172で、その再生中の画像が音声付画像であると判定した場合(P172で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータを文字表示領域21bに表示させる(P174)。
P174の処理後、CPU13は、上キーまたは下キーが操作されたかを判定する(P175)。P175で、上キー及び下キーのいずれもが操作されていないと判定した場合(P175で「なし」へ進む)、CPU13は、P179の処理を実行する。
P175で、上キーまたは下キーが操作されたと判定した場合(P175で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれが操作されたかを判定する(P176)。
P176で、下キーが操作されたと判定した場合(P177で「下」へ進む)、CPU13は、文字表示領域21bにそのテキストデータの最終ページを表示させる(P177)。また、P176で、上キーが操作されたと判定した場合(P176で「上」へ進む)、CPU13は、文字表示領域21bにそのテキストデータの先頭ページを表示させる(P178)。
次に、CPU13は、左キーまたは右キーが操作されたかを判定する(P179)。P180で、左キー及び右キーのいずれもが操作されていないと判定した場合(P179で「なし」へ進む)、CPU13は、P185の処理を実行する。
P179で、左キーまたは右キーが操作されたと判定した場合(P179で「あり」へ進む)、CPU13は、この操作された左右キーのうちいずれが操作されたかを判定する(P180)。
P180で、右キーが操作されたと判定した場合(P180で「右」へ進む)、CPU13は、一連のテキストデータの最後部(すなわち、最終ページ)であるか否かを判断する(P182)。
P182で、最終のページが表示されたと判定した場合(P182で「YES」へ進む)、CPU13は、画像表示領域21aの画像を次画像に更新する(P183)。P182で、最終のページがまだ表示されていないと判定した場合(P182で「NO」へ進む)、CPU13は、文字表示領域21bに次のページを表示(ページ送り)させる(P184)。
また、P180で、左キーが操作されたと判定した場合(P180で「左」へ進む)、CPU13は、1つ前のページを表示(ページ戻し)させる(P181)。
再生が終了するまで、CPU13は、P172〜P184の処理を繰り返し実行する(P185)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
図19は、図6のパターン7に対応する処理フローを示す。同図は、画像を十字キーで送ったり戻したりすると、その画像と文字との関連付けを基に、文字が自動的に切り替わる処理フローを示す。
まず、ある画像(例えば、画像1)が画像表示領域21aに再生される(P191)。CPU13は、上キーまたは下キーが操作されたかを判定する(P192)。P192で、上キー及び下キーのいずれもが操作されていないと判定した場合(P192で「なし」へ進む)、CPU13は、P198の処理を実行する。
P192で、上キーまたは下キーが操作されたと判定した場合(P192で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれが操作されたかを判定する(P193)。
P193で、下キーが操作されたと判定した場合(P194で「下」へ進む)、CPU13は最終画像を表示させる(P194)。さらに、CPU13は、画像/音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる(P195)。
また、P193で、上キーが操作されたと判定した場合(P193で「上」へ進む)、CPU13は、先頭画像を表示させる(P196)。さらに、CPU13は、画像/音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる(P197)。
次に、CPU13は、左キーまたは右キーが操作されたかを判定する(P198)。P198で、左キーまたは右キーが操作されたと判定した場合(P198で「あり」へ進む)、CPU13は、この操作された上下キーのうちいずれか操作されたかを判定する(P199)。
P199で、右キーが操作されたと判定した場合(P199で「右」へ進む)、CPU13は、次の画像を表示させる(P200)。さらに、CPU13は、画像/音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる(P201)。
また、P199で、左キーが操作されたと判定した場合(P199で「左」へ進む)、CPU13は、1つ前の画像を表示させる(P202)。さらに、CPU13は、画像/音声管理ファイルに基づいて、その画像に応じたテキストデータを表示させる(P203)。
再生が終了するまで、CPU13は、P192〜P203の処理を繰り返し実行する(P204)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
なお、P195,P197,P201,P203において、その画像が音声と関連付けがない場合は、テキストの表示は行わない。
図20は、パターン1からパターン6において、音声付静止画が表示された場合の一例を示す。同図は、パターン1からパターン6に対応する上記の各フローで、表示部材21の文字表示領域に表示されたテキストデータの表示例である。
図21は、パターン1からパターン6において、音声無し静止画が表示された場合の一例を示す。同図は、パターン1からパターン6に対応する上記各フローで、音声無し静止画が表示された場合、テキストが非表示となることを示した例である。
図22は、パターン1からパターン6において、音声無し静止画が表示された場合、撮影日時及び撮影時刻が文字表示領域21bに表示された状態を示す(以下、パターン8という)。同図は、パターン1からパターン6に対応する上記各フローで、音声無し静止画が表示された、テキストを非表示とする処理の代わりに、撮影日時及び撮影時刻を文字表示領域21bに表示させるようにしたものである。
次に、以下では、その他の表示パターンについて説明する。
図23は、あるテキストデータを表示させた後に、そのテキストデータを関連付けられた画像を順次表示させる様子を示す(以下、パターン9という)。まず、あるテキストデータ211が表示部材21に表示される。このとき、画像は表示されない(図23(a))。
次に、音声の区切りで、そのテキストデータ211が非表示になり、それまで音声に関連付けされていた画像222,223が表示される(図23(b)、図23(c))。ここでは、そのテキストデータ211に関連付けられた画像222,223がそれぞれ所定時間表示される。
次に、その音声に関連付けられていた画像を表示し終わったら、続きの音声内容(テキストデータ224)を表示させる(図23(d))。これらを繰り返して、テキストと画像を表示させていく。
図24は、図23のパターン9に対応するフローチャートを示す。まず、CPU13は、画像/音声管理ファイルに基づいて、読み込んだ画像が音声付画像か否かを判定する(P231)。
P231で、その画像が音声付画像であると判定した場合(P231で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、その音声付画像に対応するテキストデータ(1ページ分)を表示部材21に表示させる(P234)。そして、CPU13は、計時手段14の計時C3(C3:テキストのページ切り替え用時間T3をカウントするためのカウンタ)をスタートさせる(P235)。
次に、CPU13は、音声区切りがあるか否かを判定する(P236)。音声区切りとは、音声データに含まれる無声音部分または所定の閾値の音声レベル以下の音声に相当する部分である。そのような音声区切りに関する情報は、テキストデータのどの部分に相当するかを識別できるように、画像/音声管理ファイルに所定の情報が書き込まれている。
音声区切りがないと判定した場合(P236で「なし」へ進む)、CPU13は、所定時間T3(C3≧T3となったとき)が経過した後(P243)、表示部材21に表示されたテキストデータを1ページ分更新する(P244)。そして、CPU13は、計時手段14の計時C3を初期化して再スタートさせる(P245)。その後、P236の処理へ戻る。
音声区切りがあると判定した場合(P236で「あり」へ進む)、CPU13は、関連画像を表示させる(P237)。ここで、関連画像とは音声区切りで区切られた音声(音声データ及び音声テキストデータを含む)部分に関連付けられた画像群のことをいう。例えば、図2の枠30の音声信号31aの場合、Low部分(音声なし)が音声区切りに相当する。音声信号がLowからHighになってLowになるまでの音声(1区切りの音声)に関連付けられた音声付画像群は、1組の関連画像である。枠30では、例えば、SSa−1,SSa−2が1組の関連画像であり、SSb−2,SSb−3が1組の関連画像である。CPU13は、画像/音声管理ファイルより関連画像を検出し、関連画像があればその画像を表示させる。
次に、CPU13は、計時手段14による計時C4(C4:関連画像更新用時間T4をカウントするためのカウンタ)をスタートさせる(P238)。次に、CPU13は、画像/音声管理ファイルに基づいて、関連画像が終了したか否か、すなわち、次に表示させる関連画像があるか否かを判定する(P239)。
P239で、次に表示させる関連画像があると判定した場合(P239で「NO」へ進む)、CPU13は、所定時間T4が経過した後(C4≧T4となったとき)(P241)、その関連画像を表示させる(P242)。その後、P238の処理へ戻る。P241で所定時間T4が経過していない場合、P238の処理へ戻る。
P239で、次に表示させる関連画像がないと判定した場合(P239で「YES」へ進む)、CPU13は、次のテキスト部分へ移行させ、そのテキスト部分を表示させる(P240)。ここでいう「次のテキスト部分」とは、音声区切りにより区切られた音声部分に相当するテキスト部分をいう。その後、P234の処理へ戻る。
P231で、その画像が音声付画像でないと判定した場合(P231で「NO」へ進む)、CPU13は、その画像を表示部材21に表示させる(P232)。次に、操作部材16が操作されることにより、表示部材21に表示された画像のコマ送りまたはコマ戻しが行われた場合(P232で「あり」へ進む)、P231の処理へ戻る。表示部材21に表示された画像のコマ送りまたはコマ戻しが行われない場合(P232で「なし」へ進む)、CPU234は、P234の処理を行う。
再生が終了するまで、CPU13は、P231〜P245の処理を繰り返し実行する(P246)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
図25は、あるテキストデータを表示させる場合、そのテキストデータを関連付けられた関連画像群をサムネイル形式でそのテキストデータと共に表示させる様子を示す(以下、パターン10という)。
まず、あるテキストデータ231が表示部材21に表示される。このとき、このテキストデータ231の関連画像232,233,234もサムネイル形式で表示される(図25(a))。関連画像232,233,234は、上述の通り、1区切りの音声部分(音声データ及び音声テキストデータを含む)に関連付けられた1組の関連画像である。
次に、音声の区切りで、そのテキストデータ211が非表示になり、それまで音声に関連付けされていた画像232,233,234が順次それぞれ拡大されて所定時間表示される(図25(b)→図25(c)→画像234に対応する拡大画像(不図示))。
その音声に関連付けられていた関連画像を表示し終わったら、次の音声区切りまでに対応する音声内容(テキストデータ235)を表示させる(図25(d))。これらを繰り返して、テキストと関連画像を表示させていく。
図26は、図25のパターン10に対応するフローチャートを示す。まず、CPU13は、画像/音声管理ファイルに基づいて、読み込んだ画像が音声付画像か否かを判定する(P251)。
P251で、その画像が音声付画像であると判定した場合(P251で「YES」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、一区切りの音声に対応した1組の関連画像群をサムネイルで表示部材21に表示させる(P254)。そして、CPU13は、画像/音声管理ファイルに基づいて、一区切りの音声単位でテキストを表示させる(P255)。
CPU13は、その表示した音声の実時間が経過するまで、そのテキストを表示させた後(P256)、表示部材21からそのテキストを消去して、サムネイルで表示された関連画像群の1つを表示部材21に拡大して再生させる(P257)。そして、CPU13は、計時手段14による計時をスタートさせる(P258)。
次に、CPU13は、計時手段14による計時結果より所定時間が経過したか否かを判定する(P259)。所定時間経過したと判定した場合(P259で「YES」へ進む)、CPU13は、一区切りの関連画像の表示が終了、すなわち1組の関連画像の全てを表示したか否かを判定する(P260)。
1組の関連画像の全てを表示していないと判定した場合(P260で「NO」へ進む)、CPU13は、1組の関連画像のうち未表示の関連画像を表示部材21に拡大して表示させる(P261)。その後、CPU13は、計時手段14の計時を初期化して再スタートさせる(P262)。その後、P259の処理へ戻る。
P260で、1組の関連画像の全てを表示したと判定した場合(P260で「YES」へ進む)、CPU13は、一連の再生が終了したか否かを判定する(P263)。一連の再生が終了していないと判定した場合(P263で「NO」へ進む)、CPU13は、画像/音声管理ファイルに基づいて、次の一区切りの音声に対応した1組の関連画像群をサムネイルで表示部材21に表示させる(P264)。その後、P255の処理に戻る。
一連の再生が終了したと判定した場合(P263で「YES」へ進む)であって、操作部材16が操作されることにより表示部材21に表示された画像(1組の関連画像単位)のコマ送りまたはコマ戻しが行われた場合(P265で「あり」へ進む)、P251の処理へ戻る。P265でコマ送りまたはコマ戻しが行わない場合(P265で「なし」へ進む)、P263の処理を行う。
P251で、その表示部材21に表示させるための画像が音声付画像でないと判定した場合(P251で「NO」へ進む)、CPU13は、その画像を表示部材21に表示させる(P252)。次に、操作部材16が操作されることにより、表示部材21に表示された画像のコマ送りまたはコマ戻しが行われた場合(P253で「あり」へ進む)、P251の処理へ戻る。P253で、表示部材21に表示された画像のコマ送りまたはコマ戻しが行われない場合(P253で「なし」へ進む)、CPU234は、P266の処理を行う。
再生が終了するまで、CPU13は、P251〜P265の処理を繰り返し実行する(P266)。再生が終了したら、CPU13は、本フローを終了し、遷移元の図7のフローへ処理が戻る。
なお、図26において、音声の実時間が経過するまで、その音声のテキストを表示させているが(P256)、このとき、音声に合わせて、音声が読み終わった箇所を強調表示や反転表示等するようにしてもよい。
図27は、表示部材21に表示される画像に、その画像と関連付けられたテキストデータを合成して表示させた様子を示す(以下、パターン11という)。図20で示したように、パターン1からパターン6に対応する上記各フローで、音声あり静止画像を表示させる場合に、画像表示領域21aに静止画像を表示させ、文字表示領域21bにテキストデータを表示させていた。しかしながら、図27では、その静止画像240とその静止画像と関連付けられたテキストデータ241を合成して表示させている。
図28は、サムネイル表示された静止画像のうち音声に関連づけられた静止画像が拡大して表示される様子を示す(パターン12)。同図を説明するに当たり、図29と図30を用いる。
図29は、図28における音声信号と画像ファイルとの関連を示す。同図の詳細な説明は、図2と同様である。同図では、音声に関連付けられた静止画像は一連の静止画像SSa(SSa−1〜SSa−5),SSb(SSb−1〜SSb−3)である。そして、一連の静止画像SSaとSSbとの間に、動画像Mと、音声と関連付けられていない静止画像Sがある。
図30は、図28におけるサムネイル表示された静止画像の配列例を示す。図28は、図29で説明した画像群SSa−1〜SSa−5,M,S,SSb−1,SSb−2をサムネイルで3行×3列に配列している。
図28〜図30で示したパターン12は、パターン1〜6の変形であり、例えば、図20で1画面ごと表示していたものを、図28ではサムネイル表示したうち文字表示領域に表示されたテキストデータと関連付けられた画像を拡大して表示させたものである。
このように、本実施形態における撮像装置1によれば、静止画像を見ながら、その静止画像を撮影したときの音声情報を文字情報として同時に見ることができる。また、十字キーなどの所定の操作部材を操作することにより、静止画像及び文字情報のいずれかを選択することができる。このとき、静止画像が選択された場合には、操作部材によりコマ送り等を行うことができ、文字情報が選択された場合には、文字送り等を行うことができる。
また、マイク等から入力された音声をテキストデータとして保存することができる。また、音声情報がテキストとして表示されるので、自分の速度でその内容を読むことができ、そのため、音声の場合で起こる聞き逃しが生じない。
また、音声情報に基づくテキストを自動的に流すことができる(テロップ表示)。また、テキストと画像を時系列的にリンクさせることができる。また、テキストとこのテキストに関連付けた画像とをスライドショーのような形式で表示することもできる。
以上から、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有しており、選択画像に対する音声データを文字変換して文字ガイド領域に表示することができる。画像表示装置は、さらに、画像フォーカス手段と文字フォーカス手段を有しており、画像をフォーカスした際には画像選択を行い、文字をフォーカスした際には文字送りをそれぞれ行なう。また、選択画像が変更された場合には、選択されている画像に応じた文字ガイドを表示させることができる。
また、本実施形態にかかる表示装置は、画像領域と文字ガイド領域を有し、画像を水平垂直方向に選択する手段を有する。この表示装置によれば、選択している画像に応じた音声データを文字変換して文字ガイド領域に表示し、文字ガイドは一定時間に表示を切り替える。さらに、選択画像を変えた場合には、選択している画像に応じた文字ガイドを表示する。
また、本実施形態にかかる表示装置は、画像領域と文字ガイド領域を有し、画像は一定時間ごとに切り替えて表示を行う。この表示装置は、さらに、水平/垂直の直交する操作部材を有し、水平方向若しくは垂直方向のどちらか一方で文字ガイドをスクロールさせ、もう一方で文字ガイドの一発頭だし又は文字ガイド終了を行なう。また、一定時間経過により、画像が切り替わった際は、切り替わった画像に応じた文字ガイド表示に切り替わる。画像切り替わり時間は、各コマそれぞれの音声データに応じた時間とする。また、文字ガイド先頭で一発頭だし操作をしたら前コマ、文字ガイド終了後に文字ガイド終了操作をしたら次コマ表示に移行することができる。
また、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有し、選択画像に対する音声データを文字変換して文字ガイド領域に表示する。この場合、画像及び文字ガイドの両方とも、所定時間で切り替わる。この所定時間は、画像と文字ガイドそれぞれ別の時間とする。なお、画像切り替わりに関する所定時間は、短くとも文字ガイドを全て表示し終わる時間とする。また、文字ガイドが1ページのみの場合は、画像、文字ガイドの両方とも同じ時間とする。
また、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有し、選択画像に対する音声データを文字変換して文字ガイド領域に表示する。この場合、画像及び文字ガイドの両方とも、所定時間で切り替わる。この所定時間は、画像と文字ガイドに関連した時間とする。なお、文字ガイドは所定時間でスクロールし、当該画像のガイド表示が終了すると、画像を変更する。
また、本実施形態にかかる画像表示装置は、画像領域と文字ガイド領域を有し、選択画像に対する音声データを文字変換して文字ガイド領域に表示する。文字ガイドはマニュアル操作で表示切り替えを行い、文字ガイドの切り替えに応じて画像表示を切り替える。また、当該画像のガイドの最後のページを表示している状態で、文字ガイド送り操作を行なうと画像送りを行なう。
上記の装置において、音声データの無い画像を表示する場合には、文字ガイド表示を行わない。また、上記の装置において、音声データの無い画像を表示する場合には、文字ガイド表示の代わりに画像固有の情報表示をする。ここで、画像固有の情報とは、撮影日時情報であってもよく、撮影パラメータであってもよい。
また、本発明にかかる音声変換装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。このとき、音声を文字ガイドとして表示し、音声の区切りを検出したら、画像表示に切り替わりその音声と関連付けされた画像を順次再生する。順次再生する際のインターバルは1、画像毎に予め決められた所定時間とする。順次再生する際の画像切り替わり時間は、音声に関連付けられた画像に対して予め決められた時間を画像数で等分した時間とする。音声区切り単位で関連付けされた1組に画像再生が終了したら、自動的に音声を文字ガイドとする表示に戻り、続きを行なう。1組の画像再生が終了したら、ユーザの操作に応じて、文字ガイド表示に戻り続きを行なう。
また、本実施形態にかかる音声変換装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。この音声変換装置は、音声を文字ガイドとして表示するとともに、1区切りの文字ガイドに関連付けされた1組に画像をサムネイル表示する。1組とされる画像数が予め決められた所定数以上の場合、サムネイル表示を所定時間で更新する。音声の区切りを検出して、文字ガイド表示から、画像表示に移行する。順次再生する際のインターバルは1画像毎にあらかじめ決められた所定時間とする。順次再生する際の画像切り替わり時間は、音声に関連付けられた画像に対して予め決められた時間を画像数で等分した時間とする。音声区切り単位で関連付けされた1組に画像再生が終了したら、自動的に音声を文字ガイドとする表示に戻り、続きを行なう。1組の画像再生が終了したら、ユーザの操作に応じて、文字ガイド表示に戻り続きを行なう。音声の区切りを検出して、関連画像をサムネイル画の上に拡大表示する。
また、本実施形態にかかる音声変換装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。この音声変換装置は、音声に関連付けされた画像を表示し、その画像に重ね合わせて文字ガイドを表示する。また、文字ガイドの表示切り替わりに応じ画像を切り替える。また、関連付けされた画像を、関連の文字表示期間を等分した間隔で表示する。1組の文字ガイド表示が終了した後、組画像を1画面ずつ所定時間再生する。
また、本実施形態にかかる画像表示装置は、画像と音声を関連付けて記録可能であり、音声データを文字変換して文字ガイドを表示する。この画像表示装置は、音声を文字ガイドとして表示するとともに、一連の文字ガイドに関連付けされた画像をサムネイル表示する。文字ガイド表示に応じ、関連付けされた画像をサムネイル表示の上に大きく表示する。当該文字ガイド表示に関連付けされた画像が複数の場合は、その状態で所定時間で画像を入れ替える。また、文字ガイドの表示更新に応じて、関連付けされた画像を拡大する。
上記の実施形態で説明した撮像装置は、音声を文字変換して表示を行うとともに、音声を出力させてもよい。このとき、音声出力のON/OFF設定が可能である。