JP4347007B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明は、画像データに対して音声データを付加することができるプログラムおよび、画像データに付加されている音声データを出力することができるプログラムに関するものである。

近年、急速に普及しつつあるデジタルカメラは、従来の銀塩カメラが被写体像をフィルム面上に結像させ、画像を化学的にアナログ記録するのに対し、ＣＣＤセンサーなどの撮像素子によって撮像された画像をメモリカードなどの記録媒体に電気的にデジタル記録するものである。

デジタルカメラでは、ほとんどの機種で液晶モニタ等の画像を再生できる表示ユニットが設けられており、撮影後すぐに撮影画像を再生し、構図や露出を確認することができる。また、撮影画像を再生するときに画像の一部を拡大表示できるものもあり、ピントの確認も容易に行うことができる。

さらに、デジタルカメラでは、シャッタースピード、絞り値などの撮影条件に関する情報や、撮影日や撮影時刻また撮影時の気温など撮影状況に関する情報を、画像データとともに記録媒体に記録することができる。このため、上記の情報に基づいて撮影画像を整理したり、大量の撮影画像の中から所望の画像を探し出したりすることができ、銀塩写真に比べて撮影画像の整理を行いやすいといった特徴がある。

また、より詳しく撮影時の状況を記録するために画像データに音声を付加する機能を持ったデジタルカメラが提案されている。この付加された音声は、デジタルカメラあるいはパソコン等の機器で簡単に再生することができる。

ここで、使用者が撮影画像上の所望の座標を指定することによって、指定された座標に対応した特定の領域を選択し、この領域に対して音声データなどを付加できる電子スチルカメラがある（例えば、特許文献１、２参照）。
特開平５−２８４４４８号公報（段落番号００１８、００２４） 特開平６−２１７２５２号公報（段落番号００１５、００１８）

しかし、上述した特許文献１、２に開示されている電子スチルカメラでは、特定の領域（ノード）を選択するために、使用者に対して座標を指定させるといった、撮影画像を再生させる操作以外の操作を強いることになり、カメラの使い勝手が悪くなる。また、撮影画像の全領域のうち小さな領域を選択する際に、小さな領域に対応した座標を正確に指定することが困難であるといった問題がある。

本願第１の発明の情報処理装置は、画像データを表示させる表示手段と、前記表示手段により表示された画像データのうち一部の画像領域を拡大して表示させる拡大手段と、前記一部の画像領域を拡大して表示しているときに、音声入力の指示があると入力された音声データと、前記一部の画像領域とを関連付けるリンク情報を生成するリンク手段とを有することを特徴とする。

本願第２の発明の情報処理装置は、画像データを表示させるとともに、この表示された画像データのうち一部の画像領域に関連づけられた音声データを出力させる情報処理装置であって、複数の前記一部の画像領域をそれぞれ識別可能な状態で前記画像データと共に表示させる表示手段と、前記一部の表示領域を複数選択する選択手段と、前記選択手段により選択された前記複数の前記一部の画像領域に関連づけられた音声データをそれぞれ出力させるとともに、前記一部の画像領域を拡大して表示させる制御手段とを有し、前記制御手段は、前記音声データの録音時間の長さに応じて、前記選択手段により選択された前記複数の前記一部の画像領域に関連づけられた音声データの再生順番を決定することを特徴とする。

本願第１の発明によれば、画像データのうち一部の画像領域を拡大して表示しているときに、音声データを生成させるとともに、リンク情報を生成させることで、上記の一部の画像領域と音声データとを関連付けることができ、従来（特許文献１、２）のように音声データを付加するために画像データ内の座標を指定して一部の画像領域を選択するといった手間を省くことができる。しかも、一部の画像領域を拡大表示した状態のときに、音声データを生成しているため、画像データ内の小さな領域に対しても容易に音声データを関連付けることができる。

ここで、一部の画像領域を画像データ内で複数表示させることもでき、この場合には一部の画像領域を複数選択して、選択された画像領域を順次、拡大表示させることによって、複数の画像領域の確認を容易に行うことができる。

選択された画像領域を順次、拡大表示させる方法としては、例えば、音声データの生成された順番、音声データの生成時間又は生成時刻の順番、一部の画像領域の拡大倍率の順番、画像データに対する一部の画像領域の大きさの順番とすることができ、上記の拡大表示の順序を、使用者によって適宜設定することができるようにすれば、使用者に対して使い勝手の良いものとすることができる。

以下、本発明の実施例について説明する。

図１は、本発明の実施例１において、画像生成装置と画像／音声再生装置との関係を示す図である。

画像生成装置１０１は、物体像のデジタル画像を生成する機能と、生成されたデジタル画像を表示する機能と、表示されているデジタル画像と関連づけられる音声データを生成する機能とを有する装置である。この画像生成装置１０１としては、デジタルカメラ、デジタルビデオカメラ、スキャナなどの撮像装置、カメラユニットを有する電子機器がある。また、画像読み取りユニットを有するファクシミリ装置、複写機などの電子機器であってもよい。

画像／音声再生装置１０２は、画像生成装置１０１で生成されたデジタル画像を再生する機能と、デジタル画像に関連づけて記憶されている音声データを再生する機能とを有する装置である。画像／音声再生装置１０２としては、パーソナルコンピュータ等の電子機器がある。

ここで、画像生成装置１０１から画像／音声再生装置１０２へのデータ（画像データおよび音声データ）の転送は、デジタル画像および音声データが記録された記録媒体や、両装置１０１、１０２をつなぐケーブル、光通信等を介して行うことができる。

なお、画像生成装置１０１に、上記の画像／音声再生装置１０２における画像再生機能と、音声データ再生機能とを設けることもできる。また、画像／音声再生装置１０２に、画像生成装置１０１におけるデジタル画像を表示する機能と、表示されているデジタル画像と関連づけられる音声データを再生する機能を設けることもできる。

図２は、本実施例における画像生成装置１０１の主要な機能構成を説明するブロック図である。

制御部２０４は、プログラム記憶部２０６に予め格納されているプログラムに従って画像生成装置１０１における全体の動作を制御する。

撮像部２０１は、物体像を電気信号に変換して出力する撮像素子（例えば、ＣＣＤエリアセンサ、ＣＭＯＳイメージセンサ）や、撮像素子からの出力信号（アナログ信号）をデジタル信号に変換して出力するＡ／Ｄ変換器等を含む。

画像処理部２０２は、撮像部２０１から出力された画像データに対して、画像処理パラメータに基づいた画像処理と圧縮処理（例えば、ＪＰＥＧ方式）を行う。また、画像処理部２０２は、後述するように圧縮された状態にある画像データを表示させる際に、この画像データに対して伸張処理を行う。

なお、画像処理パラメータとは、デジタル画像の画質に関するパラメータのことで、デジタル画像のホワイトバランス、色補間、色補正、γ変換、エッジ強調、記録方式または圧縮率に関するパラメータは全て画像処理パラメータに相当する。そして、これらのパラメータ（記録方式又は圧縮率に関するパラメータを除く）のうち少なくとも１つのパラメータを用いてデジタル画像の画質を調整（変更）する処理のことを画像処理と呼ぶ。

画像処理部２０２によって画像処理が施されたデータは、データバス２１０を介して、一旦メモリ部２０７に格納される。メモリ部２０７に格納された画像データは、制御部２０４によって読み出され、表示部２０５に出力される。これにより、使用者は表示部２０５を介して画像を確認することができる。

一方、メモリ部２０７に格納された画像データに対しては、図３（Ｂ）に示すように、画像処理パラメータなどの撮影情報を含むヘッダー情報が付加されて、画像ファイルが構成される。

この画像ファイルは、メモリカード・インタフェース（以下、Ｉ／Ｆと略する）２０９を介して画像生成装置１０１に着脱可能なメモリカード（ＰＣＭＣＩＡカードやコンパクトフラッシュ(登録商標)等）２１２に書き込まれる。なお、メモリカード２１２に代えて、ハードディスク、マイクロＤＡＴ、光磁気ディスク、ＣＤ−Ｒ、ＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等を用いることができる。また、メモリカードとハードディスク等が一体となった複合媒体とすることもできる。

また、画像ファイルは、シリアルＩ／Ｆ２０８を介してシリアルバス２１１に出力でき、ネットワーク上での画像ファイルの配布や、画像／音声再生装置１０２への出力を容易に行うことができる。

また、メモリカード２１２に書き込まれた画像ファイル（画像）を表示部２０５で再生させるときには、制御部２０４はメモリカード２１２内に記録された画像ファイルをメモリカードＩ／Ｆ２０９を介して読み出し、メモリ部２０７へ格納した後、表示部２０５に出力する。

音声データ生成部２０３は、画像生成装置１０１の外部からの音の入力を受けて電気信号に変換するマイクロフォンと、マイクロフォンからの出力をＡ／Ｄ変換して出力するＡ／Ｄ変換器などを含む。この音声データ生成部２０３は、表示部２０５に画像が表示されているときに、マイクロフォンに入力された音声を音声データに変換して出力する。

音声データ生成部２０３から出力された音声データは、メモリ部２０７に格納される。ここで、制御部２０４は、表示部２０５に表示されている画像と音声データを関連づけるリンク情報を生成する。このリンク情報は、音声データとともにメモリカードＩ／Ｆ２０９を介してメモリカード２１２に書き込まれる。

リンク情報とは、音声データ生成部２０３で生成された音声データを識別するための「音声データファイル名」や、音声データの「生成日時」や、音声データに対応した画像データを識別するための「画像ファイル名」の情報や、音声データの記録時間を表す「録音時間」、又は、画像全体の領域のうちどの領域が拡大表示されているかを表す情報としての「拡大倍率」・「拡大表示領域の開始座標」・「拡大表示領域の終了座標」などを示す。ここで、「拡大表示領域の開始座標」および「拡大表示領域の終了座標」は、画像全体の領域のうち拡大表示される領域の位置を規定するための座標である。

このリンク情報は、画像ファイルのヘッダー部分に書き込むようにしてもよいし、音声データファイルのヘッダーとして一つのファイルとして記録するようにしてもよいし、画像ファイルや音声データファイルとは別のファイルとして記録するようにしてもよい。

本実施例では、図３（Ａ）に示すように、「音声データファイル名」、「拡大倍率」、「拡大表示領域の開始座標」および「拡大表示領域の終了座標」からなるリンク情報が生成され、このリンク情報は図３（Ｂ）に示すように画像ファイルのヘッダー部分に記録される。

図２における操作部２１３は、表示部２０５で表示される画像を切り替えるための画像切替ボタン、画像生成装置１０１の電源のオン／オフを切り替えるための電源ボタン、後述するように、表示部２０５に表示された画像を拡大させるための画像拡大ボタン、画像全体の領域のうち拡大表示された領域を移動させるための移動ボタンを含む。

これらのボタンの操作による出力信号は制御部２０４に入力され、制御部２０４は入力された信号に応じた動作を行う。

図４には、画像生成装置１０１のうち表示部２０５を含む一部の領域を示している。ここで、液晶パネル４０１には、画像データ「Image00１.jpg」（図３（Ｂ））における画像（レージングカーを表す画像）が表示されている。

同図において、表示部２０５における表示用液晶パネル４０１は、画像や操作メニューが表示される。音声録音ボタン（操作部２１３の一部）４０２は、音（主に、音声）を入力するために操作される操作ボタンであり、このボタンを押し込むことで録音状態となり、マイクロフォン４０３に音声を入力することで録音することができる。

画像拡大ボタン（操作部２１３の一部）４０４は、液晶パネル４０１に表示されている画像を拡大するために操作される操作ボタンであり、このボタンを押すたびに画像の拡大率が変化するようになっている。また、ボタン４０４を所定時間押し続けると、拡大再生が解除されて通常の表示状態（画像全体の領域が表示された状態）に戻る。

水平移動ボタン（操作部２１３の一部）４０５は、画像を拡大再生しているときに拡大表示領域を画像全体の領域に対して水平方向（図４の左右方向）に移動させるためのボタンである。垂直移動ボタン（操作部２１３の一部）４０６は、画像を拡大再生しているときに拡大表示領域を画像全体の領域に対して垂直方向（図４の上下方向）に移動させるためのボタンである。なお、十字ボタンを設けて、拡大表示領域を画像全体の領域に対して上下左右方向に移動させることもできる。

図４（Ａ）には、画像を拡大せずに画像全体を液晶パネル４０１に表示している状態を示す。ここで、音声録音ボタン４０２を押し込んだ状態で、マイクロフォン４０３にむかって音声「レーシングカー」を入力すると、この音声が音声データとして記録される。

この時、同時に生成されるリンク情報Ａ（図３参照）には、「音声データファイル名」として「Sound00.wav」が格納され、「拡大倍率」には「１倍」が格納される。

図４（Ｂ）には、図４（Ａ）の状態から画像拡大ボタン４０４を押下して、画像を「Ｔ１倍」に拡大表示した状態を示す。ここで、図４（Ａ）に示す状態で画像拡大ボタン４０４を操作すると、図４（Ａ）に示す全体画像の中で中央に位置する領域が拡大されて表示されることになる。

そして、水平移動ボタン４０５や垂直移動ボタン４０６を操作すると、全体画像の中における拡大表示領域を移動させることができる。すなわち、画像拡大ボタン４０４と、移動ボタン４０５、４０６を操作することによって、全体画像の中における任意の領域を任意の倍率で液晶パネル４０１に表示させることができる。

図４（Ｂ）では、移動ボタン４０５、４０６を操作することによって、レーシングカーの先端側に位置する領域が拡大されて表示されている。ここで、音声録音ボタン４０２を押し込んだ状態で、マイクロフォン４０３に向かって音声「カーナンバー１番」を入力すると、この音声が音声データとして記録される。

この時、同時に生成されるリンク情報Ｂ（図３参照）には、「音声データファイル名」として「Sound0１.wav」が格納され、「拡大倍率」には「Ｔ１倍」、「拡大表示領域の開始座標」には「（X１,Y１）」、「拡大表示領域の終了座標」には「（XX１,YY１）」が格納される。

図４（Ｃ）には、図４（Ｂ）の状態から移動ボタン４０５、４０６を操作することによって拡大表示領域を移動させた状態を示す。すなわち、同図では、図４（Ｂ）に示す領域に対して右側に位置する領域が、液晶パネル４０１に拡大表示されている。ここで、音声録音ボタン４０２を押し込んだ状態で、マイクロフォン４０３に向かって音声「側面のカーナンバー１番」を入力すると、この音声が音声データとして記録される。

この時、同時に生成されるリンク情報Ｃには、「音声データファイル名」として「Sound02.wav」が格納され、「拡大倍率」には「Ｔ１倍」、「拡大表示領域の開始座標」には「（X２,Y２）」、「拡大表示領域の終了座標」には「（XX２,YY２）」が格納される。

図４（Ｄ）には、図４（Ｃ）の状態から移動ボタン４０５、４０６を操作することによって表示領域を移動させるとともに、画像拡大ボタン４０４を操作することによって表示倍率を「Ｔ２倍（＞Ｔ１倍）」に変更した状態を示している。この状態では、レーシングカーの前輪を含む領域が、Ｔ２倍で拡大されて液晶パネル４０１に表示されている。

ここで、音声録音ボタン４０２を押し込んだ状態で、マイクロフォン４０３に向かって音声「右側の前輪」を発すると、この音声が音声データとして記録される。

この時、同時に生成されるリンク情報Ｄ（図３参照）には、「音声データファイル名」として「Sound03.wav」が格納され、「拡大倍率」には「T２倍」、「拡大表示領域の開始座標」には「（X３Y３）」、「拡大表示領域の終了座標」には「（XX３,YY３）」が格納される。

図４（Ａ）〜（Ｄ）で説明した一連の動作で生成される音声データは、それぞれ別々の音声データとして記録してもよいし、一つの音声データとして記録してもよい。なお、本実施例では、図３（Ｂ）に示すように画像データ「Image00１.jpg」に関連づけられる音声データ「Sound00.wav」 〜 「Sound03.wav」が別々に記録されるようになっている。

図５は、本実施例の画像生成装置１０１における画像再生動作および音声録音動作を示すフローチャートである。

図５のフローチャートにおいて、ステップＳ５０１では、画像生成装置１０１に設けられた図示しない操作ボタンの操作により画像再生動作が開始される。

ステップＳ５０２において、制御部２０４は、メモリカードＩ／Ｆ２０９を介してメモリカード２１２に記録された画像ファイルを読み出し、一旦メモリ部２０７に格納する。

ステップＳ５０３では、画像処理部２０２によって、メモリ部２０７に格納された画像ファイルから画像データを生成し、表示部２０５で表示（再生）させる。

ステップＳ５０４において、制御部２０４は、操作部２１３のうち画像拡大ボタン４０２や移動ボタン４０４、４０５からの入力があるか否かを判別する。ここで、画像拡大ボタン４０２および移動ボタン４０４、４０５のうちいずれかのボタンが操作されると、ステップＳ５０３に戻り、操作されたボタンに応じた表示を行う。

すなわち、画像拡大ボタン４０２が操作されていれば画像の拡大表示を行い、移動ボタン４０４、４０５が操作されていれば画像の拡大領域を移動させて表示を行う。

一方、画像拡大ボタン４０２および移動ボタン４０４、４０５のいずれのボタンも操作されていなければ、ステップＳ５０５に進む。

ステップＳ５０５において、制御部２０４は、操作部２１３のうち音声録音ボタン４０２からの入力があるか否かを判別する。ここで、音声録音ボタン４０２が操作されていればステップＳ５０６に進み、操作されていなければステップＳ５０９に進む。

ステップＳ５０６において、制御部２０４は、音声録音ボタン４０２が押下されている間に音声データ生成部２０３（マイクロフォン４０３）に入力された音声を音声データとして生成し、メモリ部２０７へ記録させる。その後、音声録音ボタン４０２が放されると、音声データの作成を中止してステップＳ５０７に進む。

ステップＳ５０７では、ステップＳ５０６で生成された音声データと、音声入力時に表示部２０５に表示されている画像（拡大表示されていない画像又は拡大表示されている画像）とを関連づけるリンク情報を生成する。

その後、ステップＳ５０６で生成された音声データを、音声入力時の画像に対応させた音声データファイルとしてメモリカードＩ／Ｆ２０９を介してメモリカード２１２へ書き込む。また、ステップＳ５０７で生成されたリンク情報を画像ファイルのヘッダーに追加して、この画像ファイルをメモリカードＩ／Ｆ２０９を介してメモリカード２１２へ書き込む。

ステップＳ５０８では、音声録音ボタン４０２からの再度の入力があるか否かを判別する。ここで、音声録音ボタン４０２からの入力がある場合には、ステップＳ５０４に戻り、画像拡大ボタン４０２および移動ボタン４０４、４０５からの入力があるか否かを判別する。一方、音声録音ボタン４０２からの入力がない場合にはステップＳ５０９に進む。

ステップＳ５０９において、制御部２０４は、操作部２１３のうち上述した画像切替ボタンからの入力があるか否かを判別する。ここで、画像切替ボタンからの入力がある場合にはステップＳ５０２に戻り、画像切替ボタンによって選択された画像データをメモリカード２１２から読み出して表示部２０５で表示させる。

一方、画像切替ボタンからの入力がない場合には、ステップＳ５１０に進んで画像再生動作を終了する。

次に、画像／音声再生装置１０２について説明する。図６は、本実施例における画像／音声再生装置１０２の主要な機能構成を説明するブロック図である。

同図において、制御部６０３は、プログラム記憶部６０５に予め格納されているプログラムに従って画像／音声再生装置１０２における全体の動作を制御する。

画像／音声再生装置１０２に着脱可能に装着されたメモリカード６１２には、上述した画像生成装置１０１によって生成された画像ファイル（図３）が記録されている。

制御部６０３は、メモリカードＩ／Ｆ６０９を介してメモリカード６１２に記録された画像ファイルを読み出して、一旦メモリ部６０７に格納する。また、画像生成装置１０１から画像／音声再生装置１０２に画像ファイルが送信される場合には、シリアルバス６１１およびシリアルＩ／Ｆ６０８を介して画像ファイルを受信し、この画像ファイルをメモリ部６０７に格納する。

メモリ部６０７に格納された画像ファイルの画像データは、画像処理部６０１にて伸張処理やリサイズ処理などが施されてから表示部６０４に出力されて表示される。なお、画像／音声再生装置１０２では、画像拡大ボタンや移動ボタン（操作部６１３の一部）を操作することによって、表示部６０４に表示された画像を拡大表示させたり、この拡大表示された領域を移動させたりすることができる。

制御部６０３は、メモリ部６０７に格納された画像ファイルのヘッダー部分を解析し、ヘッダー部分にリンク情報が格納されているときには、メモリカードＩ／Ｆ６０９を介してメモリカード６１２から音声データファイルを読み出して、メモリ部６０７に格納する。ここで、リンク情報はリンク情報処理部６０６へ送られる。

リンク情報処理部６０６は、リンク情報の解析を行うことによってリンク情報に含まれている「拡大倍率」、「拡大表示領域の開始座標」、「拡大表示領域の終了座標」の情報から全体画像のうち音声データが関連づけられている画像領域を求め、この画像領域を表示部６０４に表示されている画像にオーバーラップして表示する。

音声データ再生部６０２は、音声データをＤ／Ａ変換して出力するＤ／Ａ変換器と、Ｄ／Ａ変換器からの出力を受けて音を発するスピーカとを有する。ここで、音声データの再生が指示されると、メモリ部６０７に格納されている音声データが音声データ再生部６０２に入力され、音声データ再生部６０２にて音声データに応じた音声を再生（発音）させることができる。

図７は、表示部６０４に、メモリカード６１２に記録された画像を表示させた状態を示している。ここで、図７（Ａ）では、表示部６０４に画像全体が表示されており、この表示画像内には、音声データが関連づけられている画像領域を示す枠７０１〜７０３が表示されている。全体画像中における枠７０１〜７０３の位置および大きさは、画像ファイル内に含まれるリンク情報に基づいて、上述したようにリンク情報処理部６０６にて演算される。

表示部６０４の表示面のうち画像が表示された領域の下側には画像ファイル名（図７では、「Image00１.jpg」）７０５が表示されており、また、画像表示領域の右側には、画像全体の領域に対して関連づけられた音声データがあることを示す音符マーク７０６が表示されている。

図７（Ａ）に示す状態において、画像／音声再生装置１０２に設けられた不図示の操作部材（操作部６１３の一部）を操作することによって枠７０１を選択（具体的には、枠７０１内の領域を選択）して音声の再生を指示すると、「Sound0１.wav」の音声データが音声データ再生部６０２へ入力され、音声データ再生部６０２のスピーカーから「カーナンバー１番」の音声が再生される。同時に、図７（Ｂ）に示すように、表示部６０４には枠７０１内の画像領域が自動的に拡大再生される。

同様に、枠７０２を選択して音声の再生を指示すると、「Sound02.wav」の音声データが音声データ再生部６０２へ入力され、スピーカーから「側面のカーナンバー１番」の音声が再生されるとともに、表示部６０４には枠７０２内の画像領域が自動的に拡大再生される。

枠７０３を選択して音声の再生を指示すると、「Sound03.wav」の音声データが音声データ再生部６０２へ入力され、スピーカーから「右の前輪」の音声が再生されるとともに、表示部６０４には枠７０３内の画像領域が自動的に拡大再生される。

枠７０１〜７０３が選択されていない状態で音声の再生を指示すると、「Sound00.wav」の音声データが音声データ再生部６０２へ入力され、スピーカーから「レーシングカー」の音声が再生される。

ここで、枠７０１〜７０３を選択するために操作される上記の操作部材（操作部６１３の一部）は、ボタン式やダイアル式の構成とすることができる。また、マウスのようなポインティングデバイスを用いることもできる。

図７（Ｃ）には、図７（Ａ）に示す表示画像の一部を拡大表示させたときの状態を示す。ここで、画像／音声再生装置１０２に設けられた不図示の画像拡大ボタン（操作部６１３の一部）を操作することで画像の一部を拡大させて表示させることができる。また、画像／音声再生装置１０２に設けられた不図示の移動ボタン（操作部６１３の一部）を操作することによって、拡大表示されている画像を表示部６０４の表示面における横方向および縦方向に移動させることができる。

すなわち、図７（Ｃ）に示す表示画像は、上記の画像拡大ボタンおよび移動ボタンを操作することによって、図７（Ａ）に示す表示画像のうち画面右上における領域を拡大したものである。

ここで、画像全体の一部を拡大表示したときに、この拡大表示領域内に音声データが関連づけられた画像領域が存在する場合には、この領域の外周を表す枠が表示されることになる。図７（Ｃ）では、枠７０２の一部が表示されている。

すなわち、リンク情報処理部６０６は、表示部６０４に拡大表示される画像領域と、リンク情報の「拡大倍率」、「拡大表示領域の開始座標」、「拡大表示領域の終了座標」の情報に基づいて、拡大表示される画像領域内における音声データが関連づけられている画像領域の位置および大きさを演算し、この画像領域の外周を表す枠を拡大画像にオーバーラップさせて表示させる。

図８は、本実施例の画像／音声再生装置における画像再生動作および音声再生動作を示すフローチャートである。

図８のフローチャートにおいて、ステップＳ８０１では、画像／音声再生装置１０２に設けられた不図示の操作ボタン（操作部６１３の一部）が操作されることによって画像再生動作が開始される。

ステップＳ８０２において、制御部６０３は、メモリカードＩ／Ｆ６０９を介してメモリカード６１２に記録された画像ファイルを読み出し、一旦メモリ部６０７に格納する。

ステップＳ８０３において、制御部６０３は、メモリ部６０７に格納された画像ファイルに、音声データが関連付けられているかどうかを判別する。この判別は、図３（Ｂ）に示す画像ファイルのヘッダー部にリンク情報が格納されているか否かを検出することによって行う。

ここで、リンク情報が格納されていることを検出した場合には、制御部６０３は、メモリカードＩ／Ｆ６０９を介してメモリカード６１２から音声データファイルを読み出し、メモリ部６０７に格納する。そして、ステップＳ８０４に進む。一方、リンク情報が格納されていないことを検出した場合には、ステップＳ８１１に進む。

ステップＳ８０４では、画像ファイルのヘッダー部に格納されたリンク情報の解析をリンク情報処理部６０６で行う。リンク情報処理部６０６は、リンク情報に書き込まれている「拡大倍率」、「拡大表示領域の開始座標」、「拡大表示領域の終了座標」に基づいて、音声データが関連付けられている領域が表示部６０４に表示される画像のうちどの領域に相当するかを演算する。

ここで、リンク情報が複数格納されているときは、全てのリンク情報に対して上記の演算を行い、音声データが関連付けられているすべての領域を求める。

ステップＳ８０５では、画像処理部６０１にて画像ファイル内の画像データに対して伸張処理等が施された後、表示部６０４にて画像全体が表示される。ここで、表示部６０４に表示される画像には、ステップＳ８０４で求められた音声データが関連付けられている領域（枠）がオーバーラップして表示される。

一方、ステップＳ８０３でリンク情報を格納されていないことを検出してステップＳ８１１に進んだ場合には、画像処理部６０１にて画像処理が施された画像データが表示部６０４に表示される。このとき、画像ファイルにはリンク情報（音声データ）が格納されていないため、上記の枠は表示されない。

ステップＳ８０６において、制御部６０３は、上記の枠（音声データが関連づけられた領域）を選択するための操作部材（操作部６１３の一部）からの入力があるか否かを判別する。ここで、上記の操作部材からの入力がある場合には、入力に応じた枠内の領域を選択してステップＳ８０７に進む。図７（Ａ）に示す場合には、枠７０１〜７０３と画像全体に対応した音声データが存在することを表す音符マーク７０６を選択することができる。ここで、枠７０１〜７０３のうちいずれか２つ以上を選択することもできるし、枠７０１〜７０３のうちいずれかの枠と音符マーク７０６を同時に選択することもできる。

一方、枠を選択するための操作部材からの入力がない場合には、ステップ８０９に進む。

ステップＳ８０７において、制御部６０３は、画像／音声再生装置１０２に設けられた音声データ再生用の操作部材（操作部６１３の一部）からの入力があるか否かを判別する。ここで、音声データ再生用の操作部材が操作されている場合には、ステップＳ８０８に進み、操作されていなければステップＳ８０９に進む。

ステップＳ８０８では、ステップＳ８０６で選択された画像領域に対応した音声ファイルが音声データ再生部６０２へ送られる。音声データ再生部６０２においては、音声データに所定の信号処理を施してスピーカーから音声を出力する。同時に制御部６０４は、ステップＳ８０６で選択された枠内の画像領域を画像処理部６０１を介して拡大させて表示部６０４に表示させる。

ここで、ステップＳ８０６で複数の画像領域を選択している場合には、選択されている各画像領域に対応した音声データが順次、音声データ再生部６０２により再生される。また、音声データの再生と同時に、この音声データに対応した画像領域を表示部６０４で拡大表示させる。この音声データおよび画像領域の切り換えは、所定時間を経過するたびに行われる。

音声データを再生する順番は、音声データが生成された順番（データ生成日時の最新のものから順に、又は古いものから順に表示）としたり、枠が選択された順番（最初に選択された枠→最後に選択された枠、又は最後に選択された枠→最初に選択された枠の順番）としたりすることができる。または、音声データの録音時間の長さの順番（録音時間が長い側→短い側、又は録音時間が短い側→長い側の順番）とすることもできるし、音声領域の拡大率の順番（拡大率が大→小又は小→大の順番）や座標の順番（表示画面の一端側→他端側の順番）とすることもできる。

また、上述した複数の順番のうちいずれかの順番を使用者が画像／音声表示装置１０２において自由に設定することができるようにしてもよい。これにより、使用者の好みに応じて音声データを順次再生することができる。

そして、音声データの再生（これに伴う画像領域の拡大表示）が終了すると、音声データ再生前の画像が再び表示部６０４に表示され、ステップＳ８０９に進む。

ステップＳ８０９において、制御部６０３は、画像／音声再生装置１０２に設けられた画像拡大ボタンおよび移動ボタン（操作部６１３の一部）の操作によって、表示部６０４に表示された画像の一部を拡大表示させる指示があるか否かを判別したり、画像の一部を拡大表示している場合には拡大表示領域を移動させる指示があるか否かを判別したりする。

ここで、拡大表示の指示や、拡大表示領域を移動させる指示がある場合には、ステップＳ８０３に戻り、上述した動作を繰り返す。このとき、表示部６０４に表示される画像領域が変更されるため、リンク情報に書き込まれている、「拡大倍率」、「拡大表示領域の開始座標」、「拡大表示領域の終了座標」に基づいて、音声データが関連付けられている領域が表示部６０４に表示された画像領域のどの領域に対応するかを再度演算される。そして、この演算結果に基づいて画像領域を示す枠をオーバーラップして表示させる。

一方、拡大表示の指示や、拡大表示領域を移動させる指示がない場合には、ステップＳ８１０に進む。

ステップＳ８１０において、制御部６０３は、画像／音声再生装置１０２に設けられた画像切替ボタンの操作によって他の画像データが選択されたか否かを判別する。ここで、他の画像データが選択された場合にはステップＳ８０２に戻り、メモリカード６１２から選択された画像ファイルを読み出して、画像の再生表示を行う。一方、他の画像データが選択されていない場合にはステップＳ８１２に進んで、画像再生動作を終了する。

なお、本発明の構成は、上述した実施例に限定されるものではなく、画像生成装置および画像再生装置の仕様や想定ユーザー層などによって様々な実施例が考えられる。

実施例１における画像生成装置および画像／音声再生装置の説明図。 上記の画像生成装置の構成を示すブロック図。 リンク情報および画像ファイルの構成を説明する図。 音声データ生成時の説明図。 上記の画像生成装置における画像再生動作および録音動作を示すフローチャート。 上記の画像／音声再生装置の構成を示すブロック図。 画像／音声再生装置における画像再生時のモニターの表示例。 上記の画像／音声再生装置における再生動作を示すフローチャート。

符号の説明

１０１ 画像生成装置
１０２ 画像／音声再生装置
２０１ 撮像部
２０２ 現像処理部
２０３ 音声データ生成部
２０４ 制御部
２０５ 表示部
２０６ プログラム記憶部
２０７ メモリ部
２０８ シリアルインターフェース
２０９ メモリカードインターフェース
２１０ データバス
２１１ シリアルバス
２１２ メモリカード
４０１ 表示用液晶パネル
４０２ 音声録音ボタン
４０３ マイクロフォン
４０４ 画像拡大ボタン
４０５ 水平方向移動ボタン
４０６ 垂直方向移動ボタン
６０１ 現像処理部
６０２ 音声データ生成部
６０３ 制御部
６０４ 表示部
６０５ プログラム記憶部
６０６ リンク情報処理部
６０７ メモリ部
６０８ シリアルインターフェース
６０９ メモリカードインターフェース
６１０ データバス
６１１ シリアルバス
６１２ メモリカード

Claims (7)

1. 画像データを表示させる表示手段と、
   前記表示手段により表示された画像データのうち一部の画像領域を拡大して表示させる拡大手段と、
   前記一部の画像領域を拡大して表示しているときに、音声入力の指示があると入力された音声データと、前記一部の画像領域とを関連付けるリンク情報を生成するリンク手段とを有することを特徴とする情報処理装置。
2. 前記一部の画像領域の位置または大きさを変更する変更手段を有することを特徴とする請求項１記載の情報処理装置。
3. 前記リンク情報は、前記一部の画像領域の座標情報を含むことを特徴とする請求項１記載の情報処理装置。
4. 前記リンク情報は、前記一部の画像領域の拡大率を示す情報を含むことを特徴とする請求項１記載の情報処理装置。
5. 画像データを表示するステップと、
   前記表示された画像データのうち一部の画像領域を拡大して表示させるステップと、
   前記一部の画像領域を拡大して表示しているときに、音声入力の指示があると入力された音声データと、前記一部の画像領域とを関連づけるリンク情報を生成するステップとをコンピュータに実行させることを特徴とするプログラム。
6. 画像データを表示させるとともに、この表示された画像データのうち一部の画像領域に関連づけられた音声データを出力させる情報処理装置であって、
   複数の前記一部の画像領域をそれぞれ識別可能な状態で前記画像データと共に表示させる表示手段と、
   前記一部の表示領域を複数選択する選択手段と、
   前記選択手段により選択された前記複数の前記一部の画像領域に関連づけられた音声データをそれぞれ出力させるとともに、前記一部の画像領域を拡大して表示させる制御手段とを有し、
   前記制御手段は、前記音声データの録音時間の長さに応じて、前記選択手段により選択された前記複数の前記一部の画像領域に関連づけられた音声データの再生順番を決定することを特徴とする情報処理装置。
7. 前記制御手段は、前記音声データを出力している間、前記出力している音声データ各々に対応する前記一部の画像領域を拡大して表示させることを特徴とする請求項６に記載の情報処理装置。

Images