JP3919753B2 - 情報処理装置及びその方法、並びに制御プログラム - Google Patents

Description

本発明は、情報処理装置及びその方法、並びに制御プログラムに関し、特に、画像に関連付けられた音情報を再生するための情報処理装置及びその方法、並びに制御プログラムに関する。

画像及びそれに関連付けられた音情報を再生する方法としては、１枚の静止画像の中の任意の領域に音情報が割り当てられている場合に、静止画像と共に表示されている音情報の割り当て領域を選択することによって、その音情報を再生する方法がある（例えば、特許文献１参照）。また、画像及びそれに関連付けられた音情報を再生する方法において、１枚の静止画像に対して音情報が割り当てられたり（例えば、特許文献２及び３参照）、複数の静止画像を一覧表示した状態で、スーパーインポーズにより音情報の有無を提示したり（例えば、特許文献２参照）、複数の静止画像を一覧表示した状態で、音情報の存在する静止画像のまわりに矩形領域を描くことにより音情報の有無を提示する方法がある（例えば、特許文献３参照）。
特開平１１−１７７９２８号公報 特開平０１−０１２７７８号公報 特開平０６−２５１０７９号公報

しかしながら、上記特許文献１の方法では、１枚の静止画像に複数の音情報が記録されている場合に、任意の複数の音情報を再生していない。

また、上記特許文献２及び３の方法では、音情報が存在しない静止画像も一覧表示の中に表示されるため、デジタルカメラ等の狭い表示装置上での閲覧に向いていない。

本発明の目的は、少なくとも１つの画像に対して少なくとも１つの音情報が関連付けられている場合に所望の少なくとも１つの音情報を選択して、それらを適切な順序で再生することができる情報処理装置及びその方法、並びに制御プログラムを提供することにある。

上記の目的を達成するために、本発明に係る情報処理装置は、複数の音情報が関連付けられた画像を表示部に表示させる表示制御手段と、前記表示された画像から複数の音情報を選択する選択手段と、前記選択手段により選択された複数の音情報を再生する順序を、所定の条件に従い決定する決定手段と、前記決定手段で決定された再生順序に従い、前記複数の音情報を再生する再生手段とを備えることを特徴とする。
また、上記の目的を達成するために、本発明に係る情報処理装置は、少なくとも１つの音情報が関連付けられた画像を複数、表示部に表示させる表示制御手段、前記表示された複数の画像から複数の画像を選択する選択手段と、前記選択手段により選択された複数の画像に関連付けられた音情報を再生する順序を、所定の条件に従い決定する決定手段と、前記決定手段で決定された再生順序に従い、前記複数の音情報を再生する再生手段とを備えることを特徴とする。

また、上記の目的を達成するために、本発明に係る情報処理方法は、複数の音情報が関連付けられた画像を表示部に表示させる表示制御ステップと、前記表示された画像から複数の音情報を選択する選択ステップと、前記選択ステップで選択された複数の音情報を再生する順序を、所定の条件に従い決定する決定ステップと、前記決定ステップで決定された再生順序に従い、前記複数の音情報を再生する再生ステップとを備えることを特徴とする。
また、上記の目的を達成するために、本発明に係る情報処理方法は、少なくとも１つの音情報が関連付けられた画像を複数、表示部に表示させる表示制御ステップと、前記表示された複数の画像から複数の画像を選択する選択ステップと、前記選択ステップで選択された複数の画像に関連付けられた音情報を再生する順序を、所定の条件に従い決定する決定ステップと、前記決定ステップで決定された再生順序に従い、前記複数の音情報を再生する再生ステップとを備えることを特徴とする。

本発明によれば、画像に関連付けられた音情報を適切な順序で再生することが可能となる。

以下、本発明の実施の形態を図面を参照しながら詳述する。

図１は、本発明の第１の実施の形態に係る情報処理装置の構成を概略的に示すブロック図である。

図１の情報処理装置は、入力処理部１０１、音データ特定部１０２、再生順序決定部１０３、再生処理部１０４、表示画像生成部１０５、画像表示部１０６及び画像・音データ格納部１０７を備える。

入力処理部１０１は、タッチパネル等の入力装置を介してユーザーが入力する情報を処理する。音データ特定部１０２は、ユーザーが指定した領域に割り当てられている音データを画像・音データ格納部１０７から検索し、該当するすべての音データを特定する。再生順序決定部１０３は、音データ特定部１０２の検索結果をユーザーに提示する順序を決定する。再生処理部１０４は、音データを再生する。表示画像生成部１０５は、画像・音データ格納部１０７に格納されている画像の上に音データの割り当てられている位置を記した画像を生成する。画像表示部１０６は、画像を表示する。画像・音データ格納部１０７は、画像及び画像の任意の領域に割り当てられた１つ以上の音データを含むデータを格納する。

図１の情報処理装置では、１枚の静止画像に対して複数の音データが静止画像上の特定の画像領域に割り当てられている。これら複数の音データは、記録した際の順番又は時刻に関する情報を含む。

図２は、図１の情報処理装置によって実行される情報処理のフローチャートである。

以下の説明では適宜図３を参照する。

図２において、まず、表示画像生成部１０３は、画像・音データ格納部１０７から画像データ及びその画像データの中に割り当てられている音データを読み込んで、画像の上に音データの位置を記した静止画像を生成し、生成した静止画像（図３の３００）を画像表示部１０６に表示する（図３の３０１）（ステップＳ２０１）。

次いで、入力処理部１０１は、ユーザーからの入力があるか否かを判別する（ステップＳ２０２）。なお、本実施の形態では、ユーザーの入力はタッチパネル等を介して入力され、入力される入力情報は、画像表示部１０６の静止画像上のある特定の領域を囲む閉曲線（図３の３０５）である。この閉曲線は必ずしもそうである必要はなく、閉じていない場合は、補間処理等によって閉曲線とすればよい。このユーザーの入力によりある特定の領域が指定される。

ステップＳ２０２の判別の結果、ユーザーからの入力があると、音データ特定部１０２は、画像・音データ格納部１０７から、特定された画像中（図３の３０５）に関連付けられている音データを検索する（ステップＳ２０３）。次いで、検索の結果、該当する音データが存在するか否か判別し（ステップＳ２０４）、該当する音データが存在しないときは、ステップＳ２０２以降の処理を繰り返し、一方該当する音データが存在するときは（図３の３１０, ３１１）、再生順序決定部１０３は、該当する音データの再生順序を決定する（図３の３０２, ３０３）（ステップＳ２０５）。該当する音データが複数存在する場合の再生順序は、音データが録音された順番とする。録音された順番又は録音時刻は画像・音データ格納部１０７に保存されているため、それらから容易に決定できる。次いで、再生処理部１０４は、再生順序決定部１０３が決定した順番に従って、音データを再生し（ステップＳ２０６）、本処理を終了する。

本処理を終了した（ステップＳ２０６）後、ステップＳ２０２に戻ってもよい。例えば、同じ画像に対して所望の音の再生を繰り返し行うような場合には、ユーザーが画像を選択する必要がなくなるため、ユーザビリティの向上が期待できる。

図３は、図１における画像表示部に表示される画面を説明するのに用いられる図である。

図３において、画面３０１は、静止画像３００は、例えばディジタルカメラで撮影した静止画像３００を表示し、そこには山（３１０）、太陽（３１１）、湖（３１２）、動物（３１３）が写っている．静止画像３００では、また、音データが関連付けられている位置座標にマーク３０２，３０４，３０３が表示される。マーク３０２，３０４，３０３内の数字は、夫々の音データが録音されたときの順番を示している。

さらに、静止画像３００中の波線閉曲線は、ユーザが入力によって特定した領域３０５を示している。この領域内においては、マーク３０２の音データは、マーク３０３の音データよりも前に録音されているので、再生順序は、マーク３０２の音データ、マーク３０３の音データの順となる。

上記第１の実施の形態では、ユーザーの入力が閉曲線（図３の３０５）であり、その内側の領域に存在する１つ以上の音データ（図３の３０２，３０３）を再生する場合について説明したが、これに限定されず、第１の実施の形態の変形例として、ポインティングによって１つ以上の音データを指定する場合もよい。ここで、ポインティングとは、タッチパネル上で特定の個所をペン等で特定したり、特定の位置をマウスでクリックしたりすることを意味する。例えば、上記特許文献１の方法では、ポインティングによって指定した１つの音データを再生している。このように、ポインティングは、ある特定の一箇所しか指定することができないが、複数回のポインティング動作によって選択される複数の音データを、ポインティングされた順番にしたがって順次再生することにより、複数の音データの選択が可能となる。

一方で、ある音データの再生中に別の音データを再生を所望する場合、例えば、記録されたたくさんの音データの各音データの先頭部分だけを再生してその内容を確認する場合等がある。通常これらの要求を実現するために、一般的なユーザーインターフェースでは、ある音データの再生中に別の音データを選択したときは、再生中の音データを停止して、選択した音データの再生を開始させることが多いが、この場合、単純に複数回のポインティング動作で選択される複数の音データをその選択順に再生していく方法と、ポインティング動作で選択された音データの即時再生方法とは両立しえないことになる。

そこで、このような場合には、次のような方法が有効である。まず、ポインティングの間隔に閾値を設定しておく。その閾値よりも短い間隔で連続的にポインティングが繰り返された場合は音データの複数選択であるとする。逆の場合は、再生中の音データを停止して、ポインティングされた音データの再生を開始する。

このように閾値を設定することにより、２つの入力方法を両立させることが可能である。上記の２つの入力方法をユーザーが選択するためのボタン等の選択方法が提供されていてもよい。

さらに、音データを、複数回のポインティングで選択した順序通りに再生する以外にも、選択された複数の音データが録音された順番に従って再生してもよい。

図４は、本発明の第２の実施の形態における情報処理装置の構成を概略的に示すブロック図である。

本発明の第１の実施の形態及びその変形例では、１枚の画像に複数の音データが関連付けられている場合について説明したが、本実施の形態では、そのような画像・音データが複数存在する場合について説明する。

例えば、情報処理装置がデジタルカメラ等のように表示装置が小さい場合を考える。画像に関連付けて記録されている音データを再生する場合、上記特許文献２及び３の例のように画像の一覧表示が便利である。しかしながら、デジタルカメラ等のように表示装置が小さい場合は、一覧表示できる画像の数が少なくなり、音データが存在する画像をすべて探すためには、何度かに分けて一覧を表示する必要があり不便である。そこで、音データが関連付けられている画像だけを表示する場合を考える。

図４の情報処理装置は、構成が図１の装置と基本的に同じであり、図１の装置と同一の構成要素には同一符号を付して重複説明を省略し、以下に図１の装置と異なる部分についてのみ説明する。

図４の情報処理装置は、バスに、画像・音データ１０７内のデータから音データが１つ以上関連付けられているすべての画像データを検索する画像検索部４０８が接続されている点でのみ図１のものと異なる。

図４の情報処理装置は、図２のステップＳ２０１の画像生成処理として図５の情報処理を実行した上で、図２の情報処理を実行する。

図５は、図２のステップＳ２０１の画像の生成処理のフローチャートである。

以下の説明では適宜図６を参照する。

図５において、画像検索部４０８は、画像・音データ格納部１０７の中から音データが関連付けられているすべての画像を検索し（ステップＳ５０１）、検索の結果、該当する画像が存在するか否か判別し（ステップＳ５０２）、該当する画像が存在しないときは、本処理を終了し、該当する画像が存在するときは、検索の結果得られた画像を一覧表示するための画像（図６の６０２）を生成し、生成した画像を画像表示部１０６に表示して（図６の６０１）（ステップＳ５０３）、本処理を終了する。ステップＳ５０３では、音データ（図６の６０２）が関連付けられている位置も画像表示部１０６に表示する。

図６は、図４における画像表示部に表示される他の画面を説明するのに用いられる図である。

図６において、画面６０１は、夫々複数の音データ（マーク６０３で示す）が特定の領域において関連付けられている７枚の静止画像６０２を表示している。マーク６０３の丸数字は、その画像６０２内で音データが録音された順番を表している。本図では、画像毎に番号をふり直しているが、これに限定されるものではなく、すべての画像６０２において通し番号を付与してもよい。また、画像・音データ１０７内の音データを録音した時刻、又はすべての画像６０２を通じて音データが録音された順番を付与してもよい。

上記実施の形態では、１枚の画像に複数の音データが関連付けられている場合について説明したが、これに限定されるものではなく、１枚の画像に１つの音データが関連付けられていてもよい。この場合は、図６の６０３に該当する音データを示すマークは不要である。図４における画像検索部４０８では、音データが関連付けられている画像を検索する。

上記実施の形態では、音データが録音された順番を画像上に表示する場合について説明したが、これに限定されるものではなく、音データがその位置に存在することだけを表記してもよく、さらに、音データが存在することさえも表示しない場合もあり得る。また、これら音データの録音順序の表示・非表示や存在位置の表示・非表示を設定できる設定手段を用意してもよい。

上記実施の形態では、複数の音データが順次再生されていく間に表示画像が変化しない場合について説明したが、これに限定されるものではなく、現在再生中の音データの位置をハイライト表示することによって、どの画像の音データが再生されているかをユーザーに提示してもよい。この場合は、再生処理部１０４と表示画像生成部１０５が同期して動作する。

上記実施の形態では、複数の音データの再生順序を録音順とする場合について説明したが、これに限定されるものではなく、録音者が設定した順番通りに再生する場合も良い。

この場合は、画像・音データ格納部１０７において、再生順序に関するデータが保存されている。また、再生順序に関しては、録音者の設定した順序、又は、録音順のうち、どちらの順序で再生するかをユーザーが設定するための設定手段を備えても良い。

上記実施の形態では、複数の音データの再生を順番に行う場合について説明したが、これに限定されるものではなく、選択された複数の音データを同時に再生してもよい。これを実現するためには、複数の音データを重ね合わせればよい。

上記実施の形態では、静止画像に対して音データが関連付けられている場合について説明したが、これに限定されるものではなく、動画のフレームに対して音データが関連付けられている場合もよい。

本発明の第１の実施の形態の変形例では、連続したポインティング動作により複数の音データを選択する場合について説明したが、これに限定されるものではなく、同時に複数の音データをポインティングしてもよい。

なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードをネットワーク等を介してダウンロードして実行したり、プログラムコードを記録した記録媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

プログラムコードを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施の形態に係る情報処理装置の構成を概略的に示すブロック図である。 図１の情報処理装置によって実行される情報処理のフローチャートである。 図１における画像表示部に表示される画面を説明するのに用いられる図である。 本発明の第２の実施の形態における情報処理装置の構成を概略的に示すブロック図である。 図２のステップＳ２０１の画像の生成処理のフローチャートである。 図１における画像表示部に表示される他の画面を説明するのに用いられる図である。

符号の説明

１０１ 入力処理部
１０２ 音データ特定部
１０３ 再生順序決定部
１０４ 再生処理部
１０５ 表示画像生成部
１０６ 画像表示部
１０７ 画像・音データ
３０１,６０１ 画面
３０２〜３０４,６０３ マーク
３０５ 領域
３１０〜３１４, ６０２ 画像
４０８ 画像検索部

Claims (13)

1. 複数の音情報が関連付けられた画像を表示部に表示させる表示制御手段と、
   前記表示された画像から複数の音情報を選択する選択手段と、
   前記選択手段により選択された複数の音情報を再生する順序を、所定の条件に従い決定する決定手段と、
   前記決定手段で決定された再生順序に従い、前記複数の音情報を再生する再生手段とを備えることを特徴とする情報処理装置。
2. 前記所定の条件とは、音情報が録音された時間順、音情報の作成者が指定した順、音情報の再生を行うユーザが指定した順のいずれか１つの条件であることを特徴とする請求項１記載の情報処理装置。
3. 前記表示制御手段は、前記画像に関連付けられた音情報に対応するマークを、前記画像上に表示し、
   前記選択手段は、前記表示されたマークのうちの指定されたマークに対応する音情報を、前記複数の音情報として選択することを特徴とする請求項１記載の情報処理装置。
4. 前記複数の音情報は、前記画像内の位置を示す位置情報とそれぞれ関連付けられており、
   前記選択手段は、領域選択により選択された領域に含まれる前記画像内の位置に対応する位置情報に関連付けられた音情報を、前記複数の音情報として選択することを特徴とする請求項１記載の情報処理装置。
5. 前記選択手段は、前記表示されたマークを１つずつ又同時に指定するポインティングにより選択されたマークに対応する音情報を、前記複数の音情報として選択することを特徴とする請求項３記載の情報処理装置。
6. 前記表示されたマークが１つずつポインティングにより指定された場合に、指定される時間間隔が所定の閾値よりも短い場合は音情報の選択であるとみなし、所定の閾値よりも長い場合は該指定されたマークに対応する音情報を再生することを特徴とする請求項５記載の情報処理装置。
7. 前記表示制御手段は、前記音情報が関連付けられた画像のみを一覧表示することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記表示制御手段は、前記再生手段が再生している音情報が関連付けられている画像をハイライト表示することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記画像の少なくとも１つが動画像であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
10. 少なくとも１つの音情報が関連付けられた画像を複数、表示部に表示させる表示制御手段と、
    前記表示された複数の画像から複数の画像を選択する選択手段と、
    前記選択手段により選択された複数の画像に関連付けられた音情報を再生する順序を、所定の条件に従い決定する決定手段と、
    前記決定手段で決定された再生順序に従い、前記複数の音情報を再生する再生手段とを備えることを特徴とする情報処理装置。
11. 複数の音情報が関連付けられた画像を表示部に表示させる表示制御ステップと、
    前記表示された画像から複数の音情報を選択する選択ステップと、
    前記選択ステップで選択された複数の音情報を再生する順序を、所定の条件に従い決定する決定ステップと、
    前記決定ステップで決定された再生順序に従い、前記複数の音情報を再生する再生ステップとを備えることを特徴とする情報処理方法。
12. 少なくとも１つの音情報が関連付けられた画像を複数、表示部に表示させる表示制御ステップと、
    前記表示された複数の画像から複数の画像を選択する選択ステップと、
    前記選択ステップで選択された複数の画像に関連付けられた音情報を再生する順序を、所定の条件に従い決定する決定ステップと、
    前記決定ステップで決定された再生順序に従い、前記複数の音情報を再生する再生ステップとを備えることを特徴とする情報処理方法。
13. 請求項１１又は１２に記載の情報処理方法をコンピュータに実行させるための制御プログラム。

Images