JP3558048B2 - File recording method, file processing method, image display device, and image editing device - Google Patents

File recording method, file processing method, image display device, and image editing device Download PDF

Info

Publication number
JP3558048B2
JP3558048B2 JP2001100255A JP2001100255A JP3558048B2 JP 3558048 B2 JP3558048 B2 JP 3558048B2 JP 2001100255 A JP2001100255 A JP 2001100255A JP 2001100255 A JP2001100255 A JP 2001100255A JP 3558048 B2 JP3558048 B2 JP 3558048B2
Authority
JP
Japan
Prior art keywords
image
file
displayed
reproduction
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001100255A
Other languages
Japanese (ja)
Other versions
JP2002300520A (en
Inventor
勝仁 新川
Original Assignee
ミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミノルタ株式会社 filed Critical ミノルタ株式会社
Priority to JP2001100255A priority Critical patent/JP3558048B2/en
Publication of JP2002300520A publication Critical patent/JP2002300520A/en
Application granted granted Critical
Publication of JP3558048B2 publication Critical patent/JP3558048B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、複数の画像と関連して再生される音声ファイルのファイル記録方式及びファイル処理方式に関し、特に、音声を再生するとともに複数の静止画像を切り換えて表示させるスライドショーで用いるための音声ファイルのファイル記録方式及びファイル処理方式に関する。
【0002】
【従来の技術】
複数の静止画像を切り換えて表示するスライドショーでは、視覚のみの鑑賞となり、鑑賞者に飽きがきてしまう。このことを避けるために、静止画像とともに音声を再生することがなされている。このように、静止画像とともに音声を再生するための「音声付き画像録画再生装置」が特開2000−261752号公報で提案されている。
【0003】
この特開2000−261752号公報では、画像データと複数の音声ファイルを指定するための複数の音声ファイル識別子とが格納された画像ファイル、又は、音声データと複数の画像ファイルを指定するための複数の画像ファイル識別子とが格納された音声ファイルを構成することで、画像ファイルによる画像の再生表示と音声ファイルによる音声の再生をともに行うことを実現している。即ち、音声データと複数の画像ファイルを指定するための複数の画像ファイル識別子とが格納された音声ファイルを「音声付き画像録画再生装置」で再生する際、音声ファイル内の画像ファイル識別子で指定した画像ファイル内の画像データを処理して画像表示するとともに、音声ファイル内の画像データを処理して音声を再生する。
【0004】
【発明が解決しようとする課題】
しかしながら、特開2000−261752号公報の「音声付き画像録画再生装置」が処理を行う音声ファイルは、上述したように、音声データと複数の画像ファイルを指定するための複数の画像ファイル識別子とによって構成され、音声ファイル自身に画像データを有するわけではない。よって、このような音声ファイルを処理して画像とともに音声を再生する装置においては、音声ファイルのみならず、その音声ファイル内に格納された複数の画像ファイル識別子によって指定される複数の画像ファイルを有する必要がある。よって、装置から装置へ音声ファイルを移動させる際、音声ファイルのみでなく、複数の画像ファイルも移動させる必要があり、ファイルの処理が煩雑となる。
【0005】
又、特開2000−261752号公報の「音声付き画像録画再生装置」は、音声データと複数の画像ファイルを指定するための複数の画像ファイル識別子とによって構成された音声ファイルを処理して、音声と画像の再生を行うが、このとき、画像ファイル識別子によって指定された画像ファイルが存在しないときの動作については言及されておらず、その動作が不安定なものになる恐れがある。
【0006】
更に、特開2000−261752号公報の「音声付き画像録画再生装置」は、音声データと複数の画像ファイルを指定するための複数の画像ファイル識別子とによって構成された音声ファイルを生成する際、再生表示される各画像の表示時間設定は、音声を音声データとして記録する際に、鑑賞者が所望する時間になったときボタンを操作することによって、各画像の表示開始及び表示終了を設定する。よって、音声を録音して音声データの記録を行う際に、音声再生中の各画像の表示切換時間の設定をする必要があり、設定後の変更が困難であるとともに、その設定操作が煩雑なものとなる。
【0007】
このような問題を鑑みて、本発明は、音声とともに再生される複数の静止画像の画像データを有する音声ファイルのファイル記録方式を提供することを目的とする。又、本発明は、音声ファイルによって指定された静止画像が存在しないときに、特定の画像又は次に表示されるように指定された静止画像を表示させることが可能なファイル処理方式及びこのファイル処理方式を用いて動作する画像表示装置を提供することを目的とする。更に、本発明は、音声とともに再生される複数の静止画像を指定することのできる音声ファイルを処理するにあたり、全画像の表示終了時刻と音声の再生終了時刻とが一致されるようなファイル処理方式及びこのファイル処理方式を用いて動作する画像編集装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載のファイル記録方式は、音声データと複数の複数の静止画像用の画像データより成るスライドショー用ファイルのファイル記録方式において、前記音声データより成る音声ファイル内に、複数の静止画像それぞれを表し、それぞれの画像データが得られたときの撮影条件を表す撮影条件情報が含む複数の画像データと、前記音声データによる音声が再生される際に、前記複数の静止画像を切り換えて表示するための順序を表す画像表示情報と、を記録して、前記スライドショー用ファイルを生成することを特徴とする。
【0009】
このようなファイル記録方式によると、画像データを別のデータファイルとせずに、音声データが記録される音声ファイルに直接記録させてスライドショー用ファイルを生成する。よって、記録媒体間や通信媒体間を通じて、ファイルの移動が求められるとき、音声ファイルのみの移動で、その音声データに関連づけられた画像データととともに移動することができる。
【0010】
又、前記複数の画像データに、それぞれの画像データが得られたときの撮影条件を表す撮影条件情報を含めることで、その撮影条件とともに画像データを再生することができる。又、請求項に記載するように、前記画像データ及び前記画像表示情報を、前記音声データの属性が記録されるタグ領域に記録するようにして、従来の音声ファイルのみを再生する再生処理装置への互換性を保持させることができる。
【0011】
又、請求項に記載のファイル記録方式は、音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル記録方式において、前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報を記録して、前記スライドショー用ファイルを生成するとともに、前記複数の画像のうちの1つの画像の画像データのデータ量を縮小して得られるサムネイル画像が、前記音声ファイルを特定するためのアイコンとして表示されるように設定することを特徴とする。
【0012】
スライドショー用ファイルである音声ファイルを特定するアイコンがディスプレイ内のデスクトップ上などに表示されたとき、そのアイコンを音声ファイルが有する画像データのサムネイル画像とすることで、音声ファイルの内容の理解を容易にすることができる。又、このような音声ファイルは、請求項に記載するように、前記複数の画像それぞれの画像データが、前記音声ファイル内に記録されるようにしても構わない。
【0013】
又、請求項に記載のファイル処理方式は、音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、前記音声データが再生されて、前記画像指定情報によって指定される前記複数の静止画像を、前記画像表示情報によって指定された順番で切り換えて表示する際において、存在しない静止画像が前記画像指定情報によって表示されるように指定された場合、前記画像表示情報によって、次に表示されるように順番が指定された静止画像が表示されることを特徴とする。
【0014】
このようなファイル処理方式によると、端末装置などで、専用のアプリケーションを用いてスライドショー用ファイルである音声ファイルを再生するとき、音声データとともに、順に再生される静止画像の中で、画像データの無いものが検知されたとき、請求項に記載するように、予めアプリケーションで設定された色や模様などの所定の画像を、画像データの無い静止画像の代わりに再生させる。よって、静止画像の画像データが無く、表示画面がブラックアウトすることを避けることができる。
【0015】
又、静止画像の再生終了時刻と次の静止画像の再生開始時刻が異なるとき、請求項に記載するように、この静止画像の再生終了時刻から次の静止画像の再生開始時刻までの間に、予めアプリケーションで設定された色や模様などの所定の画像を、画像データの無い静止画像の代わりに再生させる。よって、静止画像が切り替わるときに、再生する画像データが無いために、表示画面がブラックアウトすることを避けることができる。
【0016】
請求項に記載のファイル処理方式は、音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番及び表示時間を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、前記静止画像全ての表示の終了と前記音声データの再生の終了とが一致するように、前記静止画像が切り替わるタイミングに表示させるように予め設定された所定の画像の表示時間が設定されることを特徴とする。
【0017】
このようなファイル処理方式によると、例えば、スライドショー用ファイルである音声ファイル内において、表示時間が設定されていない静止画像の表示時間が、音声データの再生時間と静止画像の数より設定される。このとき、例えば、音声データの再生時間を静止画像の数で割ることによって、静止画像の表示時間が設定されるようにしても構わない。
【0018】
請求項10に記載の画像表示装置は、請求項5〜請求項9のいずれかに記載のファイル処理方式を用いて処理された音声ファイルより得られた音声データから音声を再生するとともに、前記画像指定情報によって指定される前記複数の静止画像を、前記画像表示情報によって指定された順番で切り換えて表示することを特徴とする。
【0019】
請求項11に記載のファイル処理方式は、音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、前記複数の静止画像より、少なくとも1つ以上の静止画像を特定の静止画像として選択し、前記複数の静止画像のうち、前記特定の静止画像以外の各静止画像の表示時間が設定され、前記特定の静止画像の表示時間が、前記特定の静止画像以外の各静止画像の表示時間と音声データの音声再生時間とに基づいて設定されることを特徴とする。
【0020】
このようなファイル処理方式によると、静止画像の表示時間をユーザーが端末に格納された専用のアプリケーションを用いて設定するとき、最終的に、各静止画像の表示時間の和が、音声データの再生時間と等しくなるように、設定される。
【0021】
請求項12に記載のファイル処理方式は、音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、前記各静止画像の表示時間が設定され、前記複数の静止画像のうち、少なくとも1枚以上の静止画像が表示される間、音声データが再生されないように設定されることを特徴とする。
【0022】
このようなファイル処理方式によると、静止画像の表示時間をユーザーが端末に格納された専用のアプリケーションを用いて設定するとき、音声データを再生する前に、複数枚の静止画像を表示させるように設定することができる。
【0023】
請求項13に記載のファイル処理方式は、音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、前記各静止画像の表示時間が、初期値として所定の時間に設定されることを特徴とする。
【0024】
このようなファイル処理方式は、静止画像の表示時間をユーザーが端末に格納された専用のアプリケーションを用いて設定するとき、最終的に、各静止画像の表示時間の和が、音声データの再生時間と等しくなるように、静止画像の表示時間が初期値として、所定の時間に設定される。
【0025】
又、請求項14に記載するように、前記各静止画像の表示時間が、更に、前記各静止画像毎に設定された前記所定の時間に基づいて、その時間の長さを変化させることで再設定されるようにしても構わない。又、請求項15に記載するように、前記所定の時間を、前記音声データの音声再生時間を前記静止画像の画像数で割った時間としても構わない。
【0026】
請求項16に記載のファイル処理方式は、音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、前記画像表示情報によって指定される前記複数の静止画像が表示される順番に基づいて、前記各静止画像の表示時間の長さ又は前記各静止画像の表示される順番のうち少なくとも一方が無作為に設定されることを特徴とする。
【0027】
このようなファイル処理方式において、請求項17に記載するように、前記各静止画像の表示時間が無作為に設定される場合、該各表示時間が所定の範囲内で設定されるようにし、又、請求項18に記載するように、前記各静止画像の表示時間が無作為に設定される場合、前記複数の静止画像全ての表示の終了時刻と前記音声データの再生終了時刻とが一致するように、前記複数の静止画像のうち、少なくとも1つの静止画像の表示時間が、設定された他の静止画像の表示時間と前記音声データの音声再生時間とに基づいて、設定されるようにする。
【0028】
請求項19に記載の画像編集装置は、請求項11〜請求項18のいずれかに記載のファイル処理方式を用いて前記音声ファイル内のデータを設定することによって、前記音声データの再生時に表示する前記複数の静止画像の表示方法を編集することを特徴とする。
【0029】
【発明の実施の形態】
本発明の実施の形態について、図面を参照して説明する。図1は、本発明のデータ提供方式を用いた通信ネットワークシステムの構成を示す図である。
【0030】
図1の通信ネットワークシステムは、パーソナルコンピュータや携帯端末やデジタルカメラなどの通信機能を有する端末装置1−1〜1−nと、データファイルの配信要求を行う端末装置1−1〜1−nに対してデータファイルの配信を行うサーバ装置2と、各ブロック間で通信が行われるための通信ネットワーク3とで構成される。
【0031】
このような通信ネットワークシステムにおいて、端末装置1−1〜1−nの構成は、図2のようになる。即ち、端末装置1(図1の端末装置1−1〜1−nに相当する)は、装置全体の制御を行うCPU(Central Processing Unit)11と、端末装置1を動作させるためのソフトウェアが格納されたROM(Read Only Memory)12と、CPU11が演算動作を行うときのデータの一時保管などを行うRAM(Random Access Memory)13と、インターネットなどの通信ネットワーク3と接続されてデータの送受信を行うモデムなどの通信部14と、データ編集用ソフトを含む各種アプリケーションソフトや各種アプリケーションソフトで処理されたデータファイルなどを格納したHDD(Hard Disk Drive)15と、フロッピーディスクやメモリーカードやCD−ROMなどの記憶メディアからのデータの読み出しや書き込みを行うドライブ16と、外部の周辺機器とデータをやり取りするためのI/O(Input/Output)部17と、I/O部17から出力されるデータより画像やテキストの表示を行うディスプレイなどの表示部18と、キーボードやマウスなどのデータを入力するための入力部19と、ブロック11〜17の間でデータのやり取りを行うためのバス回線20とを有する。
【0032】
又、サーバ装置2の構成は、図3のようになる。即ち、サーバ装置2は、装置全体の制御を行うCPU21と、サーバ装置2を動作させるためのソフトウェアが格納されたROM22と、CPU21が演算動作を行うときのデータの一時保管などを行うRAM23と、インターネットなどの通信ネットワークと接続されてデータの送受信を行うモデムなどの通信部24と、音声データのデータファイルを複数格納した外部記憶装置25と、ブロック21〜25の間でデータのやり取りを行うためのバス回線26とを有する。
【0033】
このように構成される端末装置1−1〜1−n及びサーバ装置2の間でデータファイルの配信が行われる際の各装置の動作及びデータファイルの構成について、以下に説明する。
【0034】
<データファイルの構成>
まず、サーバ装置2に格納されるとともに端末装置1に配信される音声データのデータファイルの一構成例について、図面を参照して説明する。図4は、データファイルの構成を示す図である。図5は、図4のデータファイルの詳細な構成を示す図である。
【0035】
図4(a)のように、データファイルは、まず、データファイルの構成を示すためのタグデータが記録されるタグ領域41と、音声データが記録される音声データ領域42とで構成される。そして、タグ領域41は、図4(b)のように、音声データ用のタグデータが記録される音声用タグ領域43と、画像データ及び画像データ用のタグデータが記録される画像記録領域44−1〜44−nとで構成される。更に、画像記録領域44(画像記録領域44−1〜44−nに相当する)は、図4(c)のように、画像データ用のタグデータが記録される画像用タグ領域45と、画像データが記録される画像データ領域46と、画像の垂直及び水平方向それぞれのピクセル数を縮小することでデータ量が縮小されたサムネイル画像データが記録されるサムネイルデータ領域47とで構成される。
【0036】
このように構成されるデータファイルの詳細な構成について、以下に説明する。図5は、8個の画像データが記録されたデータファイルxxxxにおけるタグ領域41の構成例である。まず、図5(a)のように、音声用タグ領域43では、ファイル名がそれぞれ、“FileName”によって表され、ディスプレイ上にデータファイルxxxxを表すためのアイコンを表示するためのサムネイル画像データが“Icon”で指示される。又、音声データの位置するアドレスが“WevDataAdr”で指定されるとともに、音声データの再生時間が“PlayTime”に記録される。
【0037】
更に、この音声用タグ領域43において、“Image”によって、“Image”以下の記載が音声データに関連づけられている画像の画像データについての記載であることを示す。そして、音声データに関連づけられた画像の数が“ImageFiles”で指定されるとともに、各画像データが記録される各画像記録領域の先頭アドレスが“ImageFileName”で指定される。更に、各画像の再生開始時刻及び再生終了時刻がそれぞれ、“StartPlayImage k”及び“EndPlayImage k”(1≦k≦8)で指定される。
【0038】
よって、図5(a)の場合、ファイル名がxxxxのデータファイルで、アイコン用のデータに画像Image1のサムネイル画像データが使用される。又、音声データ領域42の先頭アドレスがAxであり、その再生時間が300秒である。更に音声データに関連づけられた画像の数が8個であるとともに、画像Image1〜Image8それぞれの画像データが格納された画像記録領域44−1〜44−8の先頭アドレスが、A1〜A8である。また、“StartPlayImage1”〜“StartPlayImage8”及び“EndPlayImage1”〜“EndPlayImage8”で設定される画像Image1〜Image8それぞれの再生時間が、図6のように表される。
【0039】
即ち、“StartPlayImage1 = 0”で、音声データの再生開始時刻とともに、画像Image1の画像再生が開始することを示し、“EndPlayImage1 = 20”及び“StartPlayImage2 = 20”で、音声データの再生が開始してから20秒後に、画像Image1のの再生が終了するとともに画像Image2の再生が開始することを示す。又、“EndPlayImage2 = 30”で、音声データの再生が開始してから30秒後に、画像Image2の再生が終了することを示す。そして、最終的に、“StartPlayImage8 = 270”で、音声データの再生が開始してから270秒後に、画像Image8の再生が開始することを示し、“EndPlayImage8 = 300”で、音声データが再生終了時刻とともに、画像Image8の再生が終了することを示す。
【0040】
尚、“StartPlayImage3”〜“StartPlayImage7”及び“EndPlayImage3”〜“EndPlayImage7”によって、画像Imgae3〜Image7の再生時間が、決定される。又、“StartPlayImage k”を負の値としたとき、音声データの再生開始前に画像Image k の画像データが再生されることを示す。
【0041】
このように構成される音声用タグ領域43の下に、画像記録領域44−1〜44−8が設けられるが、この画像記録領域44−1〜44−8は、図5(a)のように、それぞれの先頭アドレスがA1〜A8となるアドレス領域に設けられる。次に、このように設けられた画像記録領域44−1〜44−8の構成について、図5(b)を参照して説明する。
【0042】
アドレスA1を先頭アドレスとするアドレス領域にある画像記録領域44−1では、まず、画像用タグ領域45−1において、“Image1”で、画像Image1の記述であることを示し、“Image1Adr”で画像Image1の画像データが記録された画像データ領域46−1の先頭アドレスがA11であり、又、“Image1Thm”で画像Image1のサムネイル画像データが記録されたサムネイルデータ領域47−1の先頭アドレスがA12であることが示される。
【0043】
よって、アドレスA1とアドレスA2との間に構成される画像記録領域44−1において、アドレスA1とアドレスA11との間に画像Image1の画像用タグ領域45−1が構成され、アドレスA11とアドレスA12との間に画像Image1の画像データ領域46−1が構成され、アドレスA12とアドレスA2との間に画像Image1のサムネイルデータ領域47−1が構成される。
【0044】
更に、“XImageSize”及び“YImageSize”で、画像Image1の垂直方向及び水平方向それぞれにおける撮影時の画素サイズが、“DateTime”で撮影日時が、“Aperture”で撮影時の絞りが、“ShutterSpeed”で撮影時のシャッタースピードが、“Mode”で撮影条件設定が自動で行われたか手動で行われたかが、“Flash”で撮影時にフラッシュが使用されたか、それぞれ、示される。
【0045】
即ち、Image1が、垂直方向に800ピクセル、水平方向に600ピクセルの画素で、日本時間の2001年2月23日12時13分24秒撮影され、このときの絞り(Fナンバー)がF2.8であるとともに、そのシャッタースピードが1/250秒であることがわかる。又、撮影時の絞りやシャッタースピードやフラッシュのON/OFFなどの撮影条件設定が自動で行われ、更に、フラッシュの使用がなかったことがわかる。
【0046】
同様に、画像Image2〜Image8においても、画像データの先頭アドレス、サムネイル画像データの先頭アドレス、及び、撮影時の各種撮影条件などが、画像記録領域44−2〜44−8に記載される。又、画像Image2〜Image8の画像データの先頭アドレス及びサムネイル画像データの先頭アドレスがそれぞれ、A21〜A81、A22〜A82に設定される。このように、
【0047】
このように、音声データが構成されるとき、図7のように、タグ領域41に、画像記録領域44−1〜44−nが存在せず、音声用タグ領域43において、音声データに関連づけられた画像データを有するデータファイルのファイル名が指定されるようにすることも可能である。即ち、図5の場合と同様、関連づけられた画像が8つであるとき、Image1〜Image8に指定される画像データのデータファイルaaa1〜aaa8が、ファイル名であるaaa1〜aaa8が“ImageFileName”に記載されて指定される。
【0048】
更に、“StartPlayImage k”及び“EndPlayImage k”における時間の記載がない場合は、Image k の再生開始時刻及び再生終了時刻の指定がないことを示す。
【0049】
このように設定される音声データを有するデータファイルxxxxのタグ領域43に画像データを有する場合は、端末装置1の通信部14より通信ネットワーク3を通じて、サーバ装置2の通信部24に配信要求されると、このデータファイルxxxxが外部記憶装置25より読み出されて、通信部24から端末装置1に配信される。そして、端末装置1が、通信部14でデータファイルxxxxを受信すると、HDD15に書き込まれる。
【0050】
又、上述のように設定される音声データを有するデータファイルxxxxのタグ領域43に画像データがない場合は、端末装置1の通信部14より通信ネットワーク3を通じて、サーバ装置2の通信部24に配信要求されると、このデータファイルxxxxが、関連づけられた画像データを有するデータファイルaaa1〜aaa8とともに外部記憶装置25より読み出されて、通信部24から端末装置1に配信される。そして、端末装置1が、通信部14でデータファイルxxxx,aaa1〜aaa8を受信すると、HDD15に書き込まれる。
【0051】
<データファイル用のデータ編集ソフトの表示例>
図8の表示部18の画面表示例に示すように、表示部18上のデスクトップに表示された上述した音声データを有するデータファイルのアイコンi1が、入力部19が操作されて、ポインタで指定されたとき、まず、このデータファイルを編集及び再生するためのデータ編集用ソフトがHDD15より読み出されて起動する。そして、HDD15から、又は、ドライブ16によって記憶メディアから、データファイルが読み出されて、デスクトップの領域Aにおけるデータ編集用ソフトのウィンドウに表示される。
【0052】
読み出されたデータファイルが上述したデータファイルxxxxであるとき、図8のように、デスクトップの領域Aにおけるデータ編集用ソフトのウィンドウには、データファイルxxxxの音声データによって再生される音声波形が時系列的に表示される。そして、データファイルxxxxによって指定される画像Image1〜Image8が、再生される順番に、そのサムネイル画像データより得られるサムネイル画像として表示される。
【0053】
又、画像Image1〜Image8の再生開始時刻及び再生終了時刻がそれぞれ表示されるとともに、画像Image1〜Image8の再生開始時刻及び再生終了時刻と再生時間との関係を視覚で確認できるように、音声波形が表示された領域に、画像Image1〜Image8の再生開始時刻及び再生終了時刻毎の区切り線が表示される。更に、データファイルの再生設定又は編集するための設定ボタン、編集したデータファイルを保存するための保存ボタン、データファイルを再生するための再生ボタン、データ編集用ソフトを終了するための終了ボタン、及び、各種処理動作を指定するためのメニューバーが表示される。
【0054】
このようにデータファイルxxxxが、データ編集用ソフトのウィンドウに表示されるとき、画像Image1〜Image8の全てが表示不可能であるときは、図8のように、スクロールバーが表示され、スクロールバーで左右にウィンドウ内の表示部分を切り換えることによって、各時間に対応した画像をウィンドウ内に表示させることができる。即ち、スクロールバーを操作することによって、時間軸方向に、ウィンドウ内の表示を変更させることができる。
【0055】
尚、データファイルの再生又は編集を行うための起動方法は、これに限らず、例えば、入力部19を操作することで、デスクトップ、又は、デスクトップに表示されたフォルダ内に表示されたデータ編集用ソフトを示すアイコンを指定して、データ編集用ソフトを起動した後、データ編集用ソフトのメニューバーなどから、起動するデータファイルを選択してデータ編集用ソフトのウィンドウ上に表示させるようにしても構わない。
【0056】
又、データファイルを示すアイコンi1がデスクトップ上にない場合は、データファイルが格納されたフォルダを表示させ、そのフォルダ内のアイコンi1を指定することによって、データファイルがデータ編集用ソフトのウィンドウに表示される。
【0057】
図8のように、データファイルがデータ編集用ソフトのウィンドウに表示されるとき、このウィンドウ上に表示された設定ボタンが、入力部19が操作されて、ポインタによって指定されたとき、図9のように、表示部18の領域Aに、編集設定用ウィンドウが表示される。このように領域Aに表示される編集設定用ウィンドウでは、画像切換タイミング、表示画像の無いタイミングに優先されて表示される模様、データファイルを再生する際に表示する項目、再生表示する画像をランダムに表示するか否か、のそれぞれを設定するための項目が表示される。
【0058】
即ち、画像切換タイミングの設定項目では、データファイルの音声用タグ領域43で設定された時間での画像の再生表示、又は、画像の再生時間の指定がない場合における各画像の均一時間毎の再生表示を行う自動切換、もしくは、各画像の再生時間をユーザーが設定するためのマニュアル切換のいずれか一方が選択される。
【0059】
そして、表示画像の無いタイミングに優先されて表示される模様の設定項目では、IMAGE1〜IMAGE4の4つの模様から選択して、それぞれに優先順位を割り振ることで、表示するための画像の画像データがない場合や、画像の切換時に画像の非表示期間がある場合に表示される模様が設定される。よって、1つの模様のみを選択する場合は、その選択する模様に優先順位として1を割り振る。このとき、画像の非表示期間に表示される模様は、優先順位1が割り振られた模様のみが常に表示される。
【0060】
即ち、模様IMAGE1のみに優先順位1が割り振られて、模様IMAGE2〜IMAGE4に優先順位が割り振られていない場合、データファイルが再生処理されたときにおいて、指定した画像の画像データの無い場合や画像の切換時間が長い場合に発生する画像の非表示期間には、常に、模様IMAGE1が表示される。
【0061】
又、複数の模様に優先順位が、優先したいものの順に割り振られた場合、非表示期間が切り替わる毎に、1番目の優先順位の模様から順番に模様が切り替わり、模様全部が表示されると、再び、模様が表示される表示期間毎に、1番目の優先順位の模様から順番に模様が切り替わる。よって、例えば、指定された画像データが連続して存在しない場合、最初の画像データのない画像の再生時間に1番目の優先順位の模様が表示され、次の画像データのない画像の再生時間に2番目の優先順位の模様が表示される。
【0062】
即ち、例えば、データファイルxxxxが再生処理されるときに、指定された画像Image2,Image3の画像データを含むデータファイルaaa2,aaa3が無く、又、画像Image3と画像Image4及び画像Image4と画像Image5の再生表示の切換時間が長い場合において、模様IMAGE1〜IMAGE4のそれぞれに優先順位1〜4が割り振られたとき、画像Image2,Image3の再生表示時間に、模様IMAGE1,IMAGE2が表示される。そして、画像Image3の再生表示時間に表示された模様IMAGE2の表示が終了すると、画像Image4が再生表示が開始されるまで模様IMAGE3が表示される。そして、画像Image4の再生表示が終了した後、画像Image5の再生表示が開始されるまで模様IMAGE4が表示される。
【0063】
又、データファイルを再生する際に表示する項目の設定項目では、画像の再生表示とともに表示される画像の名称や撮影日や撮影時間といった項目が設定される。尚、これらの項目は、全てが表示されるように設定されることも可能であるし、全てが表示されないように設定されることも可能である。
【0064】
又、再生表示する画像をランダムに表示するか否かの設定項目では、再生表示する画像の順序をランダムにするか否か及びランダムに変更するためのコマ数、再生表示する画像の再生時間をランダムにするか否か及び再生時間の範囲を設定することができる。このとき、再生表示する順序及び再生時間をともにランダムに設定することも可能であるし、再生表示する順序及び再生時間をともにランダムに設定することを禁止することも可能である。
【0065】
このように、コマ数がランダムに設定されたときの再生処理は、以下のようになる。図10のように、画像Image1〜Image8の再生される順番が1番目〜8番目に、データファイルで設定されているとき、3コマ毎にランダムに設定された場合、1番目に再生される画像が画像Image1〜Image4のうちの一つ、2番目が画像Image1〜Image5のうちの一つ、3番目が画像Image1〜Image6のうちの一つ、4番目が画像Image1〜Image7のうちの一つ、5番目が画像Image2〜Image8のうちの一つ、6番目が画像Image3〜Image8のうちの一つ、7番目が画像Image4〜Image8のうちの一つ、8番目が画像Image5〜Image8のうちの一つから選択される。
【0066】
よって、例えば、1番目に画像Image2が選択されて再生された場合、2番目が画像Image1,Image3〜Image5の中から選択される。そして、2番目に画像Image5が選択されて再生されると、3番目が画像Image1,Image3,Image4,Image6の中から選択される。又、3番目に画像Image1が選択されて再生されると、4番目が画像Image3,Image4,Image6,Image7から選択される。
【0067】
更に、4番目に画像Image4が選択されて再生されると、5番目が画像Image3,Image6〜Image8から選択される。そして、5番目に画像Image7が選択されて再生されると、7番目の画像が画像Image4以降の画像が選択されるため、6番目として、強制的に画像Image3が選択されて再生される。よって、7番目が、画像Image6,Image8から選択される。よって、7番目に画像Image8が選択されて再生されると、8番目に画像Image6が再生される。
【0068】
又、時間設定をランダムとしたときは、画像Image1〜Image8が順に再生される場合、画像Image1から順に、編集設定用ウィンドウで設定された時間の範囲内で、再生時間が設定される。そして、画像Image8の再生終了時刻と、音声データの再生終了時刻が一致するように、画像Image1〜Image8の再生時間が設定される。
【0069】
よって、例えば、画像Image1〜Image4が関連づけられているととともに、音声データの再生時間が50秒と設定されているとき、時間設定が5〜30秒でランダムとなるようにしてされた場合は、まず、画像Image1の再生時間が5〜30秒より、例えば、20秒に設定される。そして、次に、画像Image2の再生時間が5〜30秒より、例えば、20秒に設定される。そして、画像Image3の再生時間が設定されるが、画像Image3,Image4がともに5〜30秒から設定されるため、全画像を音声データの再生時間に再生させるためには、設定される残りの再生時間が10秒となるため、画像Image3,Image4ともに、その再生時間が強制的に5秒と設定される。
【0070】
更に、図9のように、編集設定用ウィンドウが表示されると、このウィンドウ上の各項目の設定を確定するためのOKボタンと、このウィンドウ上の各項目の設定を確定を取り消すためのキャンセルボタンと、が表示される。そして、このOKボタン及びキャンセルボタンが、入力部19が操作されて、ポインタで指定されると、元の図8のような表示画面に戻る。
【0071】
今、図9のような編集設定用ウィンドウにおいて、マニュアル切換が選択されて、図8のような画面表示に戻ったとき、入力部19を操作して、ポインタで再生表示の順番を入れ換えたいサムネイル画像を指示した後、このサムネイル画像をポインタで保持したまま、移動させたい順番の位置に移動させることによって、ユーザーの所望する再生表示の順番に入れ換えることができる。又、各サムネイル画像の上側の領域の再生開始時刻及び再生終了時刻を変更するように入力部19によって入力することで、ユーザーが所望する時間に各画像を表示させることができる。
【0072】
又、画像それぞれの再生開始時刻及び再生終了時刻が、データファイル内で設定されていないとき、音声データの再生時間を画像の数で割った値を、各画像それぞれの再生時間として設定された後、画像それぞれの再生開始時刻及び再生終了時刻が図8に示すウィンドウ上に表示される。そして、ユーザーは、各画像の再生開始時刻及び再生終了時刻を、入力部19を操作することで編集することが可能となるが、最後に再生される画像の再生終了時刻は、編集不可能として、音声データの再生終了と同時に画像の再生を終了させるように編集することができる。
【0073】
よって、例えば、画像Image1〜Image4が関連づけられているととともに、音声データの再生時間が80秒と設定されているとき、マニュアル設定にしたとき、まず、画像Image1〜Image4の再生時間がそれぞれ、20秒ごとに設定される。よって、画像Image1の再生開始時刻及び再生終了時刻が0秒及び20秒、画像Image2の再生開始時刻及び再生終了時刻が20秒及び40秒、画像Image3の再生開始時刻及び再生終了時刻が40秒及び60秒、画像Image4の再生開始時刻及び再生終了時刻が60秒及び80秒、と設定される。
【0074】
このとき、図8のような表示画面において、ユーザーが画像Image1の再生開始時刻及び再生終了時刻を−20秒及び0秒、画像Image2の再生開始時刻及び再生終了時刻を0秒及び30秒、画像Image3の再生開始時刻及び再生終了時刻を30秒及び55秒と設定すると、画像Image4の再生開始時刻及び再生終了時刻が自動的に55秒及び80秒と設定される。
【0075】
<データファイルの再生処理>
図8のように、データ編集用ソフトのウィンドウが表示されたときに、入力部19が操作されて、再生ボタンがポインタで指示されたとき、まず、図11のフローチャートのように、データファイルの音声用タグ領域43において、“StartPlayImage i”及び“EndPlayImage i”(1≦i≦n)全てにおける時間の記載があるか否かが確認される(STEP1)。即ち、画像データ全てについて、再生開始時刻及び再生終了時刻が設定されているか否かが確認される。このとき、“StartPlayImage i”又は“EndPlayImage i”における記載がなく、再生開始時刻又は再生終了時刻が指定されていない画像がある場合(No)、“StartPlayImage i”及び“EndPlayImage i”における記載のない画像の再生開始時刻又は再生終了時刻が設定される(STEP2)。尚、このSTEP2の動作の詳細については、後述する。
【0076】
STEP1で全ての画像について再生開始時刻及び再生終了時刻が設定されていることを確認したとき(Yes)、又は、STEP2で再生開始時刻及び再生終了時刻が設定されたとき、最初に再生表示する画像を指定するために、画像を指定するためのパラメータiを1とする(STEP3)。そして、“StartPlayImage1”より、画像Image1の再生開始時刻が負の値であるか否かが確認される(STEP4)。
【0077】
このとき、画像Image1の再生開始時刻が負の値であることが確認されたとき(Yes)、音声データの再生時間を表すパラメータTを“StartPlayImage1”によって設定される画像Image1の再生開始時刻とする(STEP5)。そして、“EndPlayImage i”より、画像Image i の再生終了時刻が負の値であるか否かが確認される(STEP6)。そして、画像Image i の再生終了時刻が負の値である場合(Yes)、現在の再生時刻Tと画像Image i の再生開始時刻とが比較される(STEP7)。このとき、現在の再生時刻Tの値が画像Image i の再生開始時刻以上となると(Yes)、画像Image i の再生表示処理が行われる(STEP8)。尚、この画像Image i の再生表示処理については、後述する。
【0078】
又、現在の再生時刻Tの値が画像Image i の再生開始時刻より小さいとき(No)、図9のように表示された編集設定用ウィンドウの表示画像の無いタイミングに優先されて表示される模様の設定項目で設定された優先順位に応じた模様が表示される(STEP9)。そして、STEP8又はSTEP9のような処理が成されて画像Image i 又は模様の表示が成されると、現在の再生時刻Tの値が所定値分だけ加算される(STEP15)。
【0079】
又、STEP6で、画像Image i の再生終了時刻が0以上の値であるときも(Yes)、STEP7と同様、現在の再生時刻Tと画像Image i の再生開始時刻とが比較される(STEP10)。このとき、現在の再生時刻Tの値が画像Image i の再生開始時刻以上となると(Yes)、画像Image i の再生表示処理が行われる(STEP11)。尚、この画像Image i の再生表示処理については、後述する。
【0080】
又、現在の再生時刻Tの値が画像Image i の再生開始時刻より小さいとき(No)、図9のように表示された編集設定用ウィンドウの表示画像の無いタイミングに優先されて表示される模様の設定項目で設定された優先順位に応じた模様が表示される(STEP12)。そして、STEP11又はSTEP12のような処理が成されて画像Image i 又は模様の表示が成されると、現在の再生時刻Tの値が0であるか否かが確認される(STEP13)。
【0081】
このとき、現在の再生時刻Tの値が0であることが確認されると(Yes)、音声データ領域42の音声データが再生される(STEP14)。又、STEP11で、再生時刻Tの値が0でないとき(No)、現在の再生時刻Tの値が所定値分だけ加算される(STEP15)。尚、STEP14以降の動作については、後述する。
【0082】
STEP15で、現在の再生時刻Tが計測されると、現在の再生時刻Tと画像Image i の再生終了時刻とが比較される(STEP16)。そして、現在の再生時刻Tの値が画像Image i の再生終了時刻より大きくなるとき(Yes)、パラメータiが、“ImageFiles”で指定される画像の数と一致するか否かが確認される(STEP17)。即ち、このとき、全画像が表示されたか否かが確認される。又、STEP16で現在の再生時刻Tの値が画像Image i の再生終了時刻以下となるとき(No)、STEP6以降の動作が再び行われる。
【0083】
更に、STEP17において、パラメータiが“ImageFiles”で指定される画像の数と一致していない場合(No)、パラメータiの値をi+1として1つ増加した後(STEP18)、STEP6以降の動作が再び行われる。尚、STEP17において、パラメータiが“ImageFiles”で指定される画像の数と一致した場合(Yes)の動作については、後述する。
【0084】
このようにすることで、図14のように、画像Image1の再生開始時刻及び再生終了時刻が−50秒及び−40秒、画像Image2の再生開始時刻及び再生終了時刻が−30秒及び−15秒、画像Image3の再生開始時刻及び再生終了時刻が−5秒及び10秒と設定されるとき、まず、画像Image1の再生開始時刻が負の値であるので、STEP5で、現在の再生時刻Tが−50秒に設定される。尚、編集設定用ウィンドウで設定される模様IMAGE1〜IMAGE4の優先順位がそれぞれ、1〜4となるものとする。
【0085】
そして、画像Image1の再生終了時刻が負の値であるので、現在の再生時刻Tが−40秒になるまで、STEP8で画像Image1の表示処理が行われる。その後、現在の再生時刻Tが−40秒となると、図14のようにデータファイルで指定される画像が4つあるので、STEP18でパラメータiが2とされる。画像Image2の再生終了時刻が負の値であるとともに、現在の再生時刻Tが画像Image2の再生開始時刻より小さな値であるため、現在の再生時刻Tが画像Image2の再生開始時刻−30秒となるまで、STEP9で模様IMAGE1の表示処理が行われる。
【0086】
そして、現在の再生時刻Tが画像Image2の再生開始時刻−30秒となると、現在の再生時刻Tが−15秒になるまで、STEP8で画像Image2の表示処理が行われる。その後、現在の再生時刻Tが−15秒となり、STEP18でパラメータiが3とされると、画像Image3の再生終了時刻が0以上であるとともに、現在の再生時刻Tが画像Image3の再生開始時刻より小さな値であるため、現在の再生時刻Tが画像Image3の再生開始時刻−5秒となるまで、STEP12で模様IMAGE2の表示処理が行われる。
【0087】
そして、現在の再生時刻Tが画像Image3の再生開始時刻−5秒となると、STEP11で画像Image3の表示処理が行われる。このように、画像Image3の表示処理が行われている間に、現在の再生時刻Tが0となったことが確認されると、STEP12で音声データの再生が開始される。
【0088】
STEP4(図11)で、画像Image1の再生開始時刻が0以上であるとき、図12のフローチャートのように、音声データの再生時間を表すパラメータTを0とし(STEP101)、音声データ領域42の音声データが再生される(STEP102)。このようにSTEP102で音声データの再生が開始されたとき、又は、STEP14(図11)で音声データの再生が開始されたとき、現在の再生時刻Tと画像Image i の再生開始時刻とが比較される(STEP103)。このとき、現在の再生時刻Tの値が画像Image i の再生開始時刻以上となると(Yes)、STEP8と同様、画像Image i の再生表示処理が行われる(STEP104)。尚、この画像Image i の再生表示処理については、後述する。
【0089】
又、現在の再生時刻Tの値が画像Image i の再生開始時刻より小さいとき(No)、図9のように表示された編集設定用ウィンドウの表示画像の無いタイミングに優先されて表示される模様の設定項目で設定された優先順位に応じた模様が表示される(STEP105)。そして、STEP104又はSTEP105のような処理が成されて画像Image i 又は模様の表示が成されると、現在の再生時刻Tの値が所定値分だけ加算される(STEP106)。
【0090】
その後、現在の再生時刻Tと画像Image i の再生終了時刻とが比較される(STEP107)。そして、現在の再生時刻Tの値が画像Image i の再生終了時刻より大きくなるとき(Yes)、パラメータiが、“ImageFiles”で指定される画像の数と一致するか否かが確認される(STEP108)。即ち、このとき、全画像が表示されたか否かが確認される。又、STEP107で現在の再生時刻Tの値が画像Image i の再生終了時刻以下となるとき(No)、STEP103以降の動作が再び行われる。
【0091】
STEP108において、パラメータiが“ImageFiles”で指定される画像の数と一致した場合(Yes)、現在の再生時刻Tの値が音声タグ領域43における“PlayTime”で設定される音声データの再生時間と一致するか否かが確認される(STEP109)。又、STEP108において、パラメータiが“ImageFiles”で指定される画像の数と一致していない場合(No)、パラメータiの値をi+1として1つ増加した後(STEP110)、STEP103以降の動作が再び行われる。
【0092】
STEP109において、現在の再生時刻Tの値が音声データの再生時間でない場合(No)、図9のように表示された編集設定用ウィンドウの表示画像の無いタイミングに優先されて表示される模様の設定項目で設定された優先順位に応じた模様が表示される(STEP111)。そして、現在の再生時刻Tの値が所定値分だけ加算されて(STEP112)、再び、STEP109の処理が行われる。又、現在の再生時刻Tの値が音声データの再生時間となる場合(Yes)、データファイルの再生を終了させる。
【0093】
このようにすることで、図14のように、画像Image4の再生開始時刻及び再生終了時刻が20秒及び50秒、音声データの再生時間が50秒と設定されるとき、STEP14で音声データが再生開始されると、STEP103で現在の再生時刻Tが画像Image3の再生開始時刻−5秒以上であることが確認されるため、現在の再生時刻Tが10秒になるまで、STEP104で画像Image3の表示処理が行われる。
【0094】
そして、現在の再生時刻Tが10秒となると、図14のようにデータファイルで指定される画像が4つでパラメータiが4と一致していないので、STEP110でパラメータiが4とされる。現在の再生時刻Tが画像Image4の再生開始時刻より小さな値であるため、現在の再生時刻Tが画像Image4の再生開始時刻20秒となるまで、STEP105で模様IMAGE3の表示処理が行われる。そして、現在の再生時刻Tが画像Image4の再生開始時刻20秒となると、現在の再生時刻Tが50秒になるまで、STEP104で画像Image4の表示処理が行われる。
【0095】
その後、現在の再生時刻Tが50秒になると、パラメータiが画像の数となる4と一致したことが確認されるとともに、現在の再生時刻Tが音声データの再生時間50秒と一致したことが確認されるため、データファイルの再生を終了する。
【0096】
又、図15のように、画像Image1の再生開始時刻及び再生終了時刻が0秒及び10秒、画像Image2の再生開始時刻及び再生終了時刻が20秒及び35秒、画像Image3の再生開始時刻及び再生終了時刻が35秒及び50秒、音声データの再生時間が50秒と設定されるとき、まず、STEP4で画像Image1の再生開始時刻が0以上であることが確認されて、現在の再生時刻Tを0とするとともに、音声データが再生される。尚、図14の場合と同様、編集設定用ウィンドウで設定される模様IMAGE1〜IMAGE4の優先順位がそれぞれ、1〜4となるものとする。
【0097】
そして、現在の再生時刻Tが画像Image1の再生開始時刻0秒以上であるので、現在の再生時刻Tが10秒になるまで、STEP104で画像Image1の表示処理が行われる。その後、現在の再生時刻Tが10秒となると、図15のようにデータファイルで指定される画像が3つあるので、STEP110でパラメータiが2とされる。現在の再生時刻Tが画像Image2の再生開始時刻より小さな値であるため、現在の再生時刻Tが画像Image2の再生開始時刻20秒となるまで、STEP105で模様IMAGE1の表示処理が行われる。
【0098】
そして、現在の再生時刻Tが画像Image2の再生開始時刻20秒となると、現在の再生時刻Tが35秒になるまで、STEP104で画像Image2の表示処理が行われる。その後、現在の再生時刻Tが35秒となり、STEP110でパラメータiが3とされると、現在の再生時刻Tが画像Image3の再生開始時刻と一致するため、現在の再生時刻Tが50秒になるまで、STEP104で画像Image3の表示処理が行われる。
【0099】
そして、現在の再生時刻Tが画像Image3の再生終了時刻50秒となると、パラメータiが画像の数となる3と一致したことが確認されるとともに、現在の再生時刻Tが音声データの再生時間50秒と一致したことが確認されるため、データファイルの再生を終了する。
【0100】
STEP17(図11)において、パラメータiが“ImageFiles”で指定される画像の数と一致した場合(Yes)、図13のフローチャートのように、図9のように表示された編集設定用ウィンドウの表示画像の無いタイミングに優先されて表示される模様の設定項目で設定された優先順位に応じた模様が表示される(STEP201)。そして、現在の再生時刻Tの値が負であるか否かが確認される(STEP202)。このとき、現在の再生時刻Tが負の値であることが確認されたとき(Yes)、現在の再生時刻Tの値が所定値分だけ加算された後(STEP203)、再び、STEP201以降の動作が行われる。
【0101】
STEP202において、現在の再生時刻Tが0以上となることが確認されたとき(No)、現在の再生時刻Tの値が0であるか否かが確認される(STEP204)。このとき、現在の再生時刻Tの値が0であることが確認されると(Yes)、音声データ領域42の音声データが再生された後(STEP205)、現在の再生時刻Tの値が所定値分だけ加算され(STEP203)、再び、STEP201以降の動作が行われる。
【0102】
STEP204で、再生時刻Tの値が0でないとき(No)、現在の再生時刻Tの値が音声タグ領域43における“PlayTime”で設定される音声データの再生時間と一致するか否かが確認される(STEP206)。このとき、現在の再生時刻Tの値が音声データの再生時間でない場合(No)、現在の再生時刻Tの値が所定値分だけ加算され(STEP203)、再び、STEP201以降の動作が行われる。又、現在の再生時刻Tの値が音声データの再生時間となる場合(Yes)、データファイルの再生を終了させる。
【0103】
このようにすることで、音声データが開始される前に、画像の表示が全て行われた場合、編集設定用ウィンドウで設定された模様が、音声データの再生が終了するまで表示される。
【0104】
この図11〜図13のフローチャートのような動作を行う際において、まず、STEP2における画像の再生開始時刻又は再生終了時刻の設定処理動作について、図16のフローチャートを参照して説明する。
【0105】
STEP2に移行すると、まず、データファイルの音声用タグ領域43で“StartPlayImage i”及び“EndPlayImage i”に記載がなく、再生開始時刻及び再生終了時刻が設定されていない画像が認識される(STEP301)。この認識された画像の数が計数されて、その数をパラメータNとする(STEP302)。そして、“StartPlayImage i”及び“EndPlayImage i”がともに記載され、再生開始時刻及び再生終了時刻が設定されている画像(即ちSTEP302で特定された画像以外の画像)の再生時間が認識される(STEP303)。
【0106】
このように認識された再生開始時刻及び再生終了時刻が設定されている画像の再生時間の和を、“PlayTime”で設定されている音楽データの再生時間から減算した後、パラメータNで割ることによって、再生開始時刻及び再生終了時刻が設定されていない画像の再生時間が求められる(STEP304)。その後、STEP301で認識された再生開始時刻及び再生終了時刻が設定されていない画像の再生開始時刻及び再生終了時刻が設定された後(STEP305)、STEP3に移行する。
【0107】
今、音楽データの再生時間が90秒と設定されるとともに、関連づけられた画像が画像Image1〜Image5であるとし、画像Image1の再生開始時刻及び再生終了時刻が0秒及び10秒、画像Image5の再生開始時刻及び再生終了時刻が70秒及び90秒と設定されているものとする。このとき、再生開始時刻及び再生終了時刻の設定されていない画像が画像Image2〜Image4の3つであることが確認されて、パラメータNが3とされる。又、画像Image1,Image5それぞれの再生時間が、それぞれ、10秒及び20秒であることが確認されるため、(90−10−20)/3より、画像Image2〜Image4の再生時間がそれぞれ、20秒とされる。
【0108】
よって、画像Image2の再生開始時刻及び再生終了時刻がそれぞれ、10秒及び30秒、画像Image3の再生開始時刻及び再生終了時刻がそれぞれ、30秒及び50秒、画像Image4の再生開始時刻及び再生終了時刻がそれぞれ、50秒及び70秒、と設定される。
【0109】
次に、STEP8(図11)及びSTEP11(図11)及びSTEP104(図12)における画像の再生処理動作について、図17のフローチャートを参照して説明する。
【0110】
STEP8、STEP11又はSTEP104に移行すると、画像Image i の画像データがあるか否かが確認される(STEP401)。即ち、音声用タグ領域43で各画像の画像記録領域44の先頭アドレスが設定されているときは、画像記録領域44に画像データが格納されているか否かが、又、音声用タグ領域43で各画像のデータファイルのファイル名が設定されているときは、そのファイル名のデータファイルが読み出し可能か否かが、それぞれ確認される。
【0111】
そして、画像データがあることが確認されると(Yes)、音声用タグ領域43で指定された画像記録領域44又はデータファイルに格納された画像データが読み出されて、画像Image i が表示された後(STEP402)、STEP15、STEP13、又はSTEP106に移行する。又、画像データが確認されない場合(No)、図9のように表示された編集設定用ウィンドウの表示画像の無いタイミングに優先されて表示される模様の設定項目で設定された優先順位に応じた模様が表示された後(STEP403)、STEP15、STEP13、又はSTEP106に移行する。
【0112】
このようにすることで、画像Image i に対して設定された再生時間帯内において、画像Image i の画像データが確認された場合は、画像Image i が表示され、又、画像Image i の画像データが確認されなかった場合は、設定された再生時間帯内に画像Image i の代わりに、編集設定用ウィンドウで設定された模様が表示される。
【0113】
【発明の効果】
本発明によると、音声データに関連づけられた複数の画像データを音声ファイル内に記録するため、ファイル自身の端末装置やサーバ装置間の移動処理が容易になる。又、画像データは、タグ領域に記録されるため、音声データの再生のみを行う従来のアプリケーションソフトにおいても音声データの再生が可能である。更に、関連づけられた画像のサムネイルを、音声ファイルのアイコンとして表示させることができるので、鑑賞者は、アイコンから音声ファイルの内容を容易に認識することができる。
【0114】
又、音声データに関連づけられた複数の画像データを記録した音声ファイルを再生する際、存在しない静止画像の再生が指示されたとき、指示された表示時間の間に特定の色や模様などの所定の画像を表示するので、画像データが存在しないために、なにも表示されないブラックアウト状態となることなく、画像を切り換えて表示するスライドショーを円滑に実行することができる。又、存在しない静止画像を除く全ての静止画像の表示時間の合計が、音声データの音声再生時間と等しくなるように、各静止画像の表示時間が設定されるため、音声データが再生されている間、常に、静止画像を切り換えて表示させることができ、画像を切り換えて表示するスライドショーを円滑に実行することができる。
【0115】
又、音声データの再生終了時刻と全静止画像の表示終了時刻とが一致するように、静止画像の表示時間の設定、又は、前記静止画像が切り替わるタイミングに表示させる所定の画像の表示時間の設定を行うので、画像を切り換えて表示するスライドショーを行う際に、静止画像の表示の切換が不自然になることが無く、鑑賞者に違和感を与えることを防ぐことができる。
【0116】
又、最初に表示されるように指定された少なくとも1枚以上の静止画像が表示される間、音声データが再生されないように設定する事ができるので、画像を切り換えて表示するスライドショーなどにおいて、音声データの再生開始を表示画面に応じて設定させることができる。更に、各静止画像の表示時間を、初期値として所定の時間に設定することができるので、各静止画像の表示時間の編集を所定の時間に基づいて設定することができ、その編集作業を容易なものとすることができる。
【図面の簡単な説明】
【図1】本発明における通信ネットワークシステムの構成を示すブロック図。
【図2】図1の通信ネットワークシステムにおける端末装置の内部構成を示すブロック図。
【図3】図1の通信ネットワークシステムにおけるサーバ装置の内部構成を示すブロック図。
【図4】データファイル内の構成を示す図。
【図5】データファイル内の構成を示す図。
【図6】音声データと画像の関係を示す図。
【図7】データファイル内の構成を示す図。
【図8】端末装置における表示例。
【図9】端末装置における表示例。
【図10】画像のランダム表示の例を示す図。
【図11】端末装置におけるデータファイルの再生動作を示すフローチャート。
【図12】端末装置におけるデータファイルの再生動作を示すフローチャート。
【図13】端末装置におけるデータファイルの再生動作を示すフローチャート。
【図14】画像の再生例。
【図15】画像の再生例。
【図16】画像の再生時間設定動作を示すフローチャート。
【図17】画像の再生処理動作を示すフローチャート。
【符号の説明】
1−1〜1−n 端末装置
2 サーバ装置
3 通信ネットワーク
11 CPU
12 ROM
13 RAM
14 通信部
15 HDD
16 ドライブ
17 I/O
18 表示部
19 入力部
20 バス回線
21 CPU
22 ROM
23 RAM
24 通信部
25 外部記憶装置
26 バス回線
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a file recording method and a file processing method of an audio file reproduced in association with a plurality of images, and more particularly, to an audio file for use in a slide show that reproduces audio and switches and displays a plurality of still images. The present invention relates to a file recording method and a file processing method.
[0002]
[Prior art]
In a slide show in which a plurality of still images are switched and displayed, viewing is performed only by sight, and the viewer gets bored. In order to avoid this, sound is reproduced together with a still image. As described above, Japanese Patent Application Laid-Open No. 2000-261652 proposes an "image recording / playback device with sound" for playing back a sound together with a still image.
[0003]
In Japanese Patent Application Laid-Open No. 2000-261652, an image file storing image data and a plurality of audio file identifiers for designating a plurality of audio files, or a plurality of image files for designating audio data and a plurality of image files is disclosed. By configuring an audio file in which the image file identifier is stored, the reproduction of the image by the image file and the reproduction of the audio by the audio file are both performed. That is, when an audio file storing audio data and a plurality of image file identifiers for specifying a plurality of image files is played back by the “image recording / playback device with audio”, the audio file specified by the image file identifier in the audio file is used. The image data in the image file is processed to display an image, and the image data in the audio file is processed to reproduce a sound.
[0004]
[Problems to be solved by the invention]
However, as described above, an audio file to be processed by the “image recording / playback device with audio” disclosed in Japanese Patent Application Laid-Open No. 2000-261652 is composed of audio data and a plurality of image file identifiers for specifying a plurality of image files. The audio file itself does not have image data. Therefore, an apparatus that processes such an audio file and reproduces an audio together with an image has not only an audio file but also a plurality of image files specified by a plurality of image file identifiers stored in the audio file. There is a need. Therefore, when moving an audio file from one apparatus to another, it is necessary to move not only the audio file but also a plurality of image files, and the processing of the file becomes complicated.
[0005]
Japanese Patent Laid-Open Publication No. 2000-261652 discloses an "image recording / playback apparatus with sound" that processes an audio file composed of audio data and a plurality of image file identifiers for designating a plurality of image files, In this case, the operation when the image file specified by the image file identifier does not exist is not described, and the operation may be unstable.
[0006]
Further, the "image recording / playback apparatus with sound" disclosed in Japanese Patent Application Laid-Open No. 2000-261652, when generating a sound file composed of sound data and a plurality of image file identifiers for designating a plurality of image files, The display time setting of each image to be displayed is set such that when the sound is recorded as audio data, when the viewer reaches a desired time, a button is operated to start and end the display of each image. Therefore, when recording audio data by recording audio, it is necessary to set the display switching time of each image during audio reproduction, and it is difficult to change the setting after the setting, and the setting operation is complicated. It will be.
[0007]
In view of such a problem, an object of the present invention is to provide a file recording method of an audio file having image data of a plurality of still images reproduced together with audio. Also, the present invention provides a file processing method and a file processing method capable of displaying a specific image or a still image specified to be displayed next when a still image specified by an audio file does not exist. It is an object of the present invention to provide an image display device that operates using a method. Furthermore, the present invention provides a file processing method for processing an audio file which can designate a plurality of still images to be reproduced together with audio, in which the display end time of all images and the audio reproduction end time are matched. It is another object of the present invention to provide an image editing apparatus that operates using the file processing method.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, a file recording method according to claim 1 is a file recording method for a slide show file comprising audio data and image data for a plurality of still images, wherein the audio file comprising the audio data is provided. Display multiple still images And includes shooting condition information indicating shooting conditions when the respective image data was obtained. The slide show file is generated by recording a plurality of image data and image display information indicating an order for switching and displaying the plurality of still images when sound is reproduced by the sound data. It is characterized by the following.
[0009]
According to such a file recording method, a slide show file is generated by recording image data directly into an audio file in which audio data is recorded, without using a separate data file. Therefore, when it is required to move a file between recording media or communication media, it is possible to move only an audio file together with image data associated with the audio data.
[0010]
Again By including the photographing condition information indicating the photographing condition when each of the image data is obtained in the plurality of image data, the image data can be reproduced together with the photographing condition. Claims 2 As described in, the image data and the image display information are recorded in a tag area where an attribute of the audio data is recorded, so that compatibility with a conventional reproduction processing apparatus that reproduces only an audio file is achieved. Can be held.
[0011]
Claims 3 The file recording method described in (1) is a file recording method of a slide show file composed of audio data and a plurality of image data for still images, and is displayed in an audio file composed of the audio data simultaneously with the reproduction of the audio data. Image specifying information for specifying a plurality of still images is recorded, the slide show file is generated, and a thumbnail image obtained by reducing the amount of image data of one of the plurality of images is: The audio file is set so as to be displayed as an icon for specifying the audio file.
[0012]
When an icon for identifying an audio file that is a slide show file is displayed on a desktop or the like in a display, the icon is used as a thumbnail image of image data included in the audio file, so that the content of the audio file can be easily understood. can do. In addition, such an audio file is described in the claim. 4 The image data of each of the plurality of images may be recorded in the audio file.
[0013]
Claims 5 Is a file processing method for a slide show file composed of audio data and image data for a plurality of still images, wherein the file is displayed simultaneously with the reproduction of the audio data in an audio file composed of the audio data. Image designation information for designating a plurality of still images and image display information for designating the order in which the plurality of still images are displayed are recorded, the slide show file is generated, and the audio data is reproduced. When switching between the plurality of still images designated by the image designation information in the order designated by the image display information and displaying the still images, a designation is made such that a non-existent still image is displayed by the image designation information. Is displayed, the still image whose order is designated to be displayed next is specified by the image display information. Wherein the but appear.
[0014]
According to such a file processing method, when a terminal device or the like reproduces an audio file as a slide show file using a dedicated application, there is no image data in the still images that are sequentially reproduced together with the audio data. Claims when something is detected 6 As described above, a predetermined image such as a color or a pattern set in advance by an application is reproduced instead of a still image having no image data. Therefore, there is no image data of a still image, and it can be avoided that the display screen is blacked out.
[0015]
When the reproduction end time of the still image is different from the reproduction start time of the next still image, 7 As described in, between the reproduction end time of this still image and the reproduction start time of the next still image, a predetermined image such as a color or a pattern set in advance by an application is changed to a still image without image data. Play instead. Therefore, when the still image is switched, the display screen can be prevented from being blacked out because there is no image data to be reproduced.
[0016]
Claim 9 Is a file processing method for a slide show file composed of audio data and image data for a plurality of still images, wherein the file is displayed simultaneously with the reproduction of the audio data in an audio file composed of the audio data. Image designation information for designating a plurality of still images, and image display information for designating the order and display time of the plurality of still images are recorded, and the slide show file is generated. A display time of a predetermined image set in advance to be displayed at a timing at which the still image is switched is set so that the end of all display and the end of reproduction of the audio data coincide with each other. .
[0017]
According to such a file processing method, for example, in an audio file that is a slide show file, the display time of a still image for which a display time is not set is set based on the reproduction time of audio data and the number of still images. At this time, for example, the display time of the still image may be set by dividing the reproduction time of the audio data by the number of still images.
[0018]
Claim 10 The image display device described in Claims 5 to 9 A sound is reproduced from the sound data obtained from the sound file processed by using the file processing method according to any one of the above, and the plurality of still images specified by the image specification information are represented by the image display information. The display is switched and displayed in a specified order.
[0019]
Claim 11 Is a file processing method for a slide show file composed of audio data and image data for a plurality of still images, wherein the file is displayed simultaneously with the reproduction of the audio data in an audio file composed of the audio data. Image designation information for designating a plurality of still images and image display information for designating the order in which the plurality of still images are displayed are recorded, and the slide show file is generated. Selecting at least one or more still images as a specific still image, setting a display time of each still image other than the specific still image among the plurality of still images, and setting a display time of the specific still image. Is set based on the display time of each still image other than the specific still image and the audio playback time of the audio data. To.
[0020]
According to such a file processing method, when the user sets the display time of the still image using a dedicated application stored in the terminal, the sum of the display time of each still image finally determines the playback time of the audio data. Set to be equal to time.
[0021]
Claim 12 Is a file processing method for a slide show file composed of audio data and image data for a plurality of still images, wherein the file is displayed simultaneously with the reproduction of the audio data in an audio file composed of the audio data. Image designation information for designating a plurality of still images and image display information for designating the order in which the plurality of still images are displayed are recorded, the slide show file is generated, and the display of each still image is performed. The time is set, and the setting is made so that the audio data is not reproduced while at least one or more of the plurality of still images are displayed.
[0022]
According to such a file processing method, when a user sets a display time of a still image using a dedicated application stored in a terminal, a plurality of still images are displayed before playing back audio data. Can be set.
[0023]
Claim Thirteen Is a file processing method for a slide show file composed of audio data and image data for a plurality of still images, wherein the file is displayed simultaneously with the reproduction of the audio data in an audio file composed of the audio data. Image designation information for designating a plurality of still images and image display information for designating the order in which the plurality of still images are displayed are recorded, the slide show file is generated, and the display of each still image is performed. The time is set to a predetermined time as an initial value.
[0024]
In such a file processing method, when the user sets the display time of the still image using a dedicated application stored in the terminal, the sum of the display time of each still image finally becomes the reproduction time of the audio data. The display time of the still image is set to a predetermined time as an initial value so as to be equal to.
[0025]
Claims 14 As described in the above, the display time of each still image is further reset by changing the length of the time based on the predetermined time set for each still image. It does not matter. Claims Fifteen As described in the above, the predetermined time may be a time obtained by dividing the audio reproduction time of the audio data by the number of still images.
[0026]
Claim 16 Is a file processing method for a slide show file composed of audio data and image data for a plurality of still images, wherein the file is displayed simultaneously with the reproduction of the audio data in an audio file composed of the audio data. Image designation information for designating a plurality of still images and image display information for designating the order in which the plurality of still images are displayed are recorded, and the slide show file is generated and designated by the image display information. The length of the display time of each still image or the order in which each still image is displayed is randomly set based on the order in which the plurality of still images are displayed. And
[0027]
In such a file processing method, the claims 17 When the display time of each of the still images is set at random as described in the above, each display time is set within a predetermined range, and 18 As described in, when the display time of each of the still images is set at random, the end time of the display of all of the plurality of still images and the reproduction end time of the audio data are matched, Among the still images, the display time of at least one still image is set based on the set display time of another still image and the audio reproduction time of the audio data.
[0028]
Claim 19 The image editing device described in Claims 11 to 18 The method of displaying the plurality of still images to be displayed when the audio data is reproduced is set by setting data in the audio file using the file processing method according to any one of the above.
[0029]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing a configuration of a communication network system using the data providing method of the present invention.
[0030]
The communication network system in FIG. 1 includes terminal devices 1-1 to 1-n having a communication function such as a personal computer, a portable terminal, and a digital camera, and terminal devices 1-1 to 1-n that perform a data file distribution request. A server device 2 for distributing a data file and a communication network 3 for performing communication between the blocks.
[0031]
In such a communication network system, the configuration of the terminal devices 1-1 to 1-n is as shown in FIG. That is, the terminal device 1 (corresponding to the terminal devices 1-1 to 1-n in FIG. 1) stores a CPU (Central Processing Unit) 11 for controlling the entire device and software for operating the terminal device 1. (Read Only Memory) 12, a RAM (Random Access Memory) 13 for temporarily storing data when the CPU 11 performs an arithmetic operation, and a communication network 3 such as the Internet to transmit and receive data. A communication unit 14 such as a modem, a hard disk drive (HDD) 15 storing various application software including data editing software and data files processed by the various application software, a floppy disk, a memory card, a CD-ROM, etc. A drive 16 for reading and writing data from a storage medium, an I / O (Input / Output) unit 17 for exchanging data with external peripheral devices, and data output from the I / O unit 17. A display unit 18 such as a display for displaying images and text, an input unit 19 for inputting data such as a keyboard and a mouse, and a bus line 20 for exchanging data between the blocks 11 to 17 are provided. Have.
[0032]
The configuration of the server device 2 is as shown in FIG. That is, the server device 2 includes a CPU 21 for controlling the entire device, a ROM 22 storing software for operating the server device 2, a RAM 23 for temporarily storing data when the CPU 21 performs an arithmetic operation, and the like. A communication unit 24 such as a modem connected to a communication network such as the Internet for transmitting and receiving data, an external storage device 25 storing a plurality of data files of audio data, and exchanging data between the blocks 21 to 25. Bus line 26.
[0033]
The operation of each device and the configuration of the data file when the data file is distributed between the terminal devices 1-1 to 1-n and the server device 2 configured as described above will be described below.
[0034]
<Structure of data file>
First, a configuration example of a data file of audio data stored in the server device 2 and distributed to the terminal device 1 will be described with reference to the drawings. FIG. 4 is a diagram showing a configuration of a data file. FIG. 5 is a diagram showing a detailed configuration of the data file of FIG.
[0035]
As shown in FIG. 4A, the data file includes a tag area 41 in which tag data indicating the structure of the data file is recorded, and an audio data area 42 in which audio data is recorded. As shown in FIG. 4B, the tag area 41 includes an audio tag area 43 in which tag data for audio data is recorded and an image recording area 44 in which image data and tag data for image data are recorded. -1 to 44-n. Further, as shown in FIG. 4C, an image recording area 44 (corresponding to the image recording areas 44-1 to 44-n) includes an image tag area 45 in which tag data for image data is recorded, and an image tag area 45. An image data area 46 in which data is recorded and a thumbnail data area 47 in which thumbnail image data whose data amount is reduced by reducing the number of pixels in the vertical and horizontal directions of the image are recorded.
[0036]
The detailed configuration of the data file configured as described above will be described below. FIG. 5 is a configuration example of a tag area 41 in a data file xxxx in which eight image data are recorded. First, as shown in FIG. 5A, in the audio tag area 43, file names are respectively represented by “FileName”, and thumbnail image data for displaying an icon for representing the data file xxxx on the display is displayed. Indicated by “Icon”. Also, the address at which the audio data is located is specified by “WebDataAdr”, and the reproduction time of the audio data is recorded in “PlayTime”.
[0037]
Further, in the audio tag area 43, "Image" indicates that the description after "Image" is a description of the image data of the image associated with the audio data. Then, the number of images associated with the audio data is specified by “ImageFiles”, and the head address of each image recording area in which each image data is recorded is specified by “ImageFileName”. Further, the reproduction start time and the reproduction end time of each image are designated by “StartPlayImage k” and “EndPlayImage k” (1 ≦ k ≦ 8), respectively.
[0038]
Therefore, in the case of FIG. 5A, the file name is xxxx, and the thumbnail image data of the image Image1 is used as the data for the icon. The head address of the audio data area 42 is Ax, and the reproduction time is 300 seconds. Further, the number of images associated with the audio data is eight, and the head addresses of the image recording areas 44-1 to 44-8 in which the image data of each of the images Image1 to Image8 are stored are A1 to A8. Also, the reproduction times of the images Image1 to Image8 set by “StartPlayImage1” to “StartPlayImage8” and “EndPlayImage1” to “EndPlayImage8” are represented as shown in FIG.
[0039]
That is, "StartPlayImage1 = 0" indicates that the image reproduction of the image Image1 starts together with the reproduction start time of the audio data, and the reproduction of the audio data starts with "EndPlayImage1 = 20" and "StartPlayImage2 = 20". 20 seconds after, the reproduction of the image Image1 ends and the reproduction of the image Image2 starts. Also, “EndPlayImage2 = 30” indicates that the reproduction of the image Image2 ends 30 seconds after the reproduction of the audio data starts. Finally, "StartPlayImage8 = 270" indicates that the reproduction of the image Image8 starts 270 seconds after the reproduction of the audio data is started, and "EndPlayImage8 = 300" indicates that the reproduction of the audio data ends. At the same time, it indicates that the reproduction of the image Image8 ends.
[0040]
Note that the playback time of the images Imgae3 to Image7 is determined by “StartPlayImage3” to “StartPlayImage7” and “EndPlayImage3” to “EndPlayImage7”. When "StartPlayImage k" is set to a negative value, it indicates that the image data of the image Image k is reproduced before the reproduction of the audio data is started.
[0041]
Image recording areas 44-1 to 44-8 are provided below the audio tag area 43 configured as described above. These image recording areas 44-1 to 44-8 are arranged as shown in FIG. Are provided in address areas where the respective start addresses are A1 to A8. Next, the configuration of the image recording areas 44-1 to 44-8 provided as described above will be described with reference to FIG.
[0042]
In the image recording area 44-1 in the address area having the address A1 as the head address, first, in the image tag area 45-1, "Image1" indicates that the image is a description of Image1, and "Image1Adr" indicates that the image is described. The start address of the image data area 46-1 in which the image data of Image1 is recorded is A11, and the start address of the thumbnail data area 47-1 in which the thumbnail image data of the image Image1 is "Image1Thm" is A12. It is shown that there is.
[0043]
Therefore, in the image recording area 44-1 formed between the address A1 and the address A2, the image tag area 45-1 of the image Image1 is formed between the address A1 and the address A11, and the address A11 and the address A12 are formed. , An image data area 46-1 of the image Image1 is formed, and between the address A12 and the address A2, a thumbnail data area 47-1 of the image Image1 is formed.
[0044]
Further, in “XIImageSize” and “YImageSize”, the pixel size at the time of shooting in the vertical direction and the horizontal direction of the image Image1 is “DateTime”, the shooting date and time is “Aperture”, and the aperture at the time of shooting is “ShutterSpeed”. The shutter speed at the time of photographing is “Mode”, and indicates whether the photographing condition setting is automatically or manually performed, and “Flash” indicates whether the flash is used at the time of photographing.
[0045]
That is, Image1 is photographed at a pixel of 800 pixels in the vertical direction and 600 pixels in the horizontal direction at 12:13:24 JST on February 23, 2001, and the aperture (F number) at this time is F2.8. And the shutter speed is 1/250 second. In addition, the photographing conditions such as the aperture, the shutter speed, and the ON / OFF of the flash at the time of photographing are automatically set, and further, it can be seen that the flash was not used.
[0046]
Similarly, in the images Image2 to Image8, the head address of the image data, the head address of the thumbnail image data, and various shooting conditions at the time of shooting are described in the image recording areas 44-2 to 44-8. Also, the head addresses of the image data of the images Image2 to Image8 and the head addresses of the thumbnail image data are set to A21 to A81 and A22 to A82, respectively. in this way,
[0047]
As described above, when the audio data is configured, as shown in FIG. 7, the image recording areas 44-1 to 44-n do not exist in the tag area 41, and are associated with the audio data in the audio tag area 43. It is also possible to specify a file name of a data file having the image data. That is, similarly to the case of FIG. 5, when the number of associated images is eight, the data files aaa1 to aaa8 of the image data designated as Image1 to Image8 are described, and the file names aaa1 to aaa8 are described in “ImageFileName”. Specified.
[0048]
Further, when the time is not described in “StartPlayImage k” and “EndPlayImage k”, it indicates that the reproduction start time and the reproduction end time of Image k are not specified.
[0049]
When image data is included in the tag area 43 of the data file xxxx having audio data set as described above, a distribution request is sent from the communication unit 14 of the terminal device 1 to the communication unit 24 of the server device 2 via the communication network 3. Then, the data file xxxx is read from the external storage device 25 and distributed from the communication unit 24 to the terminal device 1. Then, when the terminal device 1 receives the data file xxxx by the communication unit 14, the data file is written to the HDD 15.
[0050]
When there is no image data in the tag area 43 of the data file xxxx having the audio data set as described above, the image data is distributed from the communication unit 14 of the terminal device 1 to the communication unit 24 of the server device 2 via the communication network 3. When requested, the data file xxxx is read from the external storage device 25 together with the data files aaa1 to aaa8 having the associated image data, and is distributed from the communication unit 24 to the terminal device 1. Then, when the terminal device 1 receives the data files xxxx, aaa1 to aaa8 by the communication unit 14, the data files are written to the HDD 15.
[0051]
<Display example of data editing software for data file>
As shown in the screen display example of the display unit 18 in FIG. 8, the icon i1 of the data file having the above-described audio data displayed on the desktop on the display unit 18 is designated by the pointer by operating the input unit 19. First, data editing software for editing and reproducing the data file is read from the HDD 15 and activated. Then, the data file is read from the HDD 15 or from the storage medium by the drive 16 and displayed on the window of the data editing software in the area A of the desktop.
[0052]
When the read data file is the above-described data file xxxx, as shown in FIG. 8, the window of the data editing software in the area A of the desktop includes a sound waveform reproduced by the sound data of the data file xxxx. It is displayed in series. Then, the images Image1 to Image8 specified by the data file xxxx are displayed as thumbnail images obtained from the thumbnail image data in the order of reproduction.
[0053]
Also, the reproduction start time and the reproduction end time of the images Image1 to Image8 are displayed, respectively, and the audio waveform is displayed so that the relationship between the reproduction start time and the reproduction end time of the images Image1 to Image8 and the reproduction time can be visually confirmed. In the displayed area, a dividing line is displayed for each of the reproduction start time and the reproduction end time of the images Image1 to Image8. Further, a setting button for setting or editing the reproduction of the data file, a save button for saving the edited data file, a play button for playing the data file, an end button for ending the data editing software, and A menu bar for designating various processing operations is displayed.
[0054]
As described above, when the data file xxxx is displayed on the window of the data editing software, and when all of the images Image1 to Image8 cannot be displayed, a scroll bar is displayed as shown in FIG. By switching the display portion in the window left and right, images corresponding to each time can be displayed in the window. That is, the display in the window can be changed in the time axis direction by operating the scroll bar.
[0055]
The activation method for reproducing or editing the data file is not limited to this. For example, by operating the input unit 19, the data file for editing the data displayed in the desktop or in the folder displayed on the desktop can be displayed. After specifying the icon indicating the software and starting the data editing software, select the data file to be started from the menu bar of the data editing software and display it on the data editing software window. I do not care.
[0056]
If the icon i1 indicating the data file is not on the desktop, the folder in which the data file is stored is displayed, and by specifying the icon i1 in the folder, the data file is displayed in the window of the data editing software. Is done.
[0057]
As shown in FIG. 8, when the data file is displayed in the window of the data editing software, when the setting button displayed on this window is operated and the input unit 19 is operated and the pointer is designated by the pointer, the window shown in FIG. As described above, the edit setting window is displayed in the area A of the display unit 18. As described above, in the editing setting window displayed in the area A, the image switching timing, the pattern displayed prior to the timing when there is no display image, the items displayed when the data file is reproduced, and the image to be reproduced and displayed are randomly selected. The item for setting each of whether or not to display is displayed.
[0058]
That is, in the setting item of the image switching timing, the reproduction and display of the image at the time set in the audio tag area 43 of the data file, or the reproduction of each image at every uniform time when the reproduction time of the image is not specified. Either automatic switching for display or manual switching for the user to set the reproduction time of each image is selected.
[0059]
Then, in the setting item of the pattern to be displayed in priority to the timing when there is no display image, the image data of the image to be displayed is selected by selecting from four patterns of IMAGE1 to IMAGE4 and assigning priority to each of the patterns. A pattern to be displayed when no image is displayed or when there is an image non-display period at the time of image switching is set. Therefore, when only one pattern is selected, 1 is assigned to the selected pattern as a priority. At this time, as for the patterns displayed during the non-display period of the image, only the patterns to which priority order 1 is assigned are always displayed.
[0060]
That is, when the priority 1 is assigned only to the pattern IMAGE1 and the priority is not assigned to the patterns IMAGE2 to IMAGE4, when the data file is reproduced, there is no image data of the specified image, or The pattern IMAGE1 is always displayed during the non-display period of the image that occurs when the switching time is long.
[0061]
Also, when the priority order is assigned to a plurality of patterns in the order of priority, the patterns are switched from the first priority pattern every time the non-display period is switched, and when all the patterns are displayed, the pattern is again displayed. For each display period in which the pattern is displayed, the pattern is switched in order from the first priority pattern. Therefore, for example, when the designated image data does not exist continuously, the pattern of the first priority is displayed at the reproduction time of the image without the first image data, and is displayed at the reproduction time of the image without the next image data. The pattern of the second priority is displayed.
[0062]
That is, for example, when the data file xxxx is reproduced, there is no data file aaa2, aaa3 including the image data of the specified image Image2, Image3, and reproduction of the image Image3, the image Image4, the image Image4, and the image Image5. When the priority is assigned to each of the patterns IMAGE1 to IMAGE4 in the case where the display switching time is long, the patterns IMAGE1 and IMAGE2 are displayed during the reproduction display time of the images Image2 and Image3. When the display of the pattern IMAGE2 displayed during the reproduction display time of the image Image3 ends, the pattern IMAGE3 is displayed until the reproduction display of the image Image4 is started. Then, after the reproduction display of the image Image4 is completed, the pattern IMAGE4 is displayed until the reproduction display of the image Image5 is started.
[0063]
Further, in the setting items of the items displayed when the data file is reproduced, items such as the name of the image, the photographing date and the photographing time displayed together with the reproduction display of the image are set. Note that these items can be set so that they are all displayed, or they can be set so that they are not all displayed.
[0064]
In the setting item of whether or not images to be played back and displayed are randomly displayed, whether or not the order of the images to be played back and displayed is random, the number of frames to be randomly changed, and the playback time of the images to be played back and displayed are set. Whether to randomize and the range of the reproduction time can be set. At this time, it is possible to randomly set both the order of reproduction and display and the reproduction time, and it is also possible to prohibit setting both the order of reproduction and display and the reproduction time at random.
[0065]
As described above, the reproduction process when the number of frames is set at random is as follows. As shown in FIG. 10, the first image to be reproduced is the first to eighth images Image1 to Image8, and the first image to be reproduced when set randomly in every three frames when set in the data file. Is one of the images Image1 to Image4, the second is one of the images Image1 to Image5, the third is one of the images Image1 to Image6, the fourth is one of the images Image1 to Image7, The fifth is one of the images Image2 to Image8, the sixth is one of the images Image3 to Image8, the seventh is one of the images Image4 to Image8, and the eighth is one of the images Image5 to Image8. Selected from
[0066]
Thus, for example, when the first image Image2 is selected and reproduced, the second image is selected from the images Image1, Image3 to Image5. When the second image Image5 is selected and reproduced, the third image is selected from among Image1, Image3, Image4, and Image6. Further, when the third image is selected and reproduced, the fourth image is selected from among the images Image3, Image4, Image6, and Image7.
[0067]
Further, when the fourth image Image4 is selected and reproduced, the fifth image is selected from Image3, Image6 to Image8. Then, when the image Image7 is selected and reproduced fifth, since the seventh image is selected after the image Image4, the image Image3 is forcibly selected and reproduced as the sixth image. Therefore, the seventh one is selected from the images Image6 and Image8. Therefore, when the image Image8 is selected and reproduced seventh, the image Image6 is reproduced eighth.
[0068]
Also, when the time setting is random, when the images Image1 to Image8 are reproduced in order, the reproduction time is set in order from the image Image1 within the time range set in the edit setting window. Then, the reproduction times of the images Image1 to Image8 are set such that the reproduction end time of the image Image8 and the reproduction end time of the audio data match.
[0069]
Thus, for example, when the images Image1 to Image4 are associated with each other and the reproduction time of the audio data is set to 50 seconds, and the time setting is made to be random at 5 to 30 seconds, First, the reproduction time of the image Image1 is set to 5 seconds to 30 seconds, for example, 20 seconds. Then, the reproduction time of the image Image2 is set to 5 seconds to 30 seconds, for example, 20 seconds. Then, the reproduction time of the image Image3 is set. Since the images Image3 and Image4 are both set from 5 to 30 seconds, the remaining reproduction time set to reproduce all the images at the reproduction time of the audio data is set. Since the time is 10 seconds, the reproduction time of each of the images Image3 and Image4 is forcibly set to 5 seconds.
[0070]
Further, when an edit setting window is displayed as shown in FIG. 9, an OK button for confirming the setting of each item on this window and a cancel for canceling the confirmation of the setting of each item on this window are displayed. Buttons and are displayed. When the OK button and the cancel button are designated by the pointer by operating the input unit 19, the display screen returns to the original display screen as shown in FIG.
[0071]
Now, when manual switching is selected in the edit setting window as shown in FIG. 9 and the screen returns to the screen display as shown in FIG. 8, the input unit 19 is operated to change the order of the reproduction display with the pointer by the pointer. After instructing the image, the thumbnail image is moved to the position in the order in which the thumbnail image is to be moved while being held by the pointer, whereby the order of the reproduction display desired by the user can be changed. Further, by inputting the input section 19 to change the reproduction start time and the reproduction end time of the upper area of each thumbnail image, each image can be displayed at a time desired by the user.
[0072]
When the reproduction start time and the reproduction end time of each image are not set in the data file, a value obtained by dividing the reproduction time of the audio data by the number of images is set as the reproduction time of each image. The reproduction start time and the reproduction end time of each image are displayed on the window shown in FIG. Then, the user can edit the reproduction start time and the reproduction end time of each image by operating the input unit 19, but the reproduction end time of the image reproduced last is determined to be uneditable. It can be edited so that the reproduction of the image is terminated simultaneously with the termination of the reproduction of the audio data.
[0073]
Therefore, for example, when the images Image1 to Image4 are associated with each other and the reproduction time of the audio data is set to 80 seconds, or when the image data is manually set, the reproduction times of the images Image1 to Image4 are each set to 20 seconds. Set every second. Therefore, the reproduction start time and the reproduction end time of the image Image1 are 0 seconds and 20 seconds, the reproduction start time and the reproduction end time of the image Image2 are 20 seconds and 40 seconds, and the reproduction start time and the reproduction end time of the image Image3 are 40 seconds and The reproduction start time and the reproduction end time of the image Image4 are set to 60 seconds and 80 seconds, respectively.
[0074]
At this time, on the display screen as shown in FIG. 8, the user sets the reproduction start time and the reproduction end time of the image Image1 to -20 seconds and 0 seconds, the reproduction start time and the reproduction end time of the image Image2 to 0 seconds and 30 seconds, When the reproduction start time and the reproduction end time of Image3 are set to 30 seconds and 55 seconds, the reproduction start time and the reproduction end time of image Image4 are automatically set to 55 seconds and 80 seconds.
[0075]
<Data file playback processing>
As shown in FIG. 8, when the window of the data editing software is displayed, when the input unit 19 is operated and the play button is pointed by the pointer, first, as shown in the flowchart of FIG. In the audio tag area 43, it is confirmed whether or not the time is described in all of “StartPlayImage i” and “EndPlayImage i” (1 ≦ i ≦ n) (STEP 1). That is, it is confirmed whether or not the reproduction start time and the reproduction end time have been set for all the image data. At this time, when there is no description in “StartPlayImage i” or “EndPlayImage i” and there is an image for which the reproduction start time or reproduction end time is not specified (No), there is no description in “StartPlayImage i” and “EndPlayImage i”. The reproduction start time or the reproduction end time of the image is set (STEP 2). The details of the operation in STEP 2 will be described later.
[0076]
When it is confirmed that the reproduction start time and the reproduction end time are set for all the images in STEP 1 (Yes), or when the reproduction start time and the reproduction end time are set in STEP 2, the image to be reproduced and displayed first. Is set to 1 (step 3). Then, it is confirmed from “StartPlayImage1” whether or not the reproduction start time of the image Image1 is a negative value (STEP 4).
[0077]
At this time, when it is confirmed that the reproduction start time of the image Image1 is a negative value (Yes), the parameter T representing the reproduction time of the audio data is set to the reproduction start time of the image Image1 set by “StartPlayImage1”. (STEP 5). Then, it is confirmed from “EndPlayImage i” whether or not the reproduction end time of the image Image i is a negative value (STEP 6). If the reproduction end time of the image Image i is a negative value (Yes), the current reproduction time T is compared with the reproduction start time of the image Image i (STEP 7). At this time, if the current value of the reproduction time T is equal to or longer than the reproduction start time of the image Image i (Yes), the reproduction display processing of the image Image i is performed (STEP 8). The process of reproducing and displaying the image Image i will be described later.
[0078]
Further, when the current value of the reproduction time T is smaller than the reproduction start time of the image Image i (No), the pattern displayed prior to the timing when there is no display image in the edit setting window displayed as shown in FIG. Are displayed (STEP 9). Then, when processing such as STEP8 or STEP9 is performed to display the image Image i or the pattern, the value of the current reproduction time T is added by a predetermined value (STEP15).
[0079]
Also, in STEP 6, when the reproduction end time of the image Image i is a value equal to or greater than 0 (Yes), the current reproduction time T is compared with the reproduction start time of the image Image i as in STEP 7 (STEP 10). . At this time, if the current value of the reproduction time T is equal to or longer than the reproduction start time of the image Image i (Yes), the reproduction display processing of the image Image i is performed (STEP 11). The process of reproducing and displaying the image Image i will be described later.
[0080]
Further, when the current value of the reproduction time T is smaller than the reproduction start time of the image Image i (No), the pattern displayed prior to the timing when there is no display image in the edit setting window displayed as shown in FIG. Are displayed (STEP 12). Then, when processing such as STEP11 or STEP12 is performed and the image Image i or the pattern is displayed, it is confirmed whether or not the current value of the reproduction time T is 0 (STEP13).
[0081]
At this time, if it is confirmed that the value of the current reproduction time T is 0 (Yes), the audio data in the audio data area 42 is reproduced (STEP 14). If the value of the reproduction time T is not 0 in STEP11 (No), the current value of the reproduction time T is added by a predetermined value (STEP15). The operation after STEP 14 will be described later.
[0082]
When the current playback time T is measured in STEP 15, the current playback time T is compared with the playback end time of the image Image i (STEP 16). Then, when the current value of the reproduction time T becomes greater than the reproduction end time of the image Image i (Yes), it is confirmed whether or not the parameter i matches the number of images specified by “ImageFiles” ( (STEP 17). That is, at this time, it is confirmed whether or not all images have been displayed. Further, when the current value of the reproduction time T becomes equal to or less than the reproduction end time of the image Image i in STEP 16 (No), the operation after STEP 6 is performed again.
[0083]
Further, in step 17, if the parameter i does not match the number of images specified by “ImageFiles” (No), the value of the parameter i is incremented by one as i + 1 (STEP 18), and the operation after STEP 6 is performed again. Done. Note that, in STEP 17, the operation when the parameter i matches the number of images specified by "ImageFiles" (Yes) will be described later.
[0084]
By doing so, as shown in FIG. 14, the reproduction start time and the reproduction end time of the image Image1 are -50 seconds and -40 seconds, and the reproduction start time and the reproduction end time of the image Image2 are -30 seconds and -15 seconds. When the reproduction start time and the reproduction end time of the image Image3 are set to −5 seconds and 10 seconds, first, the reproduction start time of the image Image1 is a negative value. Set to 50 seconds. It is assumed that the priorities of the patterns IMAGE1 to IMAGE4 set in the edit setting window are 1 to 4, respectively.
[0085]
Since the reproduction end time of the image Image1 is a negative value, the display process of the image Image1 is performed in STEP8 until the current reproduction time T becomes -40 seconds. Thereafter, when the current reproduction time T becomes -40 seconds, since there are four images specified in the data file as shown in FIG. 14, the parameter i is set to 2 in STEP18. Since the reproduction end time of the image Image2 is a negative value and the current reproduction time T is smaller than the reproduction start time of the image Image2, the current reproduction time T is the reproduction start time of the image Image2 minus 30 seconds. Until step 9, display processing of pattern IMAGE 1 is performed.
[0086]
When the current reproduction time T reaches the reproduction start time of the image Image−30 seconds, display processing of the image Image2 is performed in STEP 8 until the current reproduction time T reaches −15 seconds. Thereafter, if the current reproduction time T becomes -15 seconds and the parameter i is set to 3 in STEP 18, the reproduction end time of the image Image3 is 0 or more, and the current reproduction time T is set to be smaller than the reproduction start time of the image Image3. Since the value is a small value, the display processing of the pattern IMAGE2 is performed in STEP12 until the current reproduction time T becomes the reproduction start time of the image Image3 minus 5 seconds.
[0087]
Then, when the current reproduction time T becomes the reproduction start time of the image 3 minus 5 seconds, the display process of the image 3 is performed in STEP11. As described above, when it is confirmed that the current reproduction time T has become 0 while the display processing of the image Image3 is being performed, the reproduction of the audio data is started in STEP12.
[0088]
In STEP4 (FIG. 11), when the reproduction start time of the image Image1 is 0 or more, the parameter T representing the reproduction time of the audio data is set to 0 as shown in the flowchart of FIG. The data is reproduced (STEP 102). As described above, when the reproduction of the audio data is started in STEP 102, or when the reproduction of the audio data is started in STEP 14 (FIG. 11), the current reproduction time T is compared with the reproduction start time of the image Image i. (STEP 103). At this time, if the current value of the reproduction time T is equal to or longer than the reproduction start time of the image Image i (Yes), the reproduction display processing of the image Image i is performed as in STEP 8 (STEP 104). The process of reproducing and displaying the image Image i will be described later.
[0089]
Further, when the current value of the reproduction time T is smaller than the reproduction start time of the image Image i (No), the pattern displayed prior to the timing when there is no display image in the edit setting window displayed as shown in FIG. Are displayed (STEP 105). Then, when processing such as STEP 104 or STEP 105 is performed to display the image Image i or the pattern, the value of the current reproduction time T is added by a predetermined value (STEP 106).
[0090]
Thereafter, the current reproduction time T and the reproduction end time of the image Image i are compared (STEP 107). Then, when the current value of the reproduction time T becomes greater than the reproduction end time of the image Image i (Yes), it is confirmed whether or not the parameter i matches the number of images specified by “ImageFiles” ( (STEP108). That is, at this time, it is confirmed whether or not all images have been displayed. Further, when the current value of the reproduction time T becomes equal to or less than the reproduction end time of the image Image i in STEP 107 (No), the operation after STEP 103 is performed again.
[0091]
In STEP 108, when the parameter i matches the number of images specified by “ImageFiles” (Yes), the value of the current reproduction time T is set to the reproduction time of the audio data set by “PlayTime” in the audio tag area 43. It is checked whether they match (STEP 109). If the parameter i does not match the number of images specified by “ImageFiles” in STEP 108 (No), the value of the parameter i is incremented by one as i + 1 (STEP 110), and the operations after STEP 103 are performed again. Done.
[0092]
In STEP 109, if the current value of the reproduction time T is not the reproduction time of the audio data (No), the setting of the pattern to be displayed in preference to the timing when there is no display image in the edit setting window displayed as shown in FIG. A pattern corresponding to the priority set in the item is displayed (STEP 111). Then, the value of the current reproduction time T is added by a predetermined value (STEP 112), and the processing of STEP 109 is performed again. When the current value of the reproduction time T becomes the reproduction time of the audio data (Yes), the reproduction of the data file is terminated.
[0093]
By doing so, when the reproduction start time and reproduction end time of the image Image4 are set to 20 seconds and 50 seconds and the reproduction time of the audio data is set to 50 seconds as shown in FIG. When the image playback is started, it is confirmed in STEP 103 that the current playback time T is equal to or longer than the playback start time of the image 3 minus 5 seconds, and the display of the image 3 is performed in STEP 104 until the current playback time T becomes 10 seconds. Processing is performed.
[0094]
Then, when the current reproduction time T reaches 10 seconds, as shown in FIG. 14, since there are four images specified in the data file and the parameter i does not match 4, the parameter i is set to 4 in STEP110. Since the current reproduction time T is smaller than the reproduction start time of the image Image4, the display processing of the pattern IMAGE3 is performed in STEP 105 until the current reproduction time T becomes the reproduction start time of the image Image4 of 20 seconds. When the current reproduction time T reaches the reproduction start time 20 seconds of the image Image4, the display process of the image Image4 is performed in STEP 104 until the current reproduction time T reaches 50 seconds.
[0095]
Thereafter, when the current reproduction time T reaches 50 seconds, it is confirmed that the parameter i matches 4 which is the number of images, and that the current reproduction time T matches the reproduction time 50 seconds of the audio data. Since the confirmation is made, the reproduction of the data file ends.
[0096]
As shown in FIG. 15, the reproduction start time and the reproduction end time of the image Image1 are 0 seconds and 10 seconds, the reproduction start time and the reproduction end time of the image Image2 are 20 seconds and 35 seconds, the reproduction start time and the reproduction of the image Image3. When the end time is set to 35 seconds and 50 seconds, and the reproduction time of the audio data is set to 50 seconds, first, it is confirmed in STEP 4 that the reproduction start time of the image Image1 is 0 or more, and the current reproduction time T is set. At the same time, the audio data is reproduced. As in the case of FIG. 14, it is assumed that the priorities of the patterns IMAGE1 to IMAGE4 set in the edit setting window are 1 to 4, respectively.
[0097]
Then, since the current reproduction time T is equal to or longer than the reproduction start time of the image Image1 of 0 second, the display processing of the image Image1 is performed in STEP 104 until the current reproduction time T becomes 10 seconds. Thereafter, when the current reproduction time T reaches 10 seconds, since there are three images specified in the data file as shown in FIG. 15, the parameter i is set to 2 in STEP110. Since the current reproduction time T is smaller than the reproduction start time of the image Image2, the display processing of the pattern IMAGE1 is performed in STEP 105 until the current reproduction time T becomes the reproduction start time of the image Image2 of 20 seconds.
[0098]
Then, when the current reproduction time T reaches the reproduction start time of the image Image2 of 20 seconds, the display processing of the image Image2 is performed in STEP 104 until the current reproduction time T becomes 35 seconds. Thereafter, when the current reproduction time T becomes 35 seconds and the parameter i is set to 3 in STEP 110, the current reproduction time T becomes 50 seconds because the current reproduction time T matches the reproduction start time of the image Image3. Until step 104, the display process of image Image3 is performed.
[0099]
When the current reproduction time T reaches the reproduction end time 50 seconds of the image Image3, it is confirmed that the parameter i matches 3 which is the number of images, and the current reproduction time T is changed to the reproduction time 50 of the audio data. Since it is confirmed that the time matches the second, the reproduction of the data file ends.
[0100]
In step 17 (FIG. 11), when the parameter i matches the number of images specified by "ImageFiles" (Yes), the editing setting window displayed as shown in FIG. 9 is displayed as shown in the flowchart of FIG. A pattern is displayed in accordance with the priority set in the setting item of the pattern to be displayed prior to the timing of no image (STEP 201). Then, it is confirmed whether or not the current value of the reproduction time T is negative (STEP 202). At this time, when it is confirmed that the current reproduction time T is a negative value (Yes), the value of the current reproduction time T is added by a predetermined value (STEP 203), and the operation after STEP 201 is performed again. Is performed.
[0101]
When it is confirmed in STEP 202 that the current reproduction time T is equal to or greater than 0 (No), it is confirmed whether or not the value of the current reproduction time T is 0 (STEP 204). At this time, if it is confirmed that the value of the current reproduction time T is 0 (Yes), after the audio data in the audio data area 42 has been reproduced (STEP 205), the value of the current reproduction time T becomes the predetermined value. The number of minutes is added (STEP 203), and the operations after STEP 201 are performed again.
[0102]
In STEP 204, when the value of the reproduction time T is not 0 (No), it is confirmed whether or not the current value of the reproduction time T matches the reproduction time of the audio data set by “PlayTime” in the audio tag area 43. (STEP 206). At this time, if the value of the current reproduction time T is not the reproduction time of the audio data (No), the value of the current reproduction time T is added by a predetermined value (STEP 203), and the operations after STEP 201 are performed again. When the current value of the reproduction time T becomes the reproduction time of the audio data (Yes), the reproduction of the data file is terminated.
[0103]
By doing so, if all the images are displayed before the audio data is started, the pattern set in the edit setting window is displayed until the reproduction of the audio data ends.
[0104]
In performing the operation as shown in the flowcharts of FIGS. 11 to 13, the operation of setting the image reproduction start time or the reproduction end time in STEP 2 will be described first with reference to the flowchart of FIG.
[0105]
When the process proceeds to STEP2, first, in the audio tag area 43 of the data file, an image having no description in “StartPlayImage i” and “EndPlayImage i” and in which the reproduction start time and the reproduction end time are not set is recognized (STEP 301). . The number of the recognized images is counted, and the number is set as a parameter N (STEP 302). Then, both “StartPlayImage i” and “EndPlayImage i” are described, and the reproduction time of an image for which a reproduction start time and a reproduction end time are set (that is, an image other than the image specified in STEP 302) is recognized (STEP 303). ).
[0106]
By subtracting the sum of the playback times of the images for which the playback start time and the playback end time recognized in this way are set from the playback time of the music data set in “PlayTime”, the result is divided by the parameter N. Then, the reproduction time of the image for which the reproduction start time and the reproduction end time are not set is obtained (STEP 304). Thereafter, after the reproduction start time and the reproduction end time of the image for which the reproduction start time and the reproduction end time recognized in STEP 301 are not set are set (STEP 305), the process proceeds to STEP3.
[0107]
Now, it is assumed that the reproduction time of the music data is set to 90 seconds, the associated images are images Image1 to Image5, the reproduction start time and reproduction end time of image Image1 are 0 seconds and 10 seconds, and the reproduction of image Image5 is performed. It is assumed that the start time and the reproduction end time are set to 70 seconds and 90 seconds. At this time, it is confirmed that the images for which the reproduction start time and the reproduction end time are not set are the three images Image2 to Image4, and the parameter N is set to 3. In addition, since it is confirmed that the reproduction times of the images Image1 and Image5 are respectively 10 seconds and 20 seconds, the reproduction times of the images Image2 to Image4 are respectively 20 from (90-10-20) / 3. Seconds.
[0108]
Therefore, the reproduction start time and the reproduction end time of the image Image2 are 10 seconds and 30 seconds, respectively, the reproduction start time and the reproduction end time of the image Image3 are 30 seconds and 50 seconds, respectively, and the reproduction start time and the reproduction end time of the image Image4. Are set to 50 seconds and 70 seconds, respectively.
[0109]
Next, the image reproduction processing operation in STEP 8 (FIG. 11), STEP 11 (FIG. 11), and STEP 104 (FIG. 12) will be described with reference to the flowchart in FIG.
[0110]
When the process proceeds to STEP8, STEP11, or STEP104, it is confirmed whether or not there is image data of the image Imagei (STEP401). That is, when the head address of the image recording area 44 of each image is set in the audio tag area 43, whether or not image data is stored in the image recording area 44 is determined. When the file name of the data file of each image is set, it is confirmed whether the data file of the file name can be read.
[0111]
When it is confirmed that there is image data (Yes), the image data stored in the image recording area 44 or the data file specified by the audio tag area 43 is read, and the image Image i is displayed. After that (STEP 402), the process proceeds to STEP 15, STEP 13, or STEP 106. When image data is not confirmed (No), the priority is set in accordance with the priority set in the setting item of the pattern to be displayed in priority to the timing when there is no display image in the edit setting window displayed as shown in FIG. After the pattern is displayed (STEP 403), the process proceeds to STEP 15, STEP 13, or STEP 106.
[0112]
By doing so, when the image data of the image Image i is confirmed within the playback time zone set for the image Image i, the image Image i is displayed, and the image data of the image Image i is displayed. Is not confirmed, the pattern set in the edit setting window is displayed instead of the image Image i within the set reproduction time zone.
[0113]
【The invention's effect】
According to the present invention, a plurality of image data items associated with audio data are recorded in the audio file, so that the file itself can be easily moved between terminal devices and server devices. Further, since the image data is recorded in the tag area, the audio data can be reproduced even by the conventional application software which only reproduces the audio data. Furthermore, since the thumbnail of the associated image can be displayed as an icon of the audio file, the viewer can easily recognize the content of the audio file from the icon.
[0114]
Also, when playing back an audio file in which a plurality of image data associated with audio data is recorded, when reproduction of a non-existing still image is instructed, a predetermined color or pattern such as a specific color or pattern is designated during the indicated display time. Since no image data exists, a blackout state in which no image data is displayed does not occur, and a slide show in which images are switched and displayed can be smoothly performed. Also, the display time of each still image is set so that the sum of the display times of all the still images except the non-existing still image is equal to the audio reproduction time of the audio data, so that the audio data is reproduced. In the meantime, the still image can be always switched and displayed, and the slide show for switching and displaying the image can be smoothly executed.
[0115]
Also, the setting of the display time of the still image or the setting of the display time of the predetermined image to be displayed at the timing at which the still image is switched so that the reproduction end time of the audio data and the display end time of all the still images match. Therefore, when a slide show in which images are switched and displayed is performed, switching of the display of still images does not become unnatural, and it is possible to prevent the viewer from feeling uncomfortable.
[0116]
In addition, since it is possible to set so that audio data is not reproduced while at least one or more still images designated to be displayed first are displayed, a sound such as a slide show in which images are switched and displayed is provided. The start of data reproduction can be set according to the display screen. Furthermore, since the display time of each still image can be set to a predetermined time as an initial value, the editing of the display time of each still image can be set based on the predetermined time, and the editing work can be facilitated. It can be.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a communication network system according to the present invention.
FIG. 2 is a block diagram showing an internal configuration of a terminal device in the communication network system of FIG. 1;
FIG. 3 is a block diagram showing an internal configuration of a server device in the communication network system of FIG. 1;
FIG. 4 is a diagram showing a configuration in a data file.
FIG. 5 is a diagram showing a configuration in a data file.
FIG. 6 is a diagram showing a relationship between audio data and an image.
FIG. 7 is a diagram showing a configuration in a data file.
FIG. 8 is a display example on a terminal device.
FIG. 9 is a display example on a terminal device.
FIG. 10 is a diagram showing an example of random display of an image.
FIG. 11 is a flowchart showing a data file reproducing operation in the terminal device.
FIG. 12 is a flowchart showing an operation of reproducing a data file in the terminal device.
FIG. 13 is a flowchart showing a data file reproducing operation in the terminal device.
FIG. 14 is an example of image reproduction.
FIG. 15 is a reproduction example of an image.
FIG. 16 is a flowchart showing an image reproduction time setting operation.
FIG. 17 is a flowchart showing an image reproduction processing operation.
[Explanation of symbols]
1-1 to 1-n terminal device
2 Server device
3 communication network
11 CPU
12 ROM
13 RAM
14 Communication unit
15 HDD
16 drives
17 I / O
18 Display
19 Input section
20 bus lines
21 CPU
22 ROM
23 RAM
24 Communication unit
25 External storage device
26 bus lines

Claims (19)

音声データと複数の複数の静止画像用の画像データより成るスライドショー用ファイルのファイル記録方式において、
前記音声データより成る音声ファイル内に、
複数の静止画像それぞれを表し、それぞれの画像データが得られたときの撮影条件を表す撮影条件情報が含む複数の画像データと、
前記音声データによる音声が再生される際に、前記複数の静止画像を切り換えて表示するための順序を表す画像表示情報と、
を記録して、
前記スライドショー用ファイルを生成することを特徴とするファイル記録方式。
In a file recording method of a slide show file including audio data and image data for a plurality of still images,
In an audio file composed of the audio data,
A plurality of still images and tables, and a plurality of image data capturing condition information includes indicating a photographing condition when the respective image data has been obtained,
When sound is reproduced by the sound data, image display information indicating an order for switching and displaying the plurality of still images,
And record
A file recording method for generating the slide show file.
前記画像データ及び前記画像表示情報を、前記音声データの属性が記録される前記音声ファイルにおけるタグ領域に記録することを特徴とする請求項1に記載のファイル記録方式。The file recording method according to claim 1 , wherein the image data and the image display information are recorded in a tag area in the audio file in which an attribute of the audio data is recorded. 音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル記録方式において、
前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報を記録して、前記スライドショー用ファイルを生成するとともに、
前記複数の画像のうちの1つの画像の画像データのデータ量を縮小して得られるサムネイル画像が、前記音声ファイルを特定するためのアイコンとして表示されるように設定することを特徴とするファイル記録方式。
In a file recording method of a slide show file including audio data and image data for a plurality of still images,
In an audio file composed of the audio data, image designation information for designating a plurality of still images displayed simultaneously with the reproduction of the audio data is recorded, and the slide show file is generated,
File recording, wherein a thumbnail image obtained by reducing the amount of image data of one of the plurality of images is displayed as an icon for specifying the audio file; method.
前記複数の画像それぞれの画像データが、前記音声ファイル内に記録されることを特徴とする請求項に記載のファイル記録方式。The file recording method according to claim 3 , wherein image data of each of the plurality of images is recorded in the audio file. 音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、
前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、
前記音声データが再生されて、前記画像指定情報によって指定される前記複数の静止画像を、前記画像表示情報によって指定された順番で切り換えて表示する際において、
存在しない静止画像が前記画像指定情報によって表示されるように指定された場合、前記画像表示情報によって、次に表示されるように順番が指定された静止画像が表示されることを特徴とするファイル処理方式。
In a file processing method of a slide show file including audio data and image data for a plurality of still images,
In the audio file composed of the audio data, image specification information for specifying a plurality of still images displayed simultaneously with the reproduction of the audio data, and image display information for specifying an order in which the plurality of still images are displayed. Recorded and the slide show file is generated,
When the audio data is reproduced and the plurality of still images specified by the image specification information are switched and displayed in the order specified by the image display information,
When a non-existing still image is designated to be displayed by the image designation information, a still image whose order is designated to be displayed next is displayed by the image display information. Processing method.
存在しない静止画像が前記画像指定情報によって表示されるように指定された場合、該静止画像が表示される時間に、予め設定された所定の画像が表示されること特徴とする請求項に記載のファイル処理方式。A nonexistent still image is designated to be displayed by the image designation information, according to claim 5, wherein the still image in time displayed, and wherein the predetermined image set in advance is displayed File processing method. 存在しない複数の静止画像が前記画像指定情報によって連続して表示されるように指定された場合、予め設定された複数の所定の画像が、前記複数の静止画像それぞれが表示される時間毎に切り換えられて表示されることを特徴とする請求項に記載のファイル処理方式。When a plurality of non-existing still images are designated to be displayed continuously by the image designation information, a plurality of predetermined images set in advance are switched every time the plurality of still images are displayed. 7. The file processing method according to claim 6 , wherein the file is displayed after being displayed. 前記存在しない静止画像を除く、表示される前記各静止画像の表示時間の合計が前記音声データが再生される音声再生時間と等しくなるように、表示される前記各静止画像の表示時間が設定されることを特徴とする請求項に記載のファイル処理方式。The display time of each of the displayed still images is set such that the total display time of each of the displayed still images, excluding the non-existent still image, is equal to the audio playback time during which the audio data is played back. The file processing method according to claim 7 , wherein 音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、
前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番及び表示時間を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、
前記静止画像全ての表示の終了と前記音声データの再生の終了とが一致するように、前記静止画像が切り替わるタイミングに表示させるように予め設定された所定の画像の表示時間が設定されることを特徴とするファイル処理方式。
In a file processing method of a slide show file including audio data and image data for a plurality of still images,
In a sound file composed of the sound data, image designation information for designating a plurality of still images to be displayed simultaneously with the reproduction of the sound data, and image display for designating an order and display time of the plurality of still images. Information is recorded, the slide show file is generated,
In order that the end of display of all the still images coincides with the end of reproduction of the audio data, the display time of a predetermined image set to be displayed at a timing at which the still images are switched is set. Characteristic file processing method.
請求項5〜請求項9のいずれかに記載のファイル処理方式を用いて処理された音声ファイルより得られた音声データから音声を再生するとともに、前記画像指定情報によって指定される前記複数の静止画像を、前記画像表示情報によって指定された順番で切り換えて表示することを特徴とする画像表示装置。10. A method for reproducing audio from audio data obtained from an audio file processed using the file processing method according to claim 5, and the plurality of still images specified by the image specification information. Are switched and displayed in the order specified by the image display information. 音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、
前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、
前記複数の静止画像より、少なくとも1つ以上の静止画像を特定の静止画像として選択し、
前記複数の静止画像のうち、前記特定の静止画像以外の各静止画像の表示時間が設定され、
前記特定の静止画像の表示時間が、前記特定の静止画像以外の各静止画像の表示時間と音声データの音声再生時間とに基づいて設定されることを特徴とするファイル処理方式。
In a file processing method of a slide show file including audio data and image data for a plurality of still images,
In the audio file composed of the audio data, image specification information for specifying a plurality of still images displayed simultaneously with the reproduction of the audio data, and image display information for specifying an order in which the plurality of still images are displayed. Recorded and the slide show file is generated,
Selecting at least one or more still images from the plurality of still images as a specific still image,
Among the plurality of still images, the display time of each still image other than the specific still image is set,
A file processing method, wherein a display time of the specific still image is set based on a display time of each still image other than the specific still image and an audio reproduction time of audio data.
音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、
前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、
前記各静止画像の表示時間が設定され、
前記複数の静止画像のうち、少なくとも1枚以上の静止画像が表示される間、音声データが再生されないように設定されることを特徴とするファイル処理方式。
In a file processing method of a slide show file including audio data and image data for a plurality of still images,
In the audio file composed of the audio data, image specification information for specifying a plurality of still images displayed simultaneously with the reproduction of the audio data, and image display information for specifying an order in which the plurality of still images are displayed. Recorded and the slide show file is generated,
The display time of each of the still images is set,
A file processing method, wherein audio data is not reproduced while at least one or more still images of the plurality of still images are displayed.
音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、
前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、
前記各静止画像の表示時間が、初期値として所定の時間に設定されることを特徴とするファイル処理方式。
In a file processing method of a slide show file including audio data and image data for a plurality of still images,
In the audio file composed of the audio data, image specification information for specifying a plurality of still images displayed simultaneously with the reproduction of the audio data, and image display information for specifying an order in which the plurality of still images are displayed. Recorded and the slide show file is generated,
A file processing method, wherein a display time of each of the still images is set to a predetermined time as an initial value.
前記各静止画像の表示時間が、更に、前記各静止画像毎に設定された前記所定の時間に基づいて、その時間の長さを変化させることで再設定されることを特徴とする請求項13に記載のファイル処理方式。The display time of each still image, further, on the basis of the respective still pictures every predetermined time set in, claim 13, characterized in that it is re-set by changing the length of the time File processing method described in. 前記所定の時間が、前記音声データの音声再生時間を前記静止画像の画像数で割った時間とすることを特徴とする請求項13又は請求項14に記載のファイル処理方式。15. The file processing method according to claim 13 , wherein the predetermined time is a time obtained by dividing the audio reproduction time of the audio data by the number of still images. 音声データと複数の静止画像用の画像データより成るスライドショー用ファイルのファイル処理方式において、
前記音声データより成る音声ファイル内に、前記音声データの再生と同時に表示される複数の静止画像を指定する画像指定情報と、前記複数の静止画像が表示される順番を指定する画像表示情報とが記録されて、前記スライドショー用ファイルが生成されるとともに、
前記画像表示情報によって指定される前記複数の静止画像が表示される順番に基づいて、前記各静止画像の表示時間の長さ又は前記各静止画像の表示される順番のうち少なくとも一方が無作為に設定されることを特徴とするファイル処理方式。
In a file processing method of a slide show file including audio data and image data for a plurality of still images,
In the audio file composed of the audio data, image specification information for specifying a plurality of still images displayed simultaneously with the reproduction of the audio data, and image display information for specifying an order in which the plurality of still images are displayed. Recorded and the slide show file is generated,
Based on the order in which the plurality of still images specified by the image display information are displayed, at least one of the display time length of each of the still images or the order in which each of the still images is displayed is randomly selected. A file processing method characterized by being set.
前記各静止画像の表示時間が無作為に設定される場合、該各表示時間が所定の範囲内で設定されることを特徴とする請求項16に記載のファイル処理方式。17. The file processing method according to claim 16 , wherein when the display time of each of the still images is set at random, each display time is set within a predetermined range. 前記各静止画像の表示時間が無作為に設定される場合、
前記複数の静止画像全ての表示の終了時刻と前記音声データの再生終了時刻とが一致するように、
前記複数の静止画像のうち、少なくとも1つの静止画像の表示時間が、設定された他の静止画像の表示時間と前記音声データの音声再生時間とに基づいて、設定されることを特徴とする請求項17に記載のファイル処理方式。
When the display time of each still image is set at random,
As the end time of the display of all of the plurality of still images and the reproduction end time of the audio data match,
The display time of at least one still image among the plurality of still images is set based on the set display time of another still image and the audio reproduction time of the audio data. Item 18. The file processing method according to Item 17 .
請求項11〜請求項18のいずれかに記載のファイル処理方式を用いて前記音声ファイル内のデータを設定することによって、前記音声データの再生時に表示する前記複数の静止画像の表示方法を編集することを特徴とする画像編集装置。 A method for displaying the plurality of still images displayed during reproduction of the audio data by setting data in the audio file using the file processing method according to any one of claims 11 to 18. An image editing apparatus characterized by the above-mentioned.
JP2001100255A 2001-03-30 2001-03-30 File recording method, file processing method, image display device, and image editing device Expired - Fee Related JP3558048B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001100255A JP3558048B2 (en) 2001-03-30 2001-03-30 File recording method, file processing method, image display device, and image editing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001100255A JP3558048B2 (en) 2001-03-30 2001-03-30 File recording method, file processing method, image display device, and image editing device

Publications (2)

Publication Number Publication Date
JP2002300520A JP2002300520A (en) 2002-10-11
JP3558048B2 true JP3558048B2 (en) 2004-08-25

Family

ID=18953714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001100255A Expired - Fee Related JP3558048B2 (en) 2001-03-30 2001-03-30 File recording method, file processing method, image display device, and image editing device

Country Status (1)

Country Link
JP (1) JP3558048B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI260590B (en) * 2002-11-21 2006-08-21 Samsung Electronics Co Ltd Information storage medium storing still picture, reproducing apparatus and method therefor
US8391672B2 (en) 2004-02-06 2013-03-05 Panasonic Corporation Recording medium, reproduction device, program, and reproduction method
KR100884148B1 (en) * 2004-06-02 2009-02-17 파나소닉 주식회사 Recording medium capable of performing a high-speed random access in a slide show, reproduction device, computer readable medium, recording method, and reproduction method
KR100884150B1 (en) * 2004-06-02 2009-02-17 파나소닉 주식회사 Recording medium capable of performing a high-speed random access in a slide show, reproduction device, computer readable medium, recording method, and reproduction method
JP4284620B2 (en) 2004-12-27 2009-06-24 ソニー株式会社 Information processing apparatus and method, and program
JP5071330B2 (en) * 2008-09-29 2012-11-14 ソニー株式会社 Information processing apparatus and method, and program
JP4935859B2 (en) * 2009-06-05 2012-05-23 ソニー株式会社 Playback apparatus and playback method

Also Published As

Publication number Publication date
JP2002300520A (en) 2002-10-11

Similar Documents

Publication Publication Date Title
JP4354806B2 (en) Moving image management apparatus and method
JP3752298B2 (en) Image editing device
JP4457316B2 (en) Image reproducing apparatus and method
JP4760438B2 (en) Image reproduction apparatus and image reproduction program
US7440682B2 (en) Electronic-album displaying system, electronic-album displaying method, remote controller, machine readable medium storing remote control program, schedule generating device, and machine readable medium storing schedule generating program
JPWO2007052531A1 (en) File recording apparatus and imaging apparatus
JP4892074B2 (en) Electronic device, image output method and program
US8750685B2 (en) Image processing apparatus
JP3558048B2 (en) File recording method, file processing method, image display device, and image editing device
JP2005063189A (en) Electronic equipment and processing method, and program
US20070040901A1 (en) Video processing apparatus and object processing method
US7864224B2 (en) Image pickup apparatus and image pickup method
US8542293B2 (en) Image pickup apparatus, method for controlling the image pickup apparatus, and storage medium
US8634692B2 (en) Image recording/reproducing apparatus, control method thereof, program and storage medium
US7877688B2 (en) Data processing apparatus
JP2008153899A (en) Image selecting device, control method of image selecting device, program and recording medium
US20020168173A1 (en) Method and apparatus for copying and processing audiovisual information
JP2005182931A (en) Device and method for recording/reproducing information
JP4674726B2 (en) File management method and information processing apparatus
JP2011193386A (en) Electronic apparatus and image processing method
JP4350590B2 (en) Recording apparatus, recording method, computer program, and recording medium
JP4318040B2 (en) Information editing apparatus, imaging apparatus, and information editing method
JP4206872B2 (en) Information editing apparatus, imaging apparatus, and information editing method
US20060155767A1 (en) Information recording-and-reproducing method and information recording-and-reproducing apparatus with play-list copy function
JP2022012293A (en) Broadcast program recording playback device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040510

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120528

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130528

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees