JP4452638B2 - 画像表示方法、画像表示装置、画像提供システム及び記録媒体 - Google Patents

画像表示方法、画像表示装置、画像提供システム及び記録媒体 Download PDF

Info

Publication number
JP4452638B2
JP4452638B2 JP2005063188A JP2005063188A JP4452638B2 JP 4452638 B2 JP4452638 B2 JP 4452638B2 JP 2005063188 A JP2005063188 A JP 2005063188A JP 2005063188 A JP2005063188 A JP 2005063188A JP 4452638 B2 JP4452638 B2 JP 4452638B2
Authority
JP
Japan
Prior art keywords
image
frame
frame image
image display
audio data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005063188A
Other languages
English (en)
Other versions
JP2006253740A (ja
Inventor
理弘 見手倉
達男 平川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2005063188A priority Critical patent/JP4452638B2/ja
Publication of JP2006253740A publication Critical patent/JP2006253740A/ja
Application granted granted Critical
Publication of JP4452638B2 publication Critical patent/JP4452638B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像表示方法、画像表示装置、画像提供システム及び記録媒体に関する。
近年の情報のデジタル化に伴って、映像のデジタル化も進歩し続けている。デジタルカメラのように、撮影した映像をデータ化しパーソナルコンピュータ上で見ることも容易になってきている。デジタルカメラの機能の1つに、連写撮影において一定の枚数を連続的に撮影し、それを1つのファイルとして保存する、いわゆる連写モードを搭載したデジタルカメラもある。
この連写モードで撮影された映像は、その1枚ごとの映像を連続して写すことにより、あたかも動画のように見せることもできるし、1枚ずつを固定して見ることも可能である。その特性から、この連写モードの有効性は多岐に亘るが、例えば、スポーツのフォームをチェックする際にもよく利用される。この1枚ずつ分割された1つの画像を、コマ画像と呼ぶ。
このコマ画像の表示に関する発明として、特許文献1や特許文献2に記載の発明が開示されている。特許文献1には、画像表示装置において、同一被写体について時系列的に取得された複数の画像を、それらの画像における変化をより把握しやすいものとして表示させる発明が開示されている。また、特許文献2には、連写撮影において一定の連写枚数を一つのファイルとして保存する連写モードを効率よく使用する画像再生装置および方法を提供する発明が開示されている。
特開2000−293157号公報 特開2004−165857号公報
しかし、従来の技術には、以下に述べるような問題があった。
例えば、従来のコマ画像の表示方法を利用すれば、ゴルフ、テニス、水泳などのスポーツシーンを高速連写し、1コマ1コマのスポーツのフォームを仔細に見ることにより、スポーツの練習、研究を行うことができる。また、プロのフォームを撮影した画像であれば、アマチュアがフォームの手本にして、練習することもできる。ここで、1コマ画像の表示と同時に例えばプロのレッスン指導を音声で聞くことができれば、さらに有効なものとなる。
また、この画像表示方法をデジタルカメラに搭載すれば、近年小型化が進んでいるのでどこにでも持ち歩くことができ、パソコンなど装置を持ち運ぶことが難しい、ゴルフ場、テニスコート、プールなどで利用することもできる。しかし、このような1コマ画像のスライドショー表示方法において、音声を再生できるものはなかった。
また、特許文献1に記載の発明は、1枚の画像に集合させた画像から、各コマ画像を動画表示させるスライドショー表示方法ではない。さらに、特許文献2に記載の発明は、1枚の画像に集合させたコマ画像を分割してスライドショーのように表示する機能を備えてはいるが、スライドショー表示を自動にすると、1枚中の画像すべてが最後まで表示されてしまう。
本発明は、この点に鑑み成されたもので、複数のコマ画像から構成される1枚の元画像から1コマの画像を分割して表示する、画像表示方法において、1コマの画像を表示するとともに、音声を再生することができる画像表示方法を提供することを目的とする。
上記の目的を達成するため、請求項1に記載の発明は、複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データとして音声ファイルを再生する連続画像表示工程を有する画像表示方法であって、前記連続画像表示工程において前記コマ画像を1コマ表示する際に、前記元画像ファイルのファイル名に対応し、かつ表示する前記コマ画像のコマ番号に対応するファイル名を有する音声ファイルを再生することを特徴とする。
請求項2に記載の発明は、複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データを再生する連続画像表示工程を有する画像表示方法であって、前記連続画像表示工程において前記コマ画像を1コマ表示する際に、前記コマ画像のコマ番号と対応する音声データの開始アドレスと該音声データのサイズとを保存した対応テーブルを用いて、表示する前記コマ画像のコマ番号に対応する音声データを読み出して再生することを特徴とする。
請求項に記載の発明は、請求項1又は2記載の画像表示方法において、連続画像表示工程は、予め設定された時間に基づいて自動的に次のコマ画像を表示してコマ画像に対応する音声データを再生する第1の自動更新工程を有することを特徴とする。
請求項に記載の発明は、請求項1又は2記載の画像表示方法において、連続画像表示工程は、ユーザによるコマ画像の切替指示があった場合に、次のコマ画像を表示してコマ画像に対応する音声データを再生する第1の手動更新工程を有することを特徴とする。
請求項に記載の発明は、請求項1又は2記載の画像表示方法において、前記連続画像表示工程は、予め設定された時間に基づいて自動的に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第1の自動更新工程と、ユーザによる前記コマ画像の切替指示があった場合に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第1の手動更新工程と、を有し、前記連続画像表示工程によって表示される前記コマ画像および再生される前記音声データは、前記第1の自動更新工程と、前記第1の手動更新工程とを併用して前記コマ画像を表示して該コマ画像に対応する音声データを再生することを特徴とする。
請求項に記載の発明は、請求項からのいずれか1項に記載の画像表示方法において、複数のコマ画像の中から所望のコマ画像を指定する第1の指定工程をさらに有し、第1の指定工程により指定されたコマ画像から順次表示してコマ画像に対応する音声データを再生することを特徴とする。
請求項に記載の発明は、請求項のいずれか1項に記載の画像表示方法において、複数のコマ画像の中から前記第1の指定工程によって指定されたコマ画像以外の、所望のコマ画像を指定する第2の指定工程をさらに有し、第1の指定工程により指定されたコマ画像から第2の指定工程により指定されたコマ画像までを、順次表示してコマ画像に対応する音声を再生する指定画像間表示工程を有することを特徴とする。
請求項に記載の発明は、請求項記載の画像表示方法において、指定画像間表示工程は、予め設定された時間に基づいて、自動的に次のコマ画像を表示してコマ画像に対応する音声データを再生する第2の自動更新工程を有することを特徴とする。
請求項に記載の発明は、請求項記載の画像表示方法において、記指定画像間表示工程は、ユーザによるコマ画像の切替指示があった場合に、次のコマ画像を表示してコマ画像に対応する音声データを再生する第2の手動更新工程を有することを特徴とする。
請求項10に記載の発明は、請求項記載の画像表示方法において、前記指定画像間表示工程は、予め設定された時間に基づいて、自動的に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第2の自動更新工程と、ユーザによる前記コマ画像の切替指示があった場合に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第2の手動更新工程とを有し、指定画像間表示工程によって表示されるコマ画像および再生される音声データは、複数のコマ画像の中から、第1のコマ画像と第2のコマ画像とを指定して、第1のコマ画像と第2のコマ画像とが表示および再生される間、第2の自動更新工程及び第2の手動更新工程とのうちの少なくともいずれか一方を行い、第2の自動更新工程と、第2の手動更新工程とを併用してコマ画像を表示してコマ画像に対応する音声データを再生することを特徴とする。
請求項11に記載の発明は、請求項8又は10に記載の画像表示方法において、予め設定された時間を変更する時間設定変更工程をさらに有し、第2の自動更新工程によるコマ画像の表示及びコマ画像に対応する音声データの再生中に、時間設定変更工程によって変更された時間を反映させて、コマ画像が自動的に更新される時間を変更することを特徴とする。
請求項12に記載の発明は、複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データとして音声ファイルを再生する連続画像表示手段を有する画像表示装置であって、前記連続画像表示手段において前記コマ画像を1コマ表示する際に、前記元画像ファイルのファイル名に対応し、かつ表示する前記コマ画像のコマ番号に対応するファイル名を有する音声ファイルを再生することを特徴とする。
請求項13に記載の発明は、複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データを再生する連続画像表示手段を有する画像表示装置であって、前記連続画像表示手段において前記コマ画像を1コマ表示する際に、前記コマ画像のコマ番号と対応する音声データの開始アドレスと該音声データのサイズとを保存した対応テーブルを用いて、表示する前記コマ画像のコマ番号に対応する音声データを読み出して再生することを特徴とする。
請求項14に記載の発明は、請求項12又は13記載の画像表示装置において、連続画像表示手段は、予め設定された時間に基づいて、自動的に次のコマ画像を表示してコマ画像に対応する音声データを再生することを特徴とする。
請求項15に記載の発明は、請求項12又は13に記載の画像表示装置を用いた画像提供システムであって、クライアントは、ユーザから受けとった1コマ単位のコマ画像に分割して表示された連続画像データに対して、ユーザが所望し、かつ、コマ画像の有する情報に関連する音声データを付加してユーザへ提供することを特徴とする。
請求項16に記載の発明は、請求項11記載の画像表示方法を、コンピュータ上で実行するためのプログラムを記録した記録媒体であることを特徴とする。
このように、画像表示方法、画像表示装置、画像提供システム及び記録媒体によれば、複数のコマ画像から構成される1枚の元画像から1コマの画像を分割して表示する、画像表示方法において、1コマの画像を表示するとともに、音声を再生することができる画像表示方法、画像表示装置、画像提供システム及び画像表示方法を記録した記録媒体方法を提供することができる。
以下に、本発明の実施形態を図面を用いて説明する。なお、本実施形態は以下に述べるものに限定されず、その趣旨を逸脱しない範囲において種々変更が可能である。
本実施形態の画像表示方法は、図1に示すようなパーソナルコンピュータ(PC)1上のプログラムメモリ5に記憶されたアプリケーションプログラムによって行われる。
本実施形態のPC1は、PC1本体のCPUボード2や記憶装置3、音声録音/再生ボード4、プログラムメモリ5、モニタ6、CD−ROMドライブ7、キーボード8、マウス9、USBデバイス10などから構成されている。
CPUボード2は、プログラムメモリ5からアプリケーションプログラムを読み出し、その指令に応じて処理を実行する。また、キーボード8、マウス9からのユーザ操作の検出や、画像のモニタ6への表示、USBデバイスなどによって外部装置、例えば、本実施形態ではデジタルカメラ11から画像データを読み込み、ハードディスクなどの記憶装置3へ保存を行う。
本実施形態の画像表示方法を行うアプリケーションプログラムは、CD−ROMに記憶されており、CD−ROMドライブ7によって読み込まれる。そして、PC1の記憶装置3に保存されるようになっている。記憶装置3に保存したプログラムは、プログラムメモリ5に入れられて実行される。
また、PC1の外部の、デジタルカメラ11やマイク12から読み込んだ音声ファイルを記憶装置3へ保存し、それを再生することもできる。音声ファイルは、例えば、一定時間ごとにサンプリングされた音声データや、そのサンプリング情報などから構成されている。この音声ファイルを音声録音/再生ボード4、及びスピーカ13によって、人間の可聴音声に変換し、再生することができる。
本実施形態の画像表示方法は、外部のデジタルカメラ11から読み込んだ、複数のコマ画像を1つの画像へ集合させた画像の表示方法である。図2は、複数のコマ画像がモニタ6上に表示された表示例を示す図である。
この複数のコマ画像は、一般的には連写によって所定の時間間隔T1で、点線の矢印の順序に撮影されたものであり、これを自動スライドショーモードでは、撮影された時間間隔と同等の時間で、1コマづつモニタに自動で表示させ、動画のようなスライドショー表示を行う。また、マニュアル表示モードでは、スライドショー実行後にマウスをクリックすると、クリックごとに順々に次のコマ画像を表示する。
また、この複数のコマ画像からなる画像ファイルを展開した画像データの並びは、1コマごとにデータが区切られておらず、先頭から連続的に画像データが記憶されている。
図2のモニタ上に表示した画像データを用いて説明すると、X方向に0からXmaxまでの1ラインの画像データがYmaxライン分連続して並び記憶されている。しかし、X方向のコマ画像数、Y方向のコマ画像数、1コマの画像サイズはあらかじめ決められている。したがって、例えば、以下に示すような計算式によって、連続した画像データから1コマ分を抜き出し、分割して読み込むことができる。
ただし、画像ファイル上のデータは、一般的に圧縮されている。したがって、画像データをモニタ6上に表示するために、この圧縮されたデータ(画像信号)を表示可能な形式に変換する必要がある。なお、本実施形態では、画像信号として光の三原色であるR(レッド),G(グリーン),B(ブルー)で表されるRGB形式の画像データと、Y(輝度信号),U(輝度信号と青色成分との差),V(輝度信号と赤色成分との差)で表されるYUV形式の画像データとを用いて説明する。
まず、画像データを、YUV形式のデータに復号及び伸長し、表示画像データに変換する。本実施形態におけるPC1のモニタ6上の表示では、Y,U,VデータをさらにR,G,Bデータに変換して、図示しないモニタ6表示用のVRAMにデータを入れて表示する。ここでは説明の簡略化のため、図2を用いて説明することが可能な、モニタ表示画像データに対する処理計算式を説明する。
X方向のコマ画像数をNXmax、Y方向のコマ画像数をNYmax、1コマ画像の幅をXdiv、1コマ画像の高さをYdiv、表示コマ番号(先頭コマ番号は0)をN、とすると、
X方向コマ画像座標Nx=N/NXmaxの余り・・・(1)
Y方向コマ画像座標Ny=N/NYmaxの商・・・(2)
となり、Nコマ目の画像データの開始アドレスAdbaseは、
Adbase=(Nx×Xdiv)+(Ny×Ydiv)×(Xdiv×NXmax)・・・(3)
となる。
例えば、図2においては、NXmax=4、NYmax=4、Xdiv=500、Ydiv=376、N=9の場合を示しているが、この場合、Nx=1、Ny=2、Adbase=1504500となる。
1コマの画像を分割表示するには、上述した処理計算式(3)で算出したAdbaseをベースとして、以下に述べる計算式(4)を用いて、読み出しデータアドレスAdを計算して表示する。
Ad=Adbase+Ydot×(Xdiv×NXmax)+Xdot・・・(4)
1コマの画像の読み出しを開始する時は、Xdot,Ydotは0とする。画像ファイルのアドレスAdから、画像データを1データ読み出してモニタ6に表示し、Xdotを1増加することを繰り返す。XdotがXdivに到達したとき、Ydotを1増加してXdotを0に戻す。これをYdotがYdivに到達後、XdotがXdivに到達するまで繰り返す。すると、1コマの画像データを分割してモニタに表示することができる。また、1コマ画像のモニタ表示を2倍に拡大表示する場合には、X方向、Y方向とも、モニタ6表示用のVRAMデータに対して、読み出したデータを2画素分、同じデータを書き込めば良い。
1コマ分の画像を表示したら、次に、対応する音声ファイルが記憶装置上にあるかどうかを検索する。検索した音声ファイルが見つかった場合には、音声録音/再生ボード4によって音声を再生する。
本実施形態では、表示コマ番号と再生音声ファイルの対応を、以下の表1のように音声ファイル名で対応させる。
Figure 0004452638
まず、複数のコマ画像からなる1つの画像のファイル名は、例えば、P0001.jpgのようになっている。このファイル名には規則性があり、画像であることを示すPと、撮影順に増加する4桁の画像番号と、ピリオドの後にファイルの拡張子(例えば、本実施形態ではjpg)で構成される。この画像に対応し、なおかつ1コマ画像にも対応する音声ファイルは、例えば、S0001_1.wavのようになっている。これは、音声ファイルであることを示すSと、対応する画像ファイルの4桁の画像番号と、区切りを示すアンダースコア(_)と、複数のコマ画像のうちどの画像に対応するかを示す2桁のコマ番号と、拡張子(例えば、本実施形態ではwav)から構成される。
音声ファイルの検索では、このような規則性に合致した音声ファイルを検索することにより、関係の無いファイルを音声再生することのないようにしている。また、本実施形態のアプリケーションプログラムが記憶されているCD−ROMには、あらかじめ複数のコマ画像から構成された、模範となるスポーツフォームの連写画像と、コマごとのフォームに対する指導内容が録音された音声ファイルとをサンプルとして有している。したがって、画像を見ながら音声を聞くというような練習をすることができる。
次に、本実施形態における、画像データの表示及び音声ファイルの再生の動作を、図面を用いて説明する。
図3は、本実施形態における、画像データの表示及び音声ファイルの再生の動作を示すフローチャートである。
まず、ユーザがPC1のキーボード8やマウス9を操作してスライドショーの実行操作を行ったかを検出する(ステップS101)。スライドショー実行操作が検出されるまでは(ステップS101/No)、そのまま待機することになる。スライドショー実行操作が検出された場合には(ステップS101/Yes)、次に、コマ画像の各種表示条件を設定する(ステップS102)。この条件設定とは、例えば、コマ画像表示の間隔設定(自動スライドショーの場合には、前述した撮影間隔に近い時間T1の設定)や、スライドショー表示におけるマニュアル、自動などの操作上の選択などが設定されることになる。
スライドショーの条件設定が終了すると、次に、現在の表示コマ番号iの値を0に設定して(ステップS103)、先頭からi番目のコマ画像を表示する(ステップS104)。ここで、前述した、ファイル名の規則性を有しなおかつ表1に対応したi番目のコマ画像に合致する音声ファイルがあるかどうかを検索する(ステップS105)。検索した結果、合致する音声ファイルがある場合には(ステップS105/Yes)、見つかった音声を再生する(ステップS106)。
ステップS106においてi番目のコマ画像の対応音声を再生した後、あるいは、ステップS105において合致する音声ファイルが検出されなかった場合(ステップS105/No)には、現在表示中のコマ番号であるiの値と、最大コマ画像数の値とを比較する(ステップS107)。ここで、iの値が最大コマ画像数以上の場合には(ステップS107/No)、スライドショーを終了する。iの値が最大コマ画像数よりも小さい場合には(ステップS107/Yes)、iの値を1増加する(ステップS108)。
iの値を1増加した後、次に、スライドショーの表示モードがマニュアル表示になっているかどうかをチェックする(ステップS109)。これは、ステップS102のスライドショー条件設定において設定された条件を参照することになる。マニュアル表示モードであれば(ステップS109/Yes)、次に、マウスがクリックされたかどうかチェックを行う(ステップS111)。マウスがクリックされていなければ(ステップS111/No)、マウスがクリックされるまで待機する。また、マウスがクリックされた場合(ステップS111/Yes)には、i番目のコマ画像を表示するステップS104へと再度移行することになる。
また、スライドショーの表示モードがマニュアル表示モードではなく自動表示モードの場合には(ステップS109/No)、現在設定されている自動スライドショーの表示間隔時間の分だけ待機する(ステップS110)。その後、i番目のコマ画像を表示するステップS104へと再度移行することになる。この待機時間に関しては、上述したように、ステップS102のスライドショー条件設定において設定された条件を参照することになる。
また、本実施形態では、複数のコマ画像から表示を開始、終了するコマの選択や、表示モードの切り替えを行うコマ画像の位置選択を行うことも可能である。実際には図4(a)、(b)に示すように、スライドショー実行前の元の画像をモニタ6に表示させている時に、コマ画像上をマウスでクリックすることにより行う。以下にその動作を例示する。
まず、スライドショーを開始するコマ画像を図4(a)のAの位置にマウスポインタを移動させる。次に、マウスポインタを移動させた、スライドショーを開始するコマ画像の上でクリックする。すると、そのコマ画像上に○の選択マークを表示させて、以下のような計算式でコマ画像の先頭コマからの位置を計算し、画面右下に計算したコマ位置を表示する。図4(b)はスライドショーを終了するコマ画像Bを選択した時のモニタ表示である。
マウスポインタの位置を、例えば、(X,Y)の座標位置でクリックされたとし、画像全体の幅をXmax、画像全体の高さをYmax、画像のX方向の総コマ数をNXmax、画像のY方向の総コマ数をNymax、また、コマ画像単位のX方向の位置をNx、Y方向からの位置をNyとすると、
1コマ画像の幅=Xmax/Nxmax・・・(5)
1コマ画像の高さ=Ymax/Nymax・・・(6)
コマ画像のX方向位置Nx=X/(1コマ画像の幅)・・・(7)
コマ画像のY方向の位置Ny=Y/(1コマ画像の高さ)・・・(8)
(コマ画像のX,Y方向位置計算の割算の余りは切り捨てる)
となる。
したがって、先頭の画像を0番目とし、マウスクリックした画像の先頭からのコマ数Nは、
先頭からのコマ数N=Ny×Nxmax+Nx・・・(9)
となる。
具体的な数値を入れて考える。Xmaxが1024、Ymaxが728、NxmaxとNymaxが4、マウスの座標が図4(a)で示したAのマウス位置(X1,Y1)=(300,400)でクリックされた場合には、
1コマ画像の幅=256
1コマ画像の高さ=182
コマ画像のX方向位置Ax=1
コマ画像のY方向の位置Ay=2
となる。したがって、クリックしたAの画像の先頭からのコマ数Nは、
先頭からのコマ数NA=2×4+1=9
となる。
また、図4(b)で示したBのマウス位置(X2,Y2)=(800,400)でクリックされた場合には、
コマ画像のX方向位置Bx=3
コマ画像のY方向の位置By=2
となる。したがって、クリックしたBの画像の先頭からのコマ数Nは、
先頭からのコマ数NB=2×4+3=11
となる。
また、先頭のコマ画像から順次自動スライドショーモードで表示して、選択されたAのコマ画像表示からBのコマ画像表示までをマニュアル表示モードで表示することも可能である。このように設定すれば、AからBまでのコマ画像表示を好みで仔細に見ることができる。
また、先頭のコマ画像から順次自動スライドショーモードで表示して、選択されたAのコマ画像表示からBのコマ画像表示までマニュアル表示モードではなく、自動スライドショー表示のままに設定しておく。その上で、コマ画像の表示間隔を、撮影された時間間隔と同等の時間T1よりも長い時間T2にするようにしても良い。このように設定すれば、AからBまでのコマ画像表示はゆっくり切り替わって表示するようにできる。
ここで、本実施形態におけるコマ画像の表示方法の動作を、図面を用いて説明する。
図5及び図6は、本実施形態におけるコマ画像の表示方法の動作を示すフローチャートである。
まず、コマ画像Aの位置選択のためのマウスクリックがなされたかどうかを検出する(ステップS201)。マウスがクリックされていない場合には(ステップS201/No)、マウスがクリックされるまで待機することになる。マウスクリックが検出された場合には(ステップS201/Yes)、先頭からのコマ画像数NAを計算して画面に表示する(ステップS202)。
次に、コマ画像Bの位置選択のためのマウスクリックがなされたかどうかを検出する(ステップS203)。マウスがクリックされていない場合には(ステップS203/No)、マウスがクリックされるまで待機することになる。マウスクリックが検出された場合には(ステップS203/Yes)、先頭からのコマ画像数NBを計算して画面に表示する(ステップS204)。
ここで、画面表示モードが部分表示モードに設定されているかどうかをチェックする(ステップS205)。部分表示モードになっている場合には(ステップS205/Yes)、コマ画像Aからスライドショーを開始してコマ画像Bで終了することになるので、コマ画像番号iをNA設定する(ステップS206)。部分表示モードになっていない場合には(ステップS205/No)、最初の0番目のコマ画像からスライドショーを表示することになるので、コマ画像番号iを0に設定する(ステップS207)。
次に、スライドショーの実行操作を行ったかを検出する(ステップS208)。スライドショー実行操作が検出されるまでは(ステップS208/No)、そのまま待機することになる。スライドショー実行操作が検出された場合には(ステップS208/Yes)、コマ画像の各種表示条件を設定する(ステップS209)。この条件設定とは、上述のステップS102における条件設定と同様であり、コマ画像表示の間隔設定(自動スライドショーの場合には、前述した撮影間隔に近い時間T1の設定)や、スライドショー表示におけるマニュアル、自動などの操作上の選択などが設定されることになる。
スライドショーの条件設定が終了すると、先頭からi番目のコマ画像を表示する(ステップS210)。ここで、現在表示中のコマ番号であるiの値と、最大コマ画像数の値とを比較する(ステップS211)。ここで、iの値が最大コマ画像数以上の場合には(ステップS211/No)、スライドショーを終了する。また、iの値が最大コマ画像数よりも小さい場合には(ステップS211/Yes)、今度は、iの値とNAの値とを比較して、一致しているかどうかを判定する(ステップS212)。
iとNAとの値が一致していた場合には(ステップS212/Yes)、ここで、スライドショーの表示条件を変更することができる(ステップS213)。例えば、NA番目のコマ画像の表示以降に自動スライドショーの表示間隔を長くしたい場合には、表示間隔時間を、撮影された時間間隔と同等の時間T1よりも長い時間T2に設定しても良い。また、この段階でマニュアル表示モードに移行すれば、これ以降マウスをクリックするごとにコマ画像が順々に表示されることになる。
ちなみに、ステップS213においてスライドショーの表示条件を変更しない場合には、そのまま次の処理へと移行する。
iとNAとの値が一致しなかった場合には(ステップS212/No)、iの値とNBの値とを比較して、一致しているかどうかを判定する(ステップS214)。iとNBとの値が一致していた場合には(ステップS214/Yes)、ここでも、スライドショーの表示条件を変更することができる(ステップS215)。例えば、NB番目のコマ画像の表示以降に自動スライドショーの表示間隔を元に戻したい場合には、表示間隔時間を、上述したT2からT1へと設定し直しても良い。また、この段階でマニュアル表示モードから自動スライドショーモードに移行すれば、また一定時間ごとに自動的にコマ画像が順々に表示されることになる。
ちなみにここでも、ステップS215においてスライドショーの表示条件を変更しない場合には、そのまま次の処理へと移行する。
また、iとNBとの値が一致しなかった場合には(ステップS214/No)、画面表示モードが部分表示モードに設定されているかどうかをチェックする(ステップS217)。部分表示モードになっている場合には(ステップS217/Yes)、ここで処理を終了する。
ステップS213の処理終了後や、ステップS215の処理終了後や、ステップS217において部分表示モードになっていない場合(ステップS217/No)には、次に、iの値を1増加する(ステップS216)。iの値を1増加した後は、続いて、スライドショーの表示モードがマニュアル表示になっているかどうかをチェックする(ステップS218)。
マニュアル表示モードであれば(ステップS218/Yes)、次に、マウスがクリックされたかどうかチェックを行う(ステップS220)。マウスがクリックされていなければ(ステップS220/No)、マウスがクリックされるまで待機する。また、マウスがクリックされた場合(ステップS220/Yes)には、i番目のコマ画像を表示するステップS210へと再度移行することになる。
また、スライドショーの表示モードがマニュアル表示モードではなく自動表示モードの場合には(ステップS218/No)、現在設定されている自動スライドショーの表示間隔時間の分だけ待機する(ステップS219)。その後、i番目のコマ画像を表示するステップS210へと再度移行することになる。
また、音声データが画像ファイルとともにデータとして記憶されている形態でも良い。この場合以下の表2で示すように、コマ画像と音声の対応テーブルをあらかじめ設定しておく。
Figure 0004452638
そして、前述したステップS105において対応部分に音声データがあるかどうかをチェックし、ステップS106において表2の対応テーブルを利用して、対応する音声を読み出して再生するようにする。
例えば、あらかじめ所定のデータ領域に、音声データの情報領域を設ける。そして、コマ番号と対応する音声データの開始アドレスとそのサイズとを、表2に示すような対応テーブルで保存するように設定する。ここで例えば、画像ファイルP0001.jpgにおいて、3コマ目の音声を再生する場合には、音声データ情報領域の先頭から0x08バイト目に、音声データの開始アドレスが設定されているので、該当する音声データアドレス値0x2000からデータサイズ0x1FFF分のデータを読み出して再生すればよい。なお、データサイズが0の場合は、音声データが無いことを示す。
このように、本実施形態によれば、複数のコマ画像から構成される1枚の元画像から1コマの画像を分割して表示する画像表示方法において、1コマの画像を表示するとともに、音声を再生することができる。さらに、動作開始入力を受け、スライドショー表示モード開始と同時に音声を再生することができる。したがって、ゴルフ、テニス、水泳などのスポーツシーンを高速連写して表示し、その上で、1コマ画像の表示と同時に音声を聞くことができる。すなわち、スポーツのフォームを仔細に見ることにより、スポーツの練習、研究を行うことができる。
さらに、本実施形態によれば、表示させたいコマを選択して、そのコマ画像だけを表示したり、仔細に見たいコマの開始コマと終了コマを選択して、その間のコマ画像だけをマニュアルモード・オートモードのうちの好みの表示ができる。したがって、ユーザが見たいコマだけを仔細に見ることが可能であり、また、見たいコマまでのコマ送りや見たいコマが表示されるまで待つ手間を省くこともできる。
また、本実施形態の画像表示方法を、携帯性に優れた撮像装置に適用することも可能である。図7は、本実施形態の画像表示方法を行うプログラムが搭載された、デジタルカメラの一実施例である。ここでは、デジタルカメラ11とは別のデジタルカメラを例示するが、デジタルカメラ11に対しても適用可能である。
本実施形態のデジタルカメラは、レンズ21と、オートフォーカス(AF)機構22等を含むメカ機構と、CCD23と、CDS回路24と、A/D変換器25と、デジタル信号処理部26と、画像圧縮・伸長部27と、カードインタフェース(I/F)28と、PCカードインタフェース(I/F)29と、CPU30と、モニタ31と、操作部32と、モータドライバ33と、SG(制御信号生成)部34と、音声録音/再生モジュール35と、内蔵メモリ36と、USB37と、マイク38と、スピーカ39と、プログラムROM40と、不揮発性メモリ41とを具備して構成されている。
レンズユニットは、レンズ21、オートフォーカス(AF)22・絞り・フィルター部を含むメカ機構等からなり、メカ機構のメカニカルシャッターは2つのフィールドの同時露光を行う。CCD(電荷結合素子)23は、レンズユニットを介して入力した映像を電気信号(アナログ画像データ)に変換する。CDS(相関2重サンプリング)回路24は、CCD撮像素子に対する低雑音化のための回路である。A/D変換器25は、CDS回路24を介して入力したCCD23からのアナログ画像データをデジタル画像データに変換する。即ちCCD23からの出力信号は、CDS回路24を通してA/D変換器25で最適なサンプリング周波数(例えばNTSC信号のサブキャリア周波数の整数倍)にてデジタル信号に変換される。
また、デジタル信号処理部26は、A/D変換器25から入力したデジタル画像データについて、色差(Cb、Cr)と輝度(Y)とに分けて各種処理、補正および画像圧縮/伸長のためのデータ処理を施す。画像圧縮・伸長部は、例えば、JPEG準拠の画像圧縮・伸長の一過程である直交変換、並びに、JPEG準拠の画像圧縮・伸長の一過程であるハフマン符号化・復号化等を行う。
内蔵メモリ36は、CPU30にバスを介して接続され、例えば、DRAM、SRAM、またはフラッシュメモリ等で実現されている。即ち、内蔵メモリ36には、撮像し圧縮処理された画像データ、或いは、図示しない伝送部を介して受信された画像データ等が記録される。また、内蔵メモリ36に保持された圧縮画像データは、カードI/F28を通して読み出され、PCカードI/F29を介して接続されるPCカード42等の記憶媒体へ記録される。また、USB37によって外部のパーソナルコンピュータなどと接続して、内蔵メモリ36の画像データを転送することも可能である。
CPU30は、操作部32からの指示に従い、デジタルカメラ内部の全動作を制御する。また、操作部32は、機能選択、撮影指示、及びその他の各種設定を外部から行うための各種スイッチを備えている。
また、マイク38から、例えば一定時間ごとにサンプリングされた音声をサンプリングして、音声録音/再生モジュール35によって音声データに変換し、内蔵メモリ36にファイルとして保存することもできる。この音声データは、音声録音/再生モジュール35によって可聴音声としてスピーカ39から出力することができる。また、PCカードI/F29やUSB37などにより、外部装置に保存、転送することも可能である。さらに、このCPU30は、内蔵メモリ36に保存した画像を、前述したようなスライドショー表示するプログラムを備えている。これは、プログラムROM40内に格納されている。
一方、このデジタルカメラにも、不揮発メモリ41に、あらかじめ複数コマから構成される模範となるスポーツフォームの連写画像と、コマごとのフォームに対する指導内容が録音された音声ファイルをサンプルとして備えている。したがって、これらのサンプルデータを見ながら音声を聞くというような練習を行うことができる。
また、前述したように、本実施形態におけるデジタルカメラは、図1において例示したデジタルカメラ11に対しても適用可能である。この場合、図1におけるPC1が図7におけるデジタルカメラのような形になり、図1のPC1上のキーボード8やマウス9が、図7のデジタルカメラ上の操作部32に該当することになる。
このように、本実施形態のデジタルカメラによれば、どこにでも持ち運びができるため便利である。特に、スポーツのフォームを録画する場合には、小型化・携帯化に最適なデジタルカメラを利用することにより、そのスポーツが屋内・屋外を問わずに撮影できる。すなわち、あらゆるスポーツのチェックを他者に依頼し、そのチェック結果を受けることができる。
また、顧客側から自身のスポーツのフォームの連写画像を送付してもらい、受けとったスポーツフォーム画像に対して、プロがアフレコでアドバイスを録音して、顧客に戻すようにしたシステムを形成して、顧客から料金を得るようなビジネスにしても良い。
図8は、本実施形態の画像表示システムにおけるサービスシステムの構成を示す図である。
ユーザは、例えばゴルフスイングを連写撮影して、その画像をセンターに送付する。この画像データを送付するための流通経路としては、例えば、PCカードやSDカードなどのメモリカードに画像データファイルを記憶させ、宅配便で送っても良い。また、画像データファイルをインターネット経由で、センターのサーバにアップロードしても良い。
また、サービスに対する料金の支払い方法も、銀行決済やインターネットによる電子決済などが考えられる。料金は、これらの方法によってユーザからセンターに渡される。センターでは、画像と料金を受け取ったら、ゴルフのプロに、画像に対する音声データをアフレコで入れてもらい、音声データファイルを作成する。また、プロには報酬として、所定の料金を支払う。センターは、画像データファイルと作成した音声データファイルを、今度は顧客に戻す。この流通経路は、前述と同様に、宅配便でも、画像データファイル、音声データファイルをインターネット経由で送っても良い。
このようなシステムを構築すれば、ユーザは自宅に居ながらにしてプロによるゴルフレッスンが受けられる。また、このシステムは、特に大掛かりな装置が必要ないため、少ない経費でかつ利益性の高いビジネスを展開することができる。
本発明は、パーソナルコンピュータのアプリケーションソフトや、該アプリケーションソフトを記録した記録媒体、デジタルカメラなどに好適に適用される。
本実施形態の画像表示装置の構成の一例を示すブロック図である。 モニタ6上に表示されたコマ画像の表示例を示す図である。 本実施形態の画像表示方法の動作を示すフローチャートである。 本実施形態の画像表示方法におけるモニタ6上での、コマ画像の表示方法の動作の一例を示す図である。 本実施形態の画像表示方法の動作を示すフローチャートである。 本実施形態の画像表示方法の動作を示すフローチャートである。 本実施形態の画像表示方法を適用したデジタルカメラの構成の一例を示すブロック図である。 本実施形態の画像表示システムの一例を示すブロック図である。
符号の説明
1 パーソナルコンピュータ(PC)
2 CPUボード
3 記憶装置
4 音声録音/再生ボード
5 プログラムメモリ
6,31 モニタ
7 CD−ROMドライブ
8 キーボード
9 マウス
10 USBデバイス
11 デジタルカメラ
12,38 マイク
13,39 スピーカ
21 レンズ
22 オートフォーカス(AF)機構
23 CCD
24 CDS
25 A/D変換器
26 デジタル信号処理部
27 画像圧縮・伸長部
28 カードインタフェース(I/F)
29 PCカードインタフェース(I/F)
30 CPU
32 操作部
33 モータドライバ
34 SG部
35 音声録音/再生モジュール
36 内臓メモリ
37 USB
40 プログラムROM
41 不揮発性メモリ
42 PCカード

Claims (16)

  1. 複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データとして音声ファイルを再生する連続画像表示工程を有する画像表示方法であって、
    前記連続画像表示工程において前記コマ画像を1コマ表示する際に、前記元画像ファイルのファイル名に対応し、かつ表示する前記コマ画像のコマ番号に対応するファイル名を有する音声ファイルを再生することを特徴とする画像表示方法。
  2. 複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データを再生する連続画像表示工程を有する画像表示方法であって、
    前記連続画像表示工程において前記コマ画像を1コマ表示する際に、前記コマ画像のコマ番号と対応する音声データの開始アドレスと該音声データのサイズとを保存した対応テーブルを用いて、表示する前記コマ画像のコマ番号に対応する音声データを読み出して再生することを特徴とする画像表示方法。
  3. 前記連続画像表示工程は、
    予め設定された時間に基づいて自動的に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第1の自動更新工程を有することを特徴とする請求項1又は2記載の画像表示方法。
  4. 前記連続画像表示工程は、
    ユーザによる前記コマ画像の切替指示があった場合に、次のコマ画像を表示して該コマ画像に対応する音声データを再生する第1の手動更新工程を有することを特徴とする請求項1又は2記載の画像表示方法。
  5. 前記連続画像表示工程は、
    予め設定された時間に基づいて自動的に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第1の自動更新工程と、ユーザによる前記コマ画像の切替指示があった場合に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第1の手動更新工程と、を有し、
    前記連続画像表示工程によって表示される前記コマ画像および再生される前記音声データは、
    前記第1の自動更新工程と、前記第1の手動更新工程とを併用して前記コマ画像を表示して該コマ画像に対応する音声データを再生することを特徴とする請求項1又は2記載の画像表示方法。
  6. 複数のコマ画像の中から所望のコマ画像を指定する第1の指定工程をさらに有し、
    前記第1の指定工程により指定された前記コマ画像から順次表示して該コマ画像に対応する音声データを再生することを特徴とする請求項1から5のいずれか1項に記載の画像表示方法。
  7. 複数のコマ画像の中から前記第1の指定工程によって指定された前記コマ画像以外の、所望のコマ画像を指定する第2の指定工程をさらに有し、
    前記第1の指定工程により指定された前記コマ画像から前記第2の指定工程により指定された前記コマ画像までを、順次表示して該コマ画像に対応する音声を再生する指定画像間表示工程を有することを特徴とする請求項6記載の画像表示方法。
  8. 前記指定画像間表示工程は、
    予め設定された時間に基づいて、自動的に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第2の自動更新工程を有することを特徴とする請求項7記載の画像表示方法。
  9. 前記指定画像間表示工程は、
    ユーザによる前記コマ画像の切替指示があった場合に、次のコマ画像を表示して該コマ画像に対応する音声データを再生する第2の手動更新工程を有することを特徴とする請求項7記載の画像表示方法。
  10. 前記指定画像間表示工程は、
    予め設定された時間に基づいて、自動的に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第2の自動更新工程と、ユーザによる前記コマ画像の切替指示があった場合に次のコマ画像を表示して該コマ画像に対応する音声データを再生する第2の手動更新工程とを有し、
    前記指定画像間表示工程によって表示される前記コマ画像および再生される前記音声データは、
    複数のコマ画像の中から、第1のコマ画像と第2のコマ画像とを指定して、
    前記第1のコマ画像と前記第2のコマ画像とが表示および再生される間、前記第2の自動更新工程及び前記第2の手動更新工程とのうちの少なくともいずれか一方を行い、
    前記第2の自動更新工程と、前記第2の手動更新工程とを併用して前記コマ画像を表示して該コマ画像に対応する音声データを再生することを特徴とする請求項7記載の画像表示方法。
  11. 前記予め設定された時間を変更する時間設定変更工程をさらに有し、
    前記第2の自動更新工程による前記コマ画像の表示及び該コマ画像に対応する音声データの再生中に、前記時間設定変更工程によって変更された前記時間を反映させて、コマ画像が自動的に更新される時間を変更することを特徴とする請求項8又は10に記載の画像表示方法。
  12. 複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データとして音声ファイルを再生する連続画像表示手段を有する画像表示装置であって、
    前記連続画像表示手段において前記コマ画像を1コマ表示する際に、前記元画像ファイルのファイル名に対応し、かつ表示する前記コマ画像のコマ番号に対応するファイル名を有する音声ファイルを再生することを特徴とする画像表示装置。
  13. 複数のコマ画像から構成される1枚の元画像である元画像ファイルから1コマ単位のコマ画像を分割して前記コマ画像を1コマずつ順次表示するとともに、音声データを再生する連続画像表示手段を有する画像表示装置であって、
    前記連続画像表示手段において前記コマ画像を1コマ表示する際に、前記コマ画像のコマ番号と対応する音声データの開始アドレスと該音声データのサイズとを保存した対応テーブルを用いて、表示する前記コマ画像のコマ番号に対応する音声データを読み出して再生することを特徴とする画像表示装置。
  14. 前記連続画像表示手段は、予め設定された時間に基づいて、自動的に次のコマ画像を表示して該コマ画像に対応する音声データを再生することを特徴とする請求項12又は13に記載の画像表示装置。
  15. 請求項12又は13に記載の画像表示装置を用いた画像提供システムであって、
    クライアントは、
    ユーザから受けとった1コマ単位のコマ画像に分割して表示された前記連続画像データに対して、前記ユーザが所望し、かつ、該コマ画像の有する情報に関連する音声データを付加してユーザへ提供することを特徴とする画像提供システム。
  16. 請求項1から11に記載の画像表示方法を、コンピュータ上で実行するためのプログラムを記録した記録媒体。
JP2005063188A 2005-03-07 2005-03-07 画像表示方法、画像表示装置、画像提供システム及び記録媒体 Expired - Fee Related JP4452638B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005063188A JP4452638B2 (ja) 2005-03-07 2005-03-07 画像表示方法、画像表示装置、画像提供システム及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005063188A JP4452638B2 (ja) 2005-03-07 2005-03-07 画像表示方法、画像表示装置、画像提供システム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2006253740A JP2006253740A (ja) 2006-09-21
JP4452638B2 true JP4452638B2 (ja) 2010-04-21

Family

ID=37093802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005063188A Expired - Fee Related JP4452638B2 (ja) 2005-03-07 2005-03-07 画像表示方法、画像表示装置、画像提供システム及び記録媒体

Country Status (1)

Country Link
JP (1) JP4452638B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5024351B2 (ja) * 2008-11-28 2012-09-12 株式会社ニコン 画像ファイル生成装置、カメラ、および画像ファイル生成プログラム

Also Published As

Publication number Publication date
JP2006253740A (ja) 2006-09-21

Similar Documents

Publication Publication Date Title
KR101797041B1 (ko) 디지털 영상 처리장치 및 그 제어방법
KR100933416B1 (ko) 카메라 장치,촬상 방법 및 컴퓨터 프로그램 기록매체
US20080310725A1 (en) Image processing apparatus and method and program
JP2003199034A (ja) パノラマ画像を形成するための事後的ピクチャスティッチ用スチルピクチャフォーマット
JP2008148118A (ja) 撮像装置および撮像方法、再生装置および再生方法、並びにプログラム
JP2007221570A (ja) 撮像装置及びそのプログラム
JP2006180074A (ja) 画像編集装置、撮像装置、画像編集方法、プログラム
JP2001309296A (ja) 画像記録装置及び方法
JP2002101329A (ja) デジタルカメラ、画像再生装置及び方法
JP2003324678A (ja) 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2008242812A (ja) 画像再生装置及びプログラム
JP2006211324A (ja) ディジタルカメラ装置、画像再生方法および画像再生プログラム、ならびに、データ構造体
KR20050007305A (ko) 화상 감지장치, 화상 편집방법, 및 화상 편집방법을기록하는 저장매체
JP5808056B2 (ja) 撮像装置、撮像制御プログラム、画像再生装置及び画像再生制御プログラム
JP4452638B2 (ja) 画像表示方法、画像表示装置、画像提供システム及び記録媒体
JP2009177226A (ja) 表示制御装置およびそれを備えた撮像装置、画像表示システム、画像表示方法
JP3918228B2 (ja) 情報処理装置および記録媒体
JP2007174278A (ja) 画像表示装置、画像表示方法
JP2000209541A (ja) 動画像再生装置、及び動画像再生プログラムが記憶された記憶媒体
JPH07111628A (ja) デジタルスチルカメラ
JP2006054523A (ja) スライドショー表示方法、画像表示装置、撮像装置、画像再生装置、及びプログラム
JP2004072257A (ja) 撮像装置
JP2015106843A (ja) 撮像装置、撮像制御方法およびプログラム
KR101946574B1 (ko) 영상 재생 장치, 방법, 및 컴퓨터 판독가능 저장매체
JP7101285B2 (ja) 表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100201

R150 Certificate of patent or registration of utility model

Ref document number: 4452638

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130205

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140205

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees