JP3902398B2 - 画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体 - Google Patents
画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体 Download PDFInfo
- Publication number
- JP3902398B2 JP3902398B2 JP2000366585A JP2000366585A JP3902398B2 JP 3902398 B2 JP3902398 B2 JP 3902398B2 JP 2000366585 A JP2000366585 A JP 2000366585A JP 2000366585 A JP2000366585 A JP 2000366585A JP 3902398 B2 JP3902398 B2 JP 3902398B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- dance
- image
- data
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Mobile Radio Communication Systems (AREA)
Description
【発明の属する技術分野】
本発明は、画像データに基づいて画像を表示する技術に関し、特に、音楽に同期させて複数の静止画像を切替えて表示する技術に関する。
【0002】
【従来の技術】
コンピュータを用いて、動画像の画像データを音楽データに同期させて、音楽に合わせて動画像を表示する方法がある。受信装置に動画像ファイルを記憶しておき、送信装置から受信装置へ音楽信号に同期したテンポ情報を伝送するのみで、受信装置で音楽とアニメーション等の動画とを再生する音楽情報の送受信装置がある。このような装置として、特開平3−125552号公報に開示される音楽画像情報の送信および受信装置がある。
【0003】
この公報に開示された音楽画像情報の送信装置は、楽曲を量子化したデジタル信号を格納した楽曲信号蓄積部と、楽曲のテンポとメトロノーム速度とを記述した楽曲インデクスと、楽曲の開始からの時間に対応して強拍および弱拍のタイミングを記述したテンポインデクスと、楽曲の量子化されたデジタル信号とを情報チャネルに割当てるとともに、楽曲の開始からの時間を計測し、強拍あるいは弱拍に該当するタイミングの場合には、強拍あるいは弱拍であることを示す信号を制御チャネルに割当てた伝送フレームを構成するフレーム構成部とを含み、音楽画像情報の受信装置は、送信装置から送信された伝送フレームをデコードし、情報チャネルの信号を音楽再生部に送るとともに、制御チャネルの信号を画像表示制御部に送るデコード部と、量子化された音楽信号をデジタル・アナログ変換し、音楽信号を再生する音楽信号再生部と、拍の間に表示する動画像情報を先頭および末尾の拍が強拍であるか弱拍であるかの種別によって、1つにまとめた画像ファイルとして蓄積する画像蓄積部と、強拍あるいは弱拍を示す信号を検出して画像バッファに既に引き上げられている画像情報の表示を提示するとともに、テンポ情報と前の拍の強弱によって次の拍を予測し、先頭および末尾の拍の強弱が一致する動画像ファイルを画像蓄積部から画像バッファに引き上げる画像表示制御部と、メトロノーム速度によって、画像のリフレッシュ速度を決定する画像切替速度決定部とを含む。
【0004】
この公報に開示された送信装置によると、ステレオの音楽信号を送信チャネルに、強拍であるか弱拍であるかの種別とそれらのタイミング情報を制御チャネルに割当てる。音楽情報の送信に先立ち、楽曲のテンポとメトロノーム速度情報とを受信装置に送信する。受信装置は、拍の間に表示する動画像情報を、先頭および末尾の拍が強迫であるか弱拍であるかの種別によって異なった動画像ファイルとして蓄積するとともに、送信装置から音楽情報の送信に先立ち受信するテンポ情報によって、次の拍の強弱を予測して、次に表示する動画像ファイルを決定する。受信したメトロノーム速度によって容量が一定の画像バッファに引き上げられた動画像のリフレッシュ速度を決定し、楽曲の速度に合わせて動画像の表示速度を制御する。これにより、音楽信号に同期させて画像を表示するために、送信装置から受信装置に強拍および弱拍の種別とタイミングとを通知し、受信装置が記憶する動画像情報と送信装置が受信した音楽情報に付与されたテンポインデクスを用いるのみで、受信装置で音楽信号に追従したアニメーション等の動画を再生できる。画像ファイルを拍の強弱により分離すると、たとえば、アニメーションで歌手の顔を表示する場合、強拍から弱拍では口を大きく開けた状態から小さく開けた状態へ変化する動画像、弱拍から強拍では口を小さく開けた状態から大きく開けた状態へ変化する動画像を表示することにより、音楽信号に追従した動画像を表示できる。
【0005】
【発明が解決しようとする課題】
しかしながら、上述の公報に開示された装置では、拍の強弱に基づいて音楽情報に追従させるため、動画像情報および音楽情報に含まれる他の要素に基づき、音楽情報に追従させてアニメーションを表示させることができない。また、上述の公報に開示された受信装置では、音楽情報に追従させてアニメーションを表示する場合に、テンポ情報によって次の拍の強弱を予測して、次に表示する動画像ファイルを決定するという複雑な処理が必要となる。さらに、上述の公報に開示された受信装置では、動画像データを記憶するための大容量の記憶媒体が必要である。また、ユーザがアニメーションを音楽情報に追従させる方法を自由に設定することができない。
【0006】
本発明は、上述の課題を解決するためになされたものであって、ユーザの要求に応じて、音楽情報に合わせたアニメーションを簡易に表示することができる、画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体を提供することである。
【0007】
【課題を解決するための手段】
第1の発明に係る画像表示装置は、静止画像を切替えて表示する画像表示装置において、複数の静止画像を含む画像データ、音楽データ、ならびに前記画像データの表示順序および表示の切換タイミングを示すHTML形式で記述されたダンスタグを記憶する記憶手段と、前記画像データを表示する表示手段と、前記音楽データを音として出力する音声出力手段と、前記記憶手段に記憶されている画像データ、音楽データおよびダンスタグを読み出し、読み出した音楽データを1音ずつ前記音声出力手段に出力すると共に、前記音声出力手段への音楽データの出力に対応して、読み出したダンスタグに記述されている表示順序および表示の切換タイミングに基づき、読み出した画像データを前記表示手段に出力する制御手段とを備えたものである。
【0008】
第1の発明によると、ダンスタグに記述されている表示順序および表示の切換タイミングに基づき、静止画像を切替えることによるアニメーションを表示することができる。
【0011】
第2の発明に係る画像表示装置は、第1の発明の構成に加えて、制御手段が、音声出力手段への音楽データの1音の出力に対応して、読み出した画像データを表示手段に出力するものである。
【0012】
第2の発明によると、音楽データの1音の出力に合わせて、静止画像を切替えることによるアニメーションを表示することができる。
【0013】
第3の発明に係る画像表示装置は、第1の発明の構成に加えて、制御手段が、音声出力手段への音楽データの1音ずつの複数回の出力に対応して、読み出した画像データを表示手段に出力するものである。
【0014】
第3の発明によると、音楽データの1音ずつの複数回の出力に合わせて、静止画像を切替えることによるアニメーションを表示することができる。
【0015】
第4の発明に係る画像表示装置は、第1の発明の構成に加えて、制御手段が、ユーザからの指示に基づき、記憶手段に記憶されているダンスタグに記述されている画像データの表示順序または表示の切換タイミングを変更するものである。
【0016】
第4の発明によると、ユーザは表示順序または表示の切換タイミングを変更することができる。
【0017】
第5の発明に係る画像表示装置は、第1の発明の構成に加えて、制御手段が、他の装置から、通信手段を介して、画像データ、音楽データおよびダンスタグを取得して記憶手段に記憶させるものである。
【0018】
第5の発明によると、他の装置から取得した画像データ、音楽データおよびダンスタグにより、ダンスタグに記述されている表示順序および表示の切換タイミングに基づき、静止画像を切替えることによるアニメーションを表示することができる。
【0019】
第6の発明に係る画像表示方法は、静止画像を切替えて表示する画像表示方法において、複数の静止画像を含む画像データ、音楽データ、ならびに前記画像データの表示順序および表示の切換タイミングを示すHTML形式で記述されたダンスタグを記憶手段に記憶するステップと、制御手段が、前記記憶手段に記憶されている画像データ、音楽データおよびダンスタグを読み出し、読み出した音楽データを1音ずつ音声出力手段に出力すると共に、前記音声出力手段への音楽データの出力に対応して、読み出したダンスタグに記述されている表示順序および表示の切換タイミングに基づき、読み出した画像データを表示手段に出力するステップとを備えたものである。
【0020】
第6の発明によると、ダンスタグに記述されている表示順序および表示の切換タイミングに基づき、静止画像を切替えることによるアニメーションを表示することができる。
【0023】
第7の発明に係る画像表示方法は、第6の発明の構成に加えて、制御手段が、音声出力手段への音楽データの1音の出力に対応して、読み出した画像データを表示手段に出力するものである。
【0024】
第7の発明によると、音楽データの1音の出力に合わせて、静止画像を切替えることによるアニメーションを表示することができる。
【0025】
第8の発明に係る画像表示方法は、第6の発明の構成に加えて、制御手段が、音声出力手段への音楽データの1音ずつの複数回の出力に対応して、読み出した画像データを表示手段に出力するものである。
【0026】
第8の発明によると、音楽データの1音ずつの複数回の出力に合わせて、静止画像を切替えることによるアニメーションを表示することができる。
【0027】
第9の発明に係る画像表示方法は、第6の発明の構成に加えて、制御手段が、ユーザからの指示に基づき、記憶手段に記憶されているダンスタグに記述されている画像データの表示順序または表示の切換タイミングを変更するステップを備えたものである。
【0028】
第9の発明によると、ユーザは表示順序または表示の切換タイミングを変更することができる。
【0029】
第10の発明に係る画像表示方法は、第6の発明の構成に加えて、制御手段が、他の装置から、通信手段を介して、画像データ、音楽データおよびダンスタグを取得して記憶手段に記憶させるステップを備えたものである。
【0030】
第10の発明によると、他の装置から取得した画像データ、音楽データおよびダンスタグにより、ダンスタグに記述されている表示順序および表示の切換タイミングに基づき、静止画像を切替えることによるアニメーションを表示することができる。
【0031】
第11の発明に係る記録媒体は、静止画像を切替えて表示する画像表示方法を実現するプログラムを記録した機械読取可能な記録媒体において、前記画像表示方法は、複数の静止画像を含む画像データ、音楽データ、ならびに前記画像データの表示順序および表示の切換タイミングを示すHTML形式で記述されたダンスタグを記憶手段に記憶するステップと、制御手段が、前記記憶手段に記憶されている画像データ、音楽データおよびダンスタグを読み出し、読み出した音楽データを1音ずつ音声出力手段に出力すると共に、前記音声出力手段への音楽データの出力に対応して、読み出したダンスタグに記述されている表示順序および表示の切換タイミングに基づき、読み出した画像データを表示手段に出力するステップとを備えたものである。
【0032】
第11の発明によると、ダンスタグに記述されている表示順序および表示の切換タイミングに基づき、静止画像を切替えることによるアニメーションを表示することができる。
【0035】
第12の発明に係る記録媒体は、第11の発明の構成に加えて、制御手段が、音声出力手段への音楽データの1音の出力に対応して、読み出した画像データを表示手段に出力するものある。
【0036】
第12の発明によると、音楽データの1音の出力に合わせて、静止画像を切替えることによるアニメーションを表示することができる。
【0037】
第13の発明に係る記録媒体は、第11の発明の構成に加えて、制御手段が、音声出力手段への音楽データの1音ずつの複数回の出力に対応して、読み出した画像データを表示手段に出力するものである。
【0038】
第13の発明によると、音楽データの1音ずつの複数回の出力に合わせて、静止画像を切替えることによるアニメーションを表示することができる。
【0039】
第14の発明に係る記録媒体は、第11の発明の構成に加えて、制御手段が、ユーザからの指示に基づき、記憶手段に記憶されているダンスタグに記述されている画像データの表示順序または表示の切換タイミングを変更するものである。
【0040】
第14の発明によると、ユーザは表示順序または表示の切換タイミングを変更することができる。
【0041】
第15の発明に係る記録媒体は、第11の発明の構成に加えて、制御手段が、他の装置から、通信手段を介して、画像データ、音楽データおよびダンスタグを取得して記憶手段に記憶させるものである。
【0042】
第15の発明によると、他の装置から取得した画像データ、音楽データおよびダンスタグにより、ダンスタグに記述されている表示順序および表示の切換タイミングに基づき、静止画像を切替えることによるアニメーションを表示することができる。
【0043】
【発明の実施の形態】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【0044】
<第1の実施の形態>
本実施の形態に係る画像表示装置における処理は、パーソナルコンピュータまたはワークステーションなど、コンピュータ上で実行されるソフトウェアにより実現される。
【0045】
図1に、画像表示装置の一例であるコンピュータの外観を示す。図1を参照してこのコンピュータ100は、FD(Flexible Disk)駆動装置106およびCD−ROM(Compact Disc-Read Only Memory)駆動装置108を備えたコンピュータ本体102と、モニタ104と、キーボード110と、マウス112と、スピーカ114とを含む。スピーカ114は、CPU120から受信した音階および音の長さを含むメロディデータ(デジタル信号)をアナログ信号に変換して、変換されたアナログ信号に基づいて音を出力する。
【0046】
図2に、このコンピュータ100の構成をブロック図形式で示す。図2に示すように、コンピュータ本体102は、上記したFD駆動装置106およびCD−ROM駆動装置108に加えて、相互にバスで接続されたCPU(Central Processing Unit)120と、メモリ122と、固定ディスク124と、他の装置と通信するための通信インターフェイス126とを含む。FD駆動装置106にはFD116が装着される。CD−ROM駆動装置108にはCD−ROM118が装着される。
【0047】
固定ディスク124に記憶されたメロディデータは、CPU120によりメモリ122に読出される。読出された、音階と音の長さとからなるメロディデータは、CPU120により、デジタル信号の形式で、メロディデータに含まれる全ての音を一度にまたは1つの音ずつに分けて、スピーカ114に送信される。
【0048】
本実施の形態に係る画像表示装置は、コンピュータハードウェアとCPU120により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、FD116、CD−ROM118などの記録媒体に格納されて流通し、FD駆動装置106またはCD−ROM駆動装置108などにより記録媒体から読取られて固定ディスク124に一旦格納される。さらに固定ディスク124からメモリ122に読出されて、CPU120により実行される。図1および図2に示したコンピュータのハードウェア自体は一般的なものである。したがって、本発明の最も本質的な部分は、FD116、CD−ROM118、固定ディスク124などの記録媒体に記録されたソフトウェアである。なお、図1および図2に示したコンピュータ自体の動作は周知であるので、ここではその詳細な説明は繰返さない。
【0049】
以下、インターネットを介して接続されたサイトからダウンロードしたデータに基づいて、メロディにあわせて画像を切替える場合について説明する。
【0050】
図3を参照して、本実施の形態に係る画像表示装置の固定ディスク124に記憶されるHTML(Hyper Text Markup Language)形式で記述されたダンスタグについて説明する。図3に示すように、本実施の形態に係るダンスタグは、HTML形式で記述されており、画像データが格納されたアニメGIFファイル名を示すデータ(”image_001.gif”)と、ダンスパラメータとを含む。ダンスパラメータは、「dance=“1,2,melody_001.mld”」で表わされ、カンマで区切られた、第1パラメータであるダンスパターン値と、第2パラメータであるダンススピード値と、第3パラメータであるメロディファイル名とを含む。図3に示すデータは、通信インターフェイス126を介して、他のコンピュータから本実施の形態に係る画像表示装置を実現するコンピュータが受信したものである。
【0051】
図4を参照して、図3における第1のパラメータであるダンスパターンが異なる場合の記述例を示す。図4に示すように、第1パラメータは、「5−1&2&1&1&3&1&2」に設定されている。この場合、ダンスの表示パターンは第1パラメータで指定された順序に従って表示される。すなわち、第1の画像、第2の画像、第1の画像、第1の画像、第3の画像、第1の画像、第2の画像の順で表示モニタ104に表示される。
【0052】
図5を参照して、図4に示すものとは、第2パラメータであるダンススピード値が異なる場合について説明する。図5に示すように、第2パラメータにより設定されるダンススピード値は、「4−4」に設定されている。このダンススピード値は、メロディデータに含まれる4つの音が出力される度に画像を切換えることを示す。
【0053】
図6〜図8を参照して、固定ディスク124に記憶されるアニメGIFファイルについて説明する。図6〜図8に示すように、アニメGIFファイルは、互いに関連する3つの画像データからなり、図6が第1の画像データ、図7が第2の画像データ、図8が第3の画像データである。図4に示すダンスパターン値を設定する第1パラメータは、この画像データの表示の順序を設定するものである。
【0054】
なお、アニメGIFファイルは、図6に示す第1の画像と図7に示す第2の画像とを交互に繰返して表示することにより、仮想キャラクタが歩いているようなアニメーションを実現することができる。
【0055】
図9を参照して、固定ディスク124に記憶されるダンスパターン値について説明する。ダンスパターン値が設定される第1パラメータには、「1」〜「5」の5種類のパラメータがあり、それぞれのパラメータに対応して内容が設定されている。たとえば、第1パラメータが「1」である場合には、図6〜図8を参照して説明したアニメGIFファイルの1番目の画像から順番に表示するというダンスパターンが設定されている。また、第1パラメータが「5」である場合には、パラメータにより指定される順番に表示するというダンスパターンが設定されている。図4を参照して説明したように、第1パラメータにより、画像の表示の順番が指定される。
【0056】
図10を参照して、ダンススピード値を設定するダンスタグの第2パラメータは、「1」〜「4」の4種類のパラメータがあり、それぞれのパラメータに対応して内容が設定されている。たとえば、第2パラメータが「1」である場合には、一定間隔(1秒)でアニメGIFの表示を切換えるというダンススピードが設定されている。また、第2パラメータが「3」である場合には、メロディデータによりスピーカ114から出力される音のタイミングにより表示が切換えられる。すなわち、音階と音の長さとを含むメロディデータの中の1つの音をスピーカ114から出力するようにCPU120が制御する度に、モニタ104に表示される画像が切換わるというダンススピードが設定されている。また、第2パラメータが「4」である場合には、CPU120から、スピーカ114に、メロディデータに従ってN音(Nは自然数)出力するように制御される度に、モニタ104に表示される画像が切換わるように設定されている。図10に示すダンススピード値を設定する第2パラメータが「4」の場合は、図5に示されるダンスタグの記述式に対応している。
【0057】
図11を参照して、本実施の形態に係る画像表示装置で実行されるプログラムは、ダンスタグの設定に関し、以下のような動作フローチャートを有する。
【0058】
ステップ(以下、ステップをSと略す。)102で、画像ファイル名が入力される。画像ファイルとは、図6〜図8を用いて説明したアニメGIFファイルであって、このアニメGIFファイルのファイル名が入力される。
【0059】
S110にて、メロディファイル名が入力される。メロディファイルとは、音階および音の長さを含むメロディデータであって、このメロディファイルを特定するファイル名が入力される。
【0060】
S120にて、ダンスパターンを示す第1パラメータが入力される。S130にて、ダンススピードを表わす第2パラメータが入力される。画像ファイル名が入力され、メロディファイル名が入力され、ダンスパターン値が入力され、ダンススピード値が入力されると、S140にて、それらのファイル名およびパラメータを用いたダンスタグが生成される。このとき、生成されるダンスタグは、図3〜図5に示すようなHTML形式で記述される。また、図11に示すダンスタグの生成は、本実施の形態に係る画像表示装置を実現するコンピュータが、通信インターフェイス126を介して、他のコンピュータから受信したダンスタグのパラメータ等をエディタを用いて編集する場合にも適用される。これにより、ダウンロードされたダンスタグについて、ユーザ自身がファイル名およびパラメータを書替えることができる。これにより、ユーザが希望するメロディを出力させたり、そのメロディに合せて画像を表示させたりすることができる。
【0061】
図12を参照して、本実施の形態に係る画像表示装置で実行されるプログラムは、ダンスタグの実行処理に関し、以下のような制御構造を有する。
【0062】
モニタ104に、メロディデータへのリンク情報が表示されている場合において、マウス112でメロディデータのリンク情報の表示をクリックすると、S200にて、CPU120は、画像ファイルとメロディデータとを固定ディスク124から読出す。このとき、ダンスタグに設定された画像ファイル名とメロディデータ名とを用いて、固定ディスク124から所定のデータが読出される。
【0063】
S202にて、CPU120は、S200にて読出した画像ファイルが存在するか否かを判断する。画像ファイルが存在しない場合には(S202にてYES)、処理はS204へ移される。一方、画像ファイルが存在する場合には(S202にてNO)、処理はS208へ移される。
【0064】
S204にて、CPU120は、S200にて読出したメロディデータが存在するか否かを判断する。メロディデータが存在しない場合には(S204にてYES)、このダンスタグの実行処理を終了する。一方、メロディデータが存在する場合には(S204にてNO)、処理はS206へ移される。
【0065】
S206にて、CPU120は、S200にて読出したメロディデータをスピーカ114へ送信して、スピーカ114から音を発生するように指示する。
【0066】
S208にて、CPU120は、画像ファイルが存在する場合であって、メロディデータが存在するか否かを判断する。メロディデータが存在しない場合には(S208にてYES)、処理はS210へ移される。一方、メロディデータが存在する場合には(S208にてNO)、処理はS212へ移される。
【0067】
S210にて、CPU120は、画像ファイルが存在する場合であって、メロディデータが存在しない場合には、画像データをデフォルト順に1秒間隔でモニタ104に表示させる。
【0068】
S212にて、CPU120は、ダンスタグに含まれる第1パラメータに基づいてダンスパターン値を設定する。なお、HTML形式で記述されたダンスタグは、このコンピュータが、通信インターフェイス126を介して他のコンピュータからダウンロードすることにより、メモリ122に記憶されている。
【0069】
S214にて、CPU120は、ダンスタグに含まれる第2パラメータに基づいてダンススピード値が「1」であるか否かを判断する。ダンススピード値が「1」である場合には(S214にてYES)、処理はS222へ移される。一方、ダンススピード値が「1」でない場合には(S214にてNO)、処理はS216へ移される。
【0070】
S216にて、CPU120は、ダンススピード値が「2」であるか否かを判断する。ダンススピード値が「2」である場合には(S216にてYES)、処理はS224へ移される。一方、ダンススピード値が「2」でない場合には(S216にてNO)、処理はS218へ移される。
【0071】
S218にて、CPU120は、ダンススピード値が「3」であるか否かを判断する。ダンススピード値が「3」である場合には(S218にてYES)、処理はS226へ移される。一方、ダンススピード値が「3」でない場合には(S218にてNO)、処理はS220へ移される。
【0072】
S220にて、CPU120は、ダンススピード値が「4」であるか否かを判断する。ダンススピード値が「4」である場合には(S220にてYES)、処理はS228へ移される。一方、ダンススピード値が「4」でない場合には、ダンススピード値が設定されていないものと判断して、このダンスタグの実行処理は終了する。
【0073】
なお、ダンススピード値が「4」である場合には、ダンススピード値とともに設定されるメロディの発生タイミングのN音飛ばしで表示を切換えるため、第2パラメータに含まれる設定値Nが読出されて、メモリ122に記憶される。
【0074】
図13を参照して、図12に示すダンス表示処理ルーチンAは、以下のような制御構造を有する。
【0075】
S250にて、CPU120は、アニメGIFファイルの初期画像を表示するように表示部であるモニタ104に指示する。このとき、ダンスパターン値により指定された第1の画像が表示される。
【0076】
S252にて、CPU120は、S200にて読出したメロディデータ(すべての音)を音声出力部であるスピーカ114に送信して、メロディをスピーカ114から出力するように指示する。
【0077】
S254にて、CPU120は、メロディデータをスピーカ114に送信してから1秒が経過したか否かを判断する。1秒が経過すると(S254にてYES)、処理はS256へ移される。一方、1秒が経過するまでは(S254にてNO)、処理はS254へ戻され、1秒経過するまで待つ。
【0078】
S256にて、CPU120は、S212にて設定されたパターンに従って、次の画像を表示するように表示部であるモニタ104に指示する。
【0079】
S258にて、CPU120は、メロディが終了したか否かを判断する。この判断は、メロディデータをスピーカ114に送信してから、メロディデータに含まれる音の長さの合計の時間が経過したか否かにより行なわれる。メロディが終了すると(S258にてYES)、このダンス表示処理ルーチンは終了する。一方、メロディが終了しないと(S258にてNO)、処理はS254へ戻され、CPU120は、次の1秒が経過するか否かが判断され、1秒経過すると次の画像を表示するように表示部であるモニタ104に指示する。このような処理が、メロディが終了するまで行なわれる。
【0080】
図14を参照して、図12に示すダンス表示処理ルーチンBは、以下のような制御構造を有する。なお、図14に示す処理の中で、図13に示す処理と同じものについては、同じステップ番号を付してある。そのため、ここでの詳細な説明は繰返さない。
【0081】
ダンス表示処理ルーチンBと、ダンス表示処理ルーチンAとの違いは、経過時間である。S260にて、CPU120は、メロディデータ(すべての音)を音声出力部であるスピーカ114に送信してから100ミリ秒が経過したか否かを判断する。100ミリ秒が経過すると(S260にてYES)、処理はS256へ移される。一方、100ミリ秒が経過するまでは(S260にてNO)、処理はS260へ戻され、100ミリ秒が経過するまで待つ。
【0082】
S256にて、CPU120は、100ミリ秒が経過すると(S260にてYES)、設定されたパターンに従って、次の画像を表示するように、表示部であるモニタ104に指示する。
【0083】
以上のような処理が、100ミリ秒毎に行なわれ、メロディが終了するまでアニメGIFファイルに含まれる画像が、第1パラメータにより指定されるダンスパターン値に基づいて表示される。
【0084】
図15を参照して、図12に示すダンス表示処理ルーチンCは、以下のような制御構造を有する。図15に示すフローチャートにおいて、図13と同じ処理については、同じステップ番号を付してある。そのため、ここでの詳細な説明は繰返さない。
【0085】
S270にて、初期画像を表示してから(S250)、CPU120は、メロディデータの1番目の音を音声出力部であるスピーカ114に送信して、そのメロディ(1番目の音)を出力するように指示する。この後、CPU120は、メロディデータを1音ずつ、それぞれの音の長さの間隔を空けてスピーカ114に送信する。
【0086】
S272にて、CPU120は、次の音の出力指示を音声出力部であるスピーカ114にしたか否かを判断する。次の音の出力指示を行なうと(S272にてYES)、処理はS256へ移される。一方、次の音の出力指示をするまでは(S272にてNO)、処理はS272へ戻され、次の音の出力指示を行なうまで待つ。
【0087】
次の音の出力指示を行なうと(S272にてYES)、S256にて、CPU120は、設定されたパターンに従って、次の画像を表示するように、表示部であるモニタ104に指示する。
【0088】
このようにして、CPU120は、メロディデータに含まれる音を、音声出力部であるスピーカ114に1音ずつ送信する。またCPU120は、1つの音を送信した後、その送信した音の長さと同じ時間が経過するまで、次の音を音声出力部であるスピーカ114には送信しない。このようにして、CPU120から、音声出力部であるスピーカ114に、音がそれぞれの音の長さに対応して送信される。制御部120は、音声出力部であるスピーカ114に出力指示をしたことを検知すると設定されたパターンに従って次の画像を表示するように表示部であるモニタ104に指示を行なう。このような処理を繰返すことにより、スピーカ114から音が発生する度に、アニメGIFファイルの画像が切換わってモニタ104に表示される。
【0089】
図16を参照して、図12に示すダンス表示処理ルーチンDは、以下のような制御構造を有する。なお、図16に示すフローチャートの中で、図15と同じ処理については、同じステップ番号を付してある。そのため、ここでの詳細な説明は繰返さない。
【0090】
メロディデータの1番目の音を音声出力部であるスピーカ114に送信した後(S270)、S280にて、CPU120は、変数CNTを初期化(CNT=0)する。S272にて、CPU120は、次の音の出力指示を音声出力部であるスピーカ114にしたか否かを判断する。次の音の出力指示を行なうと(S272にてYES)、処理はS282へ移される。一方、次の音の出力指示をするまでは(S272にてNO)、処理はS272へ戻され、次の音の出力指示を待つ。
【0091】
S282にて、CPU120は、変数CNTについて、CNT=CNT+1の演算を行なう。S284にて、CPU120は、変数CNTが、ダンスパラメータ値に含まれる設定値Nと等しいか否かを判断する。変数CNTが設定値Nと等しいと(S284にてYES)、処理はS256へ移される。一方、変数CNTが設定値Nと等しくないと(S284にてNO)、処理はS272へ戻され、次の音の出力指示を待つ。
【0092】
S256にて、CPU120は、変数CNTが設定値Nと等しい場合に(S284にてYES)、設定されたパターンに従って、次の画像を表示するように、表示部であるモニタ104に指示する。
【0093】
このような処理が、メロディが終了するまで(S258にてYES)、繰返し行なわれる。その結果、CPU120が、音声出力部であるスピーカ114に対して、音をN回発生させるように指示をする度に、アニメGIFファイルの画像が切換えられてモニタ104に表示される。
【0094】
以上のような構造およびフローチャートに基づく、画像表示装置100の動作について説明する。
【0095】
画像表示装置を用いて、通信インターフェイス126を介してサイトに接続し、そのサイトから図4に示すHTML形式で記述されたダンスタグを含むデータを受信したとする。そのとき、モニタ104には、図17に示すようにアニメGIFファイルの画像が表示される領域152と、ダンスタグによってリンクされたメロディデータを読出すための表示154とが表示される。図17に示すような表示がされている場合において、表示154をマウス112により表わされるカーソル156を用いてクリックすると、画像ファイルとメロディデータとが読出される(S200)。画像ファイルが存在し(S202にてNO)、かつメロディデータが存在する場合には(S208にてNO)、ダンスパターン値からパターンが設定される(S212)。
【0096】
この場合、図4に示すように。ダンスパターンは、「5−1&2&1&1&3&1&2」と設定されているとする。また、このときダンススピード値は「3」と設定されているとする。ダンススピード値が「3」であるため(S218にてYES)、ダンス表示処理ルーチンCの処理が行なわれる。図17に示すような状態で(S250)、メロディデータの1音目が音声出力部であるスピーカ114に送信され、メロディを出力するようにスピーカ114に指示される(S252)。その後、1音ずつメロディデータが送信される。1音が送信される度に(S272にてYES)、設定されたパターンに従って、次の画像を表示するように表示部であるモニタ104に指示が行なわれる(S256)。このような動作が、メロディが終了するまで(S258にてYES)行なわれる。
【0097】
このときの動作を、図18を参照して説明する。図18に示すように、音階と音の長さとを含むメロディデータを、音符160〜172で示す。このような音符160〜172に対応して、アニメGIFファイルの画像が第1の画像180、第2の画像182、第1の画像184、第1の画像186、第3の画像188、第1の画像190、第2の画像192の順番に、音符により音が発生するタイミングに対応して表示が変わる。
【0098】
以上のようにして、本実施の形態に係る画像表示装置は、アニメGIFファイルとメロディデータとを記憶しておき、CPUが、スピーカから一定時間メロディが出力される度に、または音声出力部であるスピーカに1音に対応するメロディデータを送信する度に、アニメGIFファイルの画像を切換えて表示させることができる。また、ダンスタグに含まれる、メロディデータ名、画像ファイル名、ダンスパラメータ値は、ユーザにより記述を変更することができる。以上のようにして、ユーザの要求に応じて、音楽情報に合わせたアニメーションを容易に表示することができる画像表示装置を提供することができる。
【0099】
<第2の実施の形態>
以下、第2の実施の形態について説明する。なお、以下の説明において、携帯電話200は、図3〜図5に示すHTML形式で記述されたダンスタグに基づく動作が可能であるとして説明する。また、図3〜図5に示すダンスタグの記述形式、図6〜図8に示すアニメGIFファイルの内容、図9に示すダンスパターン値および図10に示すダンススピード値は、前述の実施の形態1と同様であるため、ここではその詳細な説明は繰返さない。さらに、図11〜図16に示す、フローチャートについても、前述の第1の実施の形態と同様であるため、ここではそれらについての詳細な説明は繰返さない。
【0100】
本実施の形態に係る画像表示装置における処理は、携帯電話などの通信機器上で実行されるソフトウェアにより実現される。
【0101】
図19に、画像表示装置の一例である携帯電話の外観を示す。図19を参照して、本実施の形態に係る携帯電話200は、スピーカを含む音声出力部214と、LCD(Liquid Crystal Display)などからなる表示部204と、マイクを含む音声入力部216と、通話相手である他の電話装置の電話番号などを入力するテンキーなどを含む操作部210とを含む。音声出力部214は、制御部220から受信した音階および音の長さを含むメロディデータ(デジタル信号)をアナログ信号に変換して、変換されたアナログ信号に基づいて音をスピーカから出力する。
【0102】
図20に、図19に示す携帯電話200の制御ブロックについて説明する。図20に示すように、携帯電話200は、この携帯電話200の全体を制御する制御部220と、他の電話装置と通信するための通信部226と、制御部200において実行されるプログラム、そのプログラムの中間データおよび通信部226を介して受信した画像データおよびメロディデータを記憶する記憶部224と、入出力部202とを含む。
【0103】
入出力部202は、テンキーなどにより、この携帯電話200のユーザが他の電話装置の電話番号を入力したり、呼出し時の画像および音楽の設定を入力したりする操作部210と、テンキーなどにより入力された内容を表示したり、画像を表示したりする表示部204と、マイクに入力された音声をデジタル信号に変換して制御部220に送信する音声入力部216と、制御部220からデジタル信号を受信してアナログ信号に変換してスピーカから音を出力する音声出力部214とを含む。
【0104】
記憶部224に記憶されたメロディデータは、制御部220により読出される。読出された、音階と音の長さとからなるメロディデータは、制御部220により、デジタル信号の形式で、メロディデータに含まれる全ての音を一度にまたは1つの音ずつに分けて、音声出力部214に送信される。
【0105】
なお、図2に示すCPU120は、図20に示す制御部220に、通信インターフェイス126は通信部226に、固定ディスク124は記憶部224に、キーボード110は操作部210に、モニタ104は表示部204に、スピーカ114は音声出力部214にそれぞれ対応する。
【0106】
本実施の形態に係る携帯電話200において、音声出力部214に出力された音に合わせて表示部204に画像を表示する方法は、携帯電話200のハードウェアと制御部220により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、記憶部224に格納され、制御部220により実行される。図19および図20に示した携帯電話200のハードウェア自体は一般的なものである。したがって、本発明の最も本質的な部分は、記憶部224に記録されたソフトウェアである。なお、図19および図20に示した携帯電話200自体の動作は周知であるので、ここではその詳細な説明を繰返さない。
【0107】
以下、携帯電話200に記憶されたデータに基づいて、他の電話装置から着信があると、着信メロディを出力するとともに、その着信メロディに合わせて画像を切替えて表示部に表示する場合について説明する。
【0108】
図12に示すダンスタグの実行処理は、携帯電話200において、他の電話装置から呼出要求があると実行される。すなわち、携帯電話200において、通信部226が、他の電話装置からの呼出要求を受信すると、S200にて、制御部220は、画像ファイルとメロディデータとを読出す。その後、前述の第1の実施の形態と同様にして、ダンスパターン値およびダンススピード値が設定され、設定されたダンスパターン値とダンススピード値とに基づいて、アニメGIFファイルの画像データが表示される。
【0109】
以上のような構造およびフローチャートに基づく携帯電話200の動作について説明する。
【0110】
他の携帯電話から通信部226が呼出要求を受信すると、記憶部224に記憶された図4に示すダンスタグに基づいて、アニメGIFファイルとメロディデータとが読出される。図21に示すように、携帯電話200の表示部204には、アニメGIFファイルの第1の画像230が表示される。スピーカ214からメロディが出力されると、そのメロディの出力に対応して、表示部204に表示されたアニメGIFファイルの画像が切換わる。すなわち、図18に示すように、スピーカ214から1つの音が出力される度に、表示部204に表示されるアニメGIFファイルの画像が切換わることになる。
【0111】
また、本実施の形態においても、携帯電話200の操作部210から、ユーザが図3〜図5に示すダンスタグに含まれるファイル名およびパラメータを書替えることができる。
【0112】
このようにして、本実施の形態に係る携帯電話においても、携帯電話のユーザが設定したメロディデータおよびアニメGIFファイルに基づいて、他の電話装置から呼出要求が行なわれると、着信メロディを出力するとともに、その着信メロディに追従してアニメGIFを切換えることができる。
【0113】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図1】 本発明の実施に形態に係る画像表示装置を実現するコンピュータの外観図である。
【図2】 図1に示すコンピュータの制御ブロック図である。
【図3】 ダンスタグの記述例を示す図(その1)である。
【図4】 ダンスタグの記述例を示す図(その2)である。
【図5】 ダンスタグの記述例を示す図(その3)である。
【図6】 アニメーションGIFファイルの内容を示す図(その1)である。
【図7】 アニメーションGIFファイルの内容を示す図(その2)である。
【図8】 アニメーションGIFファイルの内容を示す図(その3)である。
【図9】 ダンスパターン記憶テーブルの内容を示す図である。
【図10】 ダンススピード記憶テーブルの内容を示す図である。
【図11】 本実施の形態に係るダンスタグ設定動作の手順を示すフローチャートである。
【図12】 本実施の形態に係るダンスタグ実行動作の手順を示すフローチャートである。
【図13】 図12に示すダンス表示処理ルーチンAの動作の手順を示すフローチャートである。
【図14】 図12に示すダンス表示処理ルーチンBの動作の手順を示すフローチャートである。
【図15】 図12に示すダンス表示処理ルーチンCの動作の手順を示すフローチャートである。
【図16】 図12に示すダンス表示処理ルーチンDの動作の手順を示すフローチャートである。
【図17】 コンピュータのモニタにおける表示例を示す図である。
【図18】 表示される画面を説明するための図である。
【図19】 本発明の実施に形態に係る画像表示装置を実現する携帯電話の外観図である。
【図20】 図19に示す携帯電話の制御ブロック図である。
【図21】 携帯電話の表示部における表示例を示す図である。
【符号の説明】
100 コンピュータ、102 コンピュータ本体、104 モニタ、106FD駆動装置、108 CD−ROM駆動装置、110 キーボード、112マウス、114 スピーカ、200 携帯電話、202 入出力部、204 表示部、210 操作部、214 音声出力部、216 音声入力部、220 制御部、224 記憶部、226 通信部。
Claims (15)
- 静止画像を切替えて表示する画像表示装置において、
複数の静止画像を含む画像データ、音楽データ、ならびに前記画像データの表示順序および表示の切換タイミングを示すHTML形式で記述されたダンスタグを記憶する記憶手段と、
前記画像データを表示する表示手段と、
前記音楽データを音として出力する音声出力手段と、
前記記憶手段に記憶されている画像データ、音楽データおよびダンスタグを読み出し、読み出した音楽データを1音ずつ前記音声出力手段に出力すると共に、前記音声出力手段への音楽データの出力に対応して、読み出したダンスタグに記述されている表示順序および表示の切換タイミングに基づき、読み出した画像データを前記表示手段に出力する制御手段とを備えたことを特徴とする画像表示装置。 - 制御手段が、音声出力手段への音楽データの1音の出力に対応して、読み出した画像データを表示手段に出力することを特徴とする請求項1記載の画像表示装置。
- 制御手段が、音声出力手段への音楽データの1音ずつの複数回の出力に対応して、読み出した画像データを表示手段に出力することを特徴とする請求項1記載の画像表示装置。
- 制御手段が、ユーザからの指示に基づき、記憶手段に記憶されているダンスタグに記述されている画像データの表示順序または表示の切換タイミングを変更することを特徴とする請求項1記載の画像表示装置。
- 制御手段が、他の装置から、通信手段を介して、画像データ、音楽データおよびダンスタグを取得して記憶手段に記憶させることを特徴とする請求項1記載の画像表示装置。
- 静止画像を切替えて表示する画像表示方法において、
複数の静止画像を含む画像データ、音楽データ、ならびに前記画像データの表示順序および表示の切換タイミングを示すHTML形式で記述されたダンスタグを記憶手段に記憶するステップと、
制御手段が、前記記憶手段に記憶されている画像データ、音楽データおよびダンスタグを読み出し、読み出した音楽データを1音ずつ音声出力手段に出力すると共に、前記音声出力手段への音楽データの出力に対応して、読み出したダンスタグに記述されている表示順序および表示の切換タイミングに基づき、読み出した画像データを表示手段に出力するステップとを備えたことを特徴とする画像表示方法。 - 制御手段が、音声出力手段への音楽データの1音の出力に対応して、読み出した画像データを表示手段に出力することを特徴とする請求項6記載の画像表示方法。
- 制御手段が、音声出力手段への音楽データの1音ずつの複数回の出力に対応して、読み出した画像データを表示手段に出力することを特徴とする請求項6記載の画像表示方法。
- 制御手段が、ユーザからの指示に基づき、記憶手段に記憶されているダンスタグに記述されている画像データの表示順序または表示の切換タイミングを変更するステップを備えたことを特徴とする請求項6記載の画像表示方法。
- 制御手段が、他の装置から、通信手段を介して、画像データ、音楽データおよびダンスタグを取得して記憶手段に記憶させるステップを備えたことを特徴とする請求項6記載の画像表示方法。
- 静止画像を切替えて表示する画像表示方法を実現するプログラムを記録した機械読取可能な記録媒体において、前記画像表示方法は、
複数の静止画像を含む画像データ、音楽データ、ならびに前記画像データの表示順序および表示の切換タイミングを示すHTML形式で記述されたダンスタグを記憶手段に記憶するステップと、
制御手段が、前記記憶手段に記憶されている画像データ、音楽データおよびダンスタグを読み出し、読み出した音楽データを1音ずつ音声出力手段に出力すると共に、前記音声出力手段への音楽データの出力に対応して、読み出したダンスタグに記述されている表示順序および表示の切換タイミングに基づき、読み出した画像データを表示手段に出力するステップとを備えたことを特徴とする記録媒体。 - 制御手段が、音声出力手段への音楽データの1音の出力に対応して、読み出した画像データを表示手段に出力することを特徴とする請求項11記載の記録媒体。
- 制御手段が、音声出力手段への音楽データの1音ずつの複数回の出力に対応して、読み出した画像データを表示手段に出力することを特徴とする請求項11記載の記録媒体。
- 制御手段が、ユーザからの指示に基づき、記憶手段に記憶されているダンスタグに記述されている画像データの表示順序または表示の切換タイミングを変更することを特徴とする請求項11記載の記録媒体。
- 制御手段が、他の装置から、通信手段を介して、画像データ、音楽データおよびダンスタグを取得して記憶手段に記憶させることを特徴とする請求項11記載の記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000366585A JP3902398B2 (ja) | 2000-12-01 | 2000-12-01 | 画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000366585A JP3902398B2 (ja) | 2000-12-01 | 2000-12-01 | 画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体 |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004267418A Division JP2005027349A (ja) | 2004-09-14 | 2004-09-14 | 携帯電話 |
JP2004267425A Division JP2004364341A (ja) | 2004-09-14 | 2004-09-14 | 携帯電話および画像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002170129A JP2002170129A (ja) | 2002-06-14 |
JP3902398B2 true JP3902398B2 (ja) | 2007-04-04 |
Family
ID=18837184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000366585A Expired - Fee Related JP3902398B2 (ja) | 2000-12-01 | 2000-12-01 | 画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3902398B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004287558A (ja) * | 2003-03-19 | 2004-10-14 | Matsushita Electric Ind Co Ltd | テレビ電話端末、並びに、仮想キャラ生成装置および仮想キャラ動作制御装置 |
WO2006043303A1 (ja) * | 2004-10-18 | 2006-04-27 | Mitsubishi Denki Kabushiki Kaisha | 携帯端末 |
-
2000
- 2000-12-01 JP JP2000366585A patent/JP3902398B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002170129A (ja) | 2002-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8111241B2 (en) | Gestural generation, sequencing and recording of music on mobile devices | |
EP1330101B1 (en) | Mobile terminal device | |
CN100432910C (zh) | 用于用户接口转变的方法和设备 | |
EP1691537A1 (en) | Apparatus and method for performing a music play function in a portable terminal | |
JP4729171B2 (ja) | 電子書籍装置および音声再生システム | |
JP2002111795A (ja) | 移動通信端末装置及びそれに用いるメロディ同期表示制御方法 | |
KR100650462B1 (ko) | 악곡 데이터의 구조 및 단말 장치와 악곡 재생 방법 | |
KR100457052B1 (ko) | 무선단말기를 이용한 노래반주/음악연주 서비스 장치 및그 방법 | |
US20070022379A1 (en) | Terminal for displaying distributed picture content | |
JP3902398B2 (ja) | 画像表示装置、画像表示方法およびその方法を実現するプログラムを記録した機械読取可能な記録媒体 | |
JP2002229574A (ja) | 音楽ゲーム用データ、音楽ゲーム処理方法、音楽ゲーム装置および携帯通信端末 | |
KR20050038714A (ko) | 무선인터넷을 이용한 자작 음악파일 생성 및 다운로딩서비스 시스템 및 서비스 방법 | |
KR100506228B1 (ko) | 음악 연주 및 편집을 위한 이동통신 단말기 및 방법 | |
JP2004364341A (ja) | 携帯電話および画像表示装置 | |
JP2005027349A (ja) | 携帯電話 | |
JP2010160358A (ja) | 動画制御システム及び動画制御方法 | |
JP2001209389A (ja) | 携帯電話を用いたカラオケシステム | |
JP2002182658A (ja) | 楽曲データ配信方法、楽曲データ配信システム、楽曲データ配信装置および楽曲データ配信プログラム | |
JP2003280645A (ja) | 楽曲データの圧縮方法 | |
JP2007316842A (ja) | モーション画像生成プログラム | |
JP3558052B2 (ja) | マルチメディア実行システム、マルチメディアファイルの実行方法およびシーケンサにより読み出し可能なマルチメディアファイル構造体 | |
JP2006221253A (ja) | 画像処理装置および画像処理プログラム | |
JP2006094190A (ja) | 通信装置および方法、並びにプログラム | |
JP3406559B2 (ja) | 携帯端末、情報処理装置、音源データの更新方法、並びに記録媒体 | |
JP2000330557A (ja) | メロディ機能付きのデジタル信号処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040817 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061228 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |