JP4312125B2 - 動画再生方法及び動画再生装置 - Google Patents

動画再生方法及び動画再生装置 Download PDF

Info

Publication number
JP4312125B2
JP4312125B2 JP2004239863A JP2004239863A JP4312125B2 JP 4312125 B2 JP4312125 B2 JP 4312125B2 JP 2004239863 A JP2004239863 A JP 2004239863A JP 2004239863 A JP2004239863 A JP 2004239863A JP 4312125 B2 JP4312125 B2 JP 4312125B2
Authority
JP
Japan
Prior art keywords
image
update frequency
images
output
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004239863A
Other languages
English (en)
Other versions
JP2006060503A (ja
Inventor
幸夫 本貞
守 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2004239863A priority Critical patent/JP4312125B2/ja
Publication of JP2006060503A publication Critical patent/JP2006060503A/ja
Application granted granted Critical
Publication of JP4312125B2 publication Critical patent/JP4312125B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生方法、及び該動画再生方法を適用した動画再生装置に関し、特に動画の再生速度の変更に適用する動画再生方法及び動画再生装置に関する。
デジタルビデオカメラ、DVD(Digital Versatile Disc)再生装置等の動画再生装置が普及している(例えば、特許文献1参照)。動画再生装置では、出力する画像(フレーム)を所定の更新頻度(フレームレート)で更新しており、ユーザは所定の更新頻度で更新される画像を動画として認識する。また動画再生装置には様々な機能が搭載されており、例えば動画を再生する速度を変更する機能を例示することができる。
特開2001−238154号公報
しかしながらユーザの使用方法は多様化しており、動画の再生速度を変更する方法として単に更新頻度を変更するだけの方法ではない機能、そしてその機能による効果を潜在的に望んでいる。
本発明は斯かる事情に鑑みてなされたものであり、更新頻度を低くすることでスロー再生を実行するとともに、更新する画像のコマ落とし(フレームスキップ)を行うことで再生時間を一定にすることにより、単なる再生速度の変更ではない新しい機能を実現し、その機能によるスロー再生時の通常速度での音声再生、録画中における実時間でのスロー再生の実現等の効果を奏する動画再生方法、及び該動画再生方法を適用した動画再生装置の提供を目的とする。
本発明に係る動画再生方法は、出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生方法において、画像を記憶する記憶手段及び画像を記録する記録媒体を用い、出力順序に基づき出力する複数の画像を前記記憶手段に記憶し、前記記憶手段に記憶した画像を前記記録媒体に記録し、設定されている更新頻度を低くする変更を行い、前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択するようにしてあり、選択した画像を、変更した更新頻度で更新することによる動画の再生は、前記記録媒体への記録と時間的に並行して実時間で行うことを特徴とする。
また本発明に係る動画再生方法は、出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生方法において、撮像により画像を生成する撮像手段及び画像を記憶する記憶手段を用い、前記撮像手段の撮像により画像を生成し、前記撮像手段により生成した複数の画像を、出力順序に基づき出力する画像として前記記憶手段に記憶し、設定されている更新頻度を低くする変更を行い、前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択するようにしてあり、選択した画像を、変更した更新頻度で更新することによる動画の再生は、前記撮像手段による撮像と時間的に並行して実時間で行うことを特徴とする。
本発明では、更新頻度を低くすることでスロー再生を実行するとともに、更新する画像のコマ落としを行うことにより、単なる再生速度の変更ではない新たな再生方法をユーザに提供することが可能である。
本発明に係る動画再生装置は、出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生装置において、出力順序に基づき出力する複数の画像を記憶する記憶手段と、該記憶手段に記憶した画像を記録媒体に記録する補助記憶手段と、設定されている更新頻度を低くする頻度変更手段と、前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択する選択手段とを備え、該選択手段が選択した画像を、前記頻度変更手段が変更した更新頻度で更新することによる動画の再生は、前記補助記憶手段による前記記録媒体への記録と時間的に並行して実時間で行うようにしてあることを特徴とする。
また本発明に係る動画再生装置は、出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生装置において、撮像により画像を生成する撮像手段と、該撮像手段により生成された複数の画像を、出力順序に基づき出力する複数の画像として記憶する記憶手段と、設定されている更新頻度を低くする頻度変更手段と、前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択する選択手段とを備え、該選択手段が選択した画像を、前記頻度変更手段が変更した更新頻度で更新することによる動画の再生は、前記撮像手段による撮像と時間的に並行して実時間で行うようにしてあることを特徴とする。
本発明では、更新頻度を低くすることでスロー再生を実行するとともに、更新する画像のコマ落としを行うことにより、単なる再生速度の変更ではない新たな再生方法をユーザに提供することが可能である。
本発明に係る動画再生装置は、更新頻度を指定する指定値を受け付ける手段を更に備え、前記頻度変更手段は、更新頻度を指定値の逆数倍に変更するように構成してあり、前記選択手段は、指定値おきの順番の画像を選択するように構成してあることを特徴とする。
本発明では、更新頻度とコマ落としとのバランスをとることにより、全体としての再生速度が一定になるので、例えば同時に音声を出力する場合に、音声を通常速度で出力しても動画との同期をとることが可能である。更にはデジタルビデオカメラに適用した場合に、録画中に実時間で再生を行う場合でもスロー再生を行うことが可能である。
本発明に係る動画再生装置は、前記複数の画像は、画像毎に圧縮されていることを特徴とする。
本発明では、モーションJPEG(Motion Joint Photographic Experts Group) 等の画像毎に圧縮する形式で記録されている動画ファイルに対して適用することにより、MPEG(Moving Picture Experts Group)等の時間軸方向にも圧縮する形式で記録した動画ファイル対して適用する場合と比較して、フレームレート及びフレームスキップの条件を容易に変更することが可能である。
本発明の動画再生方法及び動画再生装置では、出力する画像を出力順序に基づいて、設定されている更新頻度で更新することにより動画を再生するデジタルビデオカメラ、DVD再生装置等の動画再生装置にて、出力する画像の更新頻度を低くすることでスロー再生を実行するとともに、更新する画像のコマ落とし(フレームスキップ)を行うことで全体としての再生時間を一定にする。
この構成により、単なる更新頻度の変更によるスロー再生ではなく、全体としての再生時間が一定となるので、例えば同時に音声を出力する場合に、音声の再生速度を低下させることなく、通常速度で出力された音声と動画との同期をとることが可能であり、これによりユーザに対して今までにはない新たな再生方法を提供することが可能である等、優れた効果を奏する。さらに例えばデジタルビデオカメラに適用した場合には、録画中に実時間でスロー再生を行うことが可能であり、これによりユーザに対して今までにはない新たな再生方法を提供することが可能である等、優れた効果を奏する。さらに、静止画印刷時の静止画抽出指定が容易になる等、優れた効果を奏する。
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図1は、本発明の動画再生装置の構成を示すブロック図である。図1中1は、デジタルビデオカメラを用いた本発明の動画再生装置であり、動画再生装置1は、装置全体を制御するCPU等の制御手段11と、制御手段11により実行されるコンピュータプログラムを記録するROM12と、ROM12に記録されているコンピュータプログラムの実行時に一時的に発生するデータを記憶するRAM13とを備えている。なお制御手段11、ROM12及びRAM13を1個のチップに搭載した1個のLSIにて実現する様にしても良い。
また動画再生装置1は、CCD(Charge Coupled Device) 等の撮像素子を用いた撮像手段14を備え、撮像手段14は、撮像により生成したアナログ画像信号を、A/D変換手段15へ出力し、A/D変換手段15は、撮像手段14から受け付けたアナログ画像信号をデジタル画像信号に変換し、変換したデジタル画像信号を、SDRAMを用いた記憶手段16に記憶させる。撮像手段14の撮像は、1秒間に15回、30回等の頻度で行われる。即ち撮像手段14の撮像により生成された画像は、15FPS(Frame Per Second)、30FPS等の更新頻度(フレームレート)で出力することにより、動画として表示することができる。
記憶手段16に記憶されたデジタル画像信号は、デジタル画像信号の圧縮/伸張処理を行う圧縮/伸張手段17へ送られる。圧縮/伸張手段17では、受け付けたデジタル画像信号をモーションJPEG等の形式に基づいた圧縮により圧縮動画データに変換し、SDメモリカード(Secure Digital Memory Card)等の記録媒体2にアクセスするSDメモリカードコントローラ等の補助記憶手段18へ圧縮動画データを送る。そして補助記憶手段18では、受け付けた圧縮動画データを記録媒体2に記録する。モーションJPEGとは、動画を構成する複数の画像(フレーム)を、画像毎に圧縮し、夫々の画像を表示する順序及び表示間隔を付与した圧縮動画データの形式である。
また記憶手段16に記憶されたデジタル画像信号は、画像に関する制御を行うビデオコントローラ等の画像制御手段19へ送られる。画像制御手段19では、受け付けたデジタル画像信号を出力用の画像信号であるビデオ信号に変換し、変換したビデオ信号を、液晶モニタ等の表示手段20へ出力する。なお変換したビデオ信号を外部出力用端子から外部の装置へ出力する様にしても良い。表示手段20では、入力を受け付けたビデオ信号に基づく画像を表示する。このように動画再生装置1が、撮像手段14による撮像に基づく画像を表示手段20に表示することにより、ユーザは、撮像している内容を実時間で視認することが可能となる。
なお動画再生装置1では、記録媒体2に記録した圧縮動画データを、補助記憶手段18により読み出し、圧縮/伸張手段17にてデジタル画像信号に伸張し、記憶手段16に記憶させた後、記憶手段16から画像制御手段19へ送り、画像制御手段19からビデオ信号として表示手段20に出力させることも可能である。このように動画再生装置1が、記録媒体2に記録している圧縮動画データに基づく画像を表示手段20に表示することにより、ユーザは、記録媒体2に記録されている内容を視認することが可能となる。
さらに動画再生装置1は、スライドスイッチ、ダイアルスイッチ、押釦等の入力手段21を備えており、入力手段21を介してユーザが行う様々な入力操作を受け付けることが可能である。
このように動画再生装置1は、入力手段21から受け付けたユーザの入力操作に基づいて、制御手段11の制御により、記憶手段16に記憶させたデジタル画像信号を画像制御手段19へ送り、画像制御手段19から表示手段20へビデオ信号として画像を出力する。そして出力する画像は、予め設定されている標準の更新頻度(フレームレート)で、各画像に付与されている順序に従い更新される。
次に本発明の動画再生装置1による処理について説明する。図2は、本発明の動画再生装置1の表示手段20から表示される画像を示す説明図である。動画再生装置1が動画を再生中、ユーザの操作により更新頻度の変更を行うことが可能なモードに切り替わった場合に表示手段20から図2に示す画像が表示される。図2では、ゴルフを行っている動画を再生中にモードが切り替わった状態を示しており、再生されている動画と共に画面の左方に上下方向の両矢印が表示される。両矢印中、スライドタイプのスイッチを模した画像が更新頻度を示しており、ユーザが入力手段21を操作することにより、スイッチを模した画像が上下し、更新頻度を指定する入力を行うことができる。図2に示す例では、スイッチが下降する程、更新頻度が低くなる。動画再生装置1では、入力手段21の操作量を検出し、検出した操作量を近似する2、3、5等の数値に変換し、変換した数値を、更新頻度を指定する指定値の入力として受け付ける。なお指定値を入力するインターフェースとしては、図2に示す様な画像だけでなく、選択可能な指定値を表示手段20に表示し、ユーザに指定値の選択を要求する様にしてもよい。
図3は、本発明の動画再生装置1の更新頻度変更処理を示すフローチャートである。動画再生装置1は、制御手段11の制御により、入力手段21から更新頻度を指定する指定値の入力を受け付け(ステップS1)、標準として設定されている更新頻度が受け付けた指定値の逆数倍となるように、更新頻度を低くし(ステップS2)、記憶手段16に記憶させた複数のデジタル画像信号の中から、指定値おきの順番の画像を示すデジタル画像信号を選択し(ステップS3)、選択したデジタル画像信号に基づく画像をビデオ信号として画像制御手段19から表示手段20へ出力する(ステップS4)。なお出力される画像は、ステップS2にて低くされた更新頻度で更新される。
ステップS1にて入力を受け付けた指定値が2である場合、更新頻度は指定値の逆数倍である1/2となる。具体的には30FPSの更新頻度が15FPSとなる。そして指定値である2つおきの順番の画像、即ち1番目の画像、3番目の画像、5番目の画像、…が出力されて、所謂更新する画像のコマ落とし(フレームスキップ)が行われる。またここでいう1番目の画像とは、指定値の入力を受け付けた時点で出力されている画像であり、指定値の入力が画像の出力前に行われている場合には、所定の順序で出力すべき全ての画像の中で、最初に出力すべき画像を示す。同様にして入力を受け付けた指定値が3である場合、更新頻度は10FPSとなり、1番目の画像、4番目の画像、7番目の画像、…が出力される。
次に本発明の動画再生装置1にて再生される動画の具体的な例について説明する。図4は、本発明の動画再生装置1の動画再生処理を概念的に示す説明図である。図4(a)は、標準の更新頻度で再生される動画を示しており、図4(b)は、指定値が3である場合に再生される動画を示している。図4(a)に示す様に更新頻度が標準である場合には、30FPSの更新頻度、即ち1/30秒の更新間隔で付与されている順序に従い出力される画像が更新される。図4(b)では、1番目の画像、4番目の画像、7番目の画像、…が出力され、夫々の画像は10FPSの更新頻度、即ち1/10秒の更新間隔で更新される。なお図4(a)に示す様に更新頻度が標準の場合でも、図4(b)に示す様に更新頻度が標準の1/3である場合でも7番目の画像が出力される時期は、動画の再生開始から1/5秒後である。
図4からも明らかな様に本発明の動画再生装置1では、更新頻度が低くなるためスロー再生として動画が再生されるが、全体としての再生時間は一定である。従って同時に音声を出力する場合、音声の再生速度を低下させる処理は不要となるので、動画と共に再生される会話、実況等の音声は、通常の状態で出力され、容易に聞き取ることができる。また再生する動画が、撮像手段14の撮像により生成し、記憶手段16に記憶させたデジタル画像信号である場合、即ち撮像及び/又は録画中に実時間で再生している動画であったとしても、実時間でスロー再生を行うことが可能である。
なお例えば表示手段20の規格により更新頻度が固定されている場合、同じ画像を指定値の回数だけ連続して更新することで、実質的な更新頻度を低くする様にしても良い。具体的には図4(b)において、1/30秒の更新間隔で、1番目の画像を3回出力し、更に4番目の画像を3回出力し、更に7番目の画像を3回出力し、…という様にすることで実質的に1/10秒の更新間隔で更新していることとなる。このように更新頻度が規格により固定されている装置に対しても、本発明を適用することは可能である。
前記実施の形態では、本発明の動画再生装置をデジタルビデオカメラに適用する形態を示したが、本発明はこれに限らず、DVD再生装置等の様々な動画再生装置に適用することが可能である。
また前記実施の形態では、指定値が自然数である形態を示したが、本発明はこれに限らず、様々な指定値に適用することが可能である。例えば指定値が2.7である場合、1番目の画像が出力された後、3.7番目の画像として3.7に近似する4番目の画像を出力し、6.4番目の画像として6.4に近似する6番目の画像を出力するという様に出力する画像が選択される。
本発明の動画再生装置の構成を示すブロック図である。 本発明の動画再生装置の表示手段から表示される画像を示す説明図である。 本発明の動画再生装置の更新頻度変更処理を示すフローチャートである。 本発明の動画再生装置の動画再生処理を概念的に示す説明図である。
符号の説明
1 動画再生装置
11 制御手段
12 ROM
13 RAM
14 撮像手段
15 A/D変換手段
16 記憶手段
17 圧縮/伸張手段
18 補助記憶手段
19 画像制御手段
20 表示手段
21 入力手段
2 記録媒体

Claims (6)

  1. 出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生方法において、
    画像を記憶する記憶手段及び画像を記録する記録媒体を用い、
    出力順序に基づき出力する複数の画像を前記記憶手段に記憶し、
    前記記憶手段に記憶した画像を前記記録媒体に記録し、
    設定されている更新頻度を低くする変更を行い、
    前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択する
    ようにしてあり、
    選択した画像を、変更した更新頻度で更新することによる動画の再生は、前記記録媒体への記録と時間的に並行して実時間で行う
    ことを特徴とする動画再生方法。
  2. 出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生方法において、
    撮像により画像を生成する撮像手段及び画像を記憶する記憶手段を用い、
    前記撮像手段の撮像により画像を生成し、
    前記撮像手段により生成した複数の画像を、出力順序に基づき出力する画像として前記記憶手段に記憶し、
    設定されている更新頻度を低くする変更を行い、
    前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択する
    ようにしてあり、
    選択した画像を、変更した更新頻度で更新することによる動画の再生は、前記撮像手段による撮像と時間的に並行して実時間で行う
    ことを特徴とする動画再生方法。
  3. 出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生装置において、
    出力順序に基づき出力する複数の画像を記憶する記憶手段と、
    該記憶手段に記憶した画像を記録媒体に記録する補助記憶手段と、
    設定されている更新頻度を低くする頻度変更手段と、
    前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択する選択手段と
    を備え、
    該選択手段が選択した画像を、前記頻度変更手段が変更した更新頻度で更新することによる動画の再生は、前記補助記憶手段による前記記録媒体への記録と時間的に並行して実時間で行うようにしてある
    ことを特徴とする動画再生装置。
  4. 出力順序に基づき出力する画像を、設定されている更新頻度で更新することにより動画を再生する動画再生装置において、
    撮像により画像を生成する撮像手段と、
    該撮像手段により生成された複数の画像を、出力順序に基づき出力する複数の画像として記憶する記憶手段と、
    設定されている更新頻度を低くする頻度変更手段と、
    前記記憶手段に記憶した複数の画像の中から一部の画像を出力する画像として選択する選択手段と
    を備え、
    該選択手段が選択した画像を、前記頻度変更手段が変更した更新頻度で更新することによる動画の再生は、前記撮像手段による撮像と時間的に並行して実時間で行うようにしてある
    ことを特徴とする動画再生装置。
  5. 更新頻度を指定する指定値を受け付ける手段を更に備え、
    前記頻度変更手段は、更新頻度を指定値の逆数倍に変更するように構成してあり、
    前記選択手段は、指定値おきの順番の画像を選択するように構成してある
    ことを特徴とする請求項3又は請求項4に記載の動画再生装置。
  6. 前記複数の画像は、画像毎に圧縮されていることを特徴とする請求項3乃至請求項5のいずれかひとつに記載の動画再生装置。
JP2004239863A 2004-08-19 2004-08-19 動画再生方法及び動画再生装置 Expired - Fee Related JP4312125B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004239863A JP4312125B2 (ja) 2004-08-19 2004-08-19 動画再生方法及び動画再生装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004239863A JP4312125B2 (ja) 2004-08-19 2004-08-19 動画再生方法及び動画再生装置

Publications (2)

Publication Number Publication Date
JP2006060503A JP2006060503A (ja) 2006-03-02
JP4312125B2 true JP4312125B2 (ja) 2009-08-12

Family

ID=36107621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004239863A Expired - Fee Related JP4312125B2 (ja) 2004-08-19 2004-08-19 動画再生方法及び動画再生装置

Country Status (1)

Country Link
JP (1) JP4312125B2 (ja)

Also Published As

Publication number Publication date
JP2006060503A (ja) 2006-03-02

Similar Documents

Publication Publication Date Title
US7692690B2 (en) Image sensing apparatus for recording a moving image and a still image and its control method
JP3551181B2 (ja) 記録装置及び記録方法
JP4805596B2 (ja) カメラ装置
JP2007135057A (ja) 撮像装置、画像処理方法、並びにプログラム
US20060285831A1 (en) Imaging apparatus for controlling imaging timing based on frame rate stored in advance
JP2008252454A (ja) カメラ装置およびカメラ装置におけるgui切替方法
US8810689B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for processing image data at a plurality of frame rates
JP2004015580A (ja) 記録装置
US20040109673A1 (en) Recording and reproducing apparatus and method
JP4761544B2 (ja) 再生装置及びその制御方法
JP5076457B2 (ja) 映像信号処理装置、映像信号処理方法
JP3683462B2 (ja) 動画表示装置
JP4312125B2 (ja) 動画再生方法及び動画再生装置
JP2007208611A (ja) 映像信号記録装置
US20090142039A1 (en) Method and apparatus for recording video data
US20080151060A1 (en) Camera apparatus and chapter data generating method in camera apparatus
JP2005318180A (ja) ハードディスクレコーダ、映像記録装置
JP5567858B2 (ja) 記録装置及びその制御方法
JP2002094939A (ja) 記録装置および再生装置
JP4443387B2 (ja) 動画像再生装置
JPH08336113A (ja) 画像処理装置
JP2004040518A (ja) 撮像記録装置と再生装置
JP2006109058A (ja) 再生装置
JP2008090611A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4212531B2 (ja) 録画方法、動画記録装置及び録画システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090318

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090512

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140522

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees