JP4454959B2 - 立体映像表示方法 - Google Patents
立体映像表示方法 Download PDFInfo
- Publication number
- JP4454959B2 JP4454959B2 JP2003128833A JP2003128833A JP4454959B2 JP 4454959 B2 JP4454959 B2 JP 4454959B2 JP 2003128833 A JP2003128833 A JP 2003128833A JP 2003128833 A JP2003128833 A JP 2003128833A JP 4454959 B2 JP4454959 B2 JP 4454959B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- display
- displayed
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Liquid Crystal Display Device Control (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、ビデオカメラ等の撮像装置で撮影された画像を立体的に視認することができるようにする立体映像表示方法に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平７−２２０１１３号公報
一般に立体映像の再生は、特許文献１に開示されているように、２台のビデオカメラで一つの撮影対象を所定の視差を付けて同時に撮影し、２台のモニタに再生して左右の目で各々別モニタを見るようにし、人間の目で見た視差を２台のモニタ上に再現して、立体視を可能としている。
【０００３】
一方、近年目に掛けて使用するゴーグル型の表示装置が安価に提供されている。このような表示装置は、両目の前に位置する別々の液晶表示装置を備え、あたかも大型スクリーンで見ているように見える装置である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術の立体映像表示装置は、撮像装置が２台必要であり、同時に一つの被写体を２台の撮像装置で撮影しなければならず、装置が大がかりなものとなるものであった。さらに、専用の２台の撮像装置で撮影した映像しか立体的に再生することができず、簡単に立体映像を見ることができるものではなかった。また、ゴーグル型の表示装置は、単に両目に対応して表示装置が２台設けられているだけで、立体的に再生するものではない。
【０００５】
この発明は、上記従来の問題点に鑑みてなされたもので、簡単な装置で立体的に見える立体映像表示方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明は、例えば１台のビデオカメラ等の撮像装置で撮影された動画を、左右の目に対応した表示装置で同時に再生させる際に、観察対象を両目の配置方向に揺動し、それにより得られた画像の表示を、左側に揺動したときの画像は右目の表示装置に表示し、右側に揺動したときの画像は左眼の表示装置に表示する立体映像表示方法である。
【０００７】
上記表示装置はゴーグル型に形成され、左右の目に対応して液晶等の各表示装置が位置するものである。また、上記各表示装置に表示される画像表示の遅延時間は、左右の目の実際の視差に相当する時間のズレより大きく取るようにして、立体感を強調しても良い。
【０００８】
またこの発明は、顕微鏡を介して撮影された画像を、左右の目に対応した２台の表示装置で再生させる際に、観察対象を両目の配置方向に揺動し、それにより得られた画像の表示を、左側に揺動したときの画像は右目の表示装置に表示し、右側に揺動したときの画像は左眼の表示装置に表示することを特徴とする立体映像表示方法である。
【０００９】
【発明の実施の形態】
以下、この発明の実施の形態について図面に基づいて説明する。図１，図２はこの発明の第一実施形態を示すもので、この実施形態の立体映像表示方法に用いる装置は、ビデオテープやディスクに記録された動画や撮像装置で撮影された画像を再生し出力する再生装置１０と、再生装置１０から出力された動画の動きを検知する動き検出装置１２を有する。動き検出装置１２は、動画の１フレーム毎の画像データ、例えば撮像画像の各撮像素子の画素またはデータの各ピクセルの値を、直前または所定フレーム前の画面の値と個々に比較して得ることができる。動き検出装置１２により画像の動きが検知されると、動きの方向を移動方向検出装置１４により割り出す。移動方向の検出は、画面の水平方向に移動する成分を有するか否かを判断する。なお、動き検出装置１２と、移動方向検出装置１４とは同一の装置であっても良い。
【００１０】
再生画像は、分岐点１６で同じ画像の２出力に分岐される。なお、分岐点１６で分岐される画像は、再生装置１０から直接送られる画像でも良い。分岐された画像の一方は、フレームメモリ等から成る遅延回路１６に入力され、所定時間、例えば１フレーム分又は所定の数フレーム分だけ遅延されて左右選択回路１８に出力される。また、分岐点１６で分岐された他方の再生画像は、そのまま左右選択回路１８に出力される。
【００１１】
左右選択回路１８では、画像の動きが一定の範囲内の速さであって、２台の表示装置２０，２２の配列の方向と同じ方向成分を有する画像の動きの場合に、その動画の動きの方向側にある方の表示装置に送る画像を、遅延装置１６で僅かに遅延させた画像にする。
【００１２】
ここで、この立体映像表示方法の原理について、図２を基にして説明する。通常、立体視可能とする方法は、人間の目で物を見る場合に左右の目で同じ物を見ることにより生じる見る方向の角度差である視差δによる。そこで、従来の立体映像表示装置は、従来技術で説明したように、視差を作るために２台のビデオカメラを用いて、各々対象物に対して角度の異なる画像を記録している。これに対してこの実施形態では、画像が動いている場合に、その動きを利用して簡易的に立体視を可能とするものである。
【００１３】
そこで、一定の速度で水平方向に動いている物体２４を想定すると、ある瞬間ｔ０の所定時間前と後、例えば１フレーム前のｔ１と、１フレーム後のｔ２で見える画像は、水平方向に物体２４が移動していることから、図２の仮想線で示すように、異なって見える。一方ある瞬間ｔ０における左右の目で見る像は、左右の目の位置の違いから、見る角度の異なる画像になる。そして、この左右の目で見る角度の違いによる物体２４の画像と、時間ｔ１，ｔ２での各画像とが一致するように時間ｔ１，ｔ２を設定すると、左右の目に対応した表示装置２０，２２に表示される画像を、右目に対応する表示装置２２の画像に対して、左目に対応する表示装置２０に表示する画像を、ｔ２−ｔ１だけ遅延させて表示することにより、左右の目で見る画像は、視差δを有した再生画像と同じ画像となり、物体２４は立体的に見える。また、実際の視差以上の角度の画像となるように遅延時間を設定することによって、立体を強調しても良い。
【００１４】
この原理により、動き検出装置１２により、物体２４の動きがあることを検知すると、画像の動きが一定の範囲内の速さであって、上記２台の表示装置の配列の方向と同じ方向成分を有する動画の動きの場合に、その動画の動きの方向側にある方の表示装置に送る画像を、左右選択回路１８により選択して遅延装置１６を経た画像にし、他方の表装置には遅延させない画像を送る。左右選択回路１８は、移動方向検出装置１４からの検知信号により、どちらの表示装置に送る画像を遅延した方にするかを選択する。
【００１５】
なお、この立体映像再生装置では、左右の目の配置方向、即ち水平方向の動きがない場合は立体的に見えないものである。また、動きが速すぎる場合や、画像自体が切り替わっている場合には、適用できないので、動きは一定の範囲内の場合に適用する。従って、遅延装置１６は、動き検出装置１２により検出された動画の動きが、一定範囲内の場合にだけ作動し、それ以外の場合は、画像を遅延させずに、左右選択回路に出力する。また左右選択回路は、分岐された各画像出力間に遅延がない場合は、いずれの表示装置２０，２２にいずれの画像を送っても良いが、例えば直前の切り替え経路で各表示装置２０，２２に画像を送るようにすると良い。
【００１６】
この立体映像表示方法は、１台のビデオカメラで撮影された動画であっても、画像中に水平方向に動く物があれば、その物を立体的に見せることができる。表示装置は、例えば左右の目に対応した表示装置２０，２２を備えたゴーグル型の動画再生装置２６により再生することにより、左右に動いている物体２４を立体的に見えるようにすることができる。
【００１７】
なお、この発明の立体映像表示方法は、ビデオ画像以外に、例えば顕微鏡で見る画像をより立体的に見えるようにすることもできる。例えば、双眼実体顕微鏡の対物レンズ部に撮像装置を取り付け、接眼レンズ部分に両眼に対応した表示装置を設け、または撮像装置で撮影した情報の出力としてゴーグル型の表示装置を設け、顕微鏡ステージを視差δに相当する微小角度揺動させ、左側に揺動した場合の画像は右目の表示装置に表示し、右側に揺動した際の画像は左眼の表示装置に表示する。これにより、両目で見ているのと同じように顕微鏡画像が見える。また、揺動の代わりにステージを水平方向に移動させても良い。この場合は上記実施形態と同様である。
【００１８】
また、この発明の立体映像表示方法が適用される装置や画像は、テレビや映画、ＤＶＤにより再生される画像、ビデオカメラやその他撮像装置により撮影された画像等適宜選択し得るものであり、上記各実施形態に限定されるものではなく、物体が移動する場合のほか、撮影者や撮像装置が移動しながら撮った画像も同様の処理により、立体的に再生表示することができる。再生装置や表示装置の種類も問わないものであり、表示装置は左右の目に対応して表示装置が設けられていればよい。
【００１９】
【発明の効果】
この発明の立体映像表示方法によれば、簡単な装置で既存の動画でも手軽に立体的に見ることができる。また顕微鏡等の画像を撮像装置で撮像する際も、一つの撮像装置で撮像した画像を立体的に表示することができる。
【図面の簡単な説明】
【図１】 この発明の一実施形態の立体映像表示方法に用いる装置のブロック図である。
【図２】 この発明の立体映像表示方法の原理を示す図である。
【符号の説明】
１０ 再生装置
１２ 動き検出装置
１４ 移動方向検出装置
１５ 分岐点
１６ 遅延装置
１８ 左右選択回路
２０，２２ 表示装置
２４ 物体
【発明の属する技術分野】
この発明は、ビデオカメラ等の撮像装置で撮影された画像を立体的に視認することができるようにする立体映像表示方法に関する。
【０００２】
【従来の技術】
【特許文献１】
特開平７−２２０１１３号公報
一般に立体映像の再生は、特許文献１に開示されているように、２台のビデオカメラで一つの撮影対象を所定の視差を付けて同時に撮影し、２台のモニタに再生して左右の目で各々別モニタを見るようにし、人間の目で見た視差を２台のモニタ上に再現して、立体視を可能としている。
【０００３】
一方、近年目に掛けて使用するゴーグル型の表示装置が安価に提供されている。このような表示装置は、両目の前に位置する別々の液晶表示装置を備え、あたかも大型スクリーンで見ているように見える装置である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来技術の立体映像表示装置は、撮像装置が２台必要であり、同時に一つの被写体を２台の撮像装置で撮影しなければならず、装置が大がかりなものとなるものであった。さらに、専用の２台の撮像装置で撮影した映像しか立体的に再生することができず、簡単に立体映像を見ることができるものではなかった。また、ゴーグル型の表示装置は、単に両目に対応して表示装置が２台設けられているだけで、立体的に再生するものではない。
【０００５】
この発明は、上記従来の問題点に鑑みてなされたもので、簡単な装置で立体的に見える立体映像表示方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明は、例えば１台のビデオカメラ等の撮像装置で撮影された動画を、左右の目に対応した表示装置で同時に再生させる際に、観察対象を両目の配置方向に揺動し、それにより得られた画像の表示を、左側に揺動したときの画像は右目の表示装置に表示し、右側に揺動したときの画像は左眼の表示装置に表示する立体映像表示方法である。
【０００７】
上記表示装置はゴーグル型に形成され、左右の目に対応して液晶等の各表示装置が位置するものである。また、上記各表示装置に表示される画像表示の遅延時間は、左右の目の実際の視差に相当する時間のズレより大きく取るようにして、立体感を強調しても良い。
【０００８】
またこの発明は、顕微鏡を介して撮影された画像を、左右の目に対応した２台の表示装置で再生させる際に、観察対象を両目の配置方向に揺動し、それにより得られた画像の表示を、左側に揺動したときの画像は右目の表示装置に表示し、右側に揺動したときの画像は左眼の表示装置に表示することを特徴とする立体映像表示方法である。
【０００９】
【発明の実施の形態】
以下、この発明の実施の形態について図面に基づいて説明する。図１，図２はこの発明の第一実施形態を示すもので、この実施形態の立体映像表示方法に用いる装置は、ビデオテープやディスクに記録された動画や撮像装置で撮影された画像を再生し出力する再生装置１０と、再生装置１０から出力された動画の動きを検知する動き検出装置１２を有する。動き検出装置１２は、動画の１フレーム毎の画像データ、例えば撮像画像の各撮像素子の画素またはデータの各ピクセルの値を、直前または所定フレーム前の画面の値と個々に比較して得ることができる。動き検出装置１２により画像の動きが検知されると、動きの方向を移動方向検出装置１４により割り出す。移動方向の検出は、画面の水平方向に移動する成分を有するか否かを判断する。なお、動き検出装置１２と、移動方向検出装置１４とは同一の装置であっても良い。
【００１０】
再生画像は、分岐点１６で同じ画像の２出力に分岐される。なお、分岐点１６で分岐される画像は、再生装置１０から直接送られる画像でも良い。分岐された画像の一方は、フレームメモリ等から成る遅延回路１６に入力され、所定時間、例えば１フレーム分又は所定の数フレーム分だけ遅延されて左右選択回路１８に出力される。また、分岐点１６で分岐された他方の再生画像は、そのまま左右選択回路１８に出力される。
【００１１】
左右選択回路１８では、画像の動きが一定の範囲内の速さであって、２台の表示装置２０，２２の配列の方向と同じ方向成分を有する画像の動きの場合に、その動画の動きの方向側にある方の表示装置に送る画像を、遅延装置１６で僅かに遅延させた画像にする。
【００１２】
ここで、この立体映像表示方法の原理について、図２を基にして説明する。通常、立体視可能とする方法は、人間の目で物を見る場合に左右の目で同じ物を見ることにより生じる見る方向の角度差である視差δによる。そこで、従来の立体映像表示装置は、従来技術で説明したように、視差を作るために２台のビデオカメラを用いて、各々対象物に対して角度の異なる画像を記録している。これに対してこの実施形態では、画像が動いている場合に、その動きを利用して簡易的に立体視を可能とするものである。
【００１３】
そこで、一定の速度で水平方向に動いている物体２４を想定すると、ある瞬間ｔ０の所定時間前と後、例えば１フレーム前のｔ１と、１フレーム後のｔ２で見える画像は、水平方向に物体２４が移動していることから、図２の仮想線で示すように、異なって見える。一方ある瞬間ｔ０における左右の目で見る像は、左右の目の位置の違いから、見る角度の異なる画像になる。そして、この左右の目で見る角度の違いによる物体２４の画像と、時間ｔ１，ｔ２での各画像とが一致するように時間ｔ１，ｔ２を設定すると、左右の目に対応した表示装置２０，２２に表示される画像を、右目に対応する表示装置２２の画像に対して、左目に対応する表示装置２０に表示する画像を、ｔ２−ｔ１だけ遅延させて表示することにより、左右の目で見る画像は、視差δを有した再生画像と同じ画像となり、物体２４は立体的に見える。また、実際の視差以上の角度の画像となるように遅延時間を設定することによって、立体を強調しても良い。
【００１４】
この原理により、動き検出装置１２により、物体２４の動きがあることを検知すると、画像の動きが一定の範囲内の速さであって、上記２台の表示装置の配列の方向と同じ方向成分を有する動画の動きの場合に、その動画の動きの方向側にある方の表示装置に送る画像を、左右選択回路１８により選択して遅延装置１６を経た画像にし、他方の表装置には遅延させない画像を送る。左右選択回路１８は、移動方向検出装置１４からの検知信号により、どちらの表示装置に送る画像を遅延した方にするかを選択する。
【００１５】
なお、この立体映像再生装置では、左右の目の配置方向、即ち水平方向の動きがない場合は立体的に見えないものである。また、動きが速すぎる場合や、画像自体が切り替わっている場合には、適用できないので、動きは一定の範囲内の場合に適用する。従って、遅延装置１６は、動き検出装置１２により検出された動画の動きが、一定範囲内の場合にだけ作動し、それ以外の場合は、画像を遅延させずに、左右選択回路に出力する。また左右選択回路は、分岐された各画像出力間に遅延がない場合は、いずれの表示装置２０，２２にいずれの画像を送っても良いが、例えば直前の切り替え経路で各表示装置２０，２２に画像を送るようにすると良い。
【００１６】
この立体映像表示方法は、１台のビデオカメラで撮影された動画であっても、画像中に水平方向に動く物があれば、その物を立体的に見せることができる。表示装置は、例えば左右の目に対応した表示装置２０，２２を備えたゴーグル型の動画再生装置２６により再生することにより、左右に動いている物体２４を立体的に見えるようにすることができる。
【００１７】
なお、この発明の立体映像表示方法は、ビデオ画像以外に、例えば顕微鏡で見る画像をより立体的に見えるようにすることもできる。例えば、双眼実体顕微鏡の対物レンズ部に撮像装置を取り付け、接眼レンズ部分に両眼に対応した表示装置を設け、または撮像装置で撮影した情報の出力としてゴーグル型の表示装置を設け、顕微鏡ステージを視差δに相当する微小角度揺動させ、左側に揺動した場合の画像は右目の表示装置に表示し、右側に揺動した際の画像は左眼の表示装置に表示する。これにより、両目で見ているのと同じように顕微鏡画像が見える。また、揺動の代わりにステージを水平方向に移動させても良い。この場合は上記実施形態と同様である。
【００１８】
また、この発明の立体映像表示方法が適用される装置や画像は、テレビや映画、ＤＶＤにより再生される画像、ビデオカメラやその他撮像装置により撮影された画像等適宜選択し得るものであり、上記各実施形態に限定されるものではなく、物体が移動する場合のほか、撮影者や撮像装置が移動しながら撮った画像も同様の処理により、立体的に再生表示することができる。再生装置や表示装置の種類も問わないものであり、表示装置は左右の目に対応して表示装置が設けられていればよい。
【００１９】
【発明の効果】
この発明の立体映像表示方法によれば、簡単な装置で既存の動画でも手軽に立体的に見ることができる。また顕微鏡等の画像を撮像装置で撮像する際も、一つの撮像装置で撮像した画像を立体的に表示することができる。
【図面の簡単な説明】
【図１】 この発明の一実施形態の立体映像表示方法に用いる装置のブロック図である。
【図２】 この発明の立体映像表示方法の原理を示す図である。
【符号の説明】
１０ 再生装置
１２ 動き検出装置
１４ 移動方向検出装置
１５ 分岐点
１６ 遅延装置
１８ 左右選択回路
２０，２２ 表示装置
２４ 物体
Claims (3)
- 撮像装置で撮影された画像を、左右の目に対応した２台の表示装置で再生させる際に、観察対象を両目の配置方向に揺動し、それにより得られた画像の表示を、左側に揺動したときの画像は右目の表示装置に表示し、右側に揺動したときの画像は左眼の表示装置に表示することを特徴とする立体映像表示方法。
- 上記表示装置はゴーグル型に形成され、左右の目に対応して各表示装置が位置するものである請求項１記載の立体映像表示方法。
- 上記画像は、顕微鏡を介して撮影された画像であり、左右の目に対応した２台の表示装置で再生させる際に、観察対象を両目の配置方向に揺動し、それにより得られた画像の表示を、左側に揺動したときの画像は右目の表示装置に表示し、右側に揺動したときの画像は左眼の表示装置に表示する請求項１記載の立体映像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003128833A JP4454959B2 (ja) | 2003-05-07 | 2003-05-07 | 立体映像表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003128833A JP4454959B2 (ja) | 2003-05-07 | 2003-05-07 | 立体映像表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004336334A JP2004336334A (ja) | 2004-11-25 |
| JP4454959B2 true JP4454959B2 (ja) | 2010-04-21 |
Family
ID=33504846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003128833A Expired - Fee Related JP4454959B2 (ja) | 2003-05-07 | 2003-05-07 | 立体映像表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4454959B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101752809B1 (ko) | 2010-03-25 | 2017-07-03 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 그 구동 방법 |
| JP2018121314A (ja) * | 2017-01-29 | 2018-08-02 | 大竹技研株式会社 | 平面画像から立体画像を作成する立体化方法 |
-
2003
- 2003-05-07 JP JP2003128833A patent/JP4454959B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004336334A (ja) | 2004-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3157384B2 (ja) | 立体映像装置 | |
| WO2012011341A1 (ja) | 撮像装置、その制御方法およびプログラム | |
| JP4903888B2 (ja) | 画像表示装置、画像表示方法、および画像補正方法 | |
| US8655163B2 (en) | Consolidated 2D/3D camera | |
| JP2006033228A (ja) | 画像撮像装置 | |
| JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
| JP2011142632A (ja) | カメラ装置、カメラシステムおよびカメラ構成方法 | |
| JP5374641B2 (ja) | ３ｄ映像記録装置及び３ｄ映像信号処理装置 | |
| JP2006310936A (ja) | 任意視点映像生成システム | |
| JP3091628B2 (ja) | 立体ビデオカメラ | |
| JP4454959B2 (ja) | 立体映像表示方法 | |
| JPH11187425A (ja) | 立体映像装置及び方法 | |
| JP2013085239A (ja) | 撮像装置 | |
| TWI222318B (en) | 3-dimensional video recording/reproduction device | |
| JP5222407B2 (ja) | 画像表示装置、画像表示方法、および画像補正方法 | |
| JP2012100015A (ja) | 三次元映像再生装置 | |
| JP2002344997A (ja) | 立体映像信号の編集方法、及び立体映像撮影用のビデオカメラの光学アダプター装置 | |
| JP2600693B2 (ja) | 立体画像再生装置 | |
| JP2002271816A (ja) | 立体モザイク作成装置 | |
| WO2012132088A1 (ja) | 撮像装置及び交換レンズ | |
| JP4759789B2 (ja) | 画像処理システム | |
| JP5222718B2 (ja) | 立体画像再生装置、立体画像再生プログラム、撮像装置 | |
| JP4496122B2 (ja) | 立体映像撮影再生装置 | |
| JPH04108288A (ja) | 立体映像装置 | |
| JPH08163423A (ja) | 画像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060414 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090624 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091125 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100203 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |