JP4329869B1 - ゴルフ練習支援カメラシステム - Google Patents

ゴルフ練習支援カメラシステム Download PDF

Info

Publication number
JP4329869B1
JP4329869B1 JP2008105036A JP2008105036A JP4329869B1 JP 4329869 B1 JP4329869 B1 JP 4329869B1 JP 2008105036 A JP2008105036 A JP 2008105036A JP 2008105036 A JP2008105036 A JP 2008105036A JP 4329869 B1 JP4329869 B1 JP 4329869B1
Authority
JP
Japan
Prior art keywords
polarization
data
camera system
information
golf practice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008105036A
Other languages
English (en)
Other versions
JP2009260500A (ja
Inventor
活美 小森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARTRAY Co Ltd
Original Assignee
ARTRAY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ARTRAY Co Ltd filed Critical ARTRAY Co Ltd
Priority to JP2008105036A priority Critical patent/JP4329869B1/ja
Priority to PCT/JP2009/056569 priority patent/WO2009128340A1/ja
Application granted granted Critical
Publication of JP4329869B1 publication Critical patent/JP4329869B1/ja
Publication of JP2009260500A publication Critical patent/JP2009260500A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3676Training appliances or apparatus for special sports for golf for putting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/05Image processing for measuring physical parameters
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/806Video cameras
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/807Photo cameras

Abstract

【課題】グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置を提供すること
【解決手段】このゴルフ練習支援カメラシステムは、ゴルフ場のグリーンやフェアウェイの撮影データから輝度情報及び偏光情報を抽出する第1の手段と、前記第1の手段から得られた輝度情報及び偏光情報から、輝度データ及び偏光データを含む画像を再構築する第2の手段と、前記輝度データ及び偏光データを含む画像を表示する第3の手段をとを備え、グリーンやフェアウェイの映像に、アンジュレーション情報を加えて表示したことを特徴とする。前記輝度情報及び偏光情報を抽出する第1の手段は、偏光子アレイと、CMOS/CCDとを有し、前記偏光子アレイは、隣接する4個の偏光子で1ユニットを構成する、画素ピッチ毎に透過軸を変えた複数個の偏光子から成るパターン化偏光素子である。
【選択図】 図8

Description

本発明は、ゴルフ練習支援カメラシステムに関する。更に具体的には、本発明は、ゴルファーが携帯可能で、ゴルフコースのグリーンやフェアウェイが波のようにうねっている起伏(「アンジュレーション(undulation)」という。)を視覚的に認識できるゴルフ練習支援カメラシステムに関する。
ゴルフ競技においてグリーン上でパッティングを行う際には、ホールまでの距離及び方向を定めボールをヒットする。このとき、ゴルファーは、ボールとホールの間のグリーンのアンジュレーションを見極めて、このアンジュレーションによるボールの転がり方向の変化を予測して、最終的にボールをヒットする方向を決定する。
なお、本発明者は、後述する様な偏光作用を利用してグリーンのアンジュレーションのイメージを形成するゴルフ練習支援カメラシステムを開示又は示唆する公開特許文献又は公開非特許文献の存在を知らない。
ゴルファーにとって、グリーンのアンジュレーションを正確に見極めることは大変に難しい。そこで、パッティングの練習の際に、グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置の開発が望まれていた。
かかる状況に鑑みて、本発明は、グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置を提供することを目的とする。
上記目的に鑑みて、本発明に係るゴルフ練習支援カメラシステムは、ゴルフ場のグリーンやフェアウェイの撮影データから輝度情報及び偏光情報を抽出する第1の手段と、前記第1の手段から得られた輝度情報及び偏光情報から、輝度データ及び偏光データを含む画像を再構築する第2の手段と、前記輝度データ及び偏光データを含む画像を表示する第3の手段とを備え、グリーンやフェアウェイの映像に、アンジュレーション情報を加えて表示したことを特徴とする。
上記ゴルフ練習支援カメラシステムでは、前記輝度情報及び偏光情報を抽出する第1の手段は、偏光子アレイと、CMOS/CCDとを有し、前記偏光子アレイは、隣接する4個の偏光子で1ユニットを構成する、画素ピッチ毎に透過軸を変えた複数個の偏光子から成るパターン化偏光素子であってよい。
上記ゴルフ練習支援カメラシステムでは、輝度データ及び偏光データを含む画像を再構築する第2の手段は、画素毎に、輝度データを決定すると共に、1ユニット毎に偏光データを決定してもよい。
上記ゴルフ練習支援カメラシステムでは、前記ゴルフ練習支援カメラシステムは、ゴーグルタイプで構成されていてもよい。
本発明によれば、グリーンのアンジュレーションを視覚的に明瞭に認識できるコンパクトな装置を提供することができる。
以下、本発明に係るゴルフ練習支援カメラシステムの実施形態に関して、添付の図面を参照しながら詳細に説明する。なお、図面において同じ要素に対しては同じ参照符号を付して、重複した説明を省略する。
図1は、ゴルフ練習支援カメラシステム1の全体を説明する図である。このゴルフ練習支援カメラシステム1は、カメラユニット20と表示装置30と備えている。
図2は、図1のゴルフ練習支援カメラシステム1のブロック図である。カメラユニット20は、パターン化偏光子2と、CMOS/CCD4と、前処理部6と、輝度及び偏光成分検出部8と、画像処理部10とを有している。表示装置30は、モニタであってよい。このモニタ30は、パーソナルコンピュータ等で通常使用される液晶表示装置、CRTであってよい。更に好ましくは、後述するような、ゴーグルタイプモニタ(図7参照)であってよい。
パターン化偏光子2は、画素ピッチ毎に透過軸を変えたパターン化偏光素子である。
CMOS/CCD4は、CMOSイメージセンサでも、CCDイメージセンサでもよい。CCDイメージセンサは、電荷結合デバイスとよばれ、ホトダイオードである受光部で入射光を信号電荷に変換して、この信号電荷をCCDによって転送するデバイスである。CMOSイメージセンサは、マトリクス状に配置された夫々の画素からの信号を水平方向のラインを選択するYアドレス回路からのスイッチング信号によって選択し、Xアドレス回路によって、画素からの信号順次1画素ずつ出力信号に読み出して検出する
これらパターン化偏光子2とCMOS/CCD4とによって、画素単位で輝度情報と偏光情報を処理可能な偏光イメージセンサが構成される。
図3(A)に示すように、パターン化偏光子2は、画素ピッチ毎に透過軸を変えたパターン化偏光素子である。図3に例示する偏光子アレイ12は、6行×8列の偏光子からなり、隣接する4個の偏光子で1ユニットを構成している。なお、実際のカメラユニットでは、例えば、画素数は1280×1024程度となっている。
例えば、図で見て右下の4個の偏光子から成る偏光子ユニット12aは、図3(B)に示すように、透過軸の異なる4種類の偏光子12−1〜12−4から成っている。偏光子は画像センサの各画素毎に配置され、これら4画素を比較検出することで偏光情報を判断する。画素数1280×1024の場合、有効偏光子は640×512画素程度となる。
第1の偏光子12−1は、垂直線に対して透過軸が角度ゼロである。第2の偏光子12−2は、垂直線に対して透過軸が角度45度である。第3の偏光子12−3は、垂直線に対して透過軸が角度90度である。第4の偏光子12−4は、垂直線に対して透過軸が角度135度である。各偏光子に対してCCD又はCMOSの1画素が対応している。これにより、CCD又はCMOSが感知する輝度情報に加えて、1ユニットの偏光子毎に4方向の偏光強度を感知することがでる。
前処理部6は、主として、CMOS/CCD4からの画素毎の輝度情報及び偏光情報をAD変換する。
輝度及び偏光成分検出部8は、CCD又はCMOS4が感知したデジタル輝度データに加えて、偏光成分を抽出して偏光データを生成する。ここで、輝度データは、CMOS/CCDの1画素単位で生成される。偏光データは、1ユニットの偏光子毎に、各偏光角の加重平均で1つの偏光データが決定される。具体的には、1ユニットを構成する4個の偏光子の偏光成分の振幅(強度)、無偏光成分の強度及び偏光角から決定される。
画像処理部10は、輝度データと偏光データを使用して、画像を再構築する。画像の再構成は二通りある。第1の方法は、各画素単位で輝度情報に加え、1ユニット単位で決定した偏光データを法線ベクトルで表示する方法である。
第2の方法は、可視光線スペクトルに偏光角度を対応させて、特定の偏光角度には1つの色彩(可視光)が定まるように規定し、この色彩で各画素を構築する方法である。可視光線スペクトルと偏光角度の対応は、画像処理部又はメモリにテーブルとして用意して、特定の偏光角度に対する色彩(RGB値)を決定することが出来るようにする。
第1の方法の画像再構築の例としては、図4(A)の丸い物体(被写体)14を従来のデジタルカメラで処理すると、図4(B)に示すように、画像16は輝度情報のみで構築される。しかし、図4(C)に示すように、このゴルフ練習支援カメラシステムで処理すると、輝度情報に加えて、1ユニット単位で決定された法線ベクトルを重ねて表示することにより偏光情報も表示する画像18とすることが出来る。
第2の方法の画像再構築の例としては、図5(A)の被写体を従来のカメラで撮影した画像を、このゴルフ練習支援カメラシステムで処理すると、図5(B)に示すように、輝度情報に、色彩の相違で偏光情報も表示する画像とすることが出来る。(なお、出願図面はモノクロに制限されているので、ここではモノクロであることをご理解願いたい。)
図6は、実際のゴルフ練習支援カメラシステムの前処理部以降のブロック図である。ブロックの主な部分は、FPGAコアによって構成さる。ここには、センサインターフェース22、メモリコントローラ24、イメージ処理部26、出力コントローラ28、DAC34、及び電源ユニット36が含まれている。更に、外部メモリ又は着脱自在なメモリカード32と外部電源38が加えられる。
センサインターフェース22は、所定のタイミングでCMOS/CCD4から画素毎のデジタル輝度データ及びデジタル偏光データを取り込む。メモリコントローラ24は、これらデータのメモリ32への書き込み及び読み出しを制御する。メモリ32は、デジタル輝度データ及びデジタル偏光データを記録する。メモリ32は、DDRメモリが好ましい。メモリ32から読み出されたデジタル輝度データ及びデジタル偏光データは、イメージ処理部26で、画素毎の輝度データ及び1ユニット毎の偏光データが決定される。更に、上述したように、輝度データと偏光データを使用して、画像が再構築される。これらのデータは、出力コントローラ28で所定のタイミングで出力され、DAC34にてアナログデータにされ、モニタ30に送られる。
図7は、このゴルフ練習支援カメラシステム1に好ましいゴーグルタイプモニタ40を図示する。このゴーグルタイプモニタ40は、基本的には、市販されているようなゴーグルタイプモニタである。更に、好ましくは、このゴーグルタイプモニタに対して、カメラユニット20を追加して、ゴルフ練習支援カメラシステム1とすることができる。
ゴーグルに対して、視線の先を撮影するようにカメラユニット20が位置決めされている。このカメラユニット20で撮影した映像が、ゴーグルの両目のレンズ位置にあるモニタ部分30に表示される。
図8は、ゴルフのグリーン42の映像を、法線ベクトルを追加表示する第1の方法で画像再構築した例である。グリーンのアンジュレーションは、その傾斜によって太陽の反射光が変化して、偏光度も変化する。グリーンの輝度情報に加えて、偏光情報をも加えることにより、グリーンのアンジュレーションを視覚的に明瞭に認識することができる画像が再構築できる。更に、図7で示したようなゴーグルタイプのゴルフ練習支援カメラシステムとすれば、ゴルファーにとってパッティング練習に最適なコンパクトなステムとなる。
以上説明したゴルフ練習支援カメラシステムの実施形態は、例示であって、本発明はこれに限定されない。当業者が容易に想起できる、この実施形態に対する追加・削除・変更・改良等は本発明の範囲内である。本発明の技術的範囲は、添付の特許請求の範囲の記載によって定められる。
図1は、ゴルフ練習支援カメラシステムの全体を説明する図である。 図2は、図1のゴルフ練習支援カメラシステムのブロック図である。 図3(A)は、画素ピッチ毎に透過軸を変えたパターン化偏光素子を説明する図である。図3(B)は、隣接する4個の偏光子で1ユニットが構成されることを説明する図である。 図4は、画像を再構築する第1の方法を説明する図である。図4(A)は、丸い物体(被写体)を示し、図4(B)は、この被写体を従来のカメラで撮影した画像を示し、図4(C)は、このゴルフ練習支援カメラシステムで処理した輝度情報に、法線ベクトルを重ねて表示した画像を示す図である。 図5は、画像を再構築する第2の方法を説明する図である。図5(A)は、この被写体を従来のカメラで撮影した画像を示し、図5(B)は、このゴルフ練習支援カメラシステムで処理した輝度情報に、色彩の相違で偏光情報も表示する画像を示す図である。 図6は、実際のゴルフ練習支援カメラシステムの前処理部以降のブロック図である。 図7は、このゴルフ練習支援カメラシステムに好ましいゴーグルタイプモニタを図示する。 図8は、ゴルフのグリーンの映像を、法線ベクトルを追加表示する第1の方法で画像再構築した例である。
符号の説明
1:ゴルフ練習支援カメラシステム、 2:パターン化偏光子、 4:CMOS/CCD,CMOSイメージセンサ,CCDイメージセンサ、 6:前処理部、 8:輝度及び偏光成分検出部、 10:画像処理部、 12:偏光子アレイ、 12a,12−1,12−2,12−3,12−4:偏光子ユニット、 14:物体,被写体、 16:画像、 18:画像、 20:カメラユニット、 22:センサインターフェース、 24:メモリコントローラ、 26:イメージ処理部、 28:出力コントローラ、 30:表示装置,モニタ,液晶表示装置,CRT、 32:メモリ,DDRメモリ、 34:DAC、 36:電源ユニット、 40:ゴーグルタイプモニタ、

Claims (4)

  1. ゴルフ場のグリーンやフェアウェイの撮影データから輝度情報及び偏光情報を抽出する第1の手段と、
    前記第1の手段から得られた輝度情報及び偏光情報から、輝度データ及び偏光データを含む画像を再構築する第2の手段と、
    前記輝度データ及び偏光データを含む画像を表示する第3の手段をとを備え、
    グリーンやフェアウェイの映像に、アンジュレーション情報を加えて表示したことを特徴とする、ゴルフ練習支援カメラシステム。
  2. 請求項1に記載のゴルフ練習支援カメラシステムにおいて、
    前記輝度情報及び偏光情報を抽出する第1の手段は、
    偏光子アレイと、
    CMOS/CCDとを有し、
    前記偏光子アレイは、隣接する4個の偏光子で1ユニットを構成する、画素ピッチ毎に透過軸を変えた複数個の偏光子から成るパターン化偏光素子である、ゴルフ練習支援カメラシステム。
  3. 請求項2に記載のゴルフ練習支援カメラシステムにおいて、
    輝度データ及び偏光データを含む画像を再構築する第2の手段は、
    画素毎に、輝度データを決定すると共に、1ユニット毎に偏光データを決定する、ゴルフ練習支援カメラシステム。
  4. 請求項1に記載のゴルフ練習支援カメラシステムにおいて、
    前記ゴルフ練習支援カメラシステムは、ゴーグルタイプで構成されている、ゴルフ練習支援カメラシステム。
JP2008105036A 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム Active JP4329869B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008105036A JP4329869B1 (ja) 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム
PCT/JP2009/056569 WO2009128340A1 (ja) 2008-04-14 2009-03-30 ゴルフ練習支援カメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008105036A JP4329869B1 (ja) 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム

Publications (2)

Publication Number Publication Date
JP4329869B1 true JP4329869B1 (ja) 2009-09-09
JP2009260500A JP2009260500A (ja) 2009-11-05

Family

ID=41149113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008105036A Active JP4329869B1 (ja) 2008-04-14 2008-04-14 ゴルフ練習支援カメラシステム

Country Status (2)

Country Link
JP (1) JP4329869B1 (ja)
WO (1) WO2009128340A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6417666B2 (ja) * 2013-05-15 2018-11-07 株式会社リコー 画像処理システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3386803B2 (ja) * 2001-06-20 2003-03-17 株式会社ソニー・コンピュータエンタテインメント 画像処理プログラム、画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体、画像処理方法、及び画像処理装置
JP4258841B2 (ja) * 2004-03-01 2009-04-30 株式会社セガ 画像表示プログラムおよび情報処理装置
JP2009021914A (ja) * 2007-07-13 2009-01-29 Sony Corp 撮像表示システム、撮像表示装置、撮像表示装置の制御方法

Also Published As

Publication number Publication date
JP2009260500A (ja) 2009-11-05
WO2009128340A1 (ja) 2009-10-22

Similar Documents

Publication Publication Date Title
US7221863B2 (en) Image processing apparatus and method, and program and recording medium used therewith
JP5298638B2 (ja) 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
CN103501409B (zh) 一种超高分辨率全景高速球一体机系统
JP2009094725A5 (ja)
TW201215165A (en) Increasing the resolution of color sub-pixel arrays
JP2008096868A5 (ja)
JP2005523596A (ja) ビデオ装置または写真装置のための画像の回転の修正
CN106572307A (zh) 一种全景图像的生成方法、系统及拍摄装置
JP2024019210A (ja) 撮像装置、画像生成方法およびコンピュータプログラム
US10438402B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
CN107560637A (zh) 头戴显示设备校准结果验证方法及头戴显示设备
US8434870B2 (en) Method and apparatus for simulating an optical effect of an optical lens
WO2019005575A1 (en) IMAGE SENSOR DEFECT DETECTION
JP4329869B1 (ja) ゴルフ練習支援カメラシステム
JP2020167600A (ja) 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ
US7212214B2 (en) Apparatuses and methods for interpolating missing colors
JP2007090060A (ja) 生体内病理検出のために解剖学的対象物の空間的寸法を決定するための装置、システム、および方法
US10140687B1 (en) Real time wide angle video camera system with distortion correction
CN113347410B (zh) 一种利用陀螺仪辅助人眼追踪的3d显示方法及装置
US20210176452A1 (en) Head-mounted display having an image sensor array
WO2017038428A1 (ja) 固体撮像素子および電子機器
JPS6051378A (ja) 固体撮像装置用画像欠陥補正装置
JPH03295574A (ja) 動作診断装置
JP3151031U (ja) ゴルフ練習におけるインパクトの瞬間を捉えるカメラシステム
US8502904B2 (en) Digital photographic apparatus and method for controlling the same that provide vision correction

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090608

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4329869

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120626

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130626

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250