JP4293339B2 - 法線ベクトルの取得システム、法線ベクトルの取得方法、および、法線ベクトルを用いた認証方法 - Google Patents
法線ベクトルの取得システム、法線ベクトルの取得方法、および、法線ベクトルを用いた認証方法 Download PDFInfo
- Publication number
- JP4293339B2 JP4293339B2 JP2002379502A JP2002379502A JP4293339B2 JP 4293339 B2 JP4293339 B2 JP 4293339B2 JP 2002379502 A JP2002379502 A JP 2002379502A JP 2002379502 A JP2002379502 A JP 2002379502A JP 4293339 B2 JP4293339 B2 JP 4293339B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- normal vector
- intensity
- signals
- light emitting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、主に、法線ベクトルの取得システム、法線ベクトルの取得方法に関するものである。
【０００２】
【発明の背景】
対象物表面の法線ベクトルを取得する方法としては、photometric-stereo法が知られている（下記非特許文献１および２）。
【０００３】
しかしながら、この技術においては、対象物が静止しかつ外乱光がない状態で、少なくとも３枚の画像を取得する必要がある。このため、照明光が変動する中で、動きのある対象物について、リアルタイムで法線ベクトルを取得することは難しい。また、この技術では、対象物表面の分光反射率が既知であり、かつ、全表面において均一でなければならないという制約条件がある。
【０００４】
【従来の技術】
【非特許文献１】
R. J. Woodham, "Photometric method for determining surface orientation from multiple images," Optical Engineering, Vol. 19, No. 1, 1980.
【非特許文献２】
R. J. Woodham, "Gradient and curvature from the photometric-stereo method, including local confidence estimation," J. Opt. Soc. Am. A, Vol.11, No.11, 1994.
【０００５】
【発明が解決しようとする課題】
本発明は、前記の事情に鑑みてなされたものである。本発明の目的は、前記した問題を解消しうる法線ベクトルの取得方法およびシステムを提供することである。本発明の他の目的は、この方法により得られた法線ベクトルを用いた認証方法および立体生成方法を提供することである。
【０００６】
【課題を解決するための手段】
本発明の法線ベクトルの取得システムは、光源と、センサ部と、解析部とを備えている。前記光源は、第１〜第３発光部を備えている。前記第１〜第３発光部は、それぞれ、対象物に対して光を発するものである。前記第１〜第３発光部から発せられる光は、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調されている。さらに、前記第１〜第３発光部は、正三角形の頂点となる位置に配置されている。前記センサ部は、前記対象物によって反射された前記光を受光し、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する構成となっている。前記参照信号は、互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされている。前記解析部は、前記第１〜第３相関信号を用いて法線ベクトル情報を生成するものである。
【０００７】
前記相関信号を下記式に従って算出することができる。
ただし、ｆｋ（ｔ）：第ｋ（ｋは１、２、３のいずれか）の相関信号、ｔ、τ：時間、Ｔ：単位時間、ｖｋ：第ｋ（ｋは１、２、３のいずれか）の参照信号、Ｉ（τ）：受光した光の強度信号である。
【０００８】
前記センサ部における前記光の受光を、各画素において行うことができる。
【０００９】
本発明の法線ベクトルの取得システムは、次の構成であってもよい。すなわち、光源と、センサ部と、解析部とを備え、前記光源は、第１〜第３発光部を備えており、前記第１〜第３発光部は、それぞれ、対象物に対して光を発するものであり、前記第１〜第３発光部から発せられる光の強度変調は、下記条件を満たしており、さらに、前記第１〜第３発光部は、正三角形の頂点となる位置に配置されており、前記センサ部は、前記対象物によって反射された前記光を受光し、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する構成となっており、前記参照信号は、下記条件を満たしており、前記解析部は、前記第１〜第３相関信号を用いて法線ベクトル情報を生成するものである。
（条件）
ここで、ｈｍ（ｔ）（ｍは１，２，３のいずれか）は、第ｍ（ｍは１，２，３のいずれか）発光部からの光の強度信号、ｔは時間、ｆ（ｔ）およびｇ（ｔ）は、互いにパワーがほぼ等しくかつ直交する任意の二つの強度信号である。
【００１０】
本発明の法線ベクトルの取得方法は、次のステップを備えている。
（１）正三角形の頂点となる３点から、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調された光を、対象物に対して、それぞれ発するステップ、
（２）互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされた第１〜第３の参照信号を生成するステップ、
（３）前記対象物によって反射された前記光を受光し、受光した光の強度信号と前記第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成するステップ、
（４）前記第１〜第３相関信号を用いて法線ベクトル情報を生成するステップ。
【００１１】
本発明の法線ベクトルの取得方法は、次のステップを備える構成であってもよい。
（１）正三角形の頂点となる３点から、下記条件を満たす光を、対象物に対して、それぞれ発するステップ、
（２）前記対象物によって反射された前記光を受光し、受光した光の強度信号と下記条件を満たす第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成するステップ、
（３）前記第１〜第３相関信号を用いて法線ベクトル情報を生成するステップ。
（条件）
ここで、ｈｍ（ｔ）（ｍは１，２，３のいずれか）は、第ｍ（ｍは１，２，３のいずれか）発光部からの光の強度信号、ｔは時間、ｆ（ｔ）およびｇ（ｔ）は、互いにパワーがほぼ等しくかつ直交する任意の二つの強度信号である。
【００１４】
【発明の実施の形態】
本発明の一実施形態に係る法線ベクトルの取得システムを以下に説明する。このシステムは、光源１と、センサ部２と、解析部３とを主な要素として備えている（図１参照）。
【００１５】
光源１は、第１発光部１１と、第２発光部１２と、第３発光部１３と、駆動部１４と、発振器１５とを備えている。第１〜第３発光部１１〜１３は、それぞれ、対象物５に対して光を発するものである。第１〜第３発光部１１〜１３から発せられる光は、互いに同じ周波数ωでかつ２／３πずつ位相が異なる正弦波状に強度変調されている。さらに、第１〜第３発光部１１〜１３は、正三角形の頂点となる位置に配置されている。したがって、各発光部１１〜１３の位置とそれぞれの発光強度は、図２のように座標系を取ると、下記表１のようになる。
【表１】
表１においてｓ１、ｓ２、ｓ３は、第１〜第３発光部１１〜１３に対応している。図２には、対象物５の一部も模式的に記載されている。
【００１６】
第１〜第３発光部１１〜１３は、任意のＬＥＤを用いることにより容易に構成できる。駆動部１４は、第１〜第３の発光部１１〜１３に、発振器１５で生成された信号に従って、それぞれ駆動電流を供給するものである。発振器１５は、所定の周波数ωおよび位相（例えば初期位相がそれぞれ０、２／３π、４／３π）の三つの正弦波状信号を駆動部１４に送るようになっている。
【００１７】
センサ部２は、対象物５によって反射された、前記光源１からの光を受光するものである。センサ部２の動作を説明するための単純化した回路図を図３に示す。実際には、各画素についてこの回路が配置されている。センサ部２には、参照信号ｖｋ（ｔ）（ｋは１，２，３のいずれか）がそれぞれのトランジスタに供給されている。センサ部２は、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号Ｖｏｕｔｋ（ｋは１，２，３のいずれか）を生成して、解析部３に出力する構成となっている。参照信号は、互いに同じ周波数ωでかつ２／３πずつ位相が互いに異なる正弦波状とされている。本実施形態では、発振器１５から参照信号を取得している（図１参照）。したがって、参照信号と発光部１１〜１３からの光の強度信号とは、同じ周波数ωとなっている。ある画素（ｉ，ｊ）におけるｋ番目の相関信号は、下記式で表すことができる。
ただし、ｆｉ，ｊ，ｋ（ｔ）：第ｋ（ｋは１、２、３のいずれか）の相関信号、ｔ、τ：時間、Ｔ：単位時間、ｖｋ：第ｋ（ｋは１、２、３のいずれか）の参照信号、Ｉｉ，ｊ（τ）：受光した光の強度信号である。
【００１８】
解析部３は、ＡＤコンバータ３１とコンピュータ３２とを備えている（図１参照）。ＡＤコンバータ３１は、センサ部２で生成されたアナログの相関信号をデジタル化してコンピュータ３２に送るものである。コンピュータ３２は、センサ部２によって得られた第１〜第３相関信号を用いて法線ベクトル情報を生成するもので、そのために必要なソフトウエアおよびハードウエアを備えている。原理的には、法線ベクトルの角度は、対象物５からの反射光の位相と強度とに符号化される。したがって、反射光を解析することにより、法線ベクトルの角度情報を得ることができる。詳しい解析動作は後述する。
【００１９】
つぎに、本実施形態のシステムの動作、および、このシステムを用いた法線ベクトルの取得方法を説明する。
まず、第１〜第３発光部１１〜１３（つまり正三角形の頂点となる３点）から、対象物５に対して、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調された光をそれぞれ発する。このとき、発光部１１〜１３の位置と発光強度は、前記した表１の通りとなる。すると、このとき、三つの光の方向に対応した単位ベクトルｌｋ（ｋ＝１，２，３）は以下のように表せる。
【００２０】
対象物の表面を
のように表せるなら、対象物表面の法線ベクトルｎは以下のようになる。
ただし、ここで、
である。
【００２１】
対象物表面は等方反射（Lambertian reflectance）であると仮定する。さらに、対象物が座標系の原点近傍にあると仮定することにより、三つの光の方向が同じであると仮定する。すると、物体表面（ｘ，ｙ）における明るさＩ（ｘ，ｙ，ｔ）は以下のように表せる。
ここで、記号Ｒは、位置（ｘ，ｙ）における反射率を示している。また、ｔａｎφ＝Ｌ／Ｈである。したがって、原理的には、法線ベクトルの方位角（azimuth angle）を第２項の位相ψから、仰角（zenith angle）を第１項および第２項の振幅から得ることができる。
【００２２】
一方、センサ部２においては、前記したとおり、互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされた第１〜第３の参照信号ｖｋ（ｔ）（ｋ＝１，２，３）を生成しておく。本実施形態では、参照信号は、前記したとおり、発振器１５から取得している。このように、この明細書において、参照信号の生成とは、そのためだけに生成する場合以外にも、予め発生されている信号を利用する場合を含むものとする。
【００２３】
ついで、センサ部２は、対象物５によって反射された、光源１からの光を、各画素において受光する。センサ部２は、さらに、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する。各画素における第１〜第３相関信号Ｖｏｕｔｋ（ｋ＝１，２，３）は、以下のようになる。
ここで用いた記号の意味は前記式（１）と同様である。ただし、Ｔは、具体的には、１フレーム時間を示している。各画素における時間で変化する光強度Ｉ（ｔ）を次のように表すことができる。
【００２４】
つぎに、前記のようにしてセンサ部２から出力された第１〜第３相関信号を、ＡＤコンバータ３１によりデジタル化し、コンピュータ３２に送る。コンピュータ３２では、次の原理に従い、法線ベクトル情報を生成する。
【００２５】
まず、相関出力ｇｋ（ｋは１，２，３のいずれか）は、以下のように表せる。
ここでは、定常強度（stationary intensity）Ｅは除外されている。また、ξｋ（ｋは１，２，３のいずれか）は、残存ノイズを表している。残存ノイズの影響を最小化するために、最小自乗法を用いる。すなわち、まず、
と置く。このＪをＦおよびψで偏微分し、それを零とすることによって、前記（９）式における位相ψ、振幅Ｆおよび定常強度Ｅを、以下のように得ることができる。
【００２６】
前記（６）式および（８）式により、法線ベクトルの方位角Φと仰角Θとを以下のように得ることができる。
したがって、本実施形態のシステムにより、法線ベクトルの情報を取得することができる。
【００２７】
仮に背景光Ｉ０（ｔ）が存在するとすれば、背景光の強度変調周波数は、参照信号とは異なる。この場合、法線ベクトルは次の原理により計算される。まず、対象物５による反射光の強度は、次のように表せる。
【００２８】
この（１６）式におけるＥ１は、背景光の影響を受けているので、（１５）式におけるＥとして用いることができない。そこで、この実施形態では、同位相の正弦波で強度変調した光を光源１からさらに発する。この場合の、対象物５による反射光の強度は、次のように表せる。
【００２９】
前記の式（１６）と式（１７）とから、方位角Φと仰角Θとを下記のように計算できる。
【００３０】
したがって、この実施形態によれば、時間変化する背景光があっても、それと参照信号との間に相関がなければ、法線ベクトルを精度良く取得できるという利点がある。ここで、本実施形態では、（１６）式におけるＦ１と（１７）式におけるＦ２とを取得するために、２フレーム分の画像取得が必要になる。しかしながら、前記した従来法では、時間変化する背景光の影響を除去することができない。また、従来法では、定常の背景光であれば影響除去も可能であるが、４フレーム分の画像を取得する必要がある。この実施形態では、２フレーム分の画像取得だけによって、時間変化する背景光の影響をも除去できるという利点がある。
【００３１】
本実施形態に従って取得した法線ベクトル情報を認証情報として用いることもできる。この場合、写真と実物とでは、法線ベクトル情報が全く異なるので、なりすましに強い認証を行うことができる。認証に用いる対象物としては、例えば顔全体や特定の部分（例えば耳）を用いることができる。耳の形状は、個人による差が大きいので、認証に適切である。また、この認証方法では、対象者への負担が少なく、しかも高速での処理が可能であるという利点もある。
【００３２】
さらに、本実施形態に従って取得した法線ベクトル情報を用いて、立体を生成することもできる。法線ベクトルは、ある領域における傾斜情報であることから、この傾斜をつなぎ合わせることで、立体を得ることができる。
【００３３】
なお、前記した実施形態では、第１〜第３発光部１１〜１３から、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調された光を発するものとした。しかしながら、これらの光は、必ずしも正弦波状に強度変調されている必要はなく、以下の条件を満たす三相信号であればよい。
（条件）
【００３４】
ここで、これらのｈｍ（ｔ）（ｍは１，２，３のいずれか）は、第ｍ（ｍは１，２，３のいずれか）発光部からの光の強度信号、ｔは時間、ｆ（ｔ）およびｇ（ｔ）は、互いに直交する任意の二つの強度信号である。ｆ（ｔ）とｇ（ｔ）とは、互いにパワーが等しいことが、得られる法線ベクトル情報の精度を上げるためには好ましい。両者のパワーをどの程度等しくするかは、目標とする精度に応じて設定できる事項である。この場合、参照信号も、前記条件を満たす必要がある。
【００３５】
前記した実施形態は、前記の条件において、
とした例に相当する。ここでωは角周波数である。
【００３６】
この場合は、前記したｈｍは、
と表せる。これは、前記実施形態における光の三相信号と等価である。
【００３７】
【実験例】
（実験例１）
前記実施形態の方法により、一辺５２ｍｍの立方体の法線ベクトルを取得した。結果を図４に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。立方体の同じ面におけるベクトルの方位角および仰角は同じになっている。なお、強度画像とは、反射光の強度差を濃淡に置き換えて表した画像であり、位相画像とは、反射光の時間変調成分の振幅差および位相差を濃淡に置き換えて表した画像である。
【００３８】
（実験例２）
前記実施形態の方法により、直径４５ｍｍの球体の法線ベクトルを取得した。結果を図５に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。球の中心から外側に進むにつれてベクトルの長さが長くなっている。これにより、球体の法線ベクトル情報をほぼ取得できていることが判る。
【００３９】
（実験例３）
前記実施形態の方法により、人間の顔の法線ベクトルを取得した。結果を図６に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。顔のように複雑な凹凸のある形状であっても、法線ベクトル情報をほぼ取得できていることが判る。
【００４０】
（実験例４）
前記実施形態の方法により、表面反射率の異なる直方体の法線ベクトルを取得した。結果を図７に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。同図（ａ）にある通り、表面に明部と暗部とがある。同図（ｃ）にある通り、このように表面反射率の異なる形状であっても、法線ベクトル情報をほぼ取得できていることが判る。
【００４１】
（実験例５）
前記実施形態の方法により、背景光がある場合に、球体の法線ベクトルを取得した。図８（ａ）は入射光（三つの光の混合光）の強度、同図（ｂ）は背景光強度、同図（ｃ）はある位置での反射光強度である。背景光の周波数は、入射光とは明らかに異なっている。この条件下で法線ベクトルを取得した。その結果を図９に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。同図（ｃ）にある通り、このように背景光が存在する状況であっても、法線ベクトル情報をほぼ取得できていることが判る。
【００４２】
（実験例６）
前記実施形態の方法により、球体の法線ベクトルを取得し、さらに、その法線ベクトル情報を用いて、球の立体形状を再現した。その結果を図１０に示す。球の形状がほぼ再現されていることが判る。
【００４３】
（実験例７）
前記実施形態の方法により、人間の顔の法線ベクトルを取得し、さらに、その法線ベクトル情報を用いて、顔の立体形状を再現した。その結果を図１１に示す。顔の形状がほぼ再現されていることが判る。
【００４４】
なお、前記実施形態および実施例の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
【００４５】
たとえば、前記した各実施形態における構成要素は、機能要素として存在していればよく、装置または部品としては、他の要素と統合されていてもよく、また、複数の部品によって一つの要素が実現されていてもよい。さらに機能要素の実現方法としては、ハードウエアを用いても、コンピュータソフトウエアを用いてもよい。
【００４６】
【発明の効果】
本発明の法線ベクトル取得システムおよび取得方法によれば、対象物表面の分光反射率が未知であっても、法線ベクトルの取得が可能となる。さらに、不均一な分光反射率を有する対象物においても、法線ベクトルの取得が可能である。さらに、適切なセンサを用いれば、法線ベクトルをリアルタイムで取得することも可能である。また、得られた法線ベクトルを用いることにより、認証や立体生成も可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る法線ベクトル取得システムの概略的な構成を示す説明図である。
【図２】第１〜第３発光部の配置関係と座標の取り方を説明するための説明図である。
【図３】センサ部の動作を説明するための説明図である。
【図４】実験例１の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図５】実験例２の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図６】実験例３の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図７】実験例４の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図８】実験例５の実験条件を説明する図であって、図（ａ）は入射光（三つの光の混合光）の強度、図（ｂ）は背景光強度、図（ｃ）はある位置での反射光強度を示すグラフである。各グラフにおいて横軸は時間、縦軸は強度を示している。
【図９】実験例５の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図１０】実験例６の実験結果を示す図である。
【図１１】実験例７の実験結果を示す図である。
【符号の説明】
１ 光源
１１ 第１発光部
１２ 第２発光部
１３ 第３発光部
１４ 駆動部
１５ 発振器
２ センサ部
３ 解析部
３１ ＡＤコンバータ
３２ コンピュータ
５ 対象物
【発明の属する技術分野】
本発明は、主に、法線ベクトルの取得システム、法線ベクトルの取得方法に関するものである。
【０００２】
【発明の背景】
対象物表面の法線ベクトルを取得する方法としては、photometric-stereo法が知られている（下記非特許文献１および２）。
【０００３】
しかしながら、この技術においては、対象物が静止しかつ外乱光がない状態で、少なくとも３枚の画像を取得する必要がある。このため、照明光が変動する中で、動きのある対象物について、リアルタイムで法線ベクトルを取得することは難しい。また、この技術では、対象物表面の分光反射率が既知であり、かつ、全表面において均一でなければならないという制約条件がある。
【０００４】
【従来の技術】
【非特許文献１】
R. J. Woodham, "Photometric method for determining surface orientation from multiple images," Optical Engineering, Vol. 19, No. 1, 1980.
【非特許文献２】
R. J. Woodham, "Gradient and curvature from the photometric-stereo method, including local confidence estimation," J. Opt. Soc. Am. A, Vol.11, No.11, 1994.
【０００５】
【発明が解決しようとする課題】
本発明は、前記の事情に鑑みてなされたものである。本発明の目的は、前記した問題を解消しうる法線ベクトルの取得方法およびシステムを提供することである。本発明の他の目的は、この方法により得られた法線ベクトルを用いた認証方法および立体生成方法を提供することである。
【０００６】
【課題を解決するための手段】
本発明の法線ベクトルの取得システムは、光源と、センサ部と、解析部とを備えている。前記光源は、第１〜第３発光部を備えている。前記第１〜第３発光部は、それぞれ、対象物に対して光を発するものである。前記第１〜第３発光部から発せられる光は、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調されている。さらに、前記第１〜第３発光部は、正三角形の頂点となる位置に配置されている。前記センサ部は、前記対象物によって反射された前記光を受光し、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する構成となっている。前記参照信号は、互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされている。前記解析部は、前記第１〜第３相関信号を用いて法線ベクトル情報を生成するものである。
【０００７】
前記相関信号を下記式に従って算出することができる。
【０００８】
前記センサ部における前記光の受光を、各画素において行うことができる。
【０００９】
本発明の法線ベクトルの取得システムは、次の構成であってもよい。すなわち、光源と、センサ部と、解析部とを備え、前記光源は、第１〜第３発光部を備えており、前記第１〜第３発光部は、それぞれ、対象物に対して光を発するものであり、前記第１〜第３発光部から発せられる光の強度変調は、下記条件を満たしており、さらに、前記第１〜第３発光部は、正三角形の頂点となる位置に配置されており、前記センサ部は、前記対象物によって反射された前記光を受光し、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する構成となっており、前記参照信号は、下記条件を満たしており、前記解析部は、前記第１〜第３相関信号を用いて法線ベクトル情報を生成するものである。
（条件）
【００１０】
本発明の法線ベクトルの取得方法は、次のステップを備えている。
（１）正三角形の頂点となる３点から、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調された光を、対象物に対して、それぞれ発するステップ、
（２）互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされた第１〜第３の参照信号を生成するステップ、
（３）前記対象物によって反射された前記光を受光し、受光した光の強度信号と前記第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成するステップ、
（４）前記第１〜第３相関信号を用いて法線ベクトル情報を生成するステップ。
【００１１】
本発明の法線ベクトルの取得方法は、次のステップを備える構成であってもよい。
（１）正三角形の頂点となる３点から、下記条件を満たす光を、対象物に対して、それぞれ発するステップ、
（２）前記対象物によって反射された前記光を受光し、受光した光の強度信号と下記条件を満たす第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成するステップ、
（３）前記第１〜第３相関信号を用いて法線ベクトル情報を生成するステップ。
（条件）
【００１４】
【発明の実施の形態】
本発明の一実施形態に係る法線ベクトルの取得システムを以下に説明する。このシステムは、光源１と、センサ部２と、解析部３とを主な要素として備えている（図１参照）。
【００１５】
光源１は、第１発光部１１と、第２発光部１２と、第３発光部１３と、駆動部１４と、発振器１５とを備えている。第１〜第３発光部１１〜１３は、それぞれ、対象物５に対して光を発するものである。第１〜第３発光部１１〜１３から発せられる光は、互いに同じ周波数ωでかつ２／３πずつ位相が異なる正弦波状に強度変調されている。さらに、第１〜第３発光部１１〜１３は、正三角形の頂点となる位置に配置されている。したがって、各発光部１１〜１３の位置とそれぞれの発光強度は、図２のように座標系を取ると、下記表１のようになる。
【表１】
【００１６】
第１〜第３発光部１１〜１３は、任意のＬＥＤを用いることにより容易に構成できる。駆動部１４は、第１〜第３の発光部１１〜１３に、発振器１５で生成された信号に従って、それぞれ駆動電流を供給するものである。発振器１５は、所定の周波数ωおよび位相（例えば初期位相がそれぞれ０、２／３π、４／３π）の三つの正弦波状信号を駆動部１４に送るようになっている。
【００１７】
センサ部２は、対象物５によって反射された、前記光源１からの光を受光するものである。センサ部２の動作を説明するための単純化した回路図を図３に示す。実際には、各画素についてこの回路が配置されている。センサ部２には、参照信号ｖｋ（ｔ）（ｋは１，２，３のいずれか）がそれぞれのトランジスタに供給されている。センサ部２は、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号Ｖｏｕｔｋ（ｋは１，２，３のいずれか）を生成して、解析部３に出力する構成となっている。参照信号は、互いに同じ周波数ωでかつ２／３πずつ位相が互いに異なる正弦波状とされている。本実施形態では、発振器１５から参照信号を取得している（図１参照）。したがって、参照信号と発光部１１〜１３からの光の強度信号とは、同じ周波数ωとなっている。ある画素（ｉ，ｊ）におけるｋ番目の相関信号は、下記式で表すことができる。
【００１８】
解析部３は、ＡＤコンバータ３１とコンピュータ３２とを備えている（図１参照）。ＡＤコンバータ３１は、センサ部２で生成されたアナログの相関信号をデジタル化してコンピュータ３２に送るものである。コンピュータ３２は、センサ部２によって得られた第１〜第３相関信号を用いて法線ベクトル情報を生成するもので、そのために必要なソフトウエアおよびハードウエアを備えている。原理的には、法線ベクトルの角度は、対象物５からの反射光の位相と強度とに符号化される。したがって、反射光を解析することにより、法線ベクトルの角度情報を得ることができる。詳しい解析動作は後述する。
【００１９】
つぎに、本実施形態のシステムの動作、および、このシステムを用いた法線ベクトルの取得方法を説明する。
まず、第１〜第３発光部１１〜１３（つまり正三角形の頂点となる３点）から、対象物５に対して、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調された光をそれぞれ発する。このとき、発光部１１〜１３の位置と発光強度は、前記した表１の通りとなる。すると、このとき、三つの光の方向に対応した単位ベクトルｌｋ（ｋ＝１，２，３）は以下のように表せる。
対象物の表面を
【００２１】
対象物表面は等方反射（Lambertian reflectance）であると仮定する。さらに、対象物が座標系の原点近傍にあると仮定することにより、三つの光の方向が同じであると仮定する。すると、物体表面（ｘ，ｙ）における明るさＩ（ｘ，ｙ，ｔ）は以下のように表せる。
【００２２】
一方、センサ部２においては、前記したとおり、互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされた第１〜第３の参照信号ｖｋ（ｔ）（ｋ＝１，２，３）を生成しておく。本実施形態では、参照信号は、前記したとおり、発振器１５から取得している。このように、この明細書において、参照信号の生成とは、そのためだけに生成する場合以外にも、予め発生されている信号を利用する場合を含むものとする。
【００２３】
ついで、センサ部２は、対象物５によって反射された、光源１からの光を、各画素において受光する。センサ部２は、さらに、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する。各画素における第１〜第３相関信号Ｖｏｕｔｋ（ｋ＝１，２，３）は、以下のようになる。
つぎに、前記のようにしてセンサ部２から出力された第１〜第３相関信号を、ＡＤコンバータ３１によりデジタル化し、コンピュータ３２に送る。コンピュータ３２では、次の原理に従い、法線ベクトル情報を生成する。
【００２５】
まず、相関出力ｇｋ（ｋは１，２，３のいずれか）は、以下のように表せる。
前記（６）式および（８）式により、法線ベクトルの方位角Φと仰角Θとを以下のように得ることができる。
【００２７】
仮に背景光Ｉ０（ｔ）が存在するとすれば、背景光の強度変調周波数は、参照信号とは異なる。この場合、法線ベクトルは次の原理により計算される。まず、対象物５による反射光の強度は、次のように表せる。
この（１６）式におけるＥ１は、背景光の影響を受けているので、（１５）式におけるＥとして用いることができない。そこで、この実施形態では、同位相の正弦波で強度変調した光を光源１からさらに発する。この場合の、対象物５による反射光の強度は、次のように表せる。
前記の式（１６）と式（１７）とから、方位角Φと仰角Θとを下記のように計算できる。
したがって、この実施形態によれば、時間変化する背景光があっても、それと参照信号との間に相関がなければ、法線ベクトルを精度良く取得できるという利点がある。ここで、本実施形態では、（１６）式におけるＦ１と（１７）式におけるＦ２とを取得するために、２フレーム分の画像取得が必要になる。しかしながら、前記した従来法では、時間変化する背景光の影響を除去することができない。また、従来法では、定常の背景光であれば影響除去も可能であるが、４フレーム分の画像を取得する必要がある。この実施形態では、２フレーム分の画像取得だけによって、時間変化する背景光の影響をも除去できるという利点がある。
【００３１】
本実施形態に従って取得した法線ベクトル情報を認証情報として用いることもできる。この場合、写真と実物とでは、法線ベクトル情報が全く異なるので、なりすましに強い認証を行うことができる。認証に用いる対象物としては、例えば顔全体や特定の部分（例えば耳）を用いることができる。耳の形状は、個人による差が大きいので、認証に適切である。また、この認証方法では、対象者への負担が少なく、しかも高速での処理が可能であるという利点もある。
【００３２】
さらに、本実施形態に従って取得した法線ベクトル情報を用いて、立体を生成することもできる。法線ベクトルは、ある領域における傾斜情報であることから、この傾斜をつなぎ合わせることで、立体を得ることができる。
【００３３】
なお、前記した実施形態では、第１〜第３発光部１１〜１３から、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調された光を発するものとした。しかしながら、これらの光は、必ずしも正弦波状に強度変調されている必要はなく、以下の条件を満たす三相信号であればよい。
（条件）
ここで、これらのｈｍ（ｔ）（ｍは１，２，３のいずれか）は、第ｍ（ｍは１，２，３のいずれか）発光部からの光の強度信号、ｔは時間、ｆ（ｔ）およびｇ（ｔ）は、互いに直交する任意の二つの強度信号である。ｆ（ｔ）とｇ（ｔ）とは、互いにパワーが等しいことが、得られる法線ベクトル情報の精度を上げるためには好ましい。両者のパワーをどの程度等しくするかは、目標とする精度に応じて設定できる事項である。この場合、参照信号も、前記条件を満たす必要がある。
【００３５】
前記した実施形態は、前記の条件において、
【００３６】
この場合は、前記したｈｍは、
【００３７】
【実験例】
（実験例１）
前記実施形態の方法により、一辺５２ｍｍの立方体の法線ベクトルを取得した。結果を図４に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。立方体の同じ面におけるベクトルの方位角および仰角は同じになっている。なお、強度画像とは、反射光の強度差を濃淡に置き換えて表した画像であり、位相画像とは、反射光の時間変調成分の振幅差および位相差を濃淡に置き換えて表した画像である。
【００３８】
（実験例２）
前記実施形態の方法により、直径４５ｍｍの球体の法線ベクトルを取得した。結果を図５に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。球の中心から外側に進むにつれてベクトルの長さが長くなっている。これにより、球体の法線ベクトル情報をほぼ取得できていることが判る。
【００３９】
（実験例３）
前記実施形態の方法により、人間の顔の法線ベクトルを取得した。結果を図６に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。顔のように複雑な凹凸のある形状であっても、法線ベクトル情報をほぼ取得できていることが判る。
【００４０】
（実験例４）
前記実施形態の方法により、表面反射率の異なる直方体の法線ベクトルを取得した。結果を図７に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。同図（ａ）にある通り、表面に明部と暗部とがある。同図（ｃ）にある通り、このように表面反射率の異なる形状であっても、法線ベクトル情報をほぼ取得できていることが判る。
【００４１】
（実験例５）
前記実施形態の方法により、背景光がある場合に、球体の法線ベクトルを取得した。図８（ａ）は入射光（三つの光の混合光）の強度、同図（ｂ）は背景光強度、同図（ｃ）はある位置での反射光強度である。背景光の周波数は、入射光とは明らかに異なっている。この条件下で法線ベクトルを取得した。その結果を図９に示す。同図（ａ）は強度画像、同図（ｂ）は位相画像、同図（ｃ）は法線ベクトル図である。同図（ｃ）にある通り、このように背景光が存在する状況であっても、法線ベクトル情報をほぼ取得できていることが判る。
【００４２】
（実験例６）
前記実施形態の方法により、球体の法線ベクトルを取得し、さらに、その法線ベクトル情報を用いて、球の立体形状を再現した。その結果を図１０に示す。球の形状がほぼ再現されていることが判る。
【００４３】
（実験例７）
前記実施形態の方法により、人間の顔の法線ベクトルを取得し、さらに、その法線ベクトル情報を用いて、顔の立体形状を再現した。その結果を図１１に示す。顔の形状がほぼ再現されていることが判る。
【００４４】
なお、前記実施形態および実施例の記載は単なる一例に過ぎず、本発明に必須の構成を示したものではない。各部の構成は、本発明の趣旨を達成できるものであれば、上記に限らない。
【００４５】
たとえば、前記した各実施形態における構成要素は、機能要素として存在していればよく、装置または部品としては、他の要素と統合されていてもよく、また、複数の部品によって一つの要素が実現されていてもよい。さらに機能要素の実現方法としては、ハードウエアを用いても、コンピュータソフトウエアを用いてもよい。
【００４６】
【発明の効果】
本発明の法線ベクトル取得システムおよび取得方法によれば、対象物表面の分光反射率が未知であっても、法線ベクトルの取得が可能となる。さらに、不均一な分光反射率を有する対象物においても、法線ベクトルの取得が可能である。さらに、適切なセンサを用いれば、法線ベクトルをリアルタイムで取得することも可能である。また、得られた法線ベクトルを用いることにより、認証や立体生成も可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る法線ベクトル取得システムの概略的な構成を示す説明図である。
【図２】第１〜第３発光部の配置関係と座標の取り方を説明するための説明図である。
【図３】センサ部の動作を説明するための説明図である。
【図４】実験例１の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図５】実験例２の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図６】実験例３の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図７】実験例４の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図８】実験例５の実験条件を説明する図であって、図（ａ）は入射光（三つの光の混合光）の強度、図（ｂ）は背景光強度、図（ｃ）はある位置での反射光強度を示すグラフである。各グラフにおいて横軸は時間、縦軸は強度を示している。
【図９】実験例５の実験結果を示す図であって、図（ａ）は強度画像、図（ｂ）は位相画像、図（ｃ）は法線ベクトル図である。
【図１０】実験例６の実験結果を示す図である。
【図１１】実験例７の実験結果を示す図である。
【符号の説明】
１ 光源
１１ 第１発光部
１２ 第２発光部
１３ 第３発光部
１４ 駆動部
１５ 発振器
２ センサ部
３ 解析部
３１ ＡＤコンバータ
３２ コンピュータ
５ 対象物
Claims (6)
- 光源と、センサ部と、解析部とを備え、
前記光源は、第１〜第３発光部を備えており、前記第１〜第３発光部は、それぞれ、対象物に対して光を発するものであり、前記第１〜第３発光部から発せられる光は、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調されており、さらに、前記第１〜第３発光部は、正三角形の頂点となる位置に配置されており、
前記センサ部は、前記対象物によって反射された前記光を受光し、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する構成となっており、前記参照信号は、互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされており、
前記解析部は、前記第１〜第３相関信号を用いて法線ベクトル情報を生成するものである
ことを特徴とする法線ベクトルの取得システム。 - 前記相関信号は、下記式に従って算出されることを特徴とする請求項１記載の法線ベクトルの取得システム。
ただし、ｆｋ（ｔ）：第ｋ（ｋは１、２、３のいずれか）の相関信号、ｔ、τ：時間、Ｔ：単位時間、ｖｋ：第ｋ（ｋは１、２、３のいずれか）の参照信号、Ｉ（τ）：受光した光の強度信号である。 - 前記センサ部における前記光の受光は、各画素において行われることを特徴とする請求項１又は２に記載の法線ベクトルの取得システム。
- 光源と、センサ部と、解析部とを備え、
前記光源は、第１〜第３発光部を備えており、前記第１〜第３発光部は、それぞれ、対象物に対して光を発するものであり、前記第１〜第３発光部から発せられる光の強度変調は、下記条件を満たしており、さらに、前記第１〜第３発光部は、正三角形の頂点となる位置に配置されており、
前記センサ部は、前記対象物によって反射された前記光を受光し、受光した光の強度信号と第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成する構成となっており、前記参照信号は、下記条件を満たしており、
前記解析部は、前記第１〜第３相関信号を用いて法線ベクトル情報を生成するものである
ことを特徴とする法線ベクトルの取得システム。
（条件）
ここで、ｈｍ（ｔ）（ｍは１，２，３のいずれか）は、第ｍ（ｍは１，２，３のいずれか）発光部からの光の強度信号、ｔは時間、ｆ（ｔ）およびｇ（ｔ）は、互いにパワーがほぼ等しくかつ直交する任意の二つの強度信号である。 - 次のステップを備える法線ベクトルの取得方法：
（１）正三角形の頂点となる３点から、互いに同じ周波数でかつ２／３πずつ位相が異なる正弦波状に強度変調された光を、対象物に対して、それぞれ発するステップ；
（２）互いに同じ周波数でかつ２／３πずつ位相が互いに異なる正弦波状とされた第１〜第３の参照信号を生成するステップ；
（３）前記対象物によって反射された前記光を受光し、受光した光の強度信号と前記第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成するステップ；
（４）前記第１〜第３相関信号を用いて法線ベクトル情報を生成するステップ。 - 次のステップを備える法線ベクトルの取得方法：
（１）正三角形の頂点となる３点から、下記条件を満たす光を、対象物に対して、それぞれ発するステップ；
（２）前記対象物によって反射された前記光を受光し、受光した光の強度信号と下記条件を満たす第１〜第３参照信号とのそれぞれの時間相関による第１〜第３相関信号を生成するステップ；
（３）前記第１〜第３相関信号を用いて法線ベクトル情報を生成するステップ。
（条件）
ここで、ｈｍ（ｔ）（ｍは１，２，３のいずれか）は、第ｍ（ｍは１，２，３のいずれか）発光部からの光の強度信号、ｔは時間、ｆ（ｔ）およびｇ（ｔ）は、互いにパワーがほぼ等しくかつ直交する任意の二つの強度信号である。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002379502A JP4293339B2 (ja) | 2002-12-27 | 2002-12-27 | 法線ベクトルの取得システム、法線ベクトルの取得方法、および、法線ベクトルを用いた認証方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002379502A JP4293339B2 (ja) | 2002-12-27 | 2002-12-27 | 法線ベクトルの取得システム、法線ベクトルの取得方法、および、法線ベクトルを用いた認証方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004213159A JP2004213159A (ja) | 2004-07-29 |
| JP4293339B2 true JP4293339B2 (ja) | 2009-07-08 |
Family
ID=32815990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002379502A Expired - Lifetime JP4293339B2 (ja) | 2002-12-27 | 2002-12-27 | 法線ベクトルの取得システム、法線ベクトルの取得方法、および、法線ベクトルを用いた認証方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4293339B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4543903B2 (ja) * | 2004-11-30 | 2010-09-15 | パナソニック電工株式会社 | 画像処理装置 |
| JP5007069B2 (ja) * | 2006-05-15 | 2012-08-22 | 繁 安藤 | 移動体情報取得装置 |
| GB2464453B8 (en) * | 2008-10-10 | 2016-09-14 | Toshiba Res Europ Ltd | An imaging system and method |
-
2002
- 2002-12-27 JP JP2002379502A patent/JP4293339B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004213159A (ja) | 2004-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3664039B1 (en) | Method for acquiring three-dimensional object by using artificial lighting photograph and device thereof | |
| US8648907B2 (en) | Image processing apparatus | |
| US20170023780A1 (en) | Catadioptric projector systems, devices, and methods | |
| US7440590B1 (en) | System and technique for retrieving depth information about a surface by projecting a composite image of modulated light patterns | |
| US20170322310A1 (en) | Multipath signal removal in time-of-flight camera apparatus | |
| JP5443303B2 (ja) | 外観検査装置及び外観検査方法 | |
| US8648902B2 (en) | Image processing apparatus | |
| US20070115484A1 (en) | 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration | |
| US20100296724A1 (en) | Method and System for Estimating 3D Pose of Specular Objects | |
| US20100283883A1 (en) | Image processing apparatus, image division program and image synthesising method | |
| US7006086B2 (en) | Method and apparatus for accurate alignment of images in digital imaging systems by matching points in the images corresponding to scene elements | |
| EP2024707A1 (en) | Scanner system and method for scanning | |
| JP5995484B2 (ja) | 三次元形状測定装置、三次元形状測定方法、及びプログラム | |
| US20160341399A1 (en) | Method and system for generating light pattern using polygons | |
| JP2001215110A (ja) | カラー・スキャナーレス距離画像化システム | |
| JP2015132509A (ja) | 画像データ取得システム及び画像データ取得方法 | |
| KR20180118189A (ko) | 깊이 감지 시스템들 및 방법들 | |
| JP4293339B2 (ja) | 法線ベクトルの取得システム、法線ベクトルの取得方法、および、法線ベクトルを用いた認証方法 | |
| US20040119833A1 (en) | Three-dimensional context sensitive scanner | |
| US20200250847A1 (en) | Surface reconstruction of an illuminated object by means of photometric stereo analysis | |
| JP2009115778A (ja) | ３次元空間多自由度検出装置及びその検出方法 | |
| JP2009236696A (ja) | 被写体の３次元画像計測方法、計測システム、並びに計測プログラム | |
| Henderson et al. | Design and calibration of a fast flying-dot projector for dynamic light transport acquisition | |
| JPH11142122A (ja) | レンジファインダ装置 | |
| KR102519989B1 (ko) | 화상 생성 방법, 화상 생성 장치, 화상 생성 프로그램 및 기록 매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051122 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081201 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090310 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090401 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4293339 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130417 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140417 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |