JP4030002B2 - 可視赤外撮像カメラ - Google Patents

可視赤外撮像カメラ Download PDF

Info

Publication number
JP4030002B2
JP4030002B2 JP2002073534A JP2002073534A JP4030002B2 JP 4030002 B2 JP4030002 B2 JP 4030002B2 JP 2002073534 A JP2002073534 A JP 2002073534A JP 2002073534 A JP2002073534 A JP 2002073534A JP 4030002 B2 JP4030002 B2 JP 4030002B2
Authority
JP
Japan
Prior art keywords
light
infrared light
visible
infrared
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002073534A
Other languages
English (en)
Other versions
JP2003270523A (ja
Inventor
隆生 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2002073534A priority Critical patent/JP4030002B2/ja
Priority to US10/366,458 priority patent/US20030173518A1/en
Priority to FR0303002A priority patent/FR2837342B1/fr
Publication of JP2003270523A publication Critical patent/JP2003270523A/ja
Application granted granted Critical
Publication of JP4030002B2 publication Critical patent/JP4030002B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Description

【0001】
【発明の属する技術分野】
本発明は、被写体からの光を可視光と赤外光とに分離して、被写体の可視光画像と赤外光画像とを同時に撮像することが可能な可視赤外撮像カメラに関し、詳しくは、カメラのズームに応じて赤外光画像のピント調整を行ない得る可視赤外撮像カメラに関するものである。
【0002】
【従来の技術】
従来、バーチャルスタジオと称される室内において、背景に青いシート等を配置した状態で被写体の撮影を行ない、被写体の画像のみを抽出して他の背景画像との合成等に利用できるようにする、バーチャルスタジオシステムと称される撮影方法が知られている。
【0003】
近年、バーチャルスタジオにおける新しい撮影システムが考案され、注目を集めている。この撮影システムは、被写体に赤外光(近赤外光)を照射しながら、可視赤外撮像カメラによって被写体の可視光画像と赤外光画像を同時に撮像し、撮像した赤外光画像よりカメラから被写体までの距離情報を得て、この得られた距離情報に基づき、撮像された可視光画像全体の中から、カメラから任意の距離にある被写体の可視光画像のみを選択して抽出し得るように構成されている。
【0004】
【発明が解決しようとする課題】
現在、一般的に用いられている可視赤外撮像カメラは、1つのズームレンズ系を通過した被写体からの光を、色分解プリズム等によって可視光と赤外光とに分離し、可視光を可視光用カメラ本体に、赤外光を赤外光用カメラ本体にそれぞれ入射させて、それぞれの画像を撮像するように構成されており、用いられるズームレンズ系は、被写体までの距離やズームが変わった場合でも、可視光画像の結像距離を略一定に保つことができるように設定されている。これに対し、赤外光画像の結像距離は、被写体までの距離やズームを変えた場合にずれが生じてしまう。特にズームを大きく変えた場合にこのずれ量が大きくなり、ズームレンズ系のフォーカシング調整のみでは赤外光画像のピントを正しく合わせることができなくなるという問題があった。
【0005】
このような問題は、上述した新しい撮影システム用の可視赤外撮像カメラでも生じる。赤外光画像のピントを正しく合わせることができないと、上述した新しい撮影システムにおいては、撮像された赤外光画像に基づいてカメラから被写体までの正確な距離情報を得ることが不可能となり、撮影システムそのものが十分に機能しない虞がある。
【0006】
ズームが変わった場合でも、赤外光画像の結像距離が略一定に保たれるようなズームレンズ系を開発すれば、上記問題は解決されることになるが、このようなズームレンズ系の開発には、多大なコストがかかることが予想され困難である。
【0007】
本発明は、このような事情に鑑みなされたもので、ズームを変えた場合でも赤外光画像のピントを正しく合わせることが可能な低コストの可視赤外撮像カメラを提供することを目的とする。
【0008】
【課題を解決するための手段】
上記課題を解決するため、本発明による可視赤外撮像カメラは、ズームレンズ系と、該ズームレンズ系を通過した光を可視光と赤外光とに分離してそれぞれ射出する光波分離手段と、該光波分離手段の前記可視光を射出する部分の後段に配され、該光波分離手段からの前記可視光により形成された可視光画像を撮像する可視光用カメラ本体と、該光波分離手段の前記赤外光を射出する部分の後段に配され、該光波分離手段からの前記赤外光により形成された赤外光画像を撮像する赤外光用カメラ本体とを備え、前記可視光画像と前記赤外光画像を同時に撮像する可視赤外撮像カメラにおいて、
前記赤外光用カメラ本体を、前記光波分離手段からの前記赤外光の軸方向に沿って移動可能に支持する移動支持手段が設けられてなり、該移動支持手段により前記赤外光用カメラ本体を移動させることによって前記赤外光画像のピント調整を行なうことを特徴とするものである。
【0009】
本発明による前記可視赤外撮像カメラは、外部からの切替操作を許容する切替手段が設けられてなり、該切替手段に対する前記切替操作に応じて、前記赤外光用カメラ本体を前記ズームレンズ系のズームに適応した位置に移動させるものとすることができる。
【0010】
前記移動支持手段としては、前記光波分離手段に対して相対的に固定された固定ステージと、該固定ステージに対し移動可能に取り付けられた、前記赤外光用カメラ本体を保持する移動ステージと、該移動ステージを駆動するモータとを備えてなるものとすることができる。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の一実施形態に係る可視赤外撮像カメラの構成およびその撮影システムを概略的に示す図である。
図示した可視赤外撮像カメラ10は、映画の特殊撮影等に利用されるバーチャルスタジオ撮影用のカメラであり、鏡胴内に配置された図示せぬ光学レンズ群からなるズームレンズ系11と、色分解プリズムからなる光波分離手段12と、可視光画像を撮像する可視光用カメラ本体13と、赤外光画像を撮像する赤外光用カメラ本体14とを備えている。また、カメラ先端部には、被写体に向け赤外光(近赤外光)を照射する赤外光照射装置15を備えており、さらに、光波分離手段12と可視光用カメラ本体13との間にはリレーレンズ系16を備えている。
【0012】
この可視赤外撮像カメラ10においては、赤外光照射装置15から被写体1に向けて赤外光を照射しながら撮影が行なわれる。被写体1より反射してズームレンズ系11に入射し、ズームレンズ系11を通過した光は、光波分離手段12において可視光と赤外光とに2分割されてそれぞれ射出される。射出された可視光はリレーレンズ系16を通過して可視光用カメラ本体13に入射され、赤外光は赤外光用カメラ本体14に入射される。
【0013】
可視光用カメラ本体13は、リレーレンズ系16を介して光波分離手段12の可視光を射出する部分の後段に配されており、図示せぬ可視光用撮像素子や可視光画像形成回路などの可視光画像撮像用の機構を備え、入射された可視光による可視光画像Iaを撮像してその画像情報を出力するように構成されている。一方、赤外光用カメラ本体14は、光波分離手段12の赤外光を射出する部分の直近後段に配されており、図示せぬ赤外光用撮像素子や赤外光画像形成回路などの赤外光画像撮像用の機構を備え、入射された赤外光による赤外光画像Ibを撮像してその画像情報を出力するように構成されている。
【0014】
可視光用カメラ本体13および赤外光用カメラ本体14からの各画像情報は、共に画像処理装置17に入力される。画像処理装置17は、赤外光用カメラ本体14からの画像情報により各被写体1までの距離情報を得ると共に、この距離情報に基づき、可視光用カメラ本体13からの可視光画像情報に対して所定の画像処理を施し、可視光画像Iaの全体から所定の被写体像のみを削除したり、抽出したりした処理画像Icを作成するように構成されている。
【0015】
可視赤外撮像カメラ10においては、電動によりズームを変えられるように構成されており、ズームレンズ系11による可視光画像Iaの結像距離は、被写体までの距離やズームが変わった場合でも、略一定(例えば、48mm in air)に保たれるように設定されている。一方、赤外光画像Ibの結像距離は、被写体までの距離やズームを変えた場合にずれが生じてしまい、特にズームを大きく変えた場合には、ズームレンズ系11のフォーカシング調整のみでは赤外光画像Ibのピントを正しく合わせることができない。このズームの変化に応じて赤外光画像Ibのピント調整を行なうため、可視赤外撮像カメラ10は、赤外光用カメラ本体14用の移動支持手段20を備えている。
【0016】
以下、この移動支持手段20について説明する。移動支持手段20は、図1に示すように、光波分離手段12に対して相対的に固定された固定ステージ21と、この固定ステージ21に対し赤外光の軸Lに沿って移動可能に取り付けられた移動ステージ22と、この移動ステージ22を駆動するモータ23と、このモータ23からの駆動力を移動ステージ22に伝達する駆動力伝達機構(不図示)とを備えてなり、移動ステージ22に取り付けられた赤外光用カメラ本体14を光波分離手段12からの赤外光の軸方向に沿って移動可能に構成されている。
【0017】
なお、光波分離手段12の赤外光を射出する部分と、赤外光用カメラ本体14の赤外光が入射する部分との間には、赤外光の軸回りの空間内に塵埃等が侵入するのを防止するために、赤外光用カメラ本体14の移動に対応できるような可撓性を有しているリング状の防塵部材(不図示)が取り付けられている。
【0018】
また、移動支持手段20には、図2に示すような切替手段30が設けられている。ここで、図2は切替手段30の構成を概略的に示す図である。図2に示すように切替手段30は、撮影者等が操作可能な位置に配された操作部31と、この操作部31への切替操作に応じてモータ23の駆動を制御するコントローラ34とを備えている。
【0019】
操作部31は、複数個(図2に示す例では4個)の切替操作ボタン32A〜32Dと、どのボタンが現在選択されているのかを表示する表示ランプ33A〜33Dとを備えており、撮影者等によって切替操作された時に、どのボタンが選択されたのかを示す選択信号をコントローラ34に出力するように構成されている。一方、コントローラ34は、CPU、所定のプログラムを格納されたメモリおよびモータ駆動ドライバを含む構成とされており、操作部31からの選択信号に応じて、該モータ駆動ドライバからモータ23を駆動させる所定の駆動電流を出力するようになっている。
【0020】
このコントローラ34から出力された駆動制御信号に応じて、モータ23は移動ステージ22を駆動し、移動ステージ22に保持された赤外光用カメラ本体14を所定の位置に移動させる。ズームレンズ系11のズームによって、どの位置に赤外光用カメラ本体14を移動させれば赤外光画像のピントが合うかは予め測定されており、また、操作部31の4個の切替操作ボタン32A〜32Dが、それぞれズームレンズ系11のどの範囲のズームに対応しているのかが定められている。このため、撮影者等がズームレンズ系11のズームを確認し、そのズームに応じて4個の切替操作ボタン32A〜32Dのうちズームに適応したボタンを選択することにより、赤外光用カメラ本体14がズームレンズ系11のズームに適応した位置まで赤外光の軸Lに沿って移動し、これにより、赤外光画像のピント調整を行なえるようになっている。
【0021】
なお、上述した例では、撮影者等がズームレンズ系11のズームを確認した上で、切替手段30を切替操作することによって、赤外光画像のピント調整を行なうようになっているが、ズームレンズ系11のズームを自動検出するズーム検出手段を設け、このズーム検出手段により検出されたズームに基づいて、赤外光用カメラ本体14の移動制御が自動的に行なわれるように構成することも可能である。
【0022】
また、赤外光画像のピント状態をモニタによって確認しながら、赤外光用カメラ本体14の位置調整を行ない、赤外光画像のピント調整を行なえるように構成することも可能である。
【0023】
以上、本発明をバーチャルスタジオ撮影用の可視赤外撮像カメラに適用した実施形態について説明したが、本発明は1つのレンズ系に対して可視光用カメラ本体と赤外光用カメラ本体とを備えた他の可視赤外撮像カメラ、例えば夜間監視用や交通違反車両取り締まり用等の種々の可視赤外撮像カメラに適用することが可能である。
【0024】
【発明の効果】
以上詳細に説明したように、本発明による可視赤外撮像カメラによれば、光波分離手段の赤外光を射出する部分の後段に配された赤外光用カメラ本体を、赤外光の軸方向に沿って移動可能に支持する移動支持手段を備え、この移動支持手段により赤外光用カメラ本体を移動させることによって赤外光画像のピント調整を行なうようにしているので、次のような効果を奏する。
【0025】
すなわち、ズームレンズ系のズームを変えることによって赤外光画像の結像距離が変化しても、移動支持手段によって赤外光用カメラ本体を赤外光の軸に沿って移動させることにより、赤外光画像を常に適正なピント状態で結像させることが可能となる。
【0026】
また、本発明における赤外光用カメラ本体の移動手段は、簡易な構成で実現可能であるので、赤外光画像のピント調整機構を備えた可視赤外撮像カメラを低コストで製品化することが可能である。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る可視赤外撮像カメラの概略構成図
【図2】図1に示す移動支持手段が備えた切替手段の概略構成図
【符号の説明】
1 被写体
10 可視赤外撮像カメラ
11 ズームレンズ系
12 光波分離手段
13 可視光用カメラ本体
14 赤外光用カメラ本体
15 赤外光照射装置
16 リレーレンズ系
17 画像処理装置
20 移動支持手段
21 固定ステージ
22 移動ステージ
23 モータ
30 切替手段
31 操作部
32 切替操作ボタン
33 表示ランプ
34 コントローラ
Ia 可視光画像
Ib 赤外光画像
Ic 処理画像
L 赤外光の軸

Claims (3)

  1. ズームレンズ系と、該ズームレンズ系を通過した光を可視光と赤外光とに分離してそれぞれ射出する光波分離手段と、該光波分離手段の前記可視光を射出する部分の後段に配され、該光波分離手段からの前記可視光により形成された可視光画像を撮像する可視光用カメラ本体と、該光波分離手段の前記赤外光を射出する部分の後段に配され、該光波分離手段からの前記赤外光により形成された赤外光画像を撮像する赤外光用カメラ本体とを備え、前記可視光画像と前記赤外光画像を同時に撮像する可視赤外撮像カメラにおいて、
    前記赤外光用カメラ本体を、前記光波分離手段からの前記赤外光の軸方向に沿って移動可能に支持する移動支持手段が設けられてなり、該移動支持手段により前記赤外光用カメラ本体を移動させることによって前記赤外光画像のピント調整を行なうことを特徴とする可視赤外撮像カメラ。
  2. 外部からの切替操作を許容する切替手段が設けられてなり、該切替手段に対する前記切替操作に応じて、前記赤外光用カメラ本体を前記ズームレンズ系のズームに適応した位置に移動させることを特徴とする請求項1記載の可視赤外撮像カメラ。
  3. 前記移動支持手段が、前記光波分離手段に対して相対的に固定された固定ステージと、該固定ステージに対し移動可能に取り付けられた、前記赤外光用カメラ本体を保持する移動ステージと、該移動ステージを駆動するモータとを備えてなることを特徴とする請求項1または2記載の可視赤外撮像カメラ。
JP2002073534A 2002-03-18 2002-03-18 可視赤外撮像カメラ Expired - Fee Related JP4030002B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2002073534A JP4030002B2 (ja) 2002-03-18 2002-03-18 可視赤外撮像カメラ
US10/366,458 US20030173518A1 (en) 2002-03-18 2003-02-14 Visible/infrared imaging camera
FR0303002A FR2837342B1 (fr) 2002-03-18 2003-03-11 Camera de formation d'image visible/infrarouge

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002073534A JP4030002B2 (ja) 2002-03-18 2002-03-18 可視赤外撮像カメラ

Publications (2)

Publication Number Publication Date
JP2003270523A JP2003270523A (ja) 2003-09-25
JP4030002B2 true JP4030002B2 (ja) 2008-01-09

Family

ID=27785142

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002073534A Expired - Fee Related JP4030002B2 (ja) 2002-03-18 2002-03-18 可視赤外撮像カメラ

Country Status (3)

Country Link
US (1) US20030173518A1 (ja)
JP (1) JP4030002B2 (ja)
FR (1) FR2837342B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111189543A (zh) * 2020-01-15 2020-05-22 大连理工大学 一种增材制造中红外热像仪发射率在线标定方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7581852B2 (en) * 1999-11-15 2009-09-01 Xenonics, Inc. Portable device for viewing and imaging
JP2004317393A (ja) * 2003-04-18 2004-11-11 Shimadzu Corp 二色放射温度計
JP2006084693A (ja) * 2004-09-15 2006-03-30 Fujinon Corp レンズ装置
RU2006145636A (ru) * 2004-10-22 2008-06-27 Ксеноникс, Инк. (Us) Цифровое устройство наблюдения для слабой освещенности, приспособленное к суровым окружающим условиям
US20100014099A1 (en) * 2004-12-16 2010-01-21 Werth Messtechnik Gmbh Coordinate measuring device and method for measuring with a coordinate measuring device
JP2007334311A (ja) * 2006-05-18 2007-12-27 Nippon Hoso Kyokai <Nhk> 可視光・赤外光撮影光学系
US10244190B2 (en) * 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US8780161B2 (en) * 2011-03-01 2014-07-15 Hewlett-Packard Development Company, L.P. System and method for modifying images
JP2017156464A (ja) * 2016-02-29 2017-09-07 キヤノン株式会社 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2673793B1 (fr) * 1991-03-05 1993-05-07 Thomson Video Equip Procede et dispositif permettant d'obtenir une information de profondeur dans le champ vu par un dispositif de prise de vue.
JP3441183B2 (ja) * 1994-09-27 2003-08-25 富士写真光機株式会社 ズームレンズ装置
US6020931A (en) * 1996-04-25 2000-02-01 George S. Sheng Video composition and position system and media signal communication system
JPH1198314A (ja) * 1997-09-17 1999-04-09 Konica Corp 画像読み取り装置
EP1100254B1 (en) * 1999-11-12 2008-07-16 Noritsu Koki Co., Ltd. Apparatus for reading images from photographic film
JP2001272708A (ja) * 2000-03-28 2001-10-05 Fuji Photo Optical Co Ltd 可視/赤外両用撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111189543A (zh) * 2020-01-15 2020-05-22 大连理工大学 一种增材制造中红外热像仪发射率在线标定方法
CN111189543B (zh) * 2020-01-15 2021-06-08 大连理工大学 一种增材制造中红外热像仪发射率在线标定方法

Also Published As

Publication number Publication date
US20030173518A1 (en) 2003-09-18
FR2837342B1 (fr) 2007-01-05
JP2003270523A (ja) 2003-09-25
FR2837342A1 (fr) 2003-09-19

Similar Documents

Publication Publication Date Title
US8102465B2 (en) Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
JP5298425B2 (ja) 投影装置およびカメラ
JP6006024B2 (ja) 撮像装置、撮像方法およびプログラム
JP4030002B2 (ja) 可視赤外撮像カメラ
JP2011239131A (ja) 撮像装置
JP2006184742A (ja) オートフォーカスシステム
JPH09211308A (ja) 自動焦点撮像装置の被写体検出機構
JP2002207163A (ja) テレビレンズの測距装置
JP2006113265A (ja) オートフォーカスシステム
JPH0854558A (ja) 自動焦点カメラ
JP4355972B2 (ja) 撮像装置
JP4015269B2 (ja) 電子カメラ
JP5938268B2 (ja) 撮像装置およびその制御方法
JP2002016838A (ja) ビデオカメラ装置
JPH07301742A (ja) カメラ
JP2006119471A (ja) オートフォーカスシステム
JP2009194643A (ja) 撮影装置
JP2011053550A (ja) 光学機器
JP2012133067A (ja) 撮像装置
JP5048559B2 (ja) オートフォーカスシステム
JP2009229586A (ja) オートフォーカスシステム
JP2010206434A (ja) 撮像装置
JP2009063606A (ja) オートフォーカス装置、撮像装置、プロジェクタオートフォーカスシステム、プロジェクタ、およびプロジェクタのオートフォーカス方法
JP2008299164A (ja) 顔検出機能を備えたカメラ
JP2004205684A (ja) 投射装置及びそのフォーカス調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071011

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101026

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111026

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121026

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131026

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees