JP3139504B2 - フイルム画像入力装置 - Google Patents

フイルム画像入力装置

Info

Publication number
JP3139504B2
JP3139504B2 JP03186639A JP18663991A JP3139504B2 JP 3139504 B2 JP3139504 B2 JP 3139504B2 JP 03186639 A JP03186639 A JP 03186639A JP 18663991 A JP18663991 A JP 18663991A JP 3139504 B2 JP3139504 B2 JP 3139504B2
Authority
JP
Japan
Prior art keywords
film
image
window
film image
video monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03186639A
Other languages
English (en)
Other versions
JPH0530420A (ja
Inventor
克夫 浅見
均 与沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP03186639A priority Critical patent/JP3139504B2/ja
Publication of JPH0530420A publication Critical patent/JPH0530420A/ja
Application granted granted Critical
Publication of JP3139504B2 publication Critical patent/JP3139504B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はフイルム画像入力装置に
係り、特に現像済みスチル写真フイルムの画像を撮像手
段により撮像して画像信号に変換し、該画像信号をビデ
オモニタに出力することによってフイルム画像をビデオ
モニタ上に再生させるフイルム画像入力装置に関する。
【0002】
【従来の技術】従来、現像済みスチル写真フイルムを撮
像手段で撮影し、写真フイルムの画像を電気信号として
取り出し、これをビデオモニタ上で表示するフイルム画
像入力装置は知られている(USP.4,482,924 、USP.4,48
5,406 、USP.4,506,300 、WO90/04301等)。
【0003】これらのフイルム画像入力装置には、写真
フイルムに向けて投光する照明ユニット、撮影レンズ及
びCCD等の撮像素子が同軸上に設けられている。そし
て、フイルムが照明ユニットと撮影レンズとの光軸上間
に配置され、照明ユニットから投光された光がフイルム
に記録されている画像に投光されると、フイルムを透過
した光は撮影レンズで集光されてCCD上に結像する。
これにより、フイルムに記録された画像はCCDで電気
信号に変換されて出力される。従って、フイルム画像入
力装置にビデオモニタを接続することにより、ビデオモ
ニタ上にフイルムの画像を再生することができる。
【0004】また、この種のフイルム画像入力装置に
は、ズーム機構、フイルムのスキャン機構(X−Y移動
機構)、CCD回転機構等を備えているものもあり、こ
れにより、1コマのフイルム画像内でトリミングがで
き、またCCD回転機構等によってCCDを回転させる
ことにより、フイルム画像がフイルムに横位置に写し込
まれているか縦位置に写し込まれているかにかかわらず
ビデオモニタ上のフイルム画像を正立させることができ
るようにしている。
【0005】
【発明が解決しようとする課題】ところで、この種のフ
イルム画像入力装置には、CCDから得られる電気信号
のうち予め設定されたウインドウ内の電気信号に基づい
て自動的にホワイトバランスを調整する自動ホワイトバ
ランス調整装置や、露光量を調整する自動露光調整装置
が設けられているが、前記横位置のフイルム画像に合わ
せて自動ホワイトバランス調整装置、自動露光調整装置
のウインドウを広く設定すると、縦位置のフイルム画像
を撮影する場合には、そのフイルム画像以外も評価エリ
アにするため、アンダーの絵になるという問題があり、
一方、縦位置のフイルム画像に合わせて自動ホワイトバ
ランス調整装置、自動露光調整装置のウインドウを設定
すると、横位置のフイルム画像を撮影する場合には、評
価エリアが狭くなりカラーフェリア等が発生し易くなる
という問題がある。
【0006】本発明はこのような事情に鑑みてなされた
もので、フイルム画像がフイルムに横位置に写し込まれ
ているか縦位置に写し込まれているかにかかわらず、カ
ラーフェリア、不適正露光を防止することが可能なフイ
ルム画像入力装置を提供することを目的とする。
【0007】
【課題を解決するための手段】本発明は前記目的を達成
するために、現像済みスチル写真フイルムの画像をズー
ムレンズを介して撮像素子の撮像面に結像させて電気信
号に変換し、該電気信号をビデオモニタに出力すること
によってフイルム画像をビデオモニタの画面に再生させ
るフイルム画像入力装置において、前記フイルムに写し
込まれるフイルム画像が横位置か縦位置かに応じて前記
フイルムと撮像素子とを相対的に回転させビデオモニタ
上のフイルム画像を正立させる回転機構と、前記電気信
号のうち予め設定されたウインドウ内の電気信号に基づ
いて自動的にホワイトバランス及び/又は露光量を調整
する自動ホワイトバランス調整手段及び/又は自動露光
調整手段と、フイルム画像が横位置か又は縦位置かに応
じてそれぞれ前記ウインドウを横位置に適したウインド
ウ又は縦位置に適したウインドウに切り替えるウインド
ウ切替え手段と、を備えたことを特徴としている。
【0008】
【作用】本発明によれば、フイルム画像が横位置か縦位
置かを検知し、フイルム画像が横位置か縦位置かに応じ
て自動ホワイトバランス調整手段及び/又は自動露光調
整手段のウインドウが最適なウインドウになるように切
り替えるようにしている。これにより、フイルム画像が
横位置か縦位置かにかかわらず、ウインドウがフイルム
画像からはみ出すことがなく、またウインドウがフイル
ム画像に比べて小さすぎるということもなくなり、カラ
ーフェリア、不適正露光を防止することができる。
【0009】
【実施例】以下添付図面に従って本発明に係るフイルム
画像入力装置の好ましい実施例を詳述する。図1は本発
明に係るフイルム画像入力装置の第1実施例を示すブロ
ック図である。同図に示すように、このフイルム画像入
力装置は、現像済のスチル写真フイルム24を照明ユニ
ット12によって照明し、これを撮影レンズ14及びC
CD等の撮像素子16を含む撮像装置によって撮像して
ビデオモニタ19に画像信号を出力し、ビデオモニタ1
9にフイルム画像を再生させるものである。
【0010】照明ユニット12は光源18、反射板20
及び拡散板22を有し、光源18からの光及び反射板2
0で反射された光は拡散板22に投光され、ここで拡散
されてフイルム照明光となる。この照明光はフイルム2
4の画像を照射して撮影レンズ14に導かれる。撮影レ
ンズ14は変倍レンズ26を含むズームレンズであり、
制御部32からのズーム信号を入力するズーム駆動部2
8により変倍レンズ26が図1上で左右方向に移動させ
られてズーム動作し、これによりフイルム24の画像を
ズームイン、ズームアウトする。またズーム位置検出部
30は変倍レンズ26の移動位置(ズーム位置)を検出
して、そのズーム情報を制御部32に加える。
【0011】フイルム駆動部34は、図示しないリール
モータ、供給リール、巻取りリール等を含み、制御部3
2から各種のフイルム送り信号が加えられるようになっ
ている。そして、フイルム駆動部34は入力する信号に
応じてフイルム24をX方向(図1上で紙面に直交する
方向)に移動させる。尚、フイルム駆動部34は、早送
り、巻戻し、コマ送り時にはフイルム24を高速で移動
させ、スキャン送り時にはフイルム24を低速で移動さ
せる。
【0012】一方、レンズ駆動部38は、制御部32か
ら加えられるスキャン信号によりズームレンズ14及び
CCD16をY方向(図1上で上下方向)に移動させ
る。従って、フイルム駆動部34によるフイルム24の
スキャン送りとレンズ駆動部38によるズームレンズ1
4及びCCD16の移動とによって、フイルム24の画
像の上下左右方向のスキャンを行うことができる。
【0013】ズームレンズ14で撮影されたフイルム画
像はCCD16の受光面に結像し、CCD16の各セン
サで光の強さに応じた量の信号電荷に変換される。この
信号電荷は順次読み出され、画像信号処理回路17に出
力される。尚、CCD16は各画素毎に色が異なる
(R)、緑(G)、青(B)のカラーフィルタを有して
いる。
【0014】画像信号処理回路17は、入力する信号か
らR、G、B信号を取り出す色分離回路、サンプルホー
ルド回路、γ補正回路、マトリクス回路、エンコーダ回
路等を含み、これらの回路によって所定の信号処理を行
ったのち、フイルム画像を示す画像信号をビデオモニタ
19に出力する。これにより、ビデオモニタ19にフイ
ルム24の画像が表示される。
【0015】自動ホワイトバランス調整回路47(以
下、AWB47という)は、前記画像信号処理回路17
において生成される色差信号(R−Y)及び(B−Y)
をそれぞれ積分し、その積分値が灰色を示す所定の基準
値になるようにR信号、B信号を増幅する増幅器のゲイ
ンを調整する。尚、灰色を示す所定の基準値と比較する
理由は、ホワイトバランスが調整された画像の色差信号
(R−Y)及び(B−Y)の積分値は灰色を示す値にな
るからである。
【0016】自動露光調整回路48(以下、AE48と
いう)は、前記画像信号処理回路17において生成され
る輝度信号Yを積分し、その積分値が所定の明るさを示
す値になるように絞り27を調整する。また、ウインド
ウ切替え部49は制御部46から加えられる指令信号に
よってAWB47及びAE48のウインドウ、即ち、前
記積分範囲を切り替えるもので、フイルム24のコマに
写し込まれるフイルム画像が横位置か縦位置かに応じて
各位置に適したウインドウに切り替える。尚、上記AW
B47、AE48及びウインドウ切替え部49の詳細に
ついては後述する。
【0017】CCD回転部40は、制御部32から加え
られる回転指令信号により、CCD16を撮影レンズ側
から見て時計回り方向(CW方向)に90°、180
°、270°回転させ、回転位置検出部42はCCD1
6の回転位置を検出して、その位置情報を制御部32に
出力する。尚、ビデオモニタ19に再生された画像が反
時計回り方向(CCW方向)に90°回転している場合
には、CCD16をCW方向に90°回転させることに
よりモニタ画像を正立させることができ、同様にビデオ
モニタ19に再生された画像がCW方向に90°回転し
ている場合には、CCD16をCW方向に270°(C
CW方向に90°)回転させ、ビデオモニタ19に再生
された画像の上下が逆の場合には、CCD16をCW方
向に180°回転させることによってモニタ画像を正立
させることができる。
【0018】制御部32はズーム位置検出部30、回転
位置検出部42、フイルム情報記録再生部44及び操作
部46からの信号に基づいて、ズーム駆動部28、フイ
ルム駆動部34、レンズ駆動部38、CCD回転部40
に各種の制御信号を出力し、また必要に応じてフイルム
情報をフイルム情報記録再生部44に出力し、フイルム
情報をフイルム24に記録させる。
【0019】フイルム情報記録再生部44はフイルム2
4の各コマ毎の磁気記録面等にフイルム情報(例えば、
ズーム情報、スキャン位置情報、CCD回転情報等)を
制御部32からの信号によって記録し、またフイルム情
報をフイルム24から読み取って制御部32に出力す
る。このフイルム24のコマ検出は、フイルム情報記録
再生部44がフイルム24の各コマ毎に記録されたコマ
情報を読み取ることにより、又はフイルム24に予め設
けられているコマ位置を示すノッチ(図示せず)を光学
的又機械的に検出するコマ検出手段によって行われ、コ
マ検出手段はコマ情報を制御部32に出力している。
【0020】次に、フイルム24をコマ送りして次のコ
マの画像を再生する場合について説明する。図2のフロ
ーチャートに示すように、コマ送りスイッチSW−FW
D又はSW−REVが押されると、順方向又は逆方向の
コマ送りが実行される。先ず、コマ送りがスタートする
と、フイルムの移動方向が判別される(ステップ5
0)。即ち、コマ送りスイッチSW−FWDが押される
と、順方向のフイルム送りであり、コマ送りスイッチS
W−REVが押されると、逆方向のフイルム送りである
と判別される(ステップ52、54)。そして、上記判
別されたフイルム送り方向にコマが進められるか否かを
判別する(ステップ56)。例えば、現在検出されてい
るコマが最終のコマであり、且つフイルム送り方向が順
方向の場合や、現在検出されているコマが最初のコマで
あり、且つフイルム送り方向が逆方向の場合には次のコ
マの進めることができないため、リミット表示を行った
後、最初に戻る(ステップ58、60)。
【0021】一方、次のコマの進める場合には、画面を
ミュートし(ステップ62)、リールモータを前記判別
されたフイルム送り方向に回転させる(ステップ6
4)。そして、コマ検出手段によって次のコマが検出さ
れたか否かを判別し(ステップ66)、次のコマが検出
されると、リールモータに逆転ブレーキをかけ(ステッ
プ68)、そのコマの標準再生を実行させる(ステップ
70)。
【0022】ここで、標準再生とは、スキャン位置をフ
イルム中心に戻し、且つ撮影倍率を標準倍率に戻して再
生することをいう。尚、標準倍率には、フイルム24の
コマに写し込まれている絵が横の場合に対応する横標準
倍率と、コマに写し込まれている絵が縦の場合に対応す
る縦標準倍率とがある。ここで、横標準倍率として考え
られる倍率は、図3(A)に示すようにフイルムのコマ
の上下のエッジがモニタ画面の上下のエッジと一致する
倍率であり、一方、縦標準倍率は図3(B)に示すよう
にコマに縦に写し込まれている絵を、CCD16を90
°回転させて正立させたときに、その絵の上下のエッジ
がモニタ画面の上下のエッジと一致する倍率である。
【0023】そして、上記標準再生が開始され、ズーム
レンズの撮影倍率が標準倍率になるまで待機し(ステッ
プ72)、その後、AWB47、AE48によるホワイ
トバランス調整及び露光量調整を行ったのち(ステップ
74)、ミュートを解除してフイルム画像を画面に出画
する(ステップ76)。続いて、キーバッファ・クリア
を行い、再びコマ送りスイッチの入力を可能な状態にし
て初めに戻る(ステップ78、79)。
【0024】さて、上記ステップ70における標準再生
は、CCD16の回転位置に対応して横標準再生又は縦
標準再生が行われる。従って、例えばCCD16の回転
位置が横位置で、フイルムに写し込まれたフイルム画像
が縦の場合には、ビデオモニタ19に再生された画像
は、図3(A)に示すように正立しなくなる。この場合
には、前述したようにCCD16をCW方向に270°
(CCW方向に90°)回転させることによって、図3
(B)に示すようにモニタ画像を正立させることができ
る。尚、図3(A)から(B)の画面にするためには、
CCD16を回転させるとともに、ズームレンズの撮影
倍率を横標準倍率から縦標準倍率にする必要がある。
【0025】 次に、ビデオモニタ19の画面を回転さ
せる場合について説明する。図4のフローチャートに示
すように、先ず回転が必要か否か(図示しない回転指令
ボタンが押されたか否か)を判別し(ステップ80)、
回転が不要な場合にはそのままフイルム画像を出画し、
初めに戻る(ステップ82)。回転が必要な場合には、
画面をミュートし(ステップ86)、図示しない回転指
令ボタンによって指令された回転位置に向かってCCD
16の回転を開始させるとともに、上記指示された回転
位置が横位置か否かを判別する(ステップ88、9
0)。
【0026】そして、回転位置が横位置の場合には、横
標準再生を行わせる(ステップ92)。即ち、スキャン
位置をフイルム中心に戻し、且つ撮影倍率を横標準倍率
に戻す。続いて、CCD16の回転が終了したか否かを
判別し(ステップ94)、回転が終了すると、ウインド
ウ切替え部49(図1)によってAWB47、AE48
のウインドウを横位置のウインドウ範囲に切替え設定す
る。そして、AWB47はこの設定されたウインドウ内
の色差信号(R−Y)及び(B−Y)に基づいてホワイ
トバランスを調整し、同様にAE48は前記ウインドウ
内の輝度信号Yに基づいて絞り27を調整する(ステッ
プ96)。
【0027】その後、ミュートを解除してフイルム画像
を画面に出画し、初めに戻る(ステップ98、10
0)。一方、ステップ90において回転位置が縦位置で
あると判別された場合には、縦標準再生を行わせる(ス
テップ102)。即ち、スキャン位置をフイルム中心に
戻し、且つ撮影倍率を縦標準倍率に戻す。続いて、CC
D16の回転が終了したか否かを判別し(ステップ10
4)、回転が終了すると、ウインドウ切替え部49(図
1)によってAWB47、AE48のウインドウを縦位
置のウインドウ範囲に切替え設定する。そして、AWB
47及びAE48は、ステップ96での動作と同様にこ
の設定されたウインドウ内の信号に基づいてホワイトバ
ランス及び露光量を調整し(ステップ106)、ステッ
プ98に進む。
【0028】尚、横位置のウインドウは横位置のフイル
ム画像の再生に適したウインドウであり、例えば図3
(A)の点線で囲んだ範囲に設定され、縦位置のウイン
ドウは縦位置のフイルム画像の再生に適したウインドウ
であり、例えば図3(B)の点線で囲んだ範囲に設定さ
れる。また、図2のステップ74において実行されるホ
ワイトバランス調整及び露光量調整も、フイルム画像が
縦位置か横位置かに応じて切り替えられたウインドウ内
の信号に基づいて行われる。
【0029】ところで、縦標準再生状態(図5(A)参
照)からテレ方向にズーミングすると、図5(B)に示
すようにフイルム画像は拡大され、更にズーミングする
と、図5(C)に示すようにフイルム画像はビデオモニ
タの画面一杯になる。従って、フイルム画像が縦位置の
場合には撮影倍率に応じてウインドウを図5に示すよう
に変更することが好ましい。尚、図5(C)に示すよう
にフイルム画像がビデオモニタの画面一杯になる倍率以
上では、ウインドウは最大に拡大され、フイルム画像が
横位置の場合のウインドウと一致するようになる。
【0030】尚、本実施例ではAWB47及びAE48
のウインドウをフイルム画像が横位置か縦位置かに応じ
て同時に切り替えるようにしたが、AWB47、AE4
8のいずれか一方のウインドウのみを切り替えるように
してもよい。
【0031】
【発明の効果】以上説明したように本発明に係るフイル
ム画像入力装置によれば、フイルム画像がフイルムに横
位置に写し込まれているか縦位置に写し込まれているか
に応じてAWB、AEのウインドウを切り替えるように
したため、ウインドウがフイルム画像からはみ出すこと
がなく、またウインドウがフイルム画像に比べて小さす
ぎるということもなくなり、カラーフェリア、不適正露
光を防止することができる。
【図面の簡単な説明】
【図1】図1は本発明に係るフイルム画像入力装置の一
実施例を示すブロック図である。
【図2】図2は図1に示したフイルム画像入力装置にお
けるコマ送り時の制御を説明するために用いたフローチ
ャートである。
【図3】図3(A)及び(B)はそれぞれ横位置及び縦
位置を説明するために用いた図である。
【図4】図4は図1に示したフイルム画像入力装置にお
けるCCD回転時の制御を説明するために用いたフロー
チャートである。
【図5】図5(A)、(B)及び(C)はそれぞれ縦標
準状態からテレ方向にズーミングした場合のウインドウ
の変更を説明するために用いた図である。
【符号の説明】
12…照明ユニット 14…撮影レンズ(ズームレンズ) 16…撮像素子(CCD) 17…画像信号処理回路 18…ビデオモニタ 24…現像済みスチル写真フイルム 27…絞り 28…ズーム駆動部 30…ズーム位置検出部 32…制御部 34…フイルム駆動部 38…レンズ駆動部 40…CCD回転部 42…回転位置検出部 46…操作部 47…自動ホワイトバランス調整回路(AWB) 48…自動露光調整回路(AE) 49…ウインドウ切替え部
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭61−164386(JP,A) 特開 昭61−118076(JP,A) 特開 昭61−21684(JP,A) 特開 昭60−144078(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 5/253 H04N 9/11

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 現像済みスチル写真フイルムの画像をズ
    ームレンズを介して撮像素子の撮像面に結像させて電気
    信号に変換し、該電気信号をビデオモニタに出力するこ
    とによってフイルム画像をビデオモニタの画面に再生さ
    せるフイルム画像入力装置において、 前記フイルムに写し込まれるフイルム画像が横位置か縦
    位置かに応じて前記フイルムと撮像素子とを相対的に回
    転させビデオモニタ上のフイルム画像を正立させる回転
    機構と、 前記電気信号のうち予め設定されたウインドウ内の電気
    信号に基づいて自動的にホワイトバランス及び/又は露
    光量を調整する自動ホワイトバランス調整手段及び/又
    は自動露光調整手段と、 フイルム画像が横位置か又は縦位置かに応じてそれぞれ
    前記ウインドウを横位置に適したウインドウ又は縦位置
    に適したウインドウに切り替えるウインドウ切替え手段
    と、 を備えたことを特徴とするフイルム画像入力装置。
JP03186639A 1991-07-25 1991-07-25 フイルム画像入力装置 Expired - Fee Related JP3139504B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03186639A JP3139504B2 (ja) 1991-07-25 1991-07-25 フイルム画像入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03186639A JP3139504B2 (ja) 1991-07-25 1991-07-25 フイルム画像入力装置

Publications (2)

Publication Number Publication Date
JPH0530420A JPH0530420A (ja) 1993-02-05
JP3139504B2 true JP3139504B2 (ja) 2001-03-05

Family

ID=16192110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03186639A Expired - Fee Related JP3139504B2 (ja) 1991-07-25 1991-07-25 フイルム画像入力装置

Country Status (1)

Country Link
JP (1) JP3139504B2 (ja)

Also Published As

Publication number Publication date
JPH0530420A (ja) 1993-02-05

Similar Documents

Publication Publication Date Title
US5850253A (en) Apparatus for reproducing photographed images
JP2964364B2 (ja) フイルム画像入力装置
JP3409045B2 (ja) フイルム画像入力方法及び装置
JPS59501770A (ja) フイルムビデオプレ−ヤ
US5990937A (en) Camcorder integrally incorporating a still camera
JPS6187478A (ja) 画像読取り装置
JP3125340B2 (ja) フイルム画像入力装置
JP3139504B2 (ja) フイルム画像入力装置
JP4534285B2 (ja) 画像入出力装置
KR100209902B1 (ko) 스틸카메라일체형비데오카메라
JPH06153208A (ja) ビデオカメラ及び再生装置
JP2904736B2 (ja) スチルカメラ一体型ビデオカメラ
JP3101277B2 (ja) カラー画像処理装置
JP2961968B2 (ja) フイルム画像入力装置
JP2852223B2 (ja) スチルカメラ一体型ビデオカメラ
JP3392942B2 (ja) 色調調整装置
KR100209905B1 (ko) 스틸카메라일체형비데오카메라
JP3500768B2 (ja) オートホワイトバランス装置
JP2899010B2 (ja) 画像処理装置
JPH09186915A (ja) スチルカメラ一体型ビデオカメラ
JPH04340910A (ja) オートフォーカス装置
JPS63128879A (ja) 撮像装置
JPH08331431A (ja) スチルカメラ一体型ビデオカメラ
JPH07250278A (ja) フィルム画像再生装置
JPH1065963A (ja) フィルム画像観賞装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071215

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071215

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071215

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081215

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081215

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091215

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees