JP3206480B2 - 車両用周辺視認装置 - Google Patents

車両用周辺視認装置

Info

Publication number
JP3206480B2
JP3206480B2 JP06358397A JP6358397A JP3206480B2 JP 3206480 B2 JP3206480 B2 JP 3206480B2 JP 06358397 A JP06358397 A JP 06358397A JP 6358397 A JP6358397 A JP 6358397A JP 3206480 B2 JP3206480 B2 JP 3206480B2
Authority
JP
Japan
Prior art keywords
vehicle
view
image
nose
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP06358397A
Other languages
English (en)
Other versions
JPH10261200A (ja
Inventor
善紀 見市
美鈴 山本
哲志 御室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP06358397A priority Critical patent/JP3206480B2/ja
Publication of JPH10261200A publication Critical patent/JPH10261200A/ja
Application granted granted Critical
Publication of JP3206480B2 publication Critical patent/JP3206480B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、車両に搭載された
カメラにて該車両の左右側方の視界を撮像し、左右側方
の視野画像を運転者に提示する車両用周辺視認装置に関
する。
【0002】
【関連する背景技術】近時、車両の前部または後部に搭
載されたカメラにて該車両の左右側方の視界を撮像し、
該車両の室内に設けられたディスプレイを用いてその画
像を表示する車両用周辺視認装置の開発が進められてい
る。この種の装置によれば、例えば図4に示すように、
車両1が路地等から交差点に進入する際、道路(路地)
両側の壁2等によって視界が遮られ、運転者からは直接
見ることのできない車両前方の左右視界を、該車両の前
部に設けられたカメラにより得られる画像から確認する
ことができるので、その交差点への進入時における安全
性を高めることができる等の効果が奏せられる。
【0003】
【発明が解決しようとする課題】ところでこの種の車両
用周辺視認装置に用いられるカメラには、通常、固定焦
点レンズが組み込まれる。そしてこの固定焦点レンズに
て、1〜20m程度の被写体距離間の左右側方画像を、
所謂パンフォーカスで撮像入力するものとなっている。
つまり固定焦点レンズの被写界深度を利用して、広範囲
な被写体距離間の像を、焦点ボケがない状態で撮像入力
するものとなっている。
【0004】この為、折角、車両の左右側方の視野画像
を得ることで、側方の安全性を確認し得ると雖も、例え
ば図5に示すように、道幅の狭い道路において曲がろう
とするとき、或いは車庫入れのような場合、道路に沿っ
た壁等の障害物の像が焦点ボケによって鮮明に撮像する
ことができない。つまり壁等の障害物との距離が短すぎ
るので、カメラに組み込まれた固定焦点レンズに対して
アウトフォーカスとなり、左右側方の画像自体が非常に
不鮮明なものとなる。この為、左右側方の画像を接触防
止の為の安全確認に利用することができないと言う不具
合がある。
【0005】本発明はこのような事情を考慮してなされ
たもので、その目的は、車両の左右側方の視野画像を、
見通しの悪い交差点等における左右の安全確認のみなら
ず、接触防止の安全確認にも利用することのできる簡易
で実用性の高い車両用周辺視認装置を提供することにあ
る。
【0006】
【課題を解決するための手段】上述した目的を達成する
べく本発明に係る車両周辺視認装置は、車両の前部また
は後部に取り付けられて該車両の側方視界を撮像する撮
像手段と、前記車両の室内に設けられたディスプレイに
上記撮像手段にて撮像された車両側方の視界画像を表示
する手段を備え、特に前記車両の周辺環境を検出する環
境検出手段と、前記撮像手段の焦点位置を手動により変
更する選択スイッチと、この選択スイッチによる焦点位
置の変更操作を前記環境検出手段による検出結果に関連
付けて記憶する学習手段と、前記環境検出手段による検
出結果および前記学習手段に記憶された情報に従って
記撮像手段の焦点位置を自動的に変更する焦点位置変更
手段を備えることを特徴としている。
【0007】即ち、選択スイッチの手動操作によって
定される撮像手段の焦点位置と、前記環境検出手段によ
って求められる車両の周辺環境とを関連付けて記憶し
(学習手段)、前記撮像手段の焦点位置を、前記環境検
出手段による検出結果および前記学習手段に記憶された
情報に従って自動的に変更することで(焦点位置変更手
段)、例えばパンフォーカスによる広範囲な被写界深度
を確保し得る標準焦点位置、または被写界深度が狭いが
近接距離の画像を鮮明に撮像可能な近接焦点位置に選択
設定することを特徴としている。
【0008】
【発明の実施の形態】以下、図面を参照して本発明の一
実施形態に係る車両用周辺視認装置を、ノーズビュー装
置を例に説明する。尚、ここでは車両の前部に設けたカ
メラにて該車両の左右側方の視界を撮像するノーズビュ
ー装置を例に説明するが、車両の後部に設けたカメラに
て該車両の左右側方の視界を撮像する車両後方左右ビュ
ー装置にも同様に適用できる。
【0009】図1はノーズビュー装置の機能的な概略構
成を示す図で、11,12は車両の前部に取り付けられ
て該車両の左右側方の視界をそれぞれ撮像する撮像手段
としての左視界カメラおよび右視界カメラである。これ
らの各カメラ11,12は、例えばフロントグリルの前
面に突出して設けられ、各カメラ11,12によって図
4及び図5にそれぞれ示すように車両10の前部左右側
方の視界がそれぞれ撮像されるものとなっている。
【0010】尚、ここでは独立した2つのカメラ11,
12にて左右側方の視界をそれぞれ撮像入力するものと
して説明するが、ミラーやプリズムを用いて左右側方の
画像を光学的に合成し、これを1つのカメラにて撮像す
るものであっても良い。また前記各カメラ11,12
を、例えば車両のフロントフェンダの前側に、特にフロ
ントバンパの延長線上の切り込み部分等にそれぞれ別個
に組み込んで、車両10の前部左右側方の視界をそれぞ
れ撮像するようにしても良い。
【0011】さて前記各カメラ11,12の撮像視野角
は、例えば水平方向90°未満の自然目視(人間が自然
な状態で視認できる視野)の範囲に設定されており、所
謂広角レンズから標準レンズに相当する視野角として定
められている。このような視野角の各カメラ11,12
により、車両10の前部における左右側方の視界が、そ
の視野方向(水平方向)に関して幾何学的な歪みを殆ど
生じることなく一括して撮像し得るものとなっている。
【0012】またそのレンズ系の焦点は、例えば標準焦
点位置と近接焦点位置との2段階に選択設定し得るもの
となっている。上記標準焦点位置L1は、図2に模式的
に示すように、例えば1〜20m程度の広範囲な被写体
距離間D1の側方画像を、所謂パンフォーカスで焦点ボ
ケなく撮像入力し得る焦点である。また近接焦点位置L
2は、例えば標準焦点に固定的に設定されたレンズ系に
クローズアップレンズを装着することによって、或いは
該レンズ系を近接焦点位置L2に繰り出しによって設定
されるものである。このような近接焦点位置の設定によ
り、そのレンズ系の被写界深度が狭くなるが、逆にカメ
ラ11,12は限られた近接距離範囲D2の画像を鮮明に
撮像可能な状態に設定される。つまり各カメラ11,1
2は、標準焦点位置と近接焦点位置との2段階に選択設
定可能に構成されている。
【0013】一方、画像の表示手段としてのディスプレ
イ13は車両10の室内、特に運転席前方のインストル
メントパネルやコンソールパネル等に組み込まれるもの
で、例えば液晶ディスプレイからなる。このディスプレ
イ13は、前述した左右側方の視界画像の表示に供せら
れると共に、後述するナビゲーションシステム14によ
るナビゲーション情報(自車周辺の道路と自車位置等を
示す地図情報等)の表示等にも用いられる。
【0014】さてこの装置が特徴とするところは、マイ
クロプロセッサ等によって構築されるノーズビューシス
テム15において、特にノーズビュー選択制御機能1
6,左右視野像合成制御機能17,カメラ焦点近接制御
機能18とを備えている点であり、更に補助的機能とし
て学習部(メモリ)19を備えている点にある。上記ノ
ーズビュー選択制御機能16は、前述したカメラ11,
12によって撮像入力される車両10の前部左右側方の
視界画像に基づく画像表示を前記ディスプレイ13を用
いて実行するか否かを制御する機能であり、後述するよ
うにナビゲーションシステム14から与えられる交差点
の情報やノーズビュー選択スイッチからの指示情報等に
基づいてその選択制御を実行する。このノーズビュー選
択制御機能16の制御の下で左右視野像合成制御機能1
7が駆動される。そして左右視野像合成制御機能17
は、前記カメラ11,12によって撮像入力された車両
10の前部左右側方の視界画像を並べて1枚の表示画像
を形成し、この表示画像を前記ディスプレイ13に表示
し、運転者に提示する役割を担う。
【0015】またカメラ焦点近接制御機能18は、例え
ば近接選択スイッチの手動操作による指示を受けて、或
いは車速信号やRレンジ選択信号等によって示される車
両10の特定の走行状態に応じて駆動されるもので、定
常的には標準焦点位置に設定されている前記カメラ1
1,12の焦点を、近接焦点位置に変更設定する役割を
担う。
【0016】尚、前記学習部19は、上記各機能16,
17,18の作動の形態(動作状態)を、例えばナビゲ
ーションシステム14から得られる走行環境等に応じて
学習するものである。この学習部19によって、例えば
交差点に対応したノーズビュー機能の作動条件や、車庫
に対する車両10の出し入れ等の特定の運転条件に対応
して前述したカメラ焦点近接制御機能18の作動条件等
が学習される。この学習結果は、その後の前記ノーズビ
ュー・システム15における前記各機能16,17,18
の自動制御に利用される。
【0017】このように構築される車両用周辺視認装置
(ノーズビュー装置)の特徴的な機能と、その作用につ
いて図3に示す基本的な制御フローに従って更に詳しく
説明すると、ノーズビュー処理は、基本的にはノーズビ
ュー選択スイッチが選択(オン)されているか否かを判
定することから開始される[ステップS1]。ノーズビ
ュー選択スイッチが非選択(オフ)である場合には、該
ノーズビュー選択スイッチが選択(オン)されるまでこ
の処理を中止するか、或いは特に制御フローを示されな
いが前記学習部19による学習結果に基づいてノーズビ
ュー制御を実行する。この学習結果に基づくノーズビュ
ー制御については後述する。
【0018】しかしてノーズビュー選択スイッチが選択
(オン)されている場合には、次に車速信号に基づい
て、例えばそのときの車速が20km/h以下の低速で
あるか否かを判定する[ステップS2]。この判定は、
ノーズビューが必要な運転環境が、例えば見通しの悪い
交差点への進入時や、車庫入れ等の低速走行していると
きであり、高速走行時には車両前部の左右視界の確認が
殆ど不要であることに立脚している。換言すれば車両前
部の左右視界の確認が必要な場合には、当然に減速し、
低速走行、若しくは一時停止している状態であることに
立脚している。従って車両10が高速走行している場合
には、ノーズビュー処理が中止される。
【0019】このようなノーズビュー選択スイッチのオ
ン・オフ判定、および車速判定によるノーズビュー機能
の作動に対する選択制御は、前記ノーズビュー選択制御
機能16によって実行される。そしてこのノーズビュー
選択制御機能16によってノーズビュー機能を作動させ
る上での必要条件が判定されたならば、次に近接選択ス
イッチが操作(オン)されているか否かを判定する[ス
テップS3]。また近接選択スイッチが非操作(オフ)
である場合には、更に車両10の変速段が後退モード
(Rレンジ)に設定されているか否かを判定する[ステ
ップS4]。
【0020】そして近接選択スイッチが操作(オン)さ
れている場合、或いはRレンジ選択信号によって後退モ
ード(Rレンジ)が設定されていることが確認された場
合には、前記カメラ焦点近接制御機能18を作動させて
定常的には標準焦点位置に設定されている前記カメラ1
1,12の焦点を、近接焦点位置に変更設定する[ステ
ップS5]。つまりノーズビューが指示され、且つ近接
選択の指示やRレンジの設定がなされている場合には、
これを接触防止の側方確認のモードであると判定して、
前記カメラ11,12の焦点を近接焦点位置に変更設定
し、車両側方の近接領域の画像を鮮明に撮像する。
【0021】このようなカメラ11,12の焦点の近接
焦点位置への変更設定の条件は、例えばそのときにナビ
ゲーションシステム14によって求められる位置情報等
に関連付けて学習部19に記憶される。そして学習部1
9は、この種のノーズビューの作動形態を、交差点や車
庫等の位置情報に対応付けて学習し、その後の自動制御
を行う上での情報として提供することになる。
【0022】これに対して近接選択スイッチの操作がな
く、またRレンジにも設定されていような場合であっ
て、ノーズビューの指示だけがなされているような場合
には、これを通常の交差点等における側方安全確認のモ
ードであると判断し、前記カメラ11,12の焦点を通
常の標準焦点位置に保って、所定の距離範囲(被写界深
度範囲)の側方画像を鮮明に撮像する[ステップS
6]。
【0023】尚、ノーズビュー選択スイッチが操作(オ
ン)されていないような場合であっても、例えば前記ナ
ビゲーションシステム14から得られる位置情報等に従
い、車両10の現在位置が特定の交差点への進入点であ
ることが示された場合、或いは車庫への車両10の出し
入れであることが示された場合には、前記学習部19に
おいて求められているノーズビューの作動形態の情報に
従って、自動的に前記ステップS2〜S6に示される処
理を実行するようにすれば良い。このような自動制御モ
ードを備えれば、ノーズビュー選択スイッチを頻繁に操
作するような煩わしさを省くことができ、逆に自動的な
ノーズビュー機能の作動により側方確認や近接確認等の
注意を喚起することが可能となる。
【0024】従って本装置によれば、見通しの悪い交差
点への進入時に側方確認に利用されるノーズビュー機能
を有効に活用して、車庫入れ時等における障害物との接
触防止の為の安全確認を効果的に行うことが可能とな
る。しかもカメラ11,12の焦点を標準焦点位置から
近接焦点位置へと変更することだけで、近接領域の画像
を鮮明に得、これによって車両側方の近接位置に存在す
る障害物の確認を容易化し得る。更には上記カメラ1
1,12の標準焦点位置から近接焦点位置への変更は、
前述したようにクローズアップレンズの装着、或いはレ
ンズ系の一定量の繰り出しによって簡単に制御すること
ができ、その構成も簡単である。
【0025】ちなみにカメラ11,12をオートフォー
カス制御することも考えられるが、オートフォーカス制
御を行うには、例えば被写体(障害物)までの距離を計
測することが必要となり、その構成と制御系が相当複雑
化することが否めない。まして距離を計測すること自
体、接触防止の為の確認を行っていることに相当するの
で、計測距離に基づいてカメラの焦点位置を調整し、鮮
明な画像を撮像することは、ある意味で無駄(過剰)な
作業となる。従って前述した如く近接焦点位置への変更
だけによって近接領域の画像を鮮明に得るようにした本
装置によれば、被写体(障害物)までの距離を計測する
必要がなく、側方画像を有効に利用して接触防止の側方
確認を行い得るので、その実用的利点が多大である。
【0026】また前述した実施形態に示すように、Rレ
ンジ選択信号に基づいて近接画像表示を行うようにして
いるので、車両10の後退時に見落とし易い前部側方の
障害物を確実に把握することが可能となり、その実用的
効果が非常に大きい。尚、本発明は上述した実施形態に
限定されるものではない。例えば車両後部のクォータパ
ネルアウタ等にカメラを組み込み。車両後部における左
右側方視界を同様に撮像して画像表示するようにしても
良い。また近接領域の画像を表示するに際しては、その
旨のメッセージを同時に画像表示し、通常の左右側方の
視界画像とは異なることを明示するようにすれば良い。
その他、本発明はその要旨を逸脱しない範囲で種々変形
して実施することができる。
【0027】
【発明の効果】以上説明したように本発明によれば、車
両の前部または後部に取り付けられたカメラにて該車両
側方の視界を撮像し、その側方画像をディスプレイに表
示するに際し、特に選択スイッチの手動操作によって設
定される撮像手段の焦点位置と、環境検出手段によって
求められる車両の周辺環境とを関連付けて記憶し、環境
検出手段による検出結果および学習手段に記憶された情
報に従って撮像手段の焦点位置を自動的に変更するもの
となっている。これ故、例えばカメラの焦点を標準焦点
位置から近接焦点位置へと変更して近接領域の画像を鮮
明に得、これを接触防止の側方確認に供し得る。従って
本発明によれば、交差点等において左右側方の視界を確
認する機能を有効に活用して、車両側方の近接領域の障
害物検出を行うことが可能となる等、安全性確認の上で
多大なる効果が奏せられる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る車両用周辺視認装置
の一例であるノーズビュー装置の機能的な概略構成図。
【図2】図1に示すノーズビュー装置に組み込まれたカ
メラの標準焦点位置および近接焦点位置での撮像範囲
(被写界深度範囲)を模式的に示す図。
【図3】本発明の実施形態における基本的な制御手順の
流れを示す図。
【図4】交差点におけるノーズビュー装置の機能を示す
図。
【図5】狭い道路や車庫入れ時等においてノーズビュー
装置で検出する側方視野と壁等の障害物との関係を示す
図。
【符号の説明】
10 車両 11 左視界カメラ 12 右視界カメラ 13 ディスプレイ 14 ナビゲーションシステム 15 ノーズビューシステム 16 ノーズビュー選択制御機能 17 左右視野像合成御機能 18 カメラ焦点近接制御機能 19 学習部
フロントページの続き (56)参考文献 特開 平9−35196(JP,A) 特開 平2−78000(JP,A) 特開 平9−58343(JP,A) 特開 平7−121795(JP,A) (58)調査した分野(Int.Cl.7,DB名) G08G 1/16 B60R 21/00 621 H04N 7/18

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 車両の前部または後部に取り付けられて
    該車両の左右側方における視界をそれぞれ撮像する撮像
    手段と、前記車両の室内に設けられ前記撮像手段で求め
    られた左右側方の視界画像を表示する表示手段と、前記
    車両の周辺環境を検出する環境検出手段と、前記撮像手
    段の焦点位置を手動により変更する選択スイッチと、こ
    の選択スイッチによる焦点位置の変更操作を前記環境検
    出手段による検出結果に関連付けて記憶する学習手段
    と、前記環境検出手段による検出結果および前記学習手
    段に記憶された情報に従って前記撮像手段の焦点位置を
    自動的に変更する焦点位置変更手段とを具備したことを
    特徴とする車両用周辺視認装置。
  2. 【請求項2】 前記環境検出手段は、ナビゲーション情
    報を検出するものであって、前記学習手段は、前記焦点
    位置の変更操作を、そのときのナビゲーション情報に関
    連付けて記憶するものである請求項1に記載の車両用周
    辺視認装置。
JP06358397A 1997-03-17 1997-03-17 車両用周辺視認装置 Expired - Lifetime JP3206480B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06358397A JP3206480B2 (ja) 1997-03-17 1997-03-17 車両用周辺視認装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06358397A JP3206480B2 (ja) 1997-03-17 1997-03-17 車両用周辺視認装置

Publications (2)

Publication Number Publication Date
JPH10261200A JPH10261200A (ja) 1998-09-29
JP3206480B2 true JP3206480B2 (ja) 2001-09-10

Family

ID=13233446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06358397A Expired - Lifetime JP3206480B2 (ja) 1997-03-17 1997-03-17 車両用周辺視認装置

Country Status (1)

Country Link
JP (1) JP3206480B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102488863B1 (ko) * 2018-11-16 2023-01-17 콤비 가부시키가이샤 커버, 유모차용 수납 주머니 부착 커버 및 유모차

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005225250A (ja) * 2004-02-10 2005-08-25 Murakami Corp 車載用監視装置
JP4596359B2 (ja) * 2004-06-08 2010-12-08 マツダ株式会社 警報システム及び移動体端末
US11827503B2 (en) 2020-03-18 2023-11-28 Crown Equipment Corporation Adaptive acceleration for materials handling vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102488863B1 (ko) * 2018-11-16 2023-01-17 콤비 가부시키가이샤 커버, 유모차용 수납 주머니 부착 커버 및 유모차

Also Published As

Publication number Publication date
JPH10261200A (ja) 1998-09-29

Similar Documents

Publication Publication Date Title
JP5174304B2 (ja) 車両の進路を視覚化するための方法および装置
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP3511892B2 (ja) 車両用周囲モニタ装置
US8035575B2 (en) Driving support method and driving support apparatus
JP4593070B2 (ja) 車両の画像処理装置
JP5087051B2 (ja) 画像生成装置及び画像表示システム
US20030030724A1 (en) Park-assisting apparatus
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP2005001570A (ja) 駐車支援装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JPH10244891A (ja) 駐車補助装置
JP2008279875A (ja) 駐車支援装置
JP2008018760A (ja) 運転支援装置
JP2001076298A (ja) 車両の表示装置
JP4766314B2 (ja) 車両運転支援装置
JP6981433B2 (ja) 運転支援装置
JP3906892B2 (ja) 駐車支援装置
CN112009398A (zh) 车辆的控制方法、装置、车辆和存储介质
JP3284917B2 (ja) 車両用周辺視認装置
JP3468658B2 (ja) 車両用周辺視認装置
JP2013161440A (ja) 車両周辺監視装置
JP3206480B2 (ja) 車両用周辺視認装置
JP2005057536A (ja) 映像提示装置
JP2004051063A (ja) 車両周辺視認装置
JP3033390B2 (ja) 車両用画像表示装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20010605

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080706

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090706

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140706

Year of fee payment: 13

EXPY Cancellation because of completion of term