JP3630833B2 - 車輛の外界監視装置用カメラ - Google Patents
車輛の外界監視装置用カメラ Download PDFInfo
- Publication number
- JP3630833B2 JP3630833B2 JP07428096A JP7428096A JP3630833B2 JP 3630833 B2 JP3630833 B2 JP 3630833B2 JP 07428096 A JP07428096 A JP 07428096A JP 7428096 A JP7428096 A JP 7428096A JP 3630833 B2 JP3630833 B2 JP 3630833B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- vehicle
- polarizing filter
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車等の車輛において、車外の対象を撮像し、撮像した対象の画像認識を行って外界情報を得るための車輛の外界監視装置用カメラに関する。
【０００２】
【従来の技術】
近年、交通事故の増大傾向に対して車の安全性の飛躍的向上を図るため、積極的に運転操作をアシストする総合的な運転支援システム（ＡＤＡ，Ａｃｔｉｖｅ Ｄｒｉｖｅ Ａｓｓｉｓｔ ｓｙｓｔｅｍ）が開発されている。このシステムでは、車輛の外部環境を認識することが必要不可欠であるが、従来より、カメラ等の撮像手段を車輌に搭載し、複数のカメラによりとらえた車輛前方の風景や物体の画像情報を処理して、道路、交通環境等の車外の状態を認識・監視する技術の開発が進められている。例えば、特開平３−２２５５１３号公報には、テレビカメラでとらえた進行方向前方の道路帯画像を画像処理して道路情報を抽出し、走行制御を行う技術が開示されている。
【０００３】
車外監視の際には、より広い視野角を得ると共に、より詳細な画像を得ることが外界認識率を向上して安全性を高める上で重要である。一般的には、低速ではより広い視野を確保し、高速においてはより遠方を監視することにより、外界認識率をより向上させることができ、このためには、車速に応じた適切な焦点距離で車外の対象を撮像し、この撮像時の焦点距離に基づいて画像処理を行う必要がある。
【０００４】
【発明が解決しようとする課題】
従来提案された外界監視用のシステムでは、車速に応じた適切な焦点距離で車外の対象を撮像するためには、低速時に広い視野の画像を得るための広角用と、高速時に遠方の詳細な画像を得るための望遠用とにそれぞれ専用の二種類のカメラが必要である。二つのカメラを用いてステレオ観察を行い対象を立体的に認識する、いわゆるステレオ法による画像認識システムでは、上記目的を達成するために広角用と望遠用とで二つずつ合計四つのカメラを用意する必要があり、撮像手段に多くのコストがかかるという問題点がある。
【０００５】
また、車室内に撮像用のカメラを設置する場合は、フロントウィンドウに車室内のダッシュボードやインストルメントパネルなどの物体の反射像が映り込むゴーストが生じ、このゴーストがカメラに入射して撮像されることがあり、このようなゴーストのために、認識エラーとなったり、実体とは異なる状態を認識してしまうなどの誤認識が起きるおそれがあった。
【０００６】
本発明は、これらの事情に鑑みてなされたもので、その第１の目的は、広い視野角を得るための広角用と詳細な画像を得るための望遠用の二つの特性を有する撮像手段を低コストで実現することができる車輛の外界監視装置用カメラを提供することにある。
【０００７】
また、第２の目的は、フロントウィンドウに映り込むゴーストの影響を低減でき、ゴーストによる誤認識を防止することができる車輛の外界監視装置用カメラを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、２台の撮像体から成る撮像手段を用いて車外の対象を撮像し、該撮像手段で撮像した画像を処理して外界情報を得る車輛の外界監視装置用カメラにおいて、上記撮像手段に設けた撮像素子に対し被写体像を結像する撮像光学系の光路中に、該撮像光学系に入射する光線のうち所定の偏光成分の光線のみを透過する偏光フィルタを挿脱自在に設け、上記両撮像体で撮像した一対の画像同士のミスマッチを検出する画像処理手段を有し、上記画像処理手段は、上記ミスマッチを検出した際、上記偏光フィルタを上記光路中にセットさせると共に、上記偏光フィルタを光軸回りに回転させて該偏光フィルタの偏光角度を上記画像同士のミスマッチが少ない位置にセットすることを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１ないし図１１は本発明の一実施形態に係り、図１は車外監視装置の全体構成図、図２は車輛の正面図、図３はカメラと被写体との関係を示す説明図、図４はカメラの光学系の概略構成を示す説明図、図５はカメラの実際の車輛における設置例を示す説明図、図６は偏光フィルタの回転機構の構成例を示す平面図、図７は偏光フィルタの挿脱機構の第１の構成例を示す説明図、図８は偏光フィルタの挿脱機構の第２の構成例を示す説明図、図９はカメラの光学系の作用説明図、図１０はコンバージョンレンズの挿脱機構の第１の構成例を示す説明図、図１１はコンバージョンレンズの挿脱機構の第２の構成例を示す説明図である。
【００１０】
図１において、符号１は自動車などの車輌であり、この車輌１に、車外の対象を撮像し、撮像した画像を処理して外界情報を得る車外監視装置２が搭載されている。
【００１１】
前記車外監視装置２は、車外の対象を近距離から遠距離に渡って撮像可能な撮像手段１０と、この撮像手段１０によって撮像した画像を撮像時の焦点距離に基づいて処理し、画像全体に渡る距離分布を算出して外界情報を得る画像処理手段２０と、車速センサ５で検出した車輌１の車速に応じて適正な焦点距離を設定し、この焦点距離の設定値を前記撮像手段１０及び前記画像処理手段２０へ出力して撮像手段１０を広角用または望遠用に切り換える焦点距離設定手段１５とを備えている。
【００１２】
前記画像処理手段２０で得られる外界情報としては、先ず、車外の対象までの距離情報があり、この距離情報に基づいて道路形状や立体物等の認識が行われる。そして、認識した立体物が自車輌に対して障害物となる場合、図示しないアクチュエータ類を制御する外部装置を接続することにより、運転者に対する警告、車体の自動衝突回避等の動作を行うことが可能となっている。
【００１３】
本実施形態の車外監視装置２は、車外の対象を異なる位置から撮像した１組の画像に対し、対応する位置のずれ量から三角測量の原理によって距離を求める、いわゆるステレオ法による画像処理で三次元の距離情報を得るものであり、前記撮像手段１０は、左右画像用として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた２台のカメラにより構成されている。
【００１４】
すなわち、図２に示すように、撮像手段１０は、２台の撮像体としてのＣＣＤカメラ１１ａ，１１ｂ（代表してＣＣＤカメラ１１と表記する場合もある）を有し、各ＣＣＤカメラ１１ａ，１１ｂが、それぞれ車室内の天井前方に一定の間隔をもって取り付けられている。ここで、車室内のＣＣＤカメラ１１の取付位置を、例えば、車輌１のボンネット先端から２ｍとすると、例えば、直近から１００ｍ遠方までを撮像する場合、実際には前方２ｍから１００ｍまでの位置を撮像することになる。
【００１５】
この場合、図３に示すように、２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとして、２台のカメラ１１ａ，１１ｂの設置面から距離Ｚにある点Ｐを撮影すると、２台のカメラ１１ａ，１１ｂの焦点距離を共にｆとして、点Ｐの像は、それぞれのカメラについて焦点位置からｆだけ離れた投影面に写る。
【００１６】
このとき、右のＣＣＤカメラ１１ｂにおける像の位置から左のＣＣＤカメラ１１ａにおける像の位置までの距離は、ｒ＋δとなり、このδをずれ量とすると、点Ｐまでの距離Ｚは、ずれ量δから以下の（１）式で求めることができる。
【００１７】
Ｚ＝ｒ・ｆ／δ （１）
この左右画像のずれ量δを検出するには、左右画像における同一物体の像を見つけ出す必要があり、本実施形態の画像処理手段２０では、画像を小領域に分割し、それぞれの小領域内の輝度あるいは色のパターンを左右画像で比較して一致する領域を見つけ出し、全画面に渡って距離分布を求める。
【００１８】
左右画像の一致度は、右画像、左画像のｉ番目画素の輝度（色を用いても良い）を、それぞれ、Ａｉ、Ｂｉとすると、例えば、以下の（２）式に示すシティブロック距離Ｈによって評価することができる。
【００１９】
Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２）
前記一致度の評価を基に、撮像した画像の全画面に渡る距離分布を求め、得られた距離情報より車外の道路形状や立体物等の状態認識を行う。
【００２０】
以下に本実施形態のＣＣＤカメラ１１の構成例を説明する。図４はＣＣＤカメラ１１の光学系の概略構成を示したものである。
【００２１】
ＣＣＤカメラ１１には、撮像素子としてＣＣＤ３１が設けられ、このＣＣＤ３１の前方に被写体像をＣＣＤ３１の撮像面に結像する撮像光学系としての対物レンズ系３２が配置されている。対物レンズ系３２の前面部には、所定の偏光成分の光線のみを透過して不要な光線を除去する偏光フィルタ３３が光路中に挿脱自在に設けられている。また、対物レンズ系３２の光路中（図では対物レンズ系３２の後面部）には、該対物レンズ系３２の焦点距離を変更する焦点切換レンズとしてのコンバージョンレンズ３４が挿脱自在に設けられている。なお、図中の各レンズは模擬的に描いたものであり、実際のものとは異なっている。
【００２２】
上記のように、ＣＣＤカメラ１１において必要に応じて偏光フィルタ３３を設けることにより、フロントウィンドウに映り込んだ車室内のインストルメントパネル上部やダッシュボードなどの物体の反射像のゴーストが対物レンズ系３２及びＣＣＤ３１に入射することを防ぐことができ、ＣＣＤカメラ１１へのゴーストの映り込みを低減できる。また、必要に応じてコンバージョンレンズ３４を設けることにより、広角用と望遠用の二種類の光学系を構成でき、一つのカメラで広い視野角を持つ画像と遠方の詳細な画像とを得ることができる。
【００２３】
図５は前記ＣＣＤカメラ１１の実際の車輛における設置例を示したものであり、ＣＣＤカメラ１１のレンズ部３５の周囲に、前方に突出して遮光用のフード３６が設けられ、レンズ部３５の前面に、偏光フィルタ３３が上部のルーフ側の回動軸３７を中心にして、光路に交差する方向（図５の矢印方向）へ回動可能に取り付けられている。偏光フィルタ３３を配置すると、ＣＣＤカメラ１１への入射光量が減少するため、ゴーストの影響が少なく必要の無いときは、偏光フィルタ３３を図中破線で示すように対物レンズ系３２の光路中から外すようにする。
【００２４】
本設置例のように回動軸３７を上部のルーフ側に設けることにより、偏光フィルタ３３の退避時にフィルタ上に埃が付着しにくくすることができる。なお、図５の例とは逆に、下側に偏光フィルタ３３の回動軸３７を設けることもでき、この場合、偏光フィルタ３３の退避時にフィルタ自体が下側のフードの代わりの機能を持つため、長いフードを設けなくともフロントウィンドウ下部のダッシュボード近傍等、下方からの映り込みを防止するのに有効である。
【００２５】
前記偏光フィルタ３３の回転機構の構成例を図６に示す。偏光フィルタ３３は、外周部にウォームホイル３８を備えたフィルタ枠３９に固定され、このフィルタ枠３９と共にフィルタケース４０に対し、光軸回り方向（図６の矢印方向）へ回転可能に取り付けられている。そして、フィルタケース４０の一端に前記回動軸３７が設けられ、フィルタケース４０全体が回動軸３７を中心に回動するようになっている。フィルタケース４０の端部近傍には、図示しないモータ等の駆動手段に連結された一組のかさ歯車４１ａ，４１ｂが設けられ、かさ歯車４１ｂの他端にピニオン４２が設けられており、このピニオン４２が前記フィルタ枠３９のウォームホイル３８に噛合している。ここで、かさ歯車４１ａの回転軸は、フィルタケース４０の回動軸３７の延長上に軸が一致するよう配置され、この軸に対して垂直にかさ歯車４１ｂの回転軸が配置されている。
【００２６】
このような回転機構によって、かさ歯車４１ａを回転させることにより、かさ歯車４１ｂ，ピニオン４２，ウォームホイル３８を介してフィルタ枠３９を回転させ、フィルタケース４０自体の回転位置によらず、偏光フィルタ３３を所望の偏光角度となるよう位置させることができ、効果的にゴーストの偏光成分を除去できる。
【００２７】
前記偏光フィルタ３３の挿脱機構の構成例を図７及び図８に示す。図７に示す第１の構成例では、フィルタケース４０を押引駆動するアクチュエータ４３が設けられ、アクチュエータ４３の一端がフィルタケース４０の中間部に接続され、他端はフード等に固定されている。レンズ部３５前端の下部近傍には、偏光フィルタ３３の移動範囲を規制する位置決め用のストッパ４４が配置されている。図８に示す第２の構成例では、フィルタケース４０の回動軸３７に扇形歯車４５が取り付けられ、図示しないモータ等の駆動手段に連結された平歯車４６に噛合している。
【００２８】
このようなアクチュエータまたは歯車からなる挿脱機構によって、フィルタケース４０を駆動して回動させ、偏光フィルタ３３をレンズ部３５の光路中にストッパ４４で位置決めしてセットしたり、光路中から退避させたりすることができる。
【００２９】
ステレオ法による画像認識では、前述したように同一の対象を左右のカメラで撮像し、一組の画像に対し左右方向の画像のズレを検出して対象の距離情報を得るようになっている。ゴーストによって左右のカメラに異なる画像が撮像された場合、ゴーストを除去しないと画像判定時にミスマッチが起き、誤認識してしまうおそれがある。車内にＣＣＤカメラを設置した構成の場合、特に、フロントウィンドウ近傍において昼間の真上から照る光の反射光によるゴーストが多く発生するため、正常な画像認識を行うにはこのようなゴーストの影響を除去する必要がある。
【００３０】
本実施形態では、画像処理手段２０において、画像認識の際に左右の画像のミスマッチを検出して、ミスマッチがあった場合にゴーストが発生したと判断し、偏光フィルタ３３によってゴーストの影響を除去する。画像処理手段２０は、ゴーストの有無に応じてＣＣＤカメラ１１へ指示を送って偏光フィルタ３３を対物レンズ系３２の前面に挿入、退避させる。このとき、図７または図８に示すような挿脱機構によって偏光フィルタ３３を光路中に配置させると共に、図６に示すような回転機構によって偏光フィルタ３３を回転させ、適正な偏光位置となるように偏光フィルタ３３をセットする。この偏光位置合わせは、所定の範囲内で偏光フィルタ３３を少しずつ回転させながら撮像された画像の認識を行い、ゴーストの影響の少ない最適位置を求めるようにする。
【００３１】
次に、前記コンバージョンレンズ３４の作用を図９に基づいて説明する。本実施形態では、ＣＣＤカメラ１１の対物レンズ系３２を予め広角用に設定しておき、図９の（ａ）に示すように近距離の対象について広い視野角を確保できるようにする。遠距離の対象を詳細に観察する場合は、図９の（ｂ）に示すように対物レンズ系３２の光路中にコンバージョンレンズ３４を挿入し、望遠用の光学系を構成する。この場合、コンバージョンレンズ３４は凹レンズ系のもので構成され、対物レンズ系３２の焦点距離を延長する作用を持っている。
【００３２】
なお、図９の例において広角側と望遠側とを逆にして、対物レンズ系３２を予め望遠用に設定しておき、広角用の光学系を構成する場合には対物レンズ系３２の光路中に焦点距離を短縮する作用を持った凸レンズ系のコンバージョンレンズを挿入するような構成としても良い。
【００３３】
前記コンバージョンレンズ３４の挿脱機構の構成例を図１０及び図１１に示す。図１０に示す第１の構成例では、コンバージョンレンズ３４は一側部にラック５１を備えたレンズケース５２に固定され、このレンズケース５２のラック５１が図示しないモータ等の駆動手段に連結されたピニオン５３に噛合しており、レンズケース５２が図中左右方向に移動可能になっている。なお、左右方向に限らず、上下方向に移動可能な構成としても良い。
【００３４】
図１１に示す第２の構成例では、レンズケース５２を左右または上下方向に押引駆動するアクチュエータ５４及びリンク５５が設けられ、リンク５５の一端がレンズケース５２の一端部に接続され、他端はフード等に固定されたアクチュエータ５４に接続されている。
【００３５】
前記レンズケース５２は、挿入方向側の端部が三角状に突出した形状に形成されており、このレンズケース５２の挿入方向には、前記突出部と当接し係合する三角状の凹部を有しコンバージョンレンズ３４の移動範囲を規制する位置決め用のストッパ５６が配置されている。図のようにレンズケース５２がストッパ５６に当接した位置において、コンバージョンレンズ３４の光軸５７と対物レンズ系３２の光軸中心とが一致するようになっており、ストッパ５６にレンズケース５２を押し当てることによって自動的に光軸合わせを行うことができる。
【００３６】
広角用と望遠用との切換えは、車速センサ５で検出した車速に応じて、焦点距離設定手段１５によりＣＣＤカメラ１１へ指示を送って図１０または図１１に示すような挿脱機構を駆動し、コンバージョンレンズ３４を光路中に挿入、退避させる。例えば、時速４０ｋｍを境にして、時速４０ｋｍ以下の低速時は広角側に、時速４０ｋｍより速い高速時は望遠側に、それぞれ対物レンズ系３２の焦点距離をセットする。
【００３７】
以上のように本実施形態によれば、一組のＣＣＤカメラのみで、広角用と望遠用のカメラを構成でき、外界認識の際に、近点においてより広い視野角を確保することができ、かつ、遠点においてより詳細な画像認識を行うことが可能となる。従って、ステレオ法による外界監視用の画像認識システムにおいて、広角用と望遠用とに専用の複数組のカメラを設けることなく、低コストでこれら二つの特性を有する撮像手段を実現でき、近距離から遠距離まで幅広く対応可能で、状況に応じて十分な視野角と解像度を持った外界の画像を得ることができる。
【００３８】
また、画像認識の際に、本実施形態の偏光フィルタによってフロントウィンドウの反射光の映り込みをより効果的に低減でき、ゴーストによる誤認識を防止することができる。また、偏光フィルタを配設する対物レンズ系の周囲に保護用のフードを設けることにより、ゴースト除去効果を強化させることができる。また、偏光フィルタの退避時に、フィルタを上側に格納することにより、偏光フィルタへの埃等の付着を防止することができる。
【００３９】
【発明の効果】
以上説明したように本発明によれば、広い視野角を得るための広角用と詳細な画像を得るための望遠用の二つの特性を有する撮像手段を低コストで実現できる効果がある。また、フロントウィンドウに映り込むゴーストの影響を低減でき、ゴーストによる誤認識を防止できる効果がある。
【図面の簡単な説明】
【図１】車外監視装置の全体構成図
【図２】車輛の正面図
【図３】カメラと被写体との関係を示す説明図
【図４】本発明の一実施形態に係るカメラの光学系の概略構成を示す説明図
【図５】カメラの実際の車輛における設置例を示す説明図
【図６】偏光フィルタの回転機構の構成例を示す平面図
【図７】偏光フィルタの挿脱機構の第１の構成例を示す説明図
【図８】偏光フィルタの挿脱機構の第２の構成例を示す説明図
【図９】本実施形態に係るカメラの光学系の作用説明図
【図１０】コンバージョンレンズの挿脱機構の第１の構成例を示す説明図
【図１１】コンバージョンレンズの挿脱機構の第２の構成例を示す説明図
【符号の説明】
１…車輌
２…車外監視装置
５…車速センサ
１０…撮像手段
１１…ＣＣＤカメラ
１５…焦点距離設定手段
２０…画像処理手段
３１…ＣＣＤ
３２…対物レンズ系
３３…偏光フィルタ
３４…コンバージョンレンズ
【発明の属する技術分野】
本発明は、自動車等の車輛において、車外の対象を撮像し、撮像した対象の画像認識を行って外界情報を得るための車輛の外界監視装置用カメラに関する。
【０００２】
【従来の技術】
近年、交通事故の増大傾向に対して車の安全性の飛躍的向上を図るため、積極的に運転操作をアシストする総合的な運転支援システム（ＡＤＡ，Ａｃｔｉｖｅ Ｄｒｉｖｅ Ａｓｓｉｓｔ ｓｙｓｔｅｍ）が開発されている。このシステムでは、車輛の外部環境を認識することが必要不可欠であるが、従来より、カメラ等の撮像手段を車輌に搭載し、複数のカメラによりとらえた車輛前方の風景や物体の画像情報を処理して、道路、交通環境等の車外の状態を認識・監視する技術の開発が進められている。例えば、特開平３−２２５５１３号公報には、テレビカメラでとらえた進行方向前方の道路帯画像を画像処理して道路情報を抽出し、走行制御を行う技術が開示されている。
【０００３】
車外監視の際には、より広い視野角を得ると共に、より詳細な画像を得ることが外界認識率を向上して安全性を高める上で重要である。一般的には、低速ではより広い視野を確保し、高速においてはより遠方を監視することにより、外界認識率をより向上させることができ、このためには、車速に応じた適切な焦点距離で車外の対象を撮像し、この撮像時の焦点距離に基づいて画像処理を行う必要がある。
【０００４】
【発明が解決しようとする課題】
従来提案された外界監視用のシステムでは、車速に応じた適切な焦点距離で車外の対象を撮像するためには、低速時に広い視野の画像を得るための広角用と、高速時に遠方の詳細な画像を得るための望遠用とにそれぞれ専用の二種類のカメラが必要である。二つのカメラを用いてステレオ観察を行い対象を立体的に認識する、いわゆるステレオ法による画像認識システムでは、上記目的を達成するために広角用と望遠用とで二つずつ合計四つのカメラを用意する必要があり、撮像手段に多くのコストがかかるという問題点がある。
【０００５】
また、車室内に撮像用のカメラを設置する場合は、フロントウィンドウに車室内のダッシュボードやインストルメントパネルなどの物体の反射像が映り込むゴーストが生じ、このゴーストがカメラに入射して撮像されることがあり、このようなゴーストのために、認識エラーとなったり、実体とは異なる状態を認識してしまうなどの誤認識が起きるおそれがあった。
【０００６】
本発明は、これらの事情に鑑みてなされたもので、その第１の目的は、広い視野角を得るための広角用と詳細な画像を得るための望遠用の二つの特性を有する撮像手段を低コストで実現することができる車輛の外界監視装置用カメラを提供することにある。
【０００７】
また、第２の目的は、フロントウィンドウに映り込むゴーストの影響を低減でき、ゴーストによる誤認識を防止することができる車輛の外界監視装置用カメラを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、２台の撮像体から成る撮像手段を用いて車外の対象を撮像し、該撮像手段で撮像した画像を処理して外界情報を得る車輛の外界監視装置用カメラにおいて、上記撮像手段に設けた撮像素子に対し被写体像を結像する撮像光学系の光路中に、該撮像光学系に入射する光線のうち所定の偏光成分の光線のみを透過する偏光フィルタを挿脱自在に設け、上記両撮像体で撮像した一対の画像同士のミスマッチを検出する画像処理手段を有し、上記画像処理手段は、上記ミスマッチを検出した際、上記偏光フィルタを上記光路中にセットさせると共に、上記偏光フィルタを光軸回りに回転させて該偏光フィルタの偏光角度を上記画像同士のミスマッチが少ない位置にセットすることを特徴とする。
【０００９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１ないし図１１は本発明の一実施形態に係り、図１は車外監視装置の全体構成図、図２は車輛の正面図、図３はカメラと被写体との関係を示す説明図、図４はカメラの光学系の概略構成を示す説明図、図５はカメラの実際の車輛における設置例を示す説明図、図６は偏光フィルタの回転機構の構成例を示す平面図、図７は偏光フィルタの挿脱機構の第１の構成例を示す説明図、図８は偏光フィルタの挿脱機構の第２の構成例を示す説明図、図９はカメラの光学系の作用説明図、図１０はコンバージョンレンズの挿脱機構の第１の構成例を示す説明図、図１１はコンバージョンレンズの挿脱機構の第２の構成例を示す説明図である。
【００１０】
図１において、符号１は自動車などの車輌であり、この車輌１に、車外の対象を撮像し、撮像した画像を処理して外界情報を得る車外監視装置２が搭載されている。
【００１１】
前記車外監視装置２は、車外の対象を近距離から遠距離に渡って撮像可能な撮像手段１０と、この撮像手段１０によって撮像した画像を撮像時の焦点距離に基づいて処理し、画像全体に渡る距離分布を算出して外界情報を得る画像処理手段２０と、車速センサ５で検出した車輌１の車速に応じて適正な焦点距離を設定し、この焦点距離の設定値を前記撮像手段１０及び前記画像処理手段２０へ出力して撮像手段１０を広角用または望遠用に切り換える焦点距離設定手段１５とを備えている。
【００１２】
前記画像処理手段２０で得られる外界情報としては、先ず、車外の対象までの距離情報があり、この距離情報に基づいて道路形状や立体物等の認識が行われる。そして、認識した立体物が自車輌に対して障害物となる場合、図示しないアクチュエータ類を制御する外部装置を接続することにより、運転者に対する警告、車体の自動衝突回避等の動作を行うことが可能となっている。
【００１３】
本実施形態の車外監視装置２は、車外の対象を異なる位置から撮像した１組の画像に対し、対応する位置のずれ量から三角測量の原理によって距離を求める、いわゆるステレオ法による画像処理で三次元の距離情報を得るものであり、前記撮像手段１０は、左右画像用として、例えば電荷結合素子（ＣＣＤ）等の固体撮像素子を用いた２台のカメラにより構成されている。
【００１４】
すなわち、図２に示すように、撮像手段１０は、２台の撮像体としてのＣＣＤカメラ１１ａ，１１ｂ（代表してＣＣＤカメラ１１と表記する場合もある）を有し、各ＣＣＤカメラ１１ａ，１１ｂが、それぞれ車室内の天井前方に一定の間隔をもって取り付けられている。ここで、車室内のＣＣＤカメラ１１の取付位置を、例えば、車輌１のボンネット先端から２ｍとすると、例えば、直近から１００ｍ遠方までを撮像する場合、実際には前方２ｍから１００ｍまでの位置を撮像することになる。
【００１５】
この場合、図３に示すように、２台のＣＣＤカメラ１１ａ、１１ｂの取付間隔をｒとして、２台のカメラ１１ａ，１１ｂの設置面から距離Ｚにある点Ｐを撮影すると、２台のカメラ１１ａ，１１ｂの焦点距離を共にｆとして、点Ｐの像は、それぞれのカメラについて焦点位置からｆだけ離れた投影面に写る。
【００１６】
このとき、右のＣＣＤカメラ１１ｂにおける像の位置から左のＣＣＤカメラ１１ａにおける像の位置までの距離は、ｒ＋δとなり、このδをずれ量とすると、点Ｐまでの距離Ｚは、ずれ量δから以下の（１）式で求めることができる。
【００１７】
Ｚ＝ｒ・ｆ／δ （１）
この左右画像のずれ量δを検出するには、左右画像における同一物体の像を見つけ出す必要があり、本実施形態の画像処理手段２０では、画像を小領域に分割し、それぞれの小領域内の輝度あるいは色のパターンを左右画像で比較して一致する領域を見つけ出し、全画面に渡って距離分布を求める。
【００１８】
左右画像の一致度は、右画像、左画像のｉ番目画素の輝度（色を用いても良い）を、それぞれ、Ａｉ、Ｂｉとすると、例えば、以下の（２）式に示すシティブロック距離Ｈによって評価することができる。
【００１９】
Ｈ＝Σ｜Ａｉ−Ｂｉ｜ （２）
前記一致度の評価を基に、撮像した画像の全画面に渡る距離分布を求め、得られた距離情報より車外の道路形状や立体物等の状態認識を行う。
【００２０】
以下に本実施形態のＣＣＤカメラ１１の構成例を説明する。図４はＣＣＤカメラ１１の光学系の概略構成を示したものである。
【００２１】
ＣＣＤカメラ１１には、撮像素子としてＣＣＤ３１が設けられ、このＣＣＤ３１の前方に被写体像をＣＣＤ３１の撮像面に結像する撮像光学系としての対物レンズ系３２が配置されている。対物レンズ系３２の前面部には、所定の偏光成分の光線のみを透過して不要な光線を除去する偏光フィルタ３３が光路中に挿脱自在に設けられている。また、対物レンズ系３２の光路中（図では対物レンズ系３２の後面部）には、該対物レンズ系３２の焦点距離を変更する焦点切換レンズとしてのコンバージョンレンズ３４が挿脱自在に設けられている。なお、図中の各レンズは模擬的に描いたものであり、実際のものとは異なっている。
【００２２】
上記のように、ＣＣＤカメラ１１において必要に応じて偏光フィルタ３３を設けることにより、フロントウィンドウに映り込んだ車室内のインストルメントパネル上部やダッシュボードなどの物体の反射像のゴーストが対物レンズ系３２及びＣＣＤ３１に入射することを防ぐことができ、ＣＣＤカメラ１１へのゴーストの映り込みを低減できる。また、必要に応じてコンバージョンレンズ３４を設けることにより、広角用と望遠用の二種類の光学系を構成でき、一つのカメラで広い視野角を持つ画像と遠方の詳細な画像とを得ることができる。
【００２３】
図５は前記ＣＣＤカメラ１１の実際の車輛における設置例を示したものであり、ＣＣＤカメラ１１のレンズ部３５の周囲に、前方に突出して遮光用のフード３６が設けられ、レンズ部３５の前面に、偏光フィルタ３３が上部のルーフ側の回動軸３７を中心にして、光路に交差する方向（図５の矢印方向）へ回動可能に取り付けられている。偏光フィルタ３３を配置すると、ＣＣＤカメラ１１への入射光量が減少するため、ゴーストの影響が少なく必要の無いときは、偏光フィルタ３３を図中破線で示すように対物レンズ系３２の光路中から外すようにする。
【００２４】
本設置例のように回動軸３７を上部のルーフ側に設けることにより、偏光フィルタ３３の退避時にフィルタ上に埃が付着しにくくすることができる。なお、図５の例とは逆に、下側に偏光フィルタ３３の回動軸３７を設けることもでき、この場合、偏光フィルタ３３の退避時にフィルタ自体が下側のフードの代わりの機能を持つため、長いフードを設けなくともフロントウィンドウ下部のダッシュボード近傍等、下方からの映り込みを防止するのに有効である。
【００２５】
前記偏光フィルタ３３の回転機構の構成例を図６に示す。偏光フィルタ３３は、外周部にウォームホイル３８を備えたフィルタ枠３９に固定され、このフィルタ枠３９と共にフィルタケース４０に対し、光軸回り方向（図６の矢印方向）へ回転可能に取り付けられている。そして、フィルタケース４０の一端に前記回動軸３７が設けられ、フィルタケース４０全体が回動軸３７を中心に回動するようになっている。フィルタケース４０の端部近傍には、図示しないモータ等の駆動手段に連結された一組のかさ歯車４１ａ，４１ｂが設けられ、かさ歯車４１ｂの他端にピニオン４２が設けられており、このピニオン４２が前記フィルタ枠３９のウォームホイル３８に噛合している。ここで、かさ歯車４１ａの回転軸は、フィルタケース４０の回動軸３７の延長上に軸が一致するよう配置され、この軸に対して垂直にかさ歯車４１ｂの回転軸が配置されている。
【００２６】
このような回転機構によって、かさ歯車４１ａを回転させることにより、かさ歯車４１ｂ，ピニオン４２，ウォームホイル３８を介してフィルタ枠３９を回転させ、フィルタケース４０自体の回転位置によらず、偏光フィルタ３３を所望の偏光角度となるよう位置させることができ、効果的にゴーストの偏光成分を除去できる。
【００２７】
前記偏光フィルタ３３の挿脱機構の構成例を図７及び図８に示す。図７に示す第１の構成例では、フィルタケース４０を押引駆動するアクチュエータ４３が設けられ、アクチュエータ４３の一端がフィルタケース４０の中間部に接続され、他端はフード等に固定されている。レンズ部３５前端の下部近傍には、偏光フィルタ３３の移動範囲を規制する位置決め用のストッパ４４が配置されている。図８に示す第２の構成例では、フィルタケース４０の回動軸３７に扇形歯車４５が取り付けられ、図示しないモータ等の駆動手段に連結された平歯車４６に噛合している。
【００２８】
このようなアクチュエータまたは歯車からなる挿脱機構によって、フィルタケース４０を駆動して回動させ、偏光フィルタ３３をレンズ部３５の光路中にストッパ４４で位置決めしてセットしたり、光路中から退避させたりすることができる。
【００２９】
ステレオ法による画像認識では、前述したように同一の対象を左右のカメラで撮像し、一組の画像に対し左右方向の画像のズレを検出して対象の距離情報を得るようになっている。ゴーストによって左右のカメラに異なる画像が撮像された場合、ゴーストを除去しないと画像判定時にミスマッチが起き、誤認識してしまうおそれがある。車内にＣＣＤカメラを設置した構成の場合、特に、フロントウィンドウ近傍において昼間の真上から照る光の反射光によるゴーストが多く発生するため、正常な画像認識を行うにはこのようなゴーストの影響を除去する必要がある。
【００３０】
本実施形態では、画像処理手段２０において、画像認識の際に左右の画像のミスマッチを検出して、ミスマッチがあった場合にゴーストが発生したと判断し、偏光フィルタ３３によってゴーストの影響を除去する。画像処理手段２０は、ゴーストの有無に応じてＣＣＤカメラ１１へ指示を送って偏光フィルタ３３を対物レンズ系３２の前面に挿入、退避させる。このとき、図７または図８に示すような挿脱機構によって偏光フィルタ３３を光路中に配置させると共に、図６に示すような回転機構によって偏光フィルタ３３を回転させ、適正な偏光位置となるように偏光フィルタ３３をセットする。この偏光位置合わせは、所定の範囲内で偏光フィルタ３３を少しずつ回転させながら撮像された画像の認識を行い、ゴーストの影響の少ない最適位置を求めるようにする。
【００３１】
次に、前記コンバージョンレンズ３４の作用を図９に基づいて説明する。本実施形態では、ＣＣＤカメラ１１の対物レンズ系３２を予め広角用に設定しておき、図９の（ａ）に示すように近距離の対象について広い視野角を確保できるようにする。遠距離の対象を詳細に観察する場合は、図９の（ｂ）に示すように対物レンズ系３２の光路中にコンバージョンレンズ３４を挿入し、望遠用の光学系を構成する。この場合、コンバージョンレンズ３４は凹レンズ系のもので構成され、対物レンズ系３２の焦点距離を延長する作用を持っている。
【００３２】
なお、図９の例において広角側と望遠側とを逆にして、対物レンズ系３２を予め望遠用に設定しておき、広角用の光学系を構成する場合には対物レンズ系３２の光路中に焦点距離を短縮する作用を持った凸レンズ系のコンバージョンレンズを挿入するような構成としても良い。
【００３３】
前記コンバージョンレンズ３４の挿脱機構の構成例を図１０及び図１１に示す。図１０に示す第１の構成例では、コンバージョンレンズ３４は一側部にラック５１を備えたレンズケース５２に固定され、このレンズケース５２のラック５１が図示しないモータ等の駆動手段に連結されたピニオン５３に噛合しており、レンズケース５２が図中左右方向に移動可能になっている。なお、左右方向に限らず、上下方向に移動可能な構成としても良い。
【００３４】
図１１に示す第２の構成例では、レンズケース５２を左右または上下方向に押引駆動するアクチュエータ５４及びリンク５５が設けられ、リンク５５の一端がレンズケース５２の一端部に接続され、他端はフード等に固定されたアクチュエータ５４に接続されている。
【００３５】
前記レンズケース５２は、挿入方向側の端部が三角状に突出した形状に形成されており、このレンズケース５２の挿入方向には、前記突出部と当接し係合する三角状の凹部を有しコンバージョンレンズ３４の移動範囲を規制する位置決め用のストッパ５６が配置されている。図のようにレンズケース５２がストッパ５６に当接した位置において、コンバージョンレンズ３４の光軸５７と対物レンズ系３２の光軸中心とが一致するようになっており、ストッパ５６にレンズケース５２を押し当てることによって自動的に光軸合わせを行うことができる。
【００３６】
広角用と望遠用との切換えは、車速センサ５で検出した車速に応じて、焦点距離設定手段１５によりＣＣＤカメラ１１へ指示を送って図１０または図１１に示すような挿脱機構を駆動し、コンバージョンレンズ３４を光路中に挿入、退避させる。例えば、時速４０ｋｍを境にして、時速４０ｋｍ以下の低速時は広角側に、時速４０ｋｍより速い高速時は望遠側に、それぞれ対物レンズ系３２の焦点距離をセットする。
【００３７】
以上のように本実施形態によれば、一組のＣＣＤカメラのみで、広角用と望遠用のカメラを構成でき、外界認識の際に、近点においてより広い視野角を確保することができ、かつ、遠点においてより詳細な画像認識を行うことが可能となる。従って、ステレオ法による外界監視用の画像認識システムにおいて、広角用と望遠用とに専用の複数組のカメラを設けることなく、低コストでこれら二つの特性を有する撮像手段を実現でき、近距離から遠距離まで幅広く対応可能で、状況に応じて十分な視野角と解像度を持った外界の画像を得ることができる。
【００３８】
また、画像認識の際に、本実施形態の偏光フィルタによってフロントウィンドウの反射光の映り込みをより効果的に低減でき、ゴーストによる誤認識を防止することができる。また、偏光フィルタを配設する対物レンズ系の周囲に保護用のフードを設けることにより、ゴースト除去効果を強化させることができる。また、偏光フィルタの退避時に、フィルタを上側に格納することにより、偏光フィルタへの埃等の付着を防止することができる。
【００３９】
【発明の効果】
以上説明したように本発明によれば、広い視野角を得るための広角用と詳細な画像を得るための望遠用の二つの特性を有する撮像手段を低コストで実現できる効果がある。また、フロントウィンドウに映り込むゴーストの影響を低減でき、ゴーストによる誤認識を防止できる効果がある。
【図面の簡単な説明】
【図１】車外監視装置の全体構成図
【図２】車輛の正面図
【図３】カメラと被写体との関係を示す説明図
【図４】本発明の一実施形態に係るカメラの光学系の概略構成を示す説明図
【図５】カメラの実際の車輛における設置例を示す説明図
【図６】偏光フィルタの回転機構の構成例を示す平面図
【図７】偏光フィルタの挿脱機構の第１の構成例を示す説明図
【図８】偏光フィルタの挿脱機構の第２の構成例を示す説明図
【図９】本実施形態に係るカメラの光学系の作用説明図
【図１０】コンバージョンレンズの挿脱機構の第１の構成例を示す説明図
【図１１】コンバージョンレンズの挿脱機構の第２の構成例を示す説明図
【符号の説明】
１…車輌
２…車外監視装置
５…車速センサ
１０…撮像手段
１１…ＣＣＤカメラ
１５…焦点距離設定手段
２０…画像処理手段
３１…ＣＣＤ
３２…対物レンズ系
３３…偏光フィルタ
３４…コンバージョンレンズ
Claims (4)
- ２台の撮像体から成る撮像手段を用いて車外の対象を撮像し、該撮像手段で撮像した画像を処理して外界情報を得る車輛の外界監視装置用カメラにおいて、
上記撮像手段に設けた撮像素子に対し被写体像を結像する撮像光学系の光路中に、該撮像光学系に入射する光線のうち所定の偏光成分の光線のみを透過する偏光フィルタを挿脱自在に設け、
上記両撮像体で撮像した一対の画像同士のミスマッチを検出する画像処理手段を有し、
上記画像処理手段は、上記ミスマッチを検出した際、上記偏光フィルタを上記光路中にセットさせると共に、上記偏光フィルタを光軸回りに回転させて該偏光フィルタの偏光角度を上記画像同士のミスマッチが少ない位置にセットする
ことを特徴とする車輛の外界監視装置用カメラ。 - 上記撮像体のレンズ部の周囲に遮光用のフードを設け、
上記偏光フィルタをフィルタケースに取り付けると共に該偏光フィルタを上記光路に対して挿脱する挿脱機構を設け、
上記挿脱機構を上記フィルタケースの一端を支持する回動軸を中心として該フィルタケースを上記光路に交差する方向へ回転させて上記偏光フィルタを該光路中にセット或いは退避させる構成とし、
上記回動軸を上部のルーフ側に設けると共に上記フィルタケースを該ルーフ側に回転させて格納する
ことを特徴とする請求項１記載の車輛の外界監視装置用カメラ。 - 上記撮像手段に設けた撮像素子に対し被写体像を結像する撮像光学系の光路中に、前記光学系の焦点距離を望遠用と広角用とに切り換える焦点切換レンズを挿脱自在に設けた
ことを特徴とする請求項１或いは２記載の車輌の外界監視装置用カメラ。 - ２台の撮像体から成る撮像手段を用いて車外の対象を撮像し、該撮像手段で撮像した画像を処理して外界情報を得る車輛の外界監視装置用カメラにおいて、
上記撮像手段に設けた撮像素子に対し被写体像を結像する撮像光学系の光路中に、該撮像光学系に入射する光線のうち所定の偏光成分の光線のみを透過する偏光フィルタを設け、
上記両撮像体で撮像した一対の画像同士のミスマッチを検出する画像処理手段を有し、
上記画像処理手段は、上記ミスマッチを検出した際、上記偏光フィルタを光軸回りに回転させて該偏光フィルタの偏光角度を上記画像同士のミスマッチが少ない位置にセットする
ことを特徴とする車輛の外界監視装置用カメラ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07428096A JP3630833B2 (ja) | 1996-03-28 | 1996-03-28 | 車輛の外界監視装置用カメラ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07428096A JP3630833B2 (ja) | 1996-03-28 | 1996-03-28 | 車輛の外界監視装置用カメラ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09266572A JPH09266572A (ja) | 1997-10-07 |
| JP3630833B2 true JP3630833B2 (ja) | 2005-03-23 |
Family
ID=13542553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07428096A Expired - Fee Related JP3630833B2 (ja) | 1996-03-28 | 1996-03-28 | 車輛の外界監視装置用カメラ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3630833B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001094842A (ja) * | 1999-09-22 | 2001-04-06 | Fuji Heavy Ind Ltd | 車載カメラにおける室内映り込み防止方法 |
| DE10059313A1 (de) * | 2000-11-29 | 2002-06-13 | Bosch Gmbh Robert | Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs |
| JP5467680B2 (ja) * | 2009-11-12 | 2014-04-09 | ストアネット株式会社 | 監視装置用偏光フィルタのフィルタ部材の製造方法 |
| JP5867807B2 (ja) * | 2010-12-08 | 2016-02-24 | 株式会社リコー | 車両識別装置 |
| JP2012247356A (ja) * | 2011-05-30 | 2012-12-13 | Canon Inc | 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。 |
| JP6388105B2 (ja) * | 2013-02-22 | 2018-09-12 | パナソニックＩｐマネジメント株式会社 | カメラ装置およびカメラ装置の制御方法 |
| JP6452085B2 (ja) | 2013-08-06 | 2019-01-16 | パナソニックＩｐマネジメント株式会社 | カメラ装置およびフィルタユニット |
| JP2019032569A (ja) * | 2013-08-06 | 2019-02-28 | パナソニックＩｐマネジメント株式会社 | カメラ装置およびフィルタユニット |
-
1996
- 1996-03-28 JP JP07428096A patent/JP3630833B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09266572A (ja) | 1997-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2702992C1 (ru) | Система замещения зеркал и система помощи водителю | |
| CN110178369B (zh) | 摄像装置、摄像系统以及显示系统 | |
| KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
| JP4766841B2 (ja) | 車両に搭載されるカメラ装置及び車両周辺監視装置 | |
| US8694195B2 (en) | Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system | |
| JP7159802B2 (ja) | 車両用電子ミラーシステム | |
| JP4593070B2 (ja) | 車両の画像処理装置 | |
| US7693302B2 (en) | Device for detecting obstacles comprising an imaging system for motor vehicles | |
| JP6014433B2 (ja) | 画像処理装置、画像処理方法、及び、画像処理システム | |
| JP2017017480A (ja) | カメラ装置及び車載システム | |
| JP2017147505A (ja) | 車両用周囲画像表示装置 | |
| US11601621B2 (en) | Vehicular display system | |
| US20240348749A1 (en) | Camera system, and method for generating a view using a camera system | |
| CN108737778A (zh) | 利用反射器从车辆下侧对车轮进行监测的遮挡摄像机 | |
| JP3630833B2 (ja) | 車輛の外界監視装置用カメラ | |
| JPH0717328A (ja) | 車両用周辺認識補助装置 | |
| JP3807330B2 (ja) | 車両周辺監視装置 | |
| JP2007223342A (ja) | 車両の後方監視カメラ及び運転支援装置 | |
| JP3928660B2 (ja) | 車両周辺監視装置 | |
| JP6439233B2 (ja) | 車両用画像表示装置及び画像処理方法 | |
| US11938870B2 (en) | Vehicle compound-eye camera | |
| JPH0664479A (ja) | 車載用左右確認装置 | |
| JP4211104B2 (ja) | 多方向撮像装置、多方向撮像装置付き車載ランプ、衝突監視装置、前方向監視装置 | |
| TWI699999B (zh) | 車載視覺輔助系統 | |
| JPH08301010A (ja) | 車両後方監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041119 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041214 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041215 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071224 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081224 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091224 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101224 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111224 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121224 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |