JP3479006B2 - 車載カメラの検査方法ならびに装置 - Google Patents

車載カメラの検査方法ならびに装置

Info

Publication number
JP3479006B2
JP3479006B2 JP26957299A JP26957299A JP3479006B2 JP 3479006 B2 JP3479006 B2 JP 3479006B2 JP 26957299 A JP26957299 A JP 26957299A JP 26957299 A JP26957299 A JP 26957299A JP 3479006 B2 JP3479006 B2 JP 3479006B2
Authority
JP
Japan
Prior art keywords
camera
inspection
vehicle
image
optical axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP26957299A
Other languages
English (en)
Other versions
JP2001095017A (ja
Inventor
恵一 村上
則之 宮沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Fuji Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Jukogyo KK filed Critical Fuji Jukogyo KK
Priority to JP26957299A priority Critical patent/JP3479006B2/ja
Priority to US09/665,949 priority patent/US6785403B1/en
Priority to EP00120177A priority patent/EP1087236A3/en
Publication of JP2001095017A publication Critical patent/JP2001095017A/ja
Application granted granted Critical
Publication of JP3479006B2 publication Critical patent/JP3479006B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • G01B11/27Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
    • G01B11/272Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes using photoelectric detection means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、自動車等の車輌に
搭載される、車載カメラの検査方法ならびに装置に関す
る。
【0002】
【従来の技術】最近、単眼カメラやステレオカメラをプ
レビューセンサとして用いた車輌運転監視システムが注
目を集めている。この監視システムは、車体に取付けら
れた車載カメラによって前方の景色を撮像し、撮像画面
に基づいて画像認識することにより、ドライバに注意を
喚起したり、シフトダウンを行うことにより減速するよ
うな車輌挙動制御を行う。
【0003】ステレオカメラをプレビューセンサとして
用いた場合、カメラ自体の品質は勿論のこと、その取り
付け位置に関して高レベルの精度が要求される。カメラ
の取付け位置にずれが生じると、それに起因してカメラ
の撮像方向がずれ、監視制御の信頼性低下を招くからで
ある。特に、ステレオ方式においては、一対の撮像画像
における視差から距離を算出するため、撮像方向のズレ
は算出距離に直接影響する。しかしながら実際には、車
体自体の歪みやカメラの取り付け精度上の限界から、個
体毎に車載カメラの撮像方向にばらつきが生じるのが現
状である。そこで、撮像方向がずれている場合、撮像画
像にアフィン変換等画像変換処理を施すことにより、等
価的に微調整する方法が採られている。
【0004】
【発明が解決しようとする課題】しかしながら、画像変
換により微調整可能なレンジはあまり広くないのが現状
である。従って、車載カメラの撮像方向が適正範囲から
大きくずれてしまっている場合、画像変換による調整は
困難となる。
【0005】そこで、カメラの取付け完了後に行われる
検査工程において、取付けられたカメラの撮像方向が適
正範囲内に収まっているか否かを検査する必要がある。
この検査において、撮像方向が適正な範囲から外れてし
まっていると判定されたサンプルについては、撮像方向
が適正範囲に収まるように、カメラを取付け直す等の機
械的な再調整を行う必要がある。このために大掛かりな
検査装置を必要とし、かつ、調整のための手間を要して
いた。従って、このような検査の効率化、自動化を図る
ことのできる検査方法の確立が望まれていた。
【0006】本発明は上記事情に鑑みてなされたもので
あり、車載ナビゲーションユニットを活用し、画像認識
装置と連携して車載カメラの取付け精度を保証するため
に行われる光軸測定、距離画像の測定を行って、測定値
適正な範囲に収まっているか否かを判定し、その結果
を車載ナビゲーションユニット用の表示モニタ上に表示
して調整を促すことにより、従来使用していた検査装置
を不要とし、検査の効率化をはかった車載カメラの検査
方法ならびに装置を提供することを目的とする。
【0007】
【課題を解決するための手段】上記した課題を解決する
ために本発明の車載カメラの検査方法は、車体に取付け
られて車輌前方の景色を撮像し、撮像画像に基づき走行
状態を認識する画像認識装置を備える車輌監視システム
に用いられるカメラにおいて、前記カメラは交換自在な
取付け部材を介して前記車体に取付けられ、前記取付け
部材の形状により前記カメラの撮像方向が規定される車
載カメラの検査方法であって、車輌前方のあらかじめ規
定された位置に基準パターンが描かれた検査チャートを
設置してこれを前記カメラで撮像し、当該撮像画像にお
ける基準パターンを特定し、特定された基準パターンの
位置が前記カメラの撮像方向により規定される適正範囲
に位置するか否かに基づき前記カメラの光軸の調整の必
要性を判定して、前記カメラの取付け精度を保証する検
査とし、光軸の調整の必要があると判定されると、予め
用意され、かつそれぞれが異なる形状を持つ複数の前記
取付け部材の中から、前記基準パターンの適正範囲を逸
脱する範囲が最も小さくなる形状を持つ取付け部材を選
択し、この選択した取付け部材により前記カメラの撮像
方向を規定するように車載ナビゲーション装置用の表示
モニタにて指示することとした。
【0008】カメラの取付け精度を保証するための検査
として、車輌前方のあらかじめ規定された位置に設置さ
れた基準パターンが描かれた検査チャートを前記車体に
取り付けられたカメラで撮像し、当該撮像画像における
基準パターンを特定し、当該特定された基準パターンの
位置がカメラの撮像方向により規定される適正範囲に位
置するか否かに基づいて、カメラの光軸の調整の必要性
を判定することで、カメラの取付け精度を保証する検査
する。このとき、交換自在な取付け部材を介して車体
に取り付けられ、前記取付け部材の形状により、撮像方
向が規定される車載カメラであって、前記光軸の調整の
必要があると判定されたとき、予め用意され、かつそれ
ぞれが異なる形状を持つ複数の取付け部材の中から、前
記基準パターンの適正範囲を逸脱する範囲が最も小さく
なる形状を持つ取付け部品材を表示モニタで選択指示
し、その取り付け部材の交換を促すこととした。
【0009】また、カメラの取付け精度を保証する検査
として、車輌前方のあらかじめ規定された位置に設置さ
れ、特定パターンが描かれたプレートを前記車体に取付
けられたカメラで撮像し、撮像画像に基づき前方プレー
トまでの距離を算出し、あらかじめ規定された適正な距
離範囲との比較に基づきカメラの距離画像測定の良否判
定を行うこととした。
【0010】このように、本発明に係わる車載カメラの
検査方法は、カメラの取付け精度を保証するため、車載
カメラで撮像された撮像画像に基づいて、少なくとも、
光軸測定、距離計測の検査を行い、適正か否かを判断
し、車載ナビゲーション装置用の表示モニタを介してそ
の結果を表示し、調整が必要な場合にはその調整作業を
表示するものであり、このことにより、車載カメラの目
視確認、光軸測定、距離測定等のカメラ取付け精度の保
証のための調整作業の内容を、オンボード上のナビゲー
ション装置が持つ表示モニタで表示させることができ、
従って、調整作業の作業効率を向上させることができ
る。また検査工程に特別な装置を必要とせず、かつ、省
スペースで容易に行うことができ、検査工程の大幅な効
率化がはかれる。また、検査サンプルの撮像方向がずれ
ていると判定された場合、交換アジャスタの選択情報を
含むずれ量に関する情報を調整作業者に提供することで
再調整工程の効率化もはかれる。
【0011】上記した課題を解決するために本発明の車
載カメラの検査装置は、車体に取付けられて車輌前方の
景色を撮像し、撮像画像に基づき走行状態を認識する画
像認識装置を備える車輌監視システムに用いられる車載
カメラの検査装置であって、カメラは、交換自在な取付
け部材を介して車体に取り付けられ、画像認識装置は、
車載カメラの取付け位置が適正か否かを判断する検査手
段と、該検査手段による判断結果及び該判断結果に応じ
たカメラの取付け調整作業の指示を行なう車載ナビゲー
ション装置の表示モニタを有し、検査手段は、車輌前方
のあらかじめ規定された位置に設置された基準パターン
が描かれた検査チャートをカメラで撮像されて確認され
た撮像画像から基準パターンを特定し、当該特定された
基準パターンの位置がカメラの撮像方向により規定され
る適正範囲に位置するか否かに基づいてカメラの光軸の
調整の必要性を判定し、光軸の調整の必要があると判定
すると、予め用意され、かつそれぞれが異なる形状を持
つ複数の取付け部材の中から、基準パターンの適正範囲
を逸脱する範囲が最も小さくなる形状を持つ取付け部材
を選択し、表示モニタは、検査手段により選択された取
付け部材により車載カメラの撮像方向を規定するように
指示する。画像認識装置は、カメラからの撮像信号を取
り込んで画像認識する認識部本体と該認識部本体と協働
して上記検査を行なう品質検査部から成り、品質検査部
は、光軸の調整の必要性と距離画像測定の少なくとも1
つを検査項目として選択すると共に検査判定を行い、選
択した検査項目及び判定に対応する画面を表示するよう
に車載ナビゲーション装置にデータパケットを通信す
る。また、検査手段に対して検査を行なう他に、検査項
目に対応する表示を表示モニタへ表示切替え指示を行う
スイッチ手段を更に有することとした。
【0012】このことにより、車載カメラの目視確認、
光軸測定、距離測定等のカメラ取付け精度を保証するた
めの作業内容を、オンボード上のナビゲーション装置用
表示モニタに表示することで、検査工程に特別な装置を
必要とせず、かつ、省スペースで容易に行うことがで
き、検査工程の大幅な効率化がはかれ、調整作業の作業
効率を向上させることができる。
【0013】
【発明の実施の形態】図1は、本発明の実施形態を示す
ブロック図である。図では車載カメラの一例としてステ
レオカメラが使用されており、車輌前方の走行状態を撮
像するステレオカメラ1は、所定の基線長で配置された
一対のカメラ2a、2bを含む。以下、カメラ2aをメ
イン、カメラ2bをサブと称する。ステレオカメラ1の
車体への取り付けは、後述する検査方法と関連するた
め、その取り付け構造に関し、図11〜図14を使用し
て簡単に説明する。
【0014】図11はステレオカメラ1の正面図、図1
2はステレオカメラ1の取り付け構造の全体的な展開斜
視図、図13はステレオカメラ1の取り付け部分の要部
を示した展開斜視図、図14はステレオカメラ組立体と
は別体に用意される取付け部材(アジャスタ)の種類を
示す図である。
【0015】ステレオカメラ1のシャーシ31は、カメ
ラ2a、2bの重量や走行時の加減速により変形しない
ように、高剛性のアルミ合金で形成されている。進行方
向に向かって右側に位置したシャーシ31の端部には、
メインカメラ2aが装着されている。このカメラ2a中
に内蔵されたCCD等のイメージセンサからの出力信号
によって基準画像が得られる。一方、シヤーシ31の左
側端部にはサブカメラ2bが装着されており、このカメ
ラ2bからの出力信号によって比較画像が得られる。シ
ヤーシ31の中央部には、シャーシ31の上面と下面と
を貫通する3つの取り付け孔(ボルト33の取り付け
孔)が形成されている。また、ステレオカメラ1を車体
(フロントレール41)に取り付ける際の位置決めを行
うために、シャーシ31の中央部には2つのロケータピ
ン32が形成されている。
【0016】ステレオカメラ1(ここでは、カメラ2
a、2bを組み付けたステレオカメラ組立体1)は、ル
ームミラー40の近傍において、取り付け部材としての
取り付けアジャスタ30を用いて、車体(本実施形態で
はフロントレール41)に装着されている。この装着状
態において、ステレオカメラ組立体1とフロントレール
41との間には、所定の板厚を有する取り付けアジャス
タ30が介在している。ステレオカメラ1の取り付け作
業においては、まず、シャーシ31に形成されたロケー
タピン32をアジャスタ30の位置決め用貫通孔30a
に挿入する。この状態において、シャーシ31に形成さ
れた3つの取り付け孔31aの位置は取り付けアジャス
タ30に形成された3つの取り付け孔30bの位置と一
致している。
【0017】次に、ロケータピン32をフロントレール
41に形成された孔に挿入し、この状態を維持しながら
3本のボルト33a,33b,33cを貫通孔30b,
31aに挿入して、ステレオカメラ1をフロントレール
41に固定する。そして、スイッチコネクタ34をステ
レオカメラ組立体1に接続した後、ボルトで外装カバー
35をフロントレール41に固定する。最後に、外装カ
バー35のボルト挿入部に目隠し板36を嵌め込んで外
装を整え、一連の取り付け作業が完了する。
【0018】ここで、取り付けアジャスタ30は、ステ
レオカメラ組立体1、或いはシャーシ31とは別個に形
成された部材であり、ステレオカメラ組立体1を取り外
した状態では、この組立体1とは独立して取り扱うこと
ができる。上述したように、ステレオカメラ組立体1
は、取り付けアジャスタ30を挟み込んだ状態でフロン
トレール41に取り付けられる。このように、取り付け
の際にカメラ本体とは別個の取り付け部材を用いる理由
は、これを交換することでステレオカメラ1の撮像方向
の粗調整を行うためである。この点が、カメラ組立体と
一体化されたステーを車体に直接取り付ける従来の手法
とは大きく異なるものである。ステレオカメラ1の撮像
方向、即ち、図12に示したカメラ視線L、Rの垂直成
分は、アジャスタ30の車長方向断面形状によって規定
される。すなわち、アジャスタ30の板厚が徐々に変化
している場合、即ち、テーパー形状である場合、図14
にアジャスタDとして示したように、後部(図13の左
側)よりも前部(右側)の板厚が大きいほどステレオカ
メラ1は下方向(地面)を向く。逆に、前部よりも後部
の板厚が大きなテーパー形状の取り付けアジャスタ30
を用いた場合、同図のアジャスタAとして示したよう
に、後部の板厚が大きいほどステレオカメラ1は上向き
となる。
【0019】上述したように、ステレオカメラ組立体1
を取り外すことで、アジャスタ30をこの組立体1とは
別個に独立して取り扱うことができる。したがって、必
要に応じて、形状が異なる他のアジャスタに交換すれ
ば、ステレオカメラ1の撮像方向を調整することができ
る。例えば、ステレオカメラ1の取り付け工程では、あ
る形状を有する標準アジャスタ30を共通に使用して、
ステレオカメラ組立体1を車体に取り付ける。そして、
それに続く検査工程において、取り付けられたステレオ
カメラ1の撮像方向が大きくずれていると判定された場
合、標準アジャスタを交換用アジャスタに取り替える。
交換用アジャスタは図14に示されるように複数用意さ
れており、それぞれの形状は微妙に相違(例えば、テー
パーがなす角度が微妙に相違)している。車体の歪み等
や機械加工における精度に起因した撮像方向のばらつき
は、適切な形状を有するアジャスタを使用することで、
適正な範囲(画像変換による微調整が可能なずれの範
囲)内に収めることができる。
【0020】このようにして車体に取付けられたステレ
オカメラ1から出力される撮像信号は、後段に位置する
ブロックにより次のように処理される。すなわち、カメ
ラ2a、2bの同期がとれている状態で、各カメラ2
a、2bから出力される撮像信号は、画像認識装置(I
PU)20に供給される。IPU20は、カメラからの
撮像信号を取り込んで画像認識する認識部本体21と品
質検査部22から構成される。認識部本体21はステレ
オカメラ1から供給される撮像信号をディジタル信号に
変換して取込んで画像認識して処理する部分であり、品
質検査部22は、後述するように検査スイッチ6から起
動要求を受信し、図2、図3にフローチャートで示す手
順に従い、認識部本体21と協動して検査を実行する。
【0021】監視制御装置(PCU)4は、車外監視装
置の制御中枢をなす部分であり、IPU20とは、通信
ケーブル(IPU−PCU通信路)101を介して接続
される。通信ケーブル101を介しPCU4とIPU2
0がシリアルでデータ交換することにより車輌監視のた
めの多様なコントロールがなされる。ナビゲーション装
置(NCU)5は、ナビ本体部51と液晶等の表示モニ
タ52から構成され、IPU20とはビデオライン10
2を介し、また、PCU4とは通信ケーブル(NCU−
PCU通信路)103を介して接続される。
【0022】検査スイッチ6は、カメラの取付け精度を
検査するときにのみオペレータによって使用される簡単
なスイッチであり、オペレータがIPU20にコネクタ
接続することによって自動的に検査モードが設定され
(GND状態)、IPU20の品質検査部22によるソ
フトウェア検査ルーチンが起動される。また、検査スイ
ッチ6に内蔵される実行ボタン61をON/OFF設定
することにより、それぞれ、GND、OPEN状態を維
持し、NCU5が持つ表示モニタ52の画面切替え指示
等を行う。
【0023】図2〜図10は、本発明実施形態の動作を
説明するために引用した図である。具体的に、図2、図
3は、IPU20とNCU5によるカメラの検査手順を
示すフローチャート、図4、図5は、それぞれ図2、図
3におけるNCU5の動作手順を示すフローチャート、
図6、図7、図8は、NCU5が持つ表示モニタ52に
表示される表示画面構成を示す図である。また、図9
は、通信ケーブル101を伝播するデータのフォーマッ
トを示す図、図10は、光軸調整のために用意される基
準画像の探索範囲と記と特性パターンを示す図である。
【0024】以下、図2〜図10を参照しながら、図1
に示す本発明実施形態の動作について詳細に説明する。
【0025】オペレータは、まず、検査スイッチ6をI
PU20のコネクタに接続することにより、検査モード
の実行を起動する。IPU20の品質検査部22は、内
蔵するメモリに割り付けられるトラブルコードメモリ、
及び検査終了フラグを“0”設定してシステムの初期化
を行う(図2、ステップS201)。ここでトラブルコ
ードとは、以降、品質検査項目として説明する、目視確
認、光軸測定、距離画像測定毎、それぞれに定義される
コードであり、光軸調整不良、距離調整不良等のカメラ
取付け精度不良と判定されたときにその項目が状態情報
としてコード設定されるものであり、オペレータは、後
にこの内容をNCU5の表示モニタ52を介して参照す
ることによって確認し、再調整を行う。
【0026】上記したシステムの初期化処理終了後、ま
ず、目視確認が検査項目として選択され(図2、ステッ
プS202)、NCU5の表示モニタ52には、図6
(a)に示す右カメラの目視確認画面(画面−0)が
表示される(図4(a)ステップS511)。右カメラ
の目視確認画面は、オペレータが実行ボタン61を押す
ことによって右カメラ画像に切替わり、右カメラ画像を
確認後、問題なければ再び実行ボタンを押すことによっ
て左カメラに切り替わることへの案内画面である。
【0027】NCU5のナビ本体部51は、通信ケーブ
ル103、PCU4を介して通信ケーブル101を伝播
するデータパケットの特定バイトデータ(例えば、ID
“51C”の2バイト目の最上位ビット)をモニタし、
そのビットを参照することによって実行ボタン61のO
N/OFFを判定する。そして、オペレータによる実行
ボタン61の押下(ON)を待ってIPU22の品質検
査部22へ案内画面終了通知を発し、品質検査部22
は、NCU5に対してナビ画面へ切替えを指示する(図
2、ステップS203)。このことにより、NCU5
は、ナビ本体部51を介し表示モニタ52に、図8
(c)に示す処理中画面(画面−0)を表示する。
【0028】尚、実行ボタン61のON/OFFは、上
述した特定バイトの最上位ビットに割り付けられ、その
ビットにON/OFF状態が情報として反映されるもの
とし、また、図9にそのデータフォーマットが示される
ように、ナビ画面表示は、通信ケーブル101を伝播す
るデータパケットの特定バイト(例えばID“516”
の5バイト目)を使用して定義され、その前半Aと後半
Bの4ビットの組み合わせで決まるものとする。具体的
に、図9において、ナビ表示画面が図6(b)に示す
−0の場合、A=2、B=0とし、ナビ表示画面が図7
(c)に示す−3のときA=5、B=3とする。
【0029】次に、IPU20の品質検査部22は、N
CU5に対して、上記したテロップ画面(処理中)から
右カメラモニタ画像出力を行うナビ画面切替え指示を行
う(図2、ステップS204)。このことを受けたNC
U5は、ナビ本体部51を介して表示モニタ52に表示
されていたナビ画面テロップを、ビデオライン102を
介して取込まれる右カメラモニタ画像に切替える(図4
(b)、ステップS521)。オペレータは、表示モニ
タ52に表示されたカメラ画像を目視し、正常であれば
実行ボタン61をONし、右カメラモニタ目視確認終了
を指示する。NCU5のナビ本体部51は、上記同様、
実行ボタン61のONをモニタし、ON状態確認後(図
4(b)、ステップS522)、IPU20の品質検査
部22に対しPCS4、通信ケーブル101経由で右カ
メラモニタ目視を終えた旨、終了通知を発行する。
【0030】この終了通知を受けたIPU20の品質検
査部22は、NCU5に対してナビ画面切替え指示(図
2、ステップS205)を行なう。このことにより、N
CU5は、ナビ本体部51を介して表示モニタ52に対
して、図6(b)に示す左カメラの目視確認指示画面
(画面−0)を表示する(図4(c)、ステップS5
31)。オペレータが実行ボタン61を押すことによ
り、左カメラ画像に切替わり、左カメラ画像を確認後、
問題なければ再び実行ボタン61を押すことによって次
の光軸測定の検査項目に切り替わることの案内である。
【0031】そこで、NCU5のナビ本体部51は、通
信ケーブル103、PCS4を介して通信ケーブル10
1を伝播するデータの特定バイトデータ(例えば、ID
“51C”の2バイト目の最上位ビット)をモニタし、
そのデータの最上位ビットを参照することによって実行
ボタン61のON/OFFを判定する。実行ボタン61
のON設定確認後(図4(c)、ステップS532)、
IPU20の品質検査部22に対し、PCS4、通信ケ
ーブル101経由で案内画面終了通知を発行する。
【0032】この終了通知を受けたIPU20の品質検
査部22は、NCU5に対し、ビデオ出力切替え指示を
行なう(図2、ステップS206)。このことにより、
NCU5は、ビデオライン102を介して取込む画像を
右カメラモニタ画像から左カメラモニタ画像に切替えて
表示モニタ52に表示する(図4(d)、ステップS5
41)。オペレータは、表示モニタ52に表示された左
カメラ画像を目視し、問題がなければ実行ボタン61を
ONして左カメラモニタ目視確認終了を指示する。
【0033】NCU5のナビ本体部51は、上記同様、
実行ボタン61のONをモニタし、ON状態確認後(図
4(d)、ステップS542)、IPU20の品質検査
部22に対し、PCS4、通信ケーブル101経由で左
カメラモニタ目視を終えた旨、終了通知を発行する。終
了通知を受信した品質検査部22は再びNCU5に対し
てナビ画面の切替えを指示する(図2、ステップS20
7)。このことにより、NCU5は、ナビ本体部51を
介し表示モニタ52に図8(c)に示す、処理中画面
(画面−0)を表示する。
【0034】次に、IPU20は、光軸の自動測定を開
始する(図3、ステップS208)。光軸測定に先立
ち、オペレータは、所定のパターンを有するテストチャ
ートを車輌前方の所定の位置に設置しておくものとす
る。テストチャートとして、例えば、白地のテストチャ
ートの表面に所定幅を有する黒線によって十字状のパタ
ーンが描かれており、十字の交点は、テストチャートの
中央に位置している。このテストチャートに描かれた十
字交点を基準パターンとし、検査サンプルの撮像方向な
らびに距離に位置的な基準を与えるものとする。従っ
て、このテストチャートは予め設定された位置に正確に
配置しておくことが重要である。
【0035】IPU20は、光軸の自動測定として、ま
ず、車両前方に設置されたテストチャートを含む1フレ
ーム分の基準画像をサンプリングし、その基準画像内に
所定の探索範囲Rを設定する。この探索範囲Rは、基準
画像上におけるテストチャートの十字交点理想位置を中
心に所定の範囲をもって定義されている。そして、この
探索範囲R内において、基準画像と所定の輝度特性パタ
ーンBPとの二次元マッチングを行うことにより、輝度
特性パターンBPの相関先、すなわちテストチャートの
十字交点が映し出された位置を探索する。
【0036】図10は、探索範囲Rと輝度特性パターン
BPを示した図である。輝度特性パターンBPは、テス
トチャートの十字交点部分(基準パターン)と同じ輝度
特性を有している。輝度特性パターンBPにおける低輝
度部分(十字の黒線に相当)の幅は、基準画面に映し出
されたテストチャートの十字交点部分(基準パターン)
と同じ輝度特性を有している。輝度特性パターンBPに
おける低輝度部分(十字の黒線に相当)の幅は、基準画
面に映し出されたテストチャートの線幅と同一になるよ
うに設定されている。
【0037】探索範囲R内の基準画像と輝度特性パター
ンBPの二次元マッチングは、シティブロック距離CB
を算出することにより評価される。すなわち、探索範囲
Rの全域にわたって比較対象である輝度特性パターンB
Pを水平/垂直に1画素ずつオフセットさせながら、シ
ティブロック距離が最少となる点をテストチャートの十
字交点の位置として特定する。次に、IPU20は、特
定されたテストチャートの十字交点の垂直方向の座標が
所定範囲内に収まっているか否かを判定することによ
り、光軸調整の重要性をチェックする(図3、ステップ
S209)。テストチャートの十字交点が所定範囲内に
収まっておらず、光軸調整が必要と判断された場合に
は、更に、光軸測定が2度目か否かがチェックされる
(図3、ステップS210)。初めての測定の場合は、
取り付け部材であるアジャスタ30の選択処理が行われ
る。即ち、上記検査の結果、カメラが上向きになってい
た場合、IPU20は、そのレベルに応じてアジャスタ
A、またはDを、下向きとなっていた場合、そのレベル
に応じてアジャスタC、Eを使用するように、アジャス
タの交換を促す画面を生成し(図3、ステップS21
1)、NCU5の表示モニタ52を介して出力する(図
5(a)ステップS551)。尚、ここではアジャスタ
Bを標準用とする。すなわち、製造ラインではアジャス
タBを装着してアセンブルし、検査工程で光軸調整要と
判断されたときにアジャスタ30を交換するものとす
る。アジャスタ交換後、オペレータが実行ボタン61を
押下し、NCU5が実行ボタン61のONを確認(図5
(a)ステップS552)すると、IPU20は、再び
光軸測定を開始する(図3、ステップS208)。
【0038】この光軸の再測定後も、光軸調整要と判定
されると、これが2度目の測定であるため、IPU20
における品質検査部22内蔵のメモリに、光軸調整不良
を示すトラブルコードを書き込み(図3、ステップS2
16)、図8(b)に示すNG画面(−0)を表示す
る。また、ステップS209で光軸調整不要と判定され
た場合、NCU5は、表示モニタ52に対し、図6
(c)に示す光軸検査OK画面(−0)を表示(図5
(b)、ステップS561)し、オペレータによる実行
ボタン61の押下を待つ(図5(b)ステップS56
2)。オペレータによる実行ボタン61の押下がある
と、IPU20は、NCU5の表示モニタ52に対して
図8(c)に示す処理中画面(−0)を表示すること
を指示する(図3、ステップS212)。
【0039】次に、IPU20により距離画像測定が行
われる(図3、ステップS213)。距離画像測定は、
上記した光軸測定同様、車輌前方の予め規定された位置
にランダムパターンが描かれたテストチャートが設置さ
れ、品質検査部22が画像認識部本体21経由でその画
像を取込むことによって前方プレートまでの距離計算を
行い、算出される複数の距離データの正解率をモニタ
し、所定の正解率であれば正常とみなす処理を行う。従
って、図3のステップS214で取込んだ距離画像が正
常の範囲にあるか否かがチェックされ、正常な範囲にあ
る場合は、検査終了フラグをONし(図3、ステップS
215)、NCU5の表示モニタ52に対して、図8
(a)に示す距離検査OK画面(−0)を表示させ
る。そして、オペレータによる実行ボタン61の押下を
待って、上記した全ての検査項目の処理終了となる。
【0040】一方、距離画像が正常な範囲にない場合
は、光軸測定同様、トラブルコードメモリに該当するト
ラブルコードを書き込み、NCU5の表示モニタ52に
対し、図8(b)に示す距離検査NG画面(−0)を
表示し(図5(d)、ステップS581)、トラブルコ
ードを確認して再調整を行うことを促し、オペレータに
よる検査ボタン61の押下(図5(d)、ステップS5
82)を待って全ての検査項目の処理終了となる。
【0041】以上説明のように、本発明実施形態では、
車輌に搭載されたNCU5の表示モニタ52を利用して
撮像画像ならびに検査画像を表示している。従って、検
査用に特別な表示装置を用意することなく、また、作業
スペースを確保できるため、検査効率の一層の向上がは
かれる。
【0042】尚、本発明実施形態によれば、光軸調整の
際、十字パターンが描かれたテストチャートを用いた例
についてのみ説明したが、テストチャートはこのパター
ンに限定されるものでなく、他の様々な輝度パターンを
有するテストチャートを用いてもよい。また、プレビュ
ーセンサとして、ステレオカメラを用いた場合のみ例示
したが、本発明の適用範囲はステレオカメラに限定され
るものでなく、単眼カメラにも適用できることは当然で
ある。
【0043】
【発明の効果】以上説明のように本発明は、車体に取り
付けられたカメラによって車輌前方の景色を撮像し、
の撮像画像に基づいて、少なくとも、光軸測定、距離計
測の検査を行い、カメラの取付け位置が適正か否かを判
断し、車載ナビゲーションユニット用の表示モニタを介
してその結果又は調整作業の指示を表示して調整を促す
ものであり、このことにより、車載カメラの目視確認、
光軸測定、距離測定等のカメラの取付け精度を保証する
ための作業内容を、オンボード上のナビゲーションユニ
ット用の表示モニタを使用して行うことができ、従っ
て、調整作業の作業効率を向上させることができ、検査
工程に特別な装置を必要とせず、かつ、省スペースで容
易に行うことができ、検査工程の大幅な効率化がはかれ
る。また、この検査は、場所を選ばず、テストチャート
との正確な位置関係さえ保証されれば、工場のみならず
ディーラでも検査が可能となる。更に、検査サンプルの
撮像方向がずれていると判定された場合、交換アジャス
タの選択情報を含むずれ量に関する情報を調整作業者に
提供することで再調整工程の効率化もはかれる。
【図面の簡単な説明】
【図1】 本発明の実施形態を示すブロック図である。
【図2】 IPUとNCUよるカメラの検査手順を示す
フローチャート(その1)である。
【図3】 IPUとNCUによるカメラの検査手順を示
すフローチャート(その2)である。
【図4】 図2におけるNCUの動作手順(その1)を
示すフローチャートである。
【図5】 図3におけるNCUの動作手順(その2)を
示すフローチャートである。
【図6】 NCUの表示モニタに表示される表示画面構
成(その1)を示す図である。
【図7】 NCUの表示モニタに表示される表示画面構
成(その2)を示す図である。
【図8】 NCUの表示モニタに表示される表示画面構
成(その3)を示す図である。
【図9】 通信ケーブルを伝播するデータのフォーマッ
トを示す図である。
【図10】 光軸調整のために用意される基準画像の探
索範囲と輝度特性パターンを示す図である。
【図11】 本発明において使用されるステレオカメラ
1の正面図である。
【図12】 本発明において使用されるステレオカメラ
1取り付け構造の展開斜視図である。
【図13】 本発明において使用されるステレオカメラ
の取り付け部分の要部を示した展開斜視図である。
【図14】 本発明において使用されるステレオカメラ
組立体とは別体に用意される取付け部材(アジャスタ)
の種類を示す図である。
【符号の説明】
1…ステレオカメラ、2a…メイン、2b…サブ、4…
監視制御装置(PCU)、5…ナビゲーション装置(N
CU)、6…検査スイッチ、20…画像認識装置(IP
U)、21…認識部本体、22…品質検査部、30…ア
ジャスタ、51…ナビ本体、52…表示モニタ、61…
実行ボタン
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 7/18 H04N 17/00

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 車体に取付けられて車輌前方の景色を撮
    像し、撮像画像に基づき走行状態を認識する画像認識装
    置を備える車輌監視システムに用いられるカメラにおい
    て、前記カメラは交換自在な取付け部材を介して前記車
    体に取付けられ、前記取付け部材の形状により前記カメ
    ラの撮像方向が規定される車載カメラの検査方法であっ
    て、 車輌前方のあらかじめ規定された位置に基準パターンが
    描かれた検査チャートを設置してこれを前記カメラで撮
    像し、当該撮像画像における基準パターンを特定し、特
    定された基準パターンの位置が前記カメラの撮像方向に
    より規定される適正範囲に位置するか否かに基づき前記
    カメラの光軸の調整の必要性を判定して、前記カメラの
    取付け精度を保証する検査とし、 光軸の調整の必要があると判定されると、予め用意さ
    れ、かつそれぞれが異なる形状を持つ複数の前記取付け
    部材の中から、前記基準パターンの適正範囲を逸脱する
    範囲が最も小さくなる形状を持つ取付け部材を選択し、
    この選択した取付け部材により前記カメラの撮像方向を
    規定するように車載ナビゲーション装置用の表示モニタ
    にて指示する ことを特徴とする車載カメラの検査方法。
  2. 【請求項2】 前記カメラの取付け精度を保証する検査
    は、車輌前方のあらかじめ規定された位置に設置され、
    特定パターンが描かれたプレートを前記車体に取付けら
    れたカメラで撮像し、撮像画像に基づき前方プレートま
    での距離を算出し、あらかじめ規定される適正な距離範
    囲との比較に基づき前記カメラの距離画像測定の良否判
    定を行い、判定結果を上記表示モニタに表示することで
    行なうことを特徴とする請求項1に記載の車載カメラの
    検査方法。
  3. 【請求項3】 車体に取付けられて車輌前方の景色を撮
    像し、撮像画像に基づき走行状態を認識する画像認識装
    置を備える車輌監視システムに用いられる車載カメラの
    検査装置であって、 前記カメラは、交換自在な取付け部材を介して前記車体
    に取り付けられ、 前記画像認識装置は、前記車載カメラの取付け位置が適
    正か否かを判断する検査手段と、該検査手段による判断
    結果及び該判断結果に応じた前記カメラの取付け調整作
    業の指示を行なう車載ナビゲーション装置の表示モニタ
    を有し、 前記検査手段は、車輌前方のあらかじめ規定された位置
    に設置された基準パターンが描かれた検査チャートを前
    記カメラで撮像されて確認された撮像画像から基準パタ
    ーンを特定し、当該特定された基準パターンの位置が前
    記カメラの撮像方向により規定される適正範囲に位置す
    るか否かに基づいて前記カメラの光軸の調整の必要性を
    判定し、前記光軸の調整の必要があると判定すると、予
    め用意され、かつそれぞれが異なる形状を持つ複数の前
    記取付け部材の中から、前記基準パターンの適正範囲を
    逸脱する範囲が最も小さくなる形状を持つ取付け部材を
    選択し、 前記表示モニタは、前記検査手段により選択された取付
    け部材により前記車載カメラの撮像方向を規定するよう
    に指示する ことを特徴とする車載カメラの検査装置。
  4. 【請求項4】 前記画像認識装置は、前記カメラからの
    撮像信号を取り込んで画像認識する認識部本体と該認識
    部本体と協働して上記検査を行なう品質検査部から成
    り、前記品質検査部は、光軸の調整の必要性と距離画像
    測定の少なくとも1つを検査項目として選択すると共に
    検査判定を行い、選択した検査項目及び判定に対応する
    画面を表示するように前記車載ナビゲーション装置にデ
    ータパケットを通信することを特徴とする請求項3に記
    載の車載カメラの検査装置。
  5. 【請求項5】 前記検査手段に対して前記検査を行なう
    他に、検査項目に対応する表示を前記表示モニタへ表示
    切替え指示を行うスイッチ手段を更に有することを特徴
    とする請求項4に記載の車載カメラの検査装置。
JP26957299A 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置 Expired - Lifetime JP3479006B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP26957299A JP3479006B2 (ja) 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置
US09/665,949 US6785403B1 (en) 1999-09-22 2000-09-21 Method and system for inspecting a vehicle-mounted camera
EP00120177A EP1087236A3 (en) 1999-09-22 2000-09-22 Method and system for inspecting a vehicle-mounted camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26957299A JP3479006B2 (ja) 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置

Publications (2)

Publication Number Publication Date
JP2001095017A JP2001095017A (ja) 2001-04-06
JP3479006B2 true JP3479006B2 (ja) 2003-12-15

Family

ID=17474241

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26957299A Expired - Lifetime JP3479006B2 (ja) 1999-09-22 1999-09-22 車載カメラの検査方法ならびに装置

Country Status (3)

Country Link
US (1) US6785403B1 (ja)
EP (1) EP1087236A3 (ja)
JP (1) JP3479006B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565749B2 (ja) 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4691508B2 (ja) * 2004-11-15 2011-06-01 日立オートモティブシステムズ株式会社 ステレオカメラ
JP4224449B2 (ja) * 2004-11-30 2009-02-12 本田技研工業株式会社 画像抽出装置
JP4032052B2 (ja) * 2004-11-30 2008-01-16 本田技研工業株式会社 位置検出装置及びその補正方法
JP4461091B2 (ja) * 2004-11-30 2010-05-12 本田技研工業株式会社 位置検出装置及びその補正方法
US7599521B2 (en) * 2004-11-30 2009-10-06 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
US7590263B2 (en) * 2004-11-30 2009-09-15 Honda Motor Co., Ltd. Vehicle vicinity monitoring apparatus
JP4785421B2 (ja) * 2005-05-30 2011-10-05 市光工業株式会社 車載カメラ構造
JP2007142884A (ja) * 2005-11-18 2007-06-07 Canon Inc 撮像装置及びその制御方法
JP4820221B2 (ja) * 2006-06-29 2011-11-24 日立オートモティブシステムズ株式会社 車載カメラのキャリブレーション装置およびプログラム
JP5324946B2 (ja) * 2008-04-25 2013-10-23 富士重工業株式会社 ステレオカメラユニット
US8600193B2 (en) * 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
KR101129326B1 (ko) * 2010-06-16 2012-03-27 허성용 영상 촬영용 광축 정렬 장치 및 광축 정렬 방법
JP5818651B2 (ja) * 2011-11-22 2015-11-18 株式会社キーエンス 画像処理装置
JP2014092460A (ja) * 2012-11-02 2014-05-19 Sony Corp 画像処理装置および方法、画像処理システム、並びにプログラム
CN103366109B (zh) * 2013-08-14 2015-12-23 德讯科技股份有限公司 一种基于数字图像识别算法的XWindow代填方法
RU2562616C1 (ru) * 2014-07-21 2015-09-10 Алексей Викторович Бондаренко Способ получения радиотехнической информации и радиотехнический комплекс для его осуществления
RU2660498C1 (ru) * 2017-07-12 2018-07-06 Акционерное общество "Концерн радиостроения "Вега" Способ трассового сопровождения воздушных маневрирующих источников радиоизлучения по пеленговой информации от однопозиционной системы радиотехнической разведки воздушного базирования
US10744941B2 (en) 2017-10-12 2020-08-18 Magna Electronics Inc. Vehicle vision system with bird's eye view display
CN111010537B (zh) * 2019-12-06 2021-06-15 苏州智加科技有限公司 车辆控制方法、装置、终端及存储介质
CN112629829A (zh) * 2020-12-04 2021-04-09 上海影创信息科技有限公司 车辆挡风玻璃ar画面变形检测方法和系统及车辆

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2332779C3 (de) 1972-07-03 1978-06-29 Nihon Raina K.K., Tokio Vorrichtung zum fortlaufenden Unterteilen und Markieren von Fahrspurlinien auf Fahrbahnen o.dgl
JPS6021675A (ja) 1983-07-18 1985-02-04 Toyota Motor Corp 計測機器におけるテレビカメラ位置ずれ自動補正方法及び装置
FR2609068B1 (fr) 1986-12-26 1989-12-08 Secmair Dispositif de reperage de l'axe central d'une chaussee
US4746977A (en) 1987-03-12 1988-05-24 Remote Technology Corporation Remotely operated steerable vehicle with improved arrangement for remote steering
US4899189A (en) 1988-10-31 1990-02-06 Frost George E Support and protective base device for camera
SE461797B (sv) 1989-04-14 1990-03-26 Affarsverket Ffv Anordning foer maalning av linjemarkering paa en vaeg
DE9110846U1 (ja) 1991-04-29 1991-11-28 Nielsen, Bent Johannes, Broby, Dk
JPH06213660A (ja) * 1993-01-19 1994-08-05 Aisin Seiki Co Ltd 像の近似直線の検出方法
JP3287117B2 (ja) 1994-07-05 2002-05-27 株式会社日立製作所 撮像装置を用いた車両用の環境認識装置
US5768443A (en) 1995-12-19 1998-06-16 Cognex Corporation Method for coordinating multiple fields of view in multi-camera
KR100576526B1 (ko) 1997-01-09 2007-07-09 후지 덴키 가부시끼가이샤 거리 측정 장치
US6067147A (en) * 1997-01-09 2000-05-23 Fuji Electric Co., Ltd. Distance-measuring apparatus
JP3284078B2 (ja) * 1997-04-07 2002-05-20 本田技研工業株式会社 自動変速機付き車両の自動操舵装置
JP3565749B2 (ja) * 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置

Also Published As

Publication number Publication date
EP1087236A2 (en) 2001-03-28
JP2001095017A (ja) 2001-04-06
EP1087236A3 (en) 2001-10-17
US6785403B1 (en) 2004-08-31

Similar Documents

Publication Publication Date Title
JP3479006B2 (ja) 車載カメラの検査方法ならびに装置
JP3565749B2 (ja) 車載カメラの撮像方向の検査方法およびその検査装置
JP4461091B2 (ja) 位置検出装置及びその補正方法
CN100463518C (zh) 后视系统的图像显示方法和装置
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
EP1635138A1 (en) Stereo optical module and stereo camera
EP1087204B1 (en) Range finder using stereoscopic images
JPH07280704A (ja) 車両用ヘッドライトの試験方法及び装置
JP2008085710A (ja) 運転支援システム
US20060109371A1 (en) AF-area display apparatus and AF-area operation apparatus
DE102005057090B4 (de) Vorrichtung zur und Verfahren der Bildextraktion
JPH09202180A (ja) 車載カメラ装置
CN111210386A (zh) 图像拍摄拼接方法及系统
JP4265756B2 (ja) 車載カメラの取り付け構造
CN110493573A (zh) 一种挖掘机及挖掘机远程控制系统
JP2006254318A (ja) 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法
WO2020213386A1 (ja) 物体位置検出装置、走行制御システム、および走行制御方法
JP3448443B2 (ja) 車両周辺確認システム
JP5448303B2 (ja) 圧延機の芯ずれ量測定装置
JP2000142221A (ja) 車載用カメラの取付方法および画像処理装置
JP2006153768A (ja) 位置検出装置及びその補正方法
JP4311151B2 (ja) 画像位置ずれ量算出装置
KR20200081025A (ko) 배전 설비 영상 취득 시스템 및 방법
JP2003066307A (ja) 電子撮像装置の組立・検査方法及びこれに用いる電子撮像装置の組立・検査装置
CN116112659A (zh) 车辆视觉模块测试系统和车辆

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3479006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081003

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term