JP3255360B2 - 距離データの検査方法およびその検査装置 - Google Patents
距離データの検査方法およびその検査装置Info
- Publication number
- JP3255360B2 JP3255360B2 JP26934799A JP26934799A JP3255360B2 JP 3255360 B2 JP3255360 B2 JP 3255360B2 JP 26934799 A JP26934799 A JP 26934799A JP 26934799 A JP26934799 A JP 26934799A JP 3255360 B2 JP3255360 B2 JP 3255360B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- distance data
- inspection
- evaluation
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Description
【０００１】
【発明の属する技術分野】本発明は、ステレオ画像に基
づき算出された距離データを検査する方法およびその検
査装置に関する。
づき算出された距離データを検査する方法およびその検
査装置に関する。
【０００２】
【従来の技術】近年、プレビューセンサとしてステレオ
カメラを用いた車外監視装置が注目されている。この類
の監視装置は、車体に取り付けられた一対の車載カメラ
（ステレオカメラ）によって自車輌前方の景色を撮像
し、これらの画像対に基づき三角測量の原理を用いて距
離データを算出する。そして、算出された距離データに
基づいて、自車輌前方の走行状況を認識し、必要に応じ
てドライバーに注意を喚起したり、シフトダウンによる
減速といった車輌挙動制御を行う。
カメラを用いた車外監視装置が注目されている。この類
の監視装置は、車体に取り付けられた一対の車載カメラ
（ステレオカメラ）によって自車輌前方の景色を撮像
し、これらの画像対に基づき三角測量の原理を用いて距
離データを算出する。そして、算出された距離データに
基づいて、自車輌前方の走行状況を認識し、必要に応じ
てドライバーに注意を喚起したり、シフトダウンによる
減速といった車輌挙動制御を行う。
【０００３】このようなステレオカメラを車体に取り付
ける際には、その取り付け位置に関して高レベルの精度
が要求される。なぜなら、ステレオカメラの取り付け位
置にずれが生じると、それに起因してステレオカメラの
撮像方向がずれてしまうため、算出された距離データに
直接影響を及ぼしてしまうからである。その他にも、ス
テレオカメラの感度バランスのずれ、カメラのレンズ特
性の影響、または適切でない画像補正等に起因して、算
出された距離データの信頼性が低下してしまう場合があ
る。
ける際には、その取り付け位置に関して高レベルの精度
が要求される。なぜなら、ステレオカメラの取り付け位
置にずれが生じると、それに起因してステレオカメラの
撮像方向がずれてしまうため、算出された距離データに
直接影響を及ぼしてしまうからである。その他にも、ス
テレオカメラの感度バランスのずれ、カメラのレンズ特
性の影響、または適切でない画像補正等に起因して、算
出された距離データの信頼性が低下してしまう場合があ
る。
【０００４】
【発明が解決しようとする課題】そこで、ステレオカメ
ラの取り付け完了後に行われる検査工程において、ステ
レオカメラで実際に撮像して得られたステレオ画像から
距離データを算出し、その算出結果を検査する必要があ
る。しかしながら、従来、このような検査手法が確立さ
れておらず、検査の効率化・自動化を図ることができる
検査手法の確立が強く望まれていた。
ラの取り付け完了後に行われる検査工程において、ステ
レオカメラで実際に撮像して得られたステレオ画像から
距離データを算出し、その算出結果を検査する必要があ
る。しかしながら、従来、このような検査手法が確立さ
れておらず、検査の効率化・自動化を図ることができる
検査手法の確立が強く望まれていた。
【０００５】この発明はこのような事情に鑑みてなされ
たもので、その目的は、ステレオ画像に基づき算出され
た距離の信頼性を効率的かつ正確に検査することができ
る検査手法を提供することである。
たもので、その目的は、ステレオ画像に基づき算出され
た距離の信頼性を効率的かつ正確に検査することができ
る検査手法を提供することである。
【０００６】
【課題を解決するための手段】かかる課題を解決するた
めに、第１の発明は、ステレオ画像に基づき算出された
距離データの信頼性を検査する方法において、ステレオ
カメラの撮像方向に配置されていると共に輝度パターン
が描かれたテストチャートを、ステレオカメラで撮影す
ることによって一対の撮像画像を得るステップと、当該
一対の撮像画像から距離データを算出するステップと、
撮像画像に映し出されたテストチャートに関する距離デ
ータを評価サンプルとし、当該評価サンプルの距離値と
出現度数との関係を示したヒストグラムを生成するステ
ップと、当該生成されたヒストグラムの特性を、ステレ
オカメラとテストチャートとの間の距離に基づいて評価
することにより、算出された距離データの信頼性を判定
するステップとを有する距離データの検査方法を提供す
る。
めに、第１の発明は、ステレオ画像に基づき算出された
距離データの信頼性を検査する方法において、ステレオ
カメラの撮像方向に配置されていると共に輝度パターン
が描かれたテストチャートを、ステレオカメラで撮影す
ることによって一対の撮像画像を得るステップと、当該
一対の撮像画像から距離データを算出するステップと、
撮像画像に映し出されたテストチャートに関する距離デ
ータを評価サンプルとし、当該評価サンプルの距離値と
出現度数との関係を示したヒストグラムを生成するステ
ップと、当該生成されたヒストグラムの特性を、ステレ
オカメラとテストチャートとの間の距離に基づいて評価
することにより、算出された距離データの信頼性を判定
するステップとを有する距離データの検査方法を提供す
る。
【０００７】ここで、上記判定するステップは、ヒスト
グラムにおいて設定された適正範囲に含まれる評価サン
プルの出現度数が、評価サンプルの総数に占める割合に
基づいて、算出された距離データの信頼性を判定するス
テップであることが好ましい。この適正範囲は、ステレ
オカメラとテストチャートの間の距離を含んだ所定の距
離範囲である。
グラムにおいて設定された適正範囲に含まれる評価サン
プルの出現度数が、評価サンプルの総数に占める割合に
基づいて、算出された距離データの信頼性を判定するス
テップであることが好ましい。この適正範囲は、ステレ
オカメラとテストチャートの間の距離を含んだ所定の距
離範囲である。
【０００８】また、上記判定するステップは、ヒストグ
ラムにおいてピークを形成する出現度数に関するピーク
距離値が適正範囲内にあるか否かに基づいて、算出され
た距離データの信頼性を判定するステップであってもよ
い。この適正範囲は、ステレオカメラとテストチャート
の間の距離を含んだ所定の距離範囲である。
ラムにおいてピークを形成する出現度数に関するピーク
距離値が適正範囲内にあるか否かに基づいて、算出され
た距離データの信頼性を判定するステップであってもよ
い。この適正範囲は、ステレオカメラとテストチャート
の間の距離を含んだ所定の距離範囲である。
【０００９】このピーク距離値は、出現度数が最大とな
る距離値であってもよい。また、このピーク距離値は、
出現度数が最大となる距離値と、出現度数が最大となる
距離値に隣接した距離値のうち出現度数が大きい方の距
離値とに基づいて算出してもよい。さらに、ピーク距離
値は、サブピクセル単位で算出された距離値を用いるこ
とが望ましい。
る距離値であってもよい。また、このピーク距離値は、
出現度数が最大となる距離値と、出現度数が最大となる
距離値に隣接した距離値のうち出現度数が大きい方の距
離値とに基づいて算出してもよい。さらに、ピーク距離
値は、サブピクセル単位で算出された距離値を用いるこ
とが望ましい。
【００１０】上記ヒストグラムを生成するステップは、
撮像画像に設定された複数の評価領域のそれぞれについ
て、当該評価領域における距離データを評価サンプルと
し、当該評価サンプルの距離値と出現度数との関係を示
したヒストグラムを生成するステップであってもよい。
この場合、上記判定するステップは、ヒストグラム毎に
出現度数のピーク部分におけるピーク距離値が適正範囲
内にあるか否かを判断し、ピーク距離値のすべてが適正
範囲内になると判断した場合に距離データの算出結果が
良好であると判定する。
撮像画像に設定された複数の評価領域のそれぞれについ
て、当該評価領域における距離データを評価サンプルと
し、当該評価サンプルの距離値と出現度数との関係を示
したヒストグラムを生成するステップであってもよい。
この場合、上記判定するステップは、ヒストグラム毎に
出現度数のピーク部分におけるピーク距離値が適正範囲
内にあるか否かを判断し、ピーク距離値のすべてが適正
範囲内になると判断した場合に距離データの算出結果が
良好であると判定する。
【００１１】第２の発明は、ステレオ式車外監視装置に
おいて算出された距離データの信頼性を検査する検査装
置において、車体に取り付けられ、かつ、車輌前方の状
況を撮像することにより一対の撮像画像を出力するステ
レオカメラと、一対の撮像画像から距離データを算出す
るステレオ演算手段と、検査時に車輌前方の予め規定さ
れた位置に配置されていると共に輝度パターンが描かれ
たテストチャートを、ステレオカメラで撮像することに
よって得られた撮像画像に基づいて、距離データの信頼
性を判定する検査手段とを有する。この検査手段は、撮
像画像の中央部に設けられた評価領域内の距離データを
評価サンプルとし、当該評価サンプルの距離値と出現度
数との関係を示したヒストグラムを生成し、当該生成さ
れたヒストグラムの特性を、ステレオカメラとテストチ
ャートとの間の距離に基づいて評価することにより、算
出された距離データの信頼性を判定する。
おいて算出された距離データの信頼性を検査する検査装
置において、車体に取り付けられ、かつ、車輌前方の状
況を撮像することにより一対の撮像画像を出力するステ
レオカメラと、一対の撮像画像から距離データを算出す
るステレオ演算手段と、検査時に車輌前方の予め規定さ
れた位置に配置されていると共に輝度パターンが描かれ
たテストチャートを、ステレオカメラで撮像することに
よって得られた撮像画像に基づいて、距離データの信頼
性を判定する検査手段とを有する。この検査手段は、撮
像画像の中央部に設けられた評価領域内の距離データを
評価サンプルとし、当該評価サンプルの距離値と出現度
数との関係を示したヒストグラムを生成し、当該生成さ
れたヒストグラムの特性を、ステレオカメラとテストチ
ャートとの間の距離に基づいて評価することにより、算
出された距離データの信頼性を判定する。
【００１２】ここで、上記の検査手段は、ヒストグラム
において設定された適正範囲に含まれる評価サンプルの
出現度数が、評価サンプルの総数に占める割合に基づい
て、算出された距離データの信頼性を判定してもよい。
この適正範囲は、ステレオカメラとテストチャートの間
の距離を含んだ所定の距離範囲である。
において設定された適正範囲に含まれる評価サンプルの
出現度数が、評価サンプルの総数に占める割合に基づい
て、算出された距離データの信頼性を判定してもよい。
この適正範囲は、ステレオカメラとテストチャートの間
の距離を含んだ所定の距離範囲である。
【００１３】また、検査手段は、ヒストグラムにおいて
ピークを形成する出現度数に関するピーク距離値が適正
範囲内にあるか否かに基づいて、算出された距離データ
の信頼性を判定してもよい。この適正範囲は、ステレオ
カメラとテストチャートの間の距離を含んだ所定の距離
範囲である。
ピークを形成する出現度数に関するピーク距離値が適正
範囲内にあるか否かに基づいて、算出された距離データ
の信頼性を判定してもよい。この適正範囲は、ステレオ
カメラとテストチャートの間の距離を含んだ所定の距離
範囲である。
【００１４】さらに、検査手段は、撮像画像に設定され
た複数の評価領域のそれぞれについて、当該評価領域に
おける距離データを評価サンプルとし、当該評価サンプ
ルの距離値と出現度数との関係を示したヒストグラムを
生成するようにしてもよい。この場合、検査手段は、ヒ
ストグラム毎に出現度数のピーク部分におけるピーク距
離値が適正範囲内にあるか否かを判断し、ピーク距離値
のすべてが適正範囲内になると判断した場合に距離デー
タの算出結果が良好であると判定する。
た複数の評価領域のそれぞれについて、当該評価領域に
おける距離データを評価サンプルとし、当該評価サンプ
ルの距離値と出現度数との関係を示したヒストグラムを
生成するようにしてもよい。この場合、検査手段は、ヒ
ストグラム毎に出現度数のピーク部分におけるピーク距
離値が適正範囲内にあるか否かを判断し、ピーク距離値
のすべてが適正範囲内になると判断した場合に距離デー
タの算出結果が良好であると判定する。
【００１５】第１または第２の発明において、輝度パタ
ーンは、輝度の階調が異なる同一形状をランダムに配置
した構成を有しているものを用いることが望ましい。
ーンは、輝度の階調が異なる同一形状をランダムに配置
した構成を有しているものを用いることが望ましい。
【００１６】
【発明の実施の形態】（第１の実施例）図１は、ステレ
オ式車外監視装置のブロック図である。車外の景色を撮
像するステレオカメラは、ルームミラーの近傍に取り付
けられており、ＣＣＤ等のイメージセンサを内蔵した一
対のカメラ１，２で構成されている。各カメラ１，２
は、車幅方向において所定の間隔で取り付けられてい
る。基準画像データを得るためのメインカメラ１は、車
輌の進行方向に向かって右側に取り付けられている。一
方、比較画像を得るためのサブカメラ２は、進行方向に
向かって左側に取り付けられている。
オ式車外監視装置のブロック図である。車外の景色を撮
像するステレオカメラは、ルームミラーの近傍に取り付
けられており、ＣＣＤ等のイメージセンサを内蔵した一
対のカメラ１，２で構成されている。各カメラ１，２
は、車幅方向において所定の間隔で取り付けられてい
る。基準画像データを得るためのメインカメラ１は、車
輌の進行方向に向かって右側に取り付けられている。一
方、比較画像を得るためのサブカメラ２は、進行方向に
向かって左側に取り付けられている。
【００１７】カメラ対１，２の同期が取れている状態に
おいて、各カメラ１，２から出力されたアナログ画像
は、後段の回路の入力レンジに合致するように、アナロ
グインターフェース３において調整される。また、アナ
ログインターフェース３中のゲインコントロールアンプ
（ＧＣＡ）において画像の明るさバランスが調整され
る。アナログインターフェース３から出力されたアナロ
グ画像は、Ａ／Ｄコンバータ４により、所定の輝度階調
（例えば、256階調のグレースケール）のデジタル画像
に変換される。そして、デジタル化された各画像に対し
て、補正回路５によりアフィン変換等の補正が行われ
る。
おいて、各カメラ１，２から出力されたアナログ画像
は、後段の回路の入力レンジに合致するように、アナロ
グインターフェース３において調整される。また、アナ
ログインターフェース３中のゲインコントロールアンプ
（ＧＣＡ）において画像の明るさバランスが調整され
る。アナログインターフェース３から出力されたアナロ
グ画像は、Ａ／Ｄコンバータ４により、所定の輝度階調
（例えば、256階調のグレースケール）のデジタル画像
に変換される。そして、デジタル化された各画像に対し
て、補正回路５によりアフィン変換等の補正が行われ
る。
【００１８】このような画像処理を経て、メインカメラ
１の出力信号から、水平方向が512画素、垂直方向が200
画素の基準画像データ（輝度データ）が生成される。ま
た、サブカメラ２の出力信号から、基準画像と垂直方向
長が同じで、基準画像よりも大きな水平方向長を有する
比較画像データが生成される（一例として、水平方向が
640画素、垂直方向が200画素）。基準画像データおよび
比較画像データは、画像データメモリ７に格納される。
１の出力信号から、水平方向が512画素、垂直方向が200
画素の基準画像データ（輝度データ）が生成される。ま
た、サブカメラ２の出力信号から、基準画像と垂直方向
長が同じで、基準画像よりも大きな水平方向長を有する
比較画像データが生成される（一例として、水平方向が
640画素、垂直方向が200画素）。基準画像データおよび
比較画像データは、画像データメモリ７に格納される。
【００１９】ステレオ演算回路６は、基準画像データと
比較画像データとに基づいて視差を算出する。視差は、
4×4画素の画素ブロック単位で算出されるため、一フレ
ームの基準画像全体では最大で128×50個の視差が算出
され得る。基準画像中の一画素ブロックを対象とした場
合、その対象画素ブロック（相関元）の輝度特性と相関
を有する領域（相関先）を比較画像を探索することによ
り特定する（ステレオマッチング）。周知のとおり、ス
テレオ画像に映し出された対象物までの距離は、ステレ
オ画像における視差、すなわち、基準画像と比較画像と
の間における水平方向のずれ量として現れる。したがっ
て、比較画像の探索を行う場合、対象画素ブロックのｊ
座標と同じ水平線（エピポーラライン）上を探索すれば
よい。ステレオ演算回路６は、このエピポーラライン上
を一画素ずつシフトしながら、画素ブロック毎に対象画
素ブロックとの相関を評価する。
比較画像データとに基づいて視差を算出する。視差は、
4×4画素の画素ブロック単位で算出されるため、一フレ
ームの基準画像全体では最大で128×50個の視差が算出
され得る。基準画像中の一画素ブロックを対象とした場
合、その対象画素ブロック（相関元）の輝度特性と相関
を有する領域（相関先）を比較画像を探索することによ
り特定する（ステレオマッチング）。周知のとおり、ス
テレオ画像に映し出された対象物までの距離は、ステレ
オ画像における視差、すなわち、基準画像と比較画像と
の間における水平方向のずれ量として現れる。したがっ
て、比較画像の探索を行う場合、対象画素ブロックのｊ
座標と同じ水平線（エピポーラライン）上を探索すれば
よい。ステレオ演算回路６は、このエピポーラライン上
を一画素ずつシフトしながら、画素ブロック毎に対象画
素ブロックとの相関を評価する。
【００２０】２つの画素ブロックの相関は、例えば、数
式１に示したシティブロック距離ＣＢを算出することに
より評価することができる。同数式において、ｐ１ijは
一方の画素ブロックのｉｊ番目の画素の輝度値であり、
ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値であ
る。シティブロック距離ＣＢは、位置的に対応した輝度
値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体
における総和であって、その差が小さいほど両画素ブロ
ックの相関が大きいことを意味している。
式１に示したシティブロック距離ＣＢを算出することに
より評価することができる。同数式において、ｐ１ijは
一方の画素ブロックのｉｊ番目の画素の輝度値であり、
ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値であ
る。シティブロック距離ＣＢは、位置的に対応した輝度
値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体
における総和であって、その差が小さいほど両画素ブロ
ックの相関が大きいことを意味している。
【００２１】
【数１】ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２２】基本的には、エピポーラライン上に存在す
る画素ブロック毎に算出されたシティブロック距離ＣＢ
のうち、その値が最小となる画素ブロックが対象画素ブ
ロックの相関先と判断される。このようにして特定され
た相関先と対象画素ブロックとの間のずれ量が視差とな
る。
る画素ブロック毎に算出されたシティブロック距離ＣＢ
のうち、その値が最小となる画素ブロックが対象画素ブ
ロックの相関先と判断される。このようにして特定され
た相関先と対象画素ブロックとの間のずれ量が視差とな
る。
【００２３】また、ステレオ演算回路６は、画素ブロッ
クの水平方向の輝度エッジ（輝度変化量）の有無、同一
エピポーラライン上において算出されたシティブロック
距離ＣＢの最大値／最小値との関係等を評価する。そし
て、距離データとしての信頼性を確保するために、これ
らの評価結果に基づいて算出された視差にフィルタリン
グ処理を施し、有効とされた視差ｄ（以下、「有効視
差」という）のみを出力する。また、なお、シティブロ
ック距離を算出するためのハード構成やフィルタリング
処理の詳細については、特開平５−１１４０９９号公報
に開示されているので、必要ならば参照されたい。この
ような処理を経て算出された有効視差ｄは距離データメ
モリ８に格納される。
クの水平方向の輝度エッジ（輝度変化量）の有無、同一
エピポーラライン上において算出されたシティブロック
距離ＣＢの最大値／最小値との関係等を評価する。そし
て、距離データとしての信頼性を確保するために、これ
らの評価結果に基づいて算出された視差にフィルタリン
グ処理を施し、有効とされた視差ｄ（以下、「有効視
差」という）のみを出力する。また、なお、シティブロ
ック距離を算出するためのハード構成やフィルタリング
処理の詳細については、特開平５−１１４０９９号公報
に開示されているので、必要ならば参照されたい。この
ような処理を経て算出された有効視差ｄは距離データメ
モリ８に格納される。
【００２４】なお、以下の説明で用いられている「距離
データ」という用語は距離データメモリ８に格納された
有効視差ｄを意味している。また、「距離画像」という
用語は、画像領域全体における距離データの出力状態を
示したもの、換言すれば、各距離データｄをそれが算出
された画像領域上の位置と対応づけた概念的な画像を意
味している。
データ」という用語は距離データメモリ８に格納された
有効視差ｄを意味している。また、「距離画像」という
用語は、画像領域全体における距離データの出力状態を
示したもの、換言すれば、各距離データｄをそれが算出
された画像領域上の位置と対応づけた概念的な画像を意
味している。
【００２５】マイクロコンピュータ９（機能的に捉えた
場合、その機能的ブロックである認識部１０）は、道路
形状（白線）や車輌前方の立体物（走行車）等を認識す
る。これらの認識は、画像データメモリ７中に記憶され
た画像データと距離データメモリ８に格納された距離デ
ータｄ（有効視差）とに基づいて行われる。また、図示
していない車速センサや舵角センサからのセンサ情報、
或いはナビゲーション情報等も必要に応じて参照され
る。そして、これらの認識結果に基づいて、前方のカー
ブや立体物に対する警報が必要と判定された場合、モニ
タやスピーカー等の警報装置１１を作動させてドライバ
ーに注意を促す。また、必要に応じて制御装置１２を制
御することにより、ＡＴ（自動変速機）のシフトダウン
やエンジン出力の抑制、或いはブレーキの作動といった
車輌制御が実行される。
場合、その機能的ブロックである認識部１０）は、道路
形状（白線）や車輌前方の立体物（走行車）等を認識す
る。これらの認識は、画像データメモリ７中に記憶され
た画像データと距離データメモリ８に格納された距離デ
ータｄ（有効視差）とに基づいて行われる。また、図示
していない車速センサや舵角センサからのセンサ情報、
或いはナビゲーション情報等も必要に応じて参照され
る。そして、これらの認識結果に基づいて、前方のカー
ブや立体物に対する警報が必要と判定された場合、モニ
タやスピーカー等の警報装置１１を作動させてドライバ
ーに注意を促す。また、必要に応じて制御装置１２を制
御することにより、ＡＴ（自動変速機）のシフトダウン
やエンジン出力の抑制、或いはブレーキの作動といった
車輌制御が実行される。
【００２６】検査装置１４は、製品の検査工程時におい
てのみ接続される外付けの装置である。マイクロコンピ
ュータ９に検査装置１４が接続され、検査装置１４によ
って検査の開始が指示されると、マイクロコンピュータ
９（機能的に捉えた場合、その機能的ブロックである検
査部１３）は予めプログラムされた検査ルーチンを実行
する。検査部１３は、図２に示したフローチャートにし
たがって検査サンプルにおける距離の出力状況を自動的
に検査する。
てのみ接続される外付けの装置である。マイクロコンピ
ュータ９に検査装置１４が接続され、検査装置１４によ
って検査の開始が指示されると、マイクロコンピュータ
９（機能的に捉えた場合、その機能的ブロックである検
査部１３）は予めプログラムされた検査ルーチンを実行
する。検査部１３は、図２に示したフローチャートにし
たがって検査サンプルにおける距離の出力状況を自動的
に検査する。
【００２７】図２は、第１の実施例にかかる算出距離の
検査手順を示したフローチャートである。まず、検査者
は、検査ルーチンの開始指示に先立ち、所定のパターン
を有するテストチャートを車輌前方の所定位置に配置し
ておく。図４は、テストチャートの配置位置と検査対象
である車輌との関係を示した図である。また、図５は、
この検査で用いられるテストチャート２１の一例を示し
た図である。このテストチャート２１は、所定の輝度階
調（例えば、16階調のグレースケール）を有する輝度ブ
ロックをランダムに（すなわち、輝度変化に規則性がな
いように）配置したランダムパターンである。また、一
輝度ブロックあたりの面積は、ステレオマッチングの際
の精度を確保するために、撮像画像に映し出された輝度
ブロックが3×3画素程度になるような大きさに設定され
ている。図４において、テストチャート２１は、車長方
向（Ｚ軸）に関してステレオカメラの取り付け位置から
Ｚ１の距離で、車高方向（Ｙ軸）に関して地面から十字
交点ＣまでがＹ１の高さで、かつ、テストチャート２１
の平面が車幅方向（Ｘ軸）に対して平行になるように配
置されている。このような状態でテストチャート２１を
カメラ１，２で撮像すると、撮像画像にテストチャート
２１が映し出される。
検査手順を示したフローチャートである。まず、検査者
は、検査ルーチンの開始指示に先立ち、所定のパターン
を有するテストチャートを車輌前方の所定位置に配置し
ておく。図４は、テストチャートの配置位置と検査対象
である車輌との関係を示した図である。また、図５は、
この検査で用いられるテストチャート２１の一例を示し
た図である。このテストチャート２１は、所定の輝度階
調（例えば、16階調のグレースケール）を有する輝度ブ
ロックをランダムに（すなわち、輝度変化に規則性がな
いように）配置したランダムパターンである。また、一
輝度ブロックあたりの面積は、ステレオマッチングの際
の精度を確保するために、撮像画像に映し出された輝度
ブロックが3×3画素程度になるような大きさに設定され
ている。図４において、テストチャート２１は、車長方
向（Ｚ軸）に関してステレオカメラの取り付け位置から
Ｚ１の距離で、車高方向（Ｙ軸）に関して地面から十字
交点ＣまでがＹ１の高さで、かつ、テストチャート２１
の平面が車幅方向（Ｘ軸）に対して平行になるように配
置されている。このような状態でテストチャート２１を
カメラ１，２で撮像すると、撮像画像にテストチャート
２１が映し出される。
【００２８】検査者が検査装置１４を操作して検査の開
始を指示すると、マイクロコンピュータ９（すなわち検
査部１３）は、まずステップ１においてシステムの初期
化を行った後、１フレーム分の距離画像をサンプリング
する（ステップ２）。
始を指示すると、マイクロコンピュータ９（すなわち検
査部１３）は、まずステップ１においてシステムの初期
化を行った後、１フレーム分の距離画像をサンプリング
する（ステップ２）。
【００２９】ステップ２に続き、距離画像中にヒストグ
ラム生成のための評価領域Ｒ１が設定され（ステップ
３）、評価領域Ｒ１中の距離データｄが抽出される（ス
テップ４）。この評価領域Ｒ１には、テストチャート２
１の輝度パターンが映し出されている。そして、対象と
なる評価サンプルは、この領域Ｒ１内に存在する画素ブ
ロックについて算出された距離データｄ、すなわち、テ
ストチャート２１が有する輝度パターンに関する距離デ
ータｄである。図６は、距離画像中に設定された評価領
域Ｒ１を示した図である。同図に示したように、評価領
域Ｒ１は、距離画像の周縁部分を除いた領域に設定され
ている。画像の周縁部分を除いた理由は、ステレオカメ
ラのレンズ歪み等の影響により、周縁部分では誤差を含
んだ距離データｄが算出されやすいからである。理論的
には、評価サンプルであるすべての距離データｄの値
は、ステレオカメラからテストチャート２１までの距離
（視差）になる。
ラム生成のための評価領域Ｒ１が設定され（ステップ
３）、評価領域Ｒ１中の距離データｄが抽出される（ス
テップ４）。この評価領域Ｒ１には、テストチャート２
１の輝度パターンが映し出されている。そして、対象と
なる評価サンプルは、この領域Ｒ１内に存在する画素ブ
ロックについて算出された距離データｄ、すなわち、テ
ストチャート２１が有する輝度パターンに関する距離デ
ータｄである。図６は、距離画像中に設定された評価領
域Ｒ１を示した図である。同図に示したように、評価領
域Ｒ１は、距離画像の周縁部分を除いた領域に設定され
ている。画像の周縁部分を除いた理由は、ステレオカメ
ラのレンズ歪み等の影響により、周縁部分では誤差を含
んだ距離データｄが算出されやすいからである。理論的
には、評価サンプルであるすべての距離データｄの値
は、ステレオカメラからテストチャート２１までの距離
（視差）になる。
【００３０】ステップ４に続くステップ５において、検
査部１３は、評価範囲Ｒ１内に存在する距離データｄ、
すなわち評価サンプルの個数をカウントし、その総数Ｎ
を算出する。この総数Ｎは、最大で評価領域Ｒ１内の画
素ブロックの数だけ算出され得るが、ステレオ演算回路
６によるフィルタリング処理によって、通常は、それよ
りも少なくなる（有効視差数相当になる）。
査部１３は、評価範囲Ｒ１内に存在する距離データｄ、
すなわち評価サンプルの個数をカウントし、その総数Ｎ
を算出する。この総数Ｎは、最大で評価領域Ｒ１内の画
素ブロックの数だけ算出され得るが、ステレオ演算回路
６によるフィルタリング処理によって、通常は、それよ
りも少なくなる（有効視差数相当になる）。
【００３１】そして、ステップ５で特定された評価サン
プルに基づいて、評価領域Ｒ１における距離データの値
とその出現度数との関係を示したヒストグラムが生成さ
れる（ステップ６）。図８は、１フレームの距離画像に
おける視差のヒストグラムを示した図である。正常な状
態におけるヒストグラムの特性として、テストチャート
２１までの距離Ｚ１において急峻かつ大きなピークが出
現する。
プルに基づいて、評価領域Ｒ１における距離データの値
とその出現度数との関係を示したヒストグラムが生成さ
れる（ステップ６）。図８は、１フレームの距離画像に
おける視差のヒストグラムを示した図である。正常な状
態におけるヒストグラムの特性として、テストチャート
２１までの距離Ｚ１において急峻かつ大きなピークが出
現する。
【００３２】ステップ６に続くステップ７において、所
定の適正範囲内ＲＮＧ１内に含まれる距離データｄの数
がカウントされ、その総数Ｍが算出される。適正範囲Ｒ
ＮＧ１は、テストチャートまでの距離Ｚ１を基準に設定
されている。このレンジは、算出された距離の適否を判
断する基準となるものであり、検査精度の要求レベルに
応じて設定される。本実施例では、Ｚ１を基準とした±
10画素に適正範囲ＲＮＧ１を設定している。
定の適正範囲内ＲＮＧ１内に含まれる距離データｄの数
がカウントされ、その総数Ｍが算出される。適正範囲Ｒ
ＮＧ１は、テストチャートまでの距離Ｚ１を基準に設定
されている。このレンジは、算出された距離の適否を判
断する基準となるものであり、検査精度の要求レベルに
応じて設定される。本実施例では、Ｚ１を基準とした±
10画素に適正範囲ＲＮＧ１を設定している。
【００３３】そして、評価サンプルの総数Ｎと適正範囲
ＲＮＧ１内の評価サンプル数Ｍとに基づいて適正率ｒ
（ｒ＝Ｍ／Ｎ）が算出される。適正率ｒは、適正範囲Ｒ
ＮＧ１内の評価サンプル数が、評価サンプル総数に占め
る割合を示している。したがって、評価サンプルの距離
値が距離Ｚ１に収束しているほど適正率ｒは大きくな
り、逆に、距離値がばらつくほど適正率ｒは小さくな
る。そこで、ステップ８で算出された適正率ｒを適切に
設定された判定しきい値ｒthと比較することにより、算
出された距離データｄの信頼性を評価することができる
（ステップ９）。
ＲＮＧ１内の評価サンプル数Ｍとに基づいて適正率ｒ
（ｒ＝Ｍ／Ｎ）が算出される。適正率ｒは、適正範囲Ｒ
ＮＧ１内の評価サンプル数が、評価サンプル総数に占め
る割合を示している。したがって、評価サンプルの距離
値が距離Ｚ１に収束しているほど適正率ｒは大きくな
り、逆に、距離値がばらつくほど適正率ｒは小さくな
る。そこで、ステップ８で算出された適正率ｒを適切に
設定された判定しきい値ｒthと比較することにより、算
出された距離データｄの信頼性を評価することができる
（ステップ９）。
【００３４】すなわち、適正率ｒが判定しきい値ｒth以
上であれば、信頼できる距離データｄが算出されている
と判定して、検査結果は「ＯＫ」となる（ステップ１
０）。この場合、検査部１３における検査結果を受け
て、検査装置１４は検査者に対して検査結果が「良好」
である旨を通知する。これに対して、適正率ｒが判定し
きい値ｒth未満であれば、算出された距離データｄが異
常であると判定して、検査結果は「ＮＧ」となる（ステ
ップ１１）。この場合、検査部１３における検査結果を
受けて、検査装置１４は、検査者に対して検査結果が
「不良」である旨を通知する。
上であれば、信頼できる距離データｄが算出されている
と判定して、検査結果は「ＯＫ」となる（ステップ１
０）。この場合、検査部１３における検査結果を受け
て、検査装置１４は検査者に対して検査結果が「良好」
である旨を通知する。これに対して、適正率ｒが判定し
きい値ｒth未満であれば、算出された距離データｄが異
常であると判定して、検査結果は「ＮＧ」となる（ステ
ップ１１）。この場合、検査部１３における検査結果を
受けて、検査装置１４は、検査者に対して検査結果が
「不良」である旨を通知する。
【００３５】以上の説明からわかるように、本実施例に
検査手法においては、まず、車輌前方の予め規定された
位置に配置されたテストチャートを左右のカメラ１，２
で撮像する。そして、撮像画像に映し出された輝度パタ
ーンに関する距離データｄを評価サンプルとして距離デ
ータの算出異常の有無を検査する。距離データｄが正常
に算出されていれば、評価サンプルの距離値は、テスト
チャート２１までの距離Ｚ１近傍に集中する。しかしな
がら、某かの異常があると距離値にばらつきが生じた
り、本来の距離Ｚ１からずれてしまったりする。このよ
うな事態を招く原因の一つとして、左右のカメラ１，２
の取り付け位置のずれ（特に、上下方向（ピッチ方向）
や回転方向（ロール方向）に関するずれ）が挙げられ
る。また、左右のカメラ１，２の感度バランスのずれ、
カメラのレンズ特性による影響も考えられる。さらに、
補正回路５において適切に補正されていない場合におい
ても距離データｄの算出異常が生じる。検査サンプルの
検査結果が「不良」である場合、左右のカメラ１，２の
取り付け位置の再調整や感度バランスの調整等の措置を
講じる必要がある。
検査手法においては、まず、車輌前方の予め規定された
位置に配置されたテストチャートを左右のカメラ１，２
で撮像する。そして、撮像画像に映し出された輝度パタ
ーンに関する距離データｄを評価サンプルとして距離デ
ータの算出異常の有無を検査する。距離データｄが正常
に算出されていれば、評価サンプルの距離値は、テスト
チャート２１までの距離Ｚ１近傍に集中する。しかしな
がら、某かの異常があると距離値にばらつきが生じた
り、本来の距離Ｚ１からずれてしまったりする。このよ
うな事態を招く原因の一つとして、左右のカメラ１，２
の取り付け位置のずれ（特に、上下方向（ピッチ方向）
や回転方向（ロール方向）に関するずれ）が挙げられ
る。また、左右のカメラ１，２の感度バランスのずれ、
カメラのレンズ特性による影響も考えられる。さらに、
補正回路５において適切に補正されていない場合におい
ても距離データｄの算出異常が生じる。検査サンプルの
検査結果が「不良」である場合、左右のカメラ１，２の
取り付け位置の再調整や感度バランスの調整等の措置を
講じる必要がある。
【００３６】このように、本実施例では、上述したよう
な検査をマイクロコンピュータ９によって自動的に行っ
ている。したがって、検査工程の効率化を図ることがで
き、かつ検査結果の客観性を確保することができるとい
う効果がある。
な検査をマイクロコンピュータ９によって自動的に行っ
ている。したがって、検査工程の効率化を図ることがで
き、かつ検査結果の客観性を確保することができるとい
う効果がある。
【００３７】また、本実施例では、輝度パターンとして
図５に示したランダムパターンを用いている。このラン
ダムパターン中の輝度変化には規則性がないので、ステ
レオマッチングが適切に行われた場合（適切な視差が算
出されている場合）のみ、評価サンプルの距離値が距離
Ｚ１に収束する傾向が強くなる。したがって、このよう
なランダムパターンを用いて適正率ｒを算出すれば、判
定精度を一層向上させることができる。
図５に示したランダムパターンを用いている。このラン
ダムパターン中の輝度変化には規則性がないので、ステ
レオマッチングが適切に行われた場合（適切な視差が算
出されている場合）のみ、評価サンプルの距離値が距離
Ｚ１に収束する傾向が強くなる。したがって、このよう
なランダムパターンを用いて適正率ｒを算出すれば、判
定精度を一層向上させることができる。
【００３８】（第２の実施例）図３は、第２の実施例に
かかる算出距離の検査手順を示したフローチャートであ
る。また、本実施例における検査は、第１の実施例と同
様に、図１に示したシステム構成を用いて行うことがで
きる。図５に示したテストチャート２１が車輌前方にお
ける所定位置に配置された状態で（図４参照）、検査者
は検査装置１４から検査部１３に対して検査ルーチンの
開始を指示する。検査ルーチンの開始にともない、検査
部１３は、まず最初にシステムの初期化を行った後（ス
テップ２１）、１フレーム分の距離画像をサンプリング
する（ステップ２２）。
かかる算出距離の検査手順を示したフローチャートであ
る。また、本実施例における検査は、第１の実施例と同
様に、図１に示したシステム構成を用いて行うことがで
きる。図５に示したテストチャート２１が車輌前方にお
ける所定位置に配置された状態で（図４参照）、検査者
は検査装置１４から検査部１３に対して検査ルーチンの
開始を指示する。検査ルーチンの開始にともない、検査
部１３は、まず最初にシステムの初期化を行った後（ス
テップ２１）、１フレーム分の距離画像をサンプリング
する（ステップ２２）。
【００３９】ステップ２２に続き、距離画像中にヒスト
グラム生成のための評価領域Ｒ２が設定され（ステップ
２３）、評価領域Ｒ２中の距離データｄが評価サンプル
として抽出される（ステップ２４）。この評価領域Ｒ２
には、テストチャート２１の輝度パターンが映し出され
ている。図７は、距離画像中に設定された評価領域Ｒ２
を示した図である。評価領域Ｒ２は、距離画像の周縁部
分を除いた領域に設定され、図６に示した評価領域Ｒ１
よりも小さな面積を有している。これは、本実施例にお
ける検査の評価対象が後述する処理にしたがって算出さ
れた距離値自体であることによる（第１の実施例での評
価対象は距離データｄの数）。カメラのレンズ歪みが大
きいと算出された距離が含む誤差が大きくなる可能性が
ある。したがって、カメラのレンズ歪み等の影響がより
少ない領域、すなわち評価領域Ｒ１よりも狭い領域に評
価領域Ｒ２を設定している。
グラム生成のための評価領域Ｒ２が設定され（ステップ
２３）、評価領域Ｒ２中の距離データｄが評価サンプル
として抽出される（ステップ２４）。この評価領域Ｒ２
には、テストチャート２１の輝度パターンが映し出され
ている。図７は、距離画像中に設定された評価領域Ｒ２
を示した図である。評価領域Ｒ２は、距離画像の周縁部
分を除いた領域に設定され、図６に示した評価領域Ｒ１
よりも小さな面積を有している。これは、本実施例にお
ける検査の評価対象が後述する処理にしたがって算出さ
れた距離値自体であることによる（第１の実施例での評
価対象は距離データｄの数）。カメラのレンズ歪みが大
きいと算出された距離が含む誤差が大きくなる可能性が
ある。したがって、カメラのレンズ歪み等の影響がより
少ない領域、すなわち評価領域Ｒ１よりも狭い領域に評
価領域Ｒ２を設定している。
【００４０】そして、ステップ２５において、評価領域
Ｒ２内の距離データの値とその出現度数との関係を示し
たヒストグラムが生成される（図８参照）。そして、こ
のヒストグラムにおいて出現度数が最大となる距離デー
タの値ｄｍが検出される（ステップ２６）。この距離値
ｄｍは、ヒストグラムに出現したピーク（頂点）の距離
値である。
Ｒ２内の距離データの値とその出現度数との関係を示し
たヒストグラムが生成される（図８参照）。そして、こ
のヒストグラムにおいて出現度数が最大となる距離デー
タの値ｄｍが検出される（ステップ２６）。この距離値
ｄｍは、ヒストグラムに出現したピーク（頂点）の距離
値である。
【００４１】ステップ２６に続くステップ２７におい
て、最大出現度数の距離値ｄｍ（ピーク距離値）が適正
範囲ＲＮＧ２内（ｄｍmin≦ｄｍ≦ｄｍmax）であるか否
かが判定される。この適正範囲ＲＮＧ２は、テストチャ
ート２１までの距離Ｚ１に基づき設定され、距離値ｄｍ
の適否を判断する基準となる。本実施例では、Ｚ１を基
準として±5画素に適正範囲ＲＮＧ２を設定している。
て、最大出現度数の距離値ｄｍ（ピーク距離値）が適正
範囲ＲＮＧ２内（ｄｍmin≦ｄｍ≦ｄｍmax）であるか否
かが判定される。この適正範囲ＲＮＧ２は、テストチャ
ート２１までの距離Ｚ１に基づき設定され、距離値ｄｍ
の適否を判断する基準となる。本実施例では、Ｚ１を基
準として±5画素に適正範囲ＲＮＧ２を設定している。
【００４２】そこで、ステップ２７において肯定判定さ
れた場合は、信頼できる距離データｄが算出されている
と判定して、検査結果は「ＯＫ」となる（ステップ２
８）。この場合、検査部１３における検査結果を受け
て、検査装置１４は検査者に対して検査結果が「良好」
である旨を通知する。これに対して、ステップ２７にお
いて否定判定された場合は、算出された距離データｄが
異常であると判定して、検査結果は「ＮＧ」となる（ス
テップ２９）。この場合、検査部１３における検査結果
を受けて、検査装置１４は検査者に対して検査結果が
「不良」である旨を通知する。
れた場合は、信頼できる距離データｄが算出されている
と判定して、検査結果は「ＯＫ」となる（ステップ２
８）。この場合、検査部１３における検査結果を受け
て、検査装置１４は検査者に対して検査結果が「良好」
である旨を通知する。これに対して、ステップ２７にお
いて否定判定された場合は、算出された距離データｄが
異常であると判定して、検査結果は「ＮＧ」となる（ス
テップ２９）。この場合、検査部１３における検査結果
を受けて、検査装置１４は検査者に対して検査結果が
「不良」である旨を通知する。
【００４３】以上の説明からわかるように、距離データ
ｄが正常に算出されていれば、評価サンプルの距離値
は、テストチャート２１までの距離Ｚ１近傍に集中す
る。したがって、最大出現度数となる距離値ｄｍは適正
範囲ＲＮＧ２内に収まる。しかしながら、異常があると
距離値ｄｍが本来の距離Ｚ１からずれてしまう。このよ
うな事態を招く原因の一つとして、第１の実施例におい
て説明したような原因が考えられるが、特に、左右のカ
メラ１，２の取り付けのヨー方向のずれを要因として考
慮すべきである。
ｄが正常に算出されていれば、評価サンプルの距離値
は、テストチャート２１までの距離Ｚ１近傍に集中す
る。したがって、最大出現度数となる距離値ｄｍは適正
範囲ＲＮＧ２内に収まる。しかしながら、異常があると
距離値ｄｍが本来の距離Ｚ１からずれてしまう。このよ
うな事態を招く原因の一つとして、第１の実施例におい
て説明したような原因が考えられるが、特に、左右のカ
メラ１，２の取り付けのヨー方向のずれを要因として考
慮すべきである。
【００４４】このように、本実施例においても、第１の
実施例と同様に、検査工程の効率化を図ることができ、
かつ検査結果の客観性を確保することができるという効
果がある。
実施例と同様に、検査工程の効率化を図ることができ、
かつ検査結果の客観性を確保することができるという効
果がある。
【００４５】（第３の実施例）上述した第１および第２
の実施例は、距離画像に設定された評価領域Ｒ１（また
はＲ２）におけるすべての距離データｄのヒストグラム
を求め、距離データｄの算出結果の検査を行っている。
これに対して、第３の実施例は、評価領域Ｒ１（または
Ｒ２）をさらに複数の評価領域に分割し、分割された検
査領域毎に距離データｄの算出結果を評価するものであ
る。
の実施例は、距離画像に設定された評価領域Ｒ１（また
はＲ２）におけるすべての距離データｄのヒストグラム
を求め、距離データｄの算出結果の検査を行っている。
これに対して、第３の実施例は、評価領域Ｒ１（または
Ｒ２）をさらに複数の評価領域に分割し、分割された検
査領域毎に距離データｄの算出結果を評価するものであ
る。
【００４６】図９は、距離画像に設定された複数の評価
領域を示した図である。同図に示したように、評価領域
Ｒ１（Ｒ２）は、カメラレンズの歪みの影響を受けやす
い周縁部分を除いた領域に設定されている。同図では、
一例として、評価領域Ｒ１（Ｒ２）を６つの評価領域に
分割している。そして、第１または第２の実施例におい
て説明した検査手法により、各評価領域毎に、その領域
内の距離データｄの信頼性を検査する。そして、６つの
評価領域の検査結果が、すべて「ＯＫ」であると判定さ
れた場合、検査装置１４は検査者に対して検査サンプル
が「良好」である旨を通知する。一方、６つの評価領域
のどれか一つでも「ＮＧ」ならば、その検査サンプルが
「不良」である旨が通知される。
領域を示した図である。同図に示したように、評価領域
Ｒ１（Ｒ２）は、カメラレンズの歪みの影響を受けやす
い周縁部分を除いた領域に設定されている。同図では、
一例として、評価領域Ｒ１（Ｒ２）を６つの評価領域に
分割している。そして、第１または第２の実施例におい
て説明した検査手法により、各評価領域毎に、その領域
内の距離データｄの信頼性を検査する。そして、６つの
評価領域の検査結果が、すべて「ＯＫ」であると判定さ
れた場合、検査装置１４は検査者に対して検査サンプル
が「良好」である旨を通知する。一方、６つの評価領域
のどれか一つでも「ＮＧ」ならば、その検査サンプルが
「不良」である旨が通知される。
【００４７】本実施例においては、局所的に距離データ
ｄの算出異常が存在する場合、このような不良を精度よ
く検出することができるという効果がある。局所的な算
出異常は、例えば、撮像画像の中央部分を軸に回転して
いるようなケースにおいて生じる傾向がある。この場
合、図９の例でいえば、画像中央に近い第２評価領域お
よび第５評価領域は回転ずれ量が比較的少ないため、適
切な距離Ｚ１が算出されるかもしれない。しかしなが
ら、画像中央から遠く回転ずれ量が大きい第１，３，
４，６評価領域においては、第２，５評価領域と比べ
て、距離データｄの算出異常が生じやすい。距離画像を
分割された評価領域ごとに個別に検査していくことによ
り、評価領域Ｒ１（またはＲ２）を全体的に検査する場
合よりも、局所的な算出異常を精度よく検査することが
できる。
ｄの算出異常が存在する場合、このような不良を精度よ
く検出することができるという効果がある。局所的な算
出異常は、例えば、撮像画像の中央部分を軸に回転して
いるようなケースにおいて生じる傾向がある。この場
合、図９の例でいえば、画像中央に近い第２評価領域お
よび第５評価領域は回転ずれ量が比較的少ないため、適
切な距離Ｚ１が算出されるかもしれない。しかしなが
ら、画像中央から遠く回転ずれ量が大きい第１，３，
４，６評価領域においては、第２，５評価領域と比べ
て、距離データｄの算出異常が生じやすい。距離画像を
分割された評価領域ごとに個別に検査していくことによ
り、評価領域Ｒ１（またはＲ２）を全体的に検査する場
合よりも、局所的な算出異常を精度よく検査することが
できる。
【００４８】（第４の実施例）第４の実施例は、第２の
実施例の変形ともいえるものである。第２の実施例で
は、ヒストグラムにおいて出現度数がピーク、すなわち
最大出現度数の距離値ｄｍに基づき検査判定を行ってい
る。しかしながら、このようなピークに隣接した距離値
も重要な情報となることも多い（例えば、隣接した距離
値の出現度数が最大出現度数よりもわずかに少ない場
合）。そこで、ピークのみの距離値だけではなく、ピー
ク部分（ピークおよびその近傍）の距離値に基づきピー
ク距離値を算出し、このピーク距離値に基づき、距離デ
ータｄの算出異常の判定を行う。これにより、ピーク距
離値の精度を高めることができるので、距離データｄの
算出異常を一層精度よく検査することができる。
実施例の変形ともいえるものである。第２の実施例で
は、ヒストグラムにおいて出現度数がピーク、すなわち
最大出現度数の距離値ｄｍに基づき検査判定を行ってい
る。しかしながら、このようなピークに隣接した距離値
も重要な情報となることも多い（例えば、隣接した距離
値の出現度数が最大出現度数よりもわずかに少ない場
合）。そこで、ピークのみの距離値だけではなく、ピー
ク部分（ピークおよびその近傍）の距離値に基づきピー
ク距離値を算出し、このピーク距離値に基づき、距離デ
ータｄの算出異常の判定を行う。これにより、ピーク距
離値の精度を高めることができるので、距離データｄの
算出異常を一層精度よく検査することができる。
【００４９】このようなピーク距離値は、例えば次のよ
うな手法により算出することができる。まず、最大出現
度数を有する距離値ｄｍを求める。つぎに、この距離値
ｄｍに隣接した左右の距離値ｄのうち出現度数が大きい
方を特定する。そして、距離ｄｍと特定された隣接距離
値ｄとの加重平均を求め、その値をピーク距離値とす
る。このようにして算出されたピーク距離値が適正範囲
内にあるか否かにより、検査サンプルの良否判定を行
う。
うな手法により算出することができる。まず、最大出現
度数を有する距離値ｄｍを求める。つぎに、この距離値
ｄｍに隣接した左右の距離値ｄのうち出現度数が大きい
方を特定する。そして、距離ｄｍと特定された隣接距離
値ｄとの加重平均を求め、その値をピーク距離値とす
る。このようにして算出されたピーク距離値が適正範囲
内にあるか否かにより、検査サンプルの良否判定を行
う。
【００５０】（第５の実施例）第５の実施例は、第２の
実施例の変形といえるものであり、サブピクセル単位、
すなわち１画素以下の分解能でピーク距離値を算出する
ものである。これにより、ピーク距離値の精度を高める
ことができるので、距離データｄの算出異常を一層精度
よく検査することができる。サブピクセル単位でのピー
ク距離値は、例えば、以下のような手法によって算出す
ることができる。
実施例の変形といえるものであり、サブピクセル単位、
すなわち１画素以下の分解能でピーク距離値を算出する
ものである。これにより、ピーク距離値の精度を高める
ことができるので、距離データｄの算出異常を一層精度
よく検査することができる。サブピクセル単位でのピー
ク距離値は、例えば、以下のような手法によって算出す
ることができる。
【００５１】まず、評価領域Ｒ２内の距離データｄをサ
ブピクセル単位で算出する。この算出手法は、特開平１
０−３０７３５２号公報に開示されているので、必要な
らば参照されたい。つぎに、第２の実施例で説明したよ
うに、ピーク距離値として最大出現度数の距離値ｄｍを
求める。そして、距離値ｄｍにおける平均サブピクセル
値Ｓを算出する。例えば、距離値ｄｍの出現度数がｎで
あり、ピクセル単位で見たときに同一距離値ｄｍとなる
各評価サンプルのサブピクセル値をｓｐ1〜ｓｐnとした
場合、その平均サブピクセル値Ｓは、下式によって表さ
れる。
ブピクセル単位で算出する。この算出手法は、特開平１
０−３０７３５２号公報に開示されているので、必要な
らば参照されたい。つぎに、第２の実施例で説明したよ
うに、ピーク距離値として最大出現度数の距離値ｄｍを
求める。そして、距離値ｄｍにおける平均サブピクセル
値Ｓを算出する。例えば、距離値ｄｍの出現度数がｎで
あり、ピクセル単位で見たときに同一距離値ｄｍとなる
各評価サンプルのサブピクセル値をｓｐ1〜ｓｐnとした
場合、その平均サブピクセル値Ｓは、下式によって表さ
れる。
【００５２】
【数２】Ｓ＝（ｓｐ1＋ｓｐ2＋ ・・・ ｓｐn）／ｎ
【００５３】そして、距離値ｄｍに平均サブピクセル値
Ｓを加算した値を、ピーク距離値とする。そして、この
ピーク距離値が適正範囲内にあるか否かによって、検査
サンプルの良否判定を行う。
Ｓを加算した値を、ピーク距離値とする。そして、この
ピーク距離値が適正範囲内にあるか否かによって、検査
サンプルの良否判定を行う。
【００５４】
【発明の効果】このように、本発明によれば、 ステレ
オ画像に基づき算出された距離データの信頼性を自動的
に判定することができるため、検査工程の効率化を図る
ことができる。
オ画像に基づき算出された距離データの信頼性を自動的
に判定することができるため、検査工程の効率化を図る
ことができる。
【図１】第１および第２の実施例にかかるステレオ式車
外監視装置のブロック図
外監視装置のブロック図
【図２】第１の実施例にかかる算出距離の検査手順を示
したフローチャート
したフローチャート
【図３】第２の実施例にかかる算出距離の検査手順を示
したフローチャート
したフローチャート
【図４】テストチャートの配置位置と車輌との関係を示
した図
した図
【図５】テストチャートの一例を示した図
【図６】距離画像中に設定された評価領域Ｒ１を示した
図
図
【図７】距離画像中に設定された評価領域Ｒ２を示した
図
図
【図８】距離データのヒストグラムを示した図
【図９】距離画像に設定された複数の評価領域を示した
図
図
１ メインカメラ（右カメラ）、 ２ サブカメラ
（左カメラ）、３ アナログインターフェース、 ４
Ａ／Ｄコンバータ、５ 補正回路、
６ ステレオ演算回路、７ 画像データメモリ、
８ 距離データメモリ、９ マイクロコンピ
ュータ、 １０ 認識部、１１ 警報装置、
１２ 制御装置、１３ 検査部、
１４ 検査装置、２１ テストチャート、
２２ 車輌
（左カメラ）、３ アナログインターフェース、 ４
Ａ／Ｄコンバータ、５ 補正回路、
６ ステレオ演算回路、７ 画像データメモリ、
８ 距離データメモリ、９ マイクロコンピ
ュータ、 １０ 認識部、１１ 警報装置、
１２ 制御装置、１３ 検査部、
１４ 検査装置、２１ テストチャート、
２２ 車輌
Claims (13)
- 【請求項１】ステレオ画像に基づき算出された距離デー
タの信頼性を検査する方法において、 ステレオカメラの撮像方向に配置されていると共に輝度
パターンが描かれたテストチャートを、前記ステレオカ
メラで撮影することによって一対の撮像画像を得るステ
ップと、 当該一対の撮像画像から距離データを算出するステップ
と、 前記撮像画像に映し出された前記テストチャートに関す
る距離データを評価サンプルとし、当該評価サンプルの
距離値と出現度数との関係を示したヒストグラムを生成
するステップと、 当該生成されたヒストグラムの特性を、前記ステレオカ
メラと前記テストチャートとの間の距離に基づいて評価
することにより、距離データの信頼性を判定するステッ
プとを有することを特徴とする距離データの検査方法。 - 【請求項２】上記判定するステップは、前記ヒストグラ
ムにおいて設定された適正範囲に含まれる前記評価サン
プルの数が、前記評価サンプルの総数に占める割合に基
づいて、算出された距離データの信頼性を判定するステ
ップであり、 前記適正範囲は、前記ステレオカメラと前記テストチャ
ートの間の距離を含んだ所定の距離範囲であることを特
徴とする請求項１に記載された距離データの検査方法。 - 【請求項３】上記判定するステップは、前記ヒストグラ
ムにおいて出現度数のピーク部分におけるピーク距離値
が適正範囲内にあるか否かに基づいて、算出された距離
データの信頼性を判定するステップであり、 前記適正範囲は、前記ステレオカメラと前記テストチャ
ートの間の距離を含んだ所定の距離範囲であることを特
徴とする請求項１に記載された距離データの検査方法。 - 【請求項４】前記ピーク距離値は、出現度数が最大とな
る距離値であることを特徴とする請求項３に記載された
距離データの検査方法。 - 【請求項５】前記ピーク距離値は、出現度数が最大とな
る距離値と、出現度数が最大となる距離値に隣接した距
離値のうち出現度数が大きい方の距離値とに基づいて算
出された値であることを特徴とする請求項３に記載され
た距離データの検査方法。 - 【請求項６】前記ピーク距離値は、サブピクセル単位で
算出された距離値であることを特徴とする請求項３，４
または５に記載された距離データの検査方法。 - 【請求項７】前記輝度パターンは、輝度の階調が異なる
同一形状をランダムに配置した構成を有していることを
特徴とする請求項１から６のいずれかに記載された距離
データの検査方法。 - 【請求項８】上記ヒストグラムを生成するステップは、
撮像画像に設定された複数の評価領域のそれぞれについ
て、当該評価領域における距離データを評価サンプルと
し、当該評価サンプルの距離値と出現度数との関係を示
したヒストグラムを生成するステップであり、 上記判定するステップは、前記ヒストグラム毎に出現度
数のピーク部分におけるピーク距離値が適正範囲内にあ
るか否かを判断し、前記ピーク距離値のすべてが適正範
囲内になると判断した場合に距離データの算出結果が良
好であると判定するステップであることを特徴とする請
求項３，４または５に記載された距離データの検査方
法。 - 【請求項９】ステレオ式車外監視装置において算出され
た距離データの信頼性を検査する検査装置において、 車体に取り付けられ、かつ、車輌前方の状況を撮像する
ことにより一対の撮像画像を出力するステレオカメラ
と、 一対の撮像画像から距離データを算出するステレオ演算
手段と、 検査時に車輌前方の予め規定された位置に配置されてい
ると共に輝度パターンが描かれたテストチャートを、前
記ステレオカメラで撮像することによって得られた撮像
画像に基づいて、距離データの信頼性を判定する検査手
段とを有し、 前記検査手段は、前記撮像画像の中央部に設けられた評
価領域内の距離データを評価サンプルとし、当該評価サ
ンプルの距離値と出現度数との関係を示したヒストグラ
ムを生成し、当該生成されたヒストグラムの特性を、前
記ステレオカメラと前記テストチャートとの間の距離に
基づいて評価することにより、算出された距離データの
信頼性を判定することを特徴とする距離データの検査装
置。 - 【請求項１０】前記検査手段は、前記ヒストグラムにお
いて設定された適正範囲に含まれる前記評価サンプルの
数が、前記評価サンプルの総数に占める割合に基づい
て、算出された距離データの信頼性を判定し、 前記適正範囲は、前記ステレオカメラと前記テストチャ
ートの間の距離を含んだ所定の距離範囲であることを特
徴とする請求項９に記載された距離データの検査装置。 - 【請求項１１】上記検査手段は、前記ヒストグラムにお
いて出現度数のピーク部分における距離値が適正範囲内
にあるか否かに基づいて、算出された距離データの信頼
性を判定し、 前記適正範囲は、前記ステレオカメラと前記テストチャ
ートの間の距離を含んだ所定の距離範囲であることを特
徴とする請求項９に記載された距離データの検査装置。 - 【請求項１２】前記輝度パターンは、輝度の階調が異な
る同一形状をランダムに配置した構成を有していること
を特徴とする請求項９，１０または１１に記載された距
離データの検査装置。 - 【請求項１３】前記検査手段は、撮像画像に設定された
複数の評価領域のそれぞれについて、当該評価領域にお
ける距離データを評価サンプルとし、当該評価サンプル
の距離値と出現度数との関係を示したヒストグラムを生
成すると共に、 前記ヒストグラム毎に出現度数のピーク部分におけるピ
ーク距離値が適正範囲内にあるか否かを判断し、前記ピ
ーク距離値のすべてが適正範囲内になると判断した場合
に距離データの算出結果が良好であると判定することを
特徴とする請求項１１に記載された距離データの検査装
置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26934799A JP3255360B2 (ja) | 1999-09-22 | 1999-09-22 | 距離データの検査方法およびその検査装置 |
| DE60018663T DE60018663T2 (de) | 1999-09-22 | 2000-09-08 | Abstandsmesser, welcher stereoskopische Bilder verwendet |
| EP00307790A EP1087204B1 (en) | 1999-09-22 | 2000-09-08 | Range finder using stereoscopic images |
| US09/667,425 US6404484B1 (en) | 1999-09-22 | 2000-09-21 | Method for examining distance data and device thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26934799A JP3255360B2 (ja) | 1999-09-22 | 1999-09-22 | 距離データの検査方法およびその検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001091247A JP2001091247A (ja) | 2001-04-06 |
| JP3255360B2 true JP3255360B2 (ja) | 2002-02-12 |
Family
ID=17471120
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26934799A Expired - Lifetime JP3255360B2 (ja) | 1999-09-22 | 1999-09-22 | 距離データの検査方法およびその検査装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6404484B1 (ja) |
| EP (1) | EP1087204B1 (ja) |
| JP (1) | JP3255360B2 (ja) |
| DE (1) | DE60018663T2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003018619A (ja) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 立体映像評価装置およびそれを用いた表示装置 |
| JP3983573B2 (ja) * | 2002-03-06 | 2007-09-26 | 富士重工業株式会社 | ステレオ画像特性検査システム |
| US7224831B2 (en) * | 2004-02-17 | 2007-05-29 | Honda Motor Co. | Method, apparatus and program for detecting an object |
| JP4691508B2 (ja) * | 2004-11-15 | 2011-06-01 | 日立オートモティブシステムズ株式会社 | ステレオカメラ |
| JP4539427B2 (ja) * | 2005-05-09 | 2010-09-08 | トヨタ自動車株式会社 | 画像処理装置 |
| JP4577126B2 (ja) * | 2005-07-08 | 2010-11-10 | オムロン株式会社 | ステレオ対応づけのための投光パターンの生成装置及び生成方法 |
| KR101311896B1 (ko) * | 2006-11-14 | 2013-10-14 | 삼성전자주식회사 | 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치 |
| JP2010048553A (ja) * | 2006-12-19 | 2010-03-04 | Panasonic Corp | 複眼測距装置の検査方法およびそれに用いるチャート |
| KR101379132B1 (ko) | 2007-01-18 | 2014-03-28 | 삼성전자주식회사 | 3차원 입체 영상의 화질을 개선하기 위한 방법 |
| KR101345303B1 (ko) * | 2007-03-29 | 2013-12-27 | 삼성전자주식회사 | 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치 |
| JP2009014445A (ja) * | 2007-07-03 | 2009-01-22 | Konica Minolta Holdings Inc | 測距装置 |
| US8102516B2 (en) | 2008-02-26 | 2012-01-24 | Panasonic Corporation | Test method for compound-eye distance measuring apparatus, test apparatus, and chart used for the same |
| JP4957850B2 (ja) * | 2010-02-04 | 2012-06-20 | カシオ計算機株式会社 | 撮像装置、警告方法、および、プログラム |
| WO2012002005A1 (ja) * | 2010-06-29 | 2012-01-05 | 富士通テン株式会社 | 情報配信装置 |
| JP6127399B2 (ja) * | 2012-07-20 | 2017-05-17 | サクサ株式会社 | ステレオカメラ装置及びプログラム |
| JP2014092460A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 画像処理装置および方法、画像処理システム、並びにプログラム |
| KR102279380B1 (ko) * | 2013-04-08 | 2021-07-21 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
| JP6204844B2 (ja) * | 2014-01-31 | 2017-09-27 | 株式会社Ｓｕｂａｒｕ | 車両のステレオカメラシステム |
| CA2933389C (en) * | 2014-09-15 | 2023-02-14 | Dti Group Limited | Arcing filtering using multiple image capture devices |
| EP3889728A3 (en) * | 2014-12-31 | 2021-12-01 | SZ DJI Technology Co., Ltd. | Selective processing of sensor data |
| JP6592277B2 (ja) * | 2015-06-04 | 2019-10-16 | シャープ株式会社 | 計測装置、校正方法およびプログラム |
| JP6831792B2 (ja) * | 2015-11-16 | 2021-02-17 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、および、撮像システム |
| JP7431623B2 (ja) * | 2020-03-11 | 2024-02-15 | 株式会社Subaru | 車外環境認識装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3167752B2 (ja) | 1991-10-22 | 2001-05-21 | 富士重工業株式会社 | 車輌用距離検出装置 |
| US5526088A (en) * | 1992-03-05 | 1996-06-11 | Nikon Corporation | Focus detection device |
| US5309212A (en) * | 1992-09-04 | 1994-05-03 | Yaskawa Electric Corporation | Scanning rangefinder with range to frequency conversion |
| JP3539788B2 (ja) * | 1995-04-21 | 2004-07-07 | パナソニック モバイルコミュニケーションズ株式会社 | 画像間対応付け方法 |
| JP3708130B2 (ja) * | 1996-07-02 | 2005-10-19 | シーメンス アクチエンゲゼルシヤフト | 自律運動ユニットのセル構造の周囲エリアマップの作成方法 |
| DE19636028C1 (de) * | 1996-09-05 | 1997-11-20 | Daimler Benz Ag | Verfahren zur Stereobild-Objektdetektion |
| DE19637053C2 (de) * | 1996-09-12 | 2000-03-09 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur automatischen Erkennung von Rechts- oder Linksverkehr |
| JP3792832B2 (ja) | 1997-05-07 | 2006-07-05 | 富士重工業株式会社 | ステレオカメラの調整装置 |
| JP3833786B2 (ja) * | 1997-08-04 | 2006-10-18 | 富士重工業株式会社 | 移動体の３次元自己位置認識装置 |
| DE19850846A1 (de) * | 1997-11-05 | 1999-05-12 | Fuji Electric Co Ltd | Vorrichtung und Verfahren zur Entfernungsmessung |
-
1999
- 1999-09-22 JP JP26934799A patent/JP3255360B2/ja not_active Expired - Lifetime
-
2000
- 2000-09-08 DE DE60018663T patent/DE60018663T2/de not_active Expired - Lifetime
- 2000-09-08 EP EP00307790A patent/EP1087204B1/en not_active Expired - Lifetime
- 2000-09-21 US US09/667,425 patent/US6404484B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001091247A (ja) | 2001-04-06 |
| US6404484B1 (en) | 2002-06-11 |
| DE60018663T2 (de) | 2006-04-13 |
| DE60018663D1 (de) | 2005-04-21 |
| EP1087204A2 (en) | 2001-03-28 |
| EP1087204A3 (en) | 2004-01-28 |
| EP1087204B1 (en) | 2005-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3255360B2 (ja) | 距離データの検査方法およびその検査装置 | |
| JP3280001B2 (ja) | ステレオ画像の位置ずれ調整装置 | |
| US20210110188A1 (en) | Stereo imaging device | |
| JP3587506B2 (ja) | ステレオカメラの調整装置 | |
| US8244027B2 (en) | Vehicle environment recognition system | |
| JP3565749B2 (ja) | 車載カメラの撮像方向の検査方法およびその検査装置 | |
| JP3156817B2 (ja) | 車両周辺監視装置 | |
| US8971578B2 (en) | Driving support apparatus | |
| JP3516127B2 (ja) | 画像処理方法およびその装置 | |
| JP3287465B2 (ja) | ステレオ画像処理装置 | |
| JP5027710B2 (ja) | 車両用環境認識装置および先行車追従制御システム | |
| JP2008151659A (ja) | 物体検出装置 | |
| JP3344627B2 (ja) | ステレオ式車外監視装置 | |
| JP6204844B2 (ja) | 車両のステレオカメラシステム | |
| JP3272694B2 (ja) | フェールセーフ機能を有する車外監視装置 | |
| JP4018950B2 (ja) | ステレオカメラの位置ずれ検査装置および位置ずれ検査方法 | |
| JP2004032793A (ja) | 車載カメラの取り付け構造 | |
| JP4204818B2 (ja) | 画像処理装置 | |
| JP4435525B2 (ja) | ステレオ画像処理装置 | |
| JP4053280B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2003271968A (ja) | 移動体検出装置および移動体検出方法 | |
| JP2966683B2 (ja) | 車両用障害物検出装置 | |
| JP4794764B2 (ja) | 車外監視装置 | |
| JPWO2020003764A1 (ja) | 画像処理装置、移動装置、および方法、並びにプログラム | |
| WO2023067867A1 (ja) | 車載制御装置、および、３次元情報取得方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20011114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3255360 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071130 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081130 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091130 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091130 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 12 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |