JP3147002B2 - 距離検出値の補正方法 - Google Patents
距離検出値の補正方法Info
- Publication number
- JP3147002B2 JP3147002B2 JP25403796A JP25403796A JP3147002B2 JP 3147002 B2 JP3147002 B2 JP 3147002B2 JP 25403796 A JP25403796 A JP 25403796A JP 25403796 A JP25403796 A JP 25403796A JP 3147002 B2 JP3147002 B2 JP 3147002B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- window
- error
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
- G01C3/085—Use of electric radiation detectors with electronic parallax measurement
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
- B60G2400/80—Exterior conditions
- B60G2400/82—Ground surface
- B60G2400/823—Obstacle sensing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2401/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60G2401/14—Photo or light sensitive means, e.g. Infrared
- B60G2401/142—Visual Display Camera, e.g. LCD
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2800/00—Indexing codes relating to the type of movement or to the condition of the vehicle and to the end result to be achieved by the control action
- B60G2800/22—Braking, stopping
- B60G2800/222—Braking, stopping during collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2800/00—Indexing codes relating to the type of movement or to the condition of the vehicle and to the end result to be achieved by the control action
- B60G2800/24—Steering, cornering
- B60G2800/242—Obstacle avoidance manoeuvre
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60G—VEHICLE SUSPENSION ARRANGEMENTS
- B60G2800/00—Indexing codes relating to the type of movement or to the condition of the vehicle and to the end result to be achieved by the control action
- B60G2800/70—Estimating or calculating vehicle parameters or state variables
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は自動車の衝突防止等
の目的に関連して複数個のイメージセンサをそれぞれ含
む１対のイメージセンサ手段を光学手段とともに組み込
んでなる映像検出モジュールにより捉えたその視界内の
映像から検出される距離やその指標の値を検出する際に
映像検出モジュールの組み立て上の誤差に起因してその
検出結果に生じ得る誤差を補正するための方法に関す
る。
の目的に関連して複数個のイメージセンサをそれぞれ含
む１対のイメージセンサ手段を光学手段とともに組み込
んでなる映像検出モジュールにより捉えたその視界内の
映像から検出される距離やその指標の値を検出する際に
映像検出モジュールの組み立て上の誤差に起因してその
検出結果に生じ得る誤差を補正するための方法に関す
る。
【０００２】
【従来の技術】従来から被写体等である対象までの距離
を１対のイメージセンサにより捉えた対象の１対の映像
がもついわゆる視差から正確に検出する技術が知られて
おり、この三角測量の原理を利用した距離検出法はいわ
ゆるパッシブな方式である点に特長があり、自動焦点カ
メラ用にかなり以前から実用化されて来たが、最近では
自動車の衝突防止用としての将来性が囑目されている。
を１対のイメージセンサにより捉えた対象の１対の映像
がもついわゆる視差から正確に検出する技術が知られて
おり、この三角測量の原理を利用した距離検出法はいわ
ゆるパッシブな方式である点に特長があり、自動焦点カ
メラ用にかなり以前から実用化されて来たが、最近では
自動車の衝突防止用としての将来性が囑目されている。
【０００３】かかる三角測距法ではイメージセンサの対
をレンズ等の光学手段とともに組み込んだモジュールを
用いて対象の映像を検出するが、自動焦点カメラでは距
離を検出すべき対象がファインダを通して必ず特定され
るのに対して、衝突防止用の場合は検出対象である先行
自動車等が必ずモジュールの正面にあるとは限らないの
で、正面から不特定な角度方向にある対象を見付けた上
でその距離を検出する必要がある。このため、映像検出
モジュールとして複数のイメージセンサをそれぞれ作り
込んだ１対の集積回路のチップを光学手段とともに共通
のパッケージに組み込んだものを用い、対象を含む映像
を捉えるべき視界を自動焦点カメラ用の場合よりかなり
広めに設定するともに、イメージセンサには例えばＣＣ
Ｄである数百個以上の光センサからなるものを用いる。
をレンズ等の光学手段とともに組み込んだモジュールを
用いて対象の映像を検出するが、自動焦点カメラでは距
離を検出すべき対象がファインダを通して必ず特定され
るのに対して、衝突防止用の場合は検出対象である先行
自動車等が必ずモジュールの正面にあるとは限らないの
で、正面から不特定な角度方向にある対象を見付けた上
でその距離を検出する必要がある。このため、映像検出
モジュールとして複数のイメージセンサをそれぞれ作り
込んだ１対の集積回路のチップを光学手段とともに共通
のパッケージに組み込んだものを用い、対象を含む映像
を捉えるべき視界を自動焦点カメラ用の場合よりかなり
広めに設定するともに、イメージセンサには例えばＣＣ
Ｄである数百個以上の光センサからなるものを用いる。
【０００４】次に、この広い視界内に距離を検出すべき
対象が存在する領域を特定するため視界を二次元マトリ
ックス状に並んだ複数の窓ないしは部分的な視野に分割
し、まず窓ごとにイメージセンサ対により捉えた映像の
対がもつ視差ないしは距離を検出した上で、これら複数
の検出距離の分布状態から見て対象の最も確からしい距
離の範囲を選び出すとともに、この範囲に対応する窓が
集合している視界内の領域を対象の存在領域として特定
するのが最も実際的である。
対象が存在する領域を特定するため視界を二次元マトリ
ックス状に並んだ複数の窓ないしは部分的な視野に分割
し、まず窓ごとにイメージセンサ対により捉えた映像の
対がもつ視差ないしは距離を検出した上で、これら複数
の検出距離の分布状態から見て対象の最も確からしい距
離の範囲を選び出すとともに、この範囲に対応する窓が
集合している視界内の領域を対象の存在領域として特定
するのが最も実際的である。
【０００５】なお、複数個のイメージセンサ対がもつ視
界を上述のようにマトリックス状に並んだ窓に分割する
には、各イメージセンサ対がもつ部分的な視界内に複数
個の窓を並べて設定することでよく、この窓を設定する
には各イメージセンサにより捉えた映像のパターンを表
す多数個のセンサデータを含む映像データから各窓に対
応する窓部分データをそれぞれ数十個程度のセンサデー
タを含むように並べて抽出することでよい。さらに、各
窓内の映像対がもつ視差を検出するには１対の窓部分デ
ータを互いにシフトさせながら両者の一致度を検定して
行き、一致したときのシフト値をセンサデータ数で表し
た視差とすることでよい。
界を上述のようにマトリックス状に並んだ窓に分割する
には、各イメージセンサ対がもつ部分的な視界内に複数
個の窓を並べて設定することでよく、この窓を設定する
には各イメージセンサにより捉えた映像のパターンを表
す多数個のセンサデータを含む映像データから各窓に対
応する窓部分データをそれぞれ数十個程度のセンサデー
タを含むように並べて抽出することでよい。さらに、各
窓内の映像対がもつ視差を検出するには１対の窓部分デ
ータを互いにシフトさせながら両者の一致度を検定して
行き、一致したときのシフト値をセンサデータ数で表し
た視差とすることでよい。
【０００６】よく知られているように、この視差をσと
し、イメージセンサ内の光センサの配列ピッチをｈとす
ると、各窓内の映像の距離ｄは、イメージセンサ対に映
像を結像させる光学手段の１対のレンズの光軸間距離を
三角測量上の基線長ｂとし、かつそれらの焦点距離をｆ
としれ、ｄ＝ｂｆ／ｈσなる簡単な式で計算できる。こ
こで、ｂｆ／ｈはもちろん定数であって、ふつうは視差
σがそのまま距離ｄのかわりの指標として用いられる。
し、イメージセンサ内の光センサの配列ピッチをｈとす
ると、各窓内の映像の距離ｄは、イメージセンサ対に映
像を結像させる光学手段の１対のレンズの光軸間距離を
三角測量上の基線長ｂとし、かつそれらの焦点距離をｆ
としれ、ｄ＝ｂｆ／ｈσなる簡単な式で計算できる。こ
こで、ｂｆ／ｈはもちろん定数であって、ふつうは視差
σがそのまま距離ｄのかわりの指標として用いられる。
【０００７】
【発明が解決しようとする課題】前項で述べたように、
複数のイメージセンサ対がもつ視界を分割した窓ごとに
距離ｄないしその指標である視差σを検出した結果から
視界内の検出対象の存在領域およびその距離を検出でき
るが、映像検出モジュールにイメージセンサ用の１対の
集積回路チップを光学手段とともに組み込む際に組み立
て誤差が若干とも発生するのは不可避なので、それによ
り捉えられる各窓内の映像に微妙な狂いが発生する問題
がある。各窓内の映像に狂いがあると前述の窓部分デー
タの対間の一致が見られなくなるので、対間の一致度を
検定するかわりに相関度を検定して最高相関度が検定さ
れたときのシフト値を視差σとすることができる。しか
し、この場合でもモジュールに組み立て誤差があると、
視界内の窓の位置によっては視差σや距離ｄの検出値に
誤差が発生するのは避けられず、このため対象の存在範
囲の特定精度や距離の検出精度がその分低下してしま
う。
複数のイメージセンサ対がもつ視界を分割した窓ごとに
距離ｄないしその指標である視差σを検出した結果から
視界内の検出対象の存在領域およびその距離を検出でき
るが、映像検出モジュールにイメージセンサ用の１対の
集積回路チップを光学手段とともに組み込む際に組み立
て誤差が若干とも発生するのは不可避なので、それによ
り捉えられる各窓内の映像に微妙な狂いが発生する問題
がある。各窓内の映像に狂いがあると前述の窓部分デー
タの対間の一致が見られなくなるので、対間の一致度を
検定するかわりに相関度を検定して最高相関度が検定さ
れたときのシフト値を視差σとすることができる。しか
し、この場合でもモジュールに組み立て誤差があると、
視界内の窓の位置によっては視差σや距離ｄの検出値に
誤差が発生するのは避けられず、このため対象の存在範
囲の特定精度や距離の検出精度がその分低下してしま
う。
【０００８】本発明の課題は、このような問題点を解消
して映像検出モジュールに組み立て誤差があっても視界
内に設定した各窓の映像がもつ正確な視差ないし距離が
常に得られるように検出値を補正することにある。
して映像検出モジュールに組み立て誤差があっても視界
内に設定した各窓の映像がもつ正確な視差ないし距離が
常に得られるように検出値を補正することにある。
【０００９】
【課題を解決するための手段】上記の課題を解決するた
め、本発明においても映像検出モジュールの視界内を前
述のように二次元マトリックス状に配列された複数個の
窓に分割し, イメージセンサ対により捉えた各窓内の映
像の距離ないし映像対がもつ視差を各窓ごとに検出する
点は従来と同様であるが、本発明では、(a) モジュール
の組み立て上の誤差に起因して距離や視差の検出値に生
じ得る誤差が視界内の窓の位置に密接に関連して変化す
る点, さらにはモジュール内の異なる個所における組み
立て誤差でも距離や視差の検出結果については同傾向の
誤差を発生させ得る点に着目して、組み立て誤差により
各窓に関する検出結果に生じる誤差がもつ特性を視界内
の窓位置を示す縦方向変数と横方向変数に関する二元多
項式に集約して表現しておき、(b) この多項式中のモジ
ュールごとに異なる変数の係数を決めるために所定の距
離に置かれた試験用サンプルの映像をモジュールに与え
た状態でその視界内の複数の窓について距離ないしは視
差を検出し, この検出結果から誤差特性を表す多項式の
各項の係数の値を求めた上で記憶手段に記憶させてお
き、(c) このモジュールにより実際に距離や視差を検出
する際には視界内の各窓に関する検出値を誤差特性多項
式に係数の記憶値とその窓に関する縦方向変数値と横方
向変数値を入れた値を加算ないし減算して補正すること
によって、映像検出モジュールに組み立て誤差があって
もその影響をほぼ完全に消去して各窓内の映像の距離な
いし視差を常に正確な値で検出することができる。
め、本発明においても映像検出モジュールの視界内を前
述のように二次元マトリックス状に配列された複数個の
窓に分割し, イメージセンサ対により捉えた各窓内の映
像の距離ないし映像対がもつ視差を各窓ごとに検出する
点は従来と同様であるが、本発明では、(a) モジュール
の組み立て上の誤差に起因して距離や視差の検出値に生
じ得る誤差が視界内の窓の位置に密接に関連して変化す
る点, さらにはモジュール内の異なる個所における組み
立て誤差でも距離や視差の検出結果については同傾向の
誤差を発生させ得る点に着目して、組み立て誤差により
各窓に関する検出結果に生じる誤差がもつ特性を視界内
の窓位置を示す縦方向変数と横方向変数に関する二元多
項式に集約して表現しておき、(b) この多項式中のモジ
ュールごとに異なる変数の係数を決めるために所定の距
離に置かれた試験用サンプルの映像をモジュールに与え
た状態でその視界内の複数の窓について距離ないしは視
差を検出し, この検出結果から誤差特性を表す多項式の
各項の係数の値を求めた上で記憶手段に記憶させてお
き、(c) このモジュールにより実際に距離や視差を検出
する際には視界内の各窓に関する検出値を誤差特性多項
式に係数の記憶値とその窓に関する縦方向変数値と横方
向変数値を入れた値を加算ないし減算して補正すること
によって、映像検出モジュールに組み立て誤差があって
もその影響をほぼ完全に消去して各窓内の映像の距離な
いし視差を常に正確な値で検出することができる。
【００１０】なお、各窓内の映像の距離や視差の検出結
果に生じる誤差の特性関数としての多項式は映像検出モ
ジュールの組み立て時に生じ得る誤差の種類によりもち
ろん異なってくるが、実用的には窓位置を示す縦方向変
数や横方向変数に関する二次以下の多項式を用いて表現
することでふつうは充分である。モジュールの試験用サ
ンプルには縞模様等の均一な繰り返しパターンをもつも
のを用いるのがよく、各モジュールの試験に際してその
視界の中央に対して対称的に分布した複数個，例えば数
十個程度の窓について距離ないし視差を検出すれば、検
出結果を適宜に組み合わせることによって誤差特性関数
を表す多項式内の各変数の係数を比較的容易にかつ充分
正確に求めることができる。
果に生じる誤差の特性関数としての多項式は映像検出モ
ジュールの組み立て時に生じ得る誤差の種類によりもち
ろん異なってくるが、実用的には窓位置を示す縦方向変
数や横方向変数に関する二次以下の多項式を用いて表現
することでふつうは充分である。モジュールの試験用サ
ンプルには縞模様等の均一な繰り返しパターンをもつも
のを用いるのがよく、各モジュールの試験に際してその
視界の中央に対して対称的に分布した複数個，例えば数
十個程度の窓について距離ないし視差を検出すれば、検
出結果を適宜に組み合わせることによって誤差特性関数
を表す多項式内の各変数の係数を比較的容易にかつ充分
正確に求めることができる。
【００１１】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態の具体例を説明する。図１は本発明に関連する映
像検出モジュール等の構成例をその視界とともに示す構
成図、図２は本発明により補正が施される対象例として
の視差用バイアスを示す線図、図３は検出値に生じ得る
誤差の映像検出モジュールの組み立て誤差との関連性の
一例を説明するための線図である。
施形態の具体例を説明する。図１は本発明に関連する映
像検出モジュール等の構成例をその視界とともに示す構
成図、図２は本発明により補正が施される対象例として
の視差用バイアスを示す線図、図３は検出値に生じ得る
誤差の映像検出モジュールの組み立て誤差との関連性の
一例を説明するための線図である。
【００１２】図１(a) の斜視図には映像検出モジュール
30の直方体の外形が一点鎖線により簡略に示されてお
り、図のようにこのモジュール30は光学手段10としての
１対のレンズ11と12と，これらレンズに対応する１対の
イメージセンサ手段20を共通のパッケージに組み込んで
なる。各イメージセンサ手段20はレンズ11と12を通して
光L1とL2を受けるふつうはＣＣＤであるイメージセンサ
21と22を十数個程度作り込んだ集積回路のチップであ
り、共通の基板23に実装された上でモジュール30のパッ
ケージ内に収納されている。図にはこのモジュール30に
関連して後の説明の都合から３個の座標軸ｘ, ｙ, ｚの
方向が細線で示されている。
30の直方体の外形が一点鎖線により簡略に示されてお
り、図のようにこのモジュール30は光学手段10としての
１対のレンズ11と12と，これらレンズに対応する１対の
イメージセンサ手段20を共通のパッケージに組み込んで
なる。各イメージセンサ手段20はレンズ11と12を通して
光L1とL2を受けるふつうはＣＣＤであるイメージセンサ
21と22を十数個程度作り込んだ集積回路のチップであ
り、共通の基板23に実装された上でモジュール30のパッ
ケージ内に収納されている。図にはこのモジュール30に
関連して後の説明の都合から３個の座標軸ｘ, ｙ, ｚの
方向が細線で示されている。
【００１３】図１(b) の上部には複数個のイメージセン
サ21と22によって検出された映像のパターンを示すそれ
ぞれ数百個のセンサデータからなる映像データID１とID
２が示されており、その下側に図示の都合から１対の映
像データID１とID２に対する分だけを示した複数個の距
離検出回路40は映像データID１とID２からそれぞれが担
当する窓部分データWD１とWD２を図では細線で示すよう
に取り込むことにより各イメージセンサ対がもつ部分的
視界を複数個の窓に分割するとともに、窓部分データ対
WD１とWD２から各自が担当する窓内の映像の距離の指標
としてこの実施態様では映像対の視差σを検出するもの
である。
サ21と22によって検出された映像のパターンを示すそれ
ぞれ数百個のセンサデータからなる映像データID１とID
２が示されており、その下側に図示の都合から１対の映
像データID１とID２に対する分だけを示した複数個の距
離検出回路40は映像データID１とID２からそれぞれが担
当する窓部分データWD１とWD２を図では細線で示すよう
に取り込むことにより各イメージセンサ対がもつ部分的
視界を複数個の窓に分割するとともに、窓部分データ対
WD１とWD２から各自が担当する窓内の映像の距離の指標
としてこの実施態様では映像対の視差σを検出するもの
である。
【００１４】各距離検出回路40は上述の取り込んだ窓部
分データWD１とWD２を通例のように少しずつ互いにシフ
トさせながら両者間の相関を順次検定して行き, 最高相
関が得られたときのシフト値を視差として決定するが、
この際の相関検定には若干の時間を要するので図示の複
数個の距離検出回路40を１個の半導体集積回路に組み込
んで各自が担当する窓に関する視差σのかかる検出動作
を並行して進めさせるのが検出速度を極力高める上で望
ましい。これ用の半導体集積回路には用途別に回路構成
できるいわゆるゲートアレイが好適である。
分データWD１とWD２を通例のように少しずつ互いにシフ
トさせながら両者間の相関を順次検定して行き, 最高相
関が得られたときのシフト値を視差として決定するが、
この際の相関検定には若干の時間を要するので図示の複
数個の距離検出回路40を１個の半導体集積回路に組み込
んで各自が担当する窓に関する視差σのかかる検出動作
を並行して進めさせるのが検出速度を極力高める上で望
ましい。これ用の半導体集積回路には用途別に回路構成
できるいわゆるゲートアレイが好適である。
【００１５】なお、これらの距離検出回路40に検出させ
る視差は各窓の映像対がもつ実際の視差σのかわりに所
定のバイアスを重畳した計算上の視差とすることが多い
のでこれを図２の線図を参照して説明する。前述のよう
に、視差σは映像の距離ｄと逆数関係にあるのでａを比
例係数とするとσ＝ａ(1/d) の式で表せる。従って、図
２のように視差σは横軸の距離の逆数の変数 1/dに対し
て傾きａをもつ直線の関係になる。距離ｄが無限大で,
変数 1/dが０のとき視差σも０になるが、検出誤差等の
不測の原因で視差σが負値になるとその後のデータ処理
に不便なので、距離検出回路50には視差σに対し所定の
バイアスbsを重畳した計算上の視差ｓを検出させる方が
便利である。このためのバイアスbsは視差を検出する際
のいわば無限遠点のシフト値である。
る視差は各窓の映像対がもつ実際の視差σのかわりに所
定のバイアスを重畳した計算上の視差とすることが多い
のでこれを図２の線図を参照して説明する。前述のよう
に、視差σは映像の距離ｄと逆数関係にあるのでａを比
例係数とするとσ＝ａ(1/d) の式で表せる。従って、図
２のように視差σは横軸の距離の逆数の変数 1/dに対し
て傾きａをもつ直線の関係になる。距離ｄが無限大で,
変数 1/dが０のとき視差σも０になるが、検出誤差等の
不測の原因で視差σが負値になるとその後のデータ処理
に不便なので、距離検出回路50には視差σに対し所定の
バイアスbsを重畳した計算上の視差ｓを検出させる方が
便利である。このためのバイアスbsは視差を検出する際
のいわば無限遠点のシフト値である。
【００１６】距離検出回路40にこの計算上の視差ｓを検
出させるには、前述の窓部分データWD１とWD２を互いに
順次シフトさせながら相関を検定して行く際の基準点を
単に検定開始の当初からずらせておくだけでよい。この
ようにして得られる計算上の視差ｓは本発明による検出
値の補正動作を担当するマイクロコンピュータであるプ
ロセッサ50によってそのメモリ51内に読み込まれる。
出させるには、前述の窓部分データWD１とWD２を互いに
順次シフトさせながら相関を検定して行く際の基準点を
単に検定開始の当初からずらせておくだけでよい。この
ようにして得られる計算上の視差ｓは本発明による検出
値の補正動作を担当するマイクロコンピュータであるプ
ロセッサ50によってそのメモリ51内に読み込まれる。
【００１７】さて、映像検出モジュール30に組み立て上
の誤差があると図２の視差σおよび傾きａに誤差が発生
してくる。しかし、この実施態様では上述のように距離
検出回路40に計算上の視差ｓを検出させるので、視差σ
に生じ得る誤差は便宜上から計算上の視差ｓ内のバイア
スbsに発生したものと見做し、傾きａとバイアスbsの値
を本発明により補正するものとする。
の誤差があると図２の視差σおよび傾きａに誤差が発生
してくる。しかし、この実施態様では上述のように距離
検出回路40に計算上の視差ｓを検出させるので、視差σ
に生じ得る誤差は便宜上から計算上の視差ｓ内のバイア
スbsに発生したものと見做し、傾きａとバイアスbsの値
を本発明により補正するものとする。
【００１８】映像検出モジュール30に組み立て誤差が生
じてもかかる傾きａやバイアスbsの値に影響を与えない
場合もあるが、図１(a) にモジュール30が図の構造の場
合にそれらの値に影響を与える６種の組み立て誤差を示
す。１番目の誤差はイメージセンサ手段20用の基板23の
モジュール30へのｙ軸回りの取り付け角度誤差ε1 ,２
番目は一方のイメージセンサ手段20の他方に対する基板
23へのｙ軸回りの取り付け角度誤差ε2 , ３番目は一方
のイメージセンサ手段20のｚ軸方向の取り付け位置のず
れδ3 , ４番目は基板23のｘ軸回りの取り付け角度誤差
ε4 , ５番目は一方のイメージセンサ手段20のｘ軸回り
の取り付け角度誤差ε5 , ６番目はそのｚ軸回りの取り
付け角度誤差ε6 である。
じてもかかる傾きａやバイアスbsの値に影響を与えない
場合もあるが、図１(a) にモジュール30が図の構造の場
合にそれらの値に影響を与える６種の組み立て誤差を示
す。１番目の誤差はイメージセンサ手段20用の基板23の
モジュール30へのｙ軸回りの取り付け角度誤差ε1 ,２
番目は一方のイメージセンサ手段20の他方に対する基板
23へのｙ軸回りの取り付け角度誤差ε2 , ３番目は一方
のイメージセンサ手段20のｚ軸方向の取り付け位置のず
れδ3 , ４番目は基板23のｘ軸回りの取り付け角度誤差
ε4 , ５番目は一方のイメージセンサ手段20のｘ軸回り
の取り付け角度誤差ε5 , ６番目はそのｚ軸回りの取り
付け角度誤差ε6 である。
【００１９】これら組み立て誤差により距離検出手段40
による前述の傾きａとバイアスbsの検出値にそれぞれ検
出誤差ΔａとΔbsが組み立て誤差の種類に応じて発生す
る。これらの検出誤差ΔａとΔbsが発生する様子を６種
類の組み立て誤差のすべてについて説明すると非常に煩
雑になるので、ここでは１番目の角度誤差ε1 により検
出誤差ΔａやΔbsがどの程度発生するかを評価する要領
の概要を図３の線図を参照して簡単に説明する。
による前述の傾きａとバイアスbsの検出値にそれぞれ検
出誤差ΔａとΔbsが組み立て誤差の種類に応じて発生す
る。これらの検出誤差ΔａとΔbsが発生する様子を６種
類の組み立て誤差のすべてについて説明すると非常に煩
雑になるので、ここでは１番目の角度誤差ε1 により検
出誤差ΔａやΔbsがどの程度発生するかを評価する要領
の概要を図３の線図を参照して簡単に説明する。
【００２０】図３の上部に示す点光源１は映像検出モジ
ュール30がもつ視界内の特定の窓の中央の位置を表す。
この点光源１は光学手段10から距離ｄの位置にあって、
その正面であるｚ軸と角度θをなし、かつxz面に対し図
示しない角度φをなす方向にあるが、ここでは簡単化の
ため角度φの方は考えないこととする。光学手段10のレ
ンズ11と12はこの点光源１からそれぞれ光L1とL2を受け
てその映像を対応するイメージセンサ21と22の受光面に
結像させる。映像検出モジュール30に組み立て誤差がな
いときの受光面SFはレンズ11, 12から焦点距離ｆを隔て
たｘ軸に平行な平面であるが、取り付け角度誤差ε1 が
あるときの受光面sfはｘ軸に対して図のように同じ角度
ε1 だけ傾くことになる。
ュール30がもつ視界内の特定の窓の中央の位置を表す。
この点光源１は光学手段10から距離ｄの位置にあって、
その正面であるｚ軸と角度θをなし、かつxz面に対し図
示しない角度φをなす方向にあるが、ここでは簡単化の
ため角度φの方は考えないこととする。光学手段10のレ
ンズ11と12はこの点光源１からそれぞれ光L1とL2を受け
てその映像を対応するイメージセンサ21と22の受光面に
結像させる。映像検出モジュール30に組み立て誤差がな
いときの受光面SFはレンズ11, 12から焦点距離ｆを隔て
たｘ軸に平行な平面であるが、取り付け角度誤差ε1 が
あるときの受光面sfはｘ軸に対して図のように同じ角度
ε1 だけ傾くことになる。
【００２１】レンズ11, 12による点光源１の結像位置を
受光面SFの方についてP1, P2とし,受光面sfの方につい
てp1, p2とする。また、レンズ11, 12の光軸と角度θを
なす２本の直線の受光面SFとの交差点をR1, R2とし, 受
光面sfとの交差点をr1, r2とする。後者の交差点が視差
σの検出上の基準点であるが、この実施態様では距離検
出回路40はバイアスbsを含む計算上の視差ｓを検出する
ため交差点対R1, R2やr1, r2からbs/2個の光センサ分ず
つ互いに内側にずれた受光面SF上やsf上の点を計算上の
基準点として検出動作を行なう。
受光面SFの方についてP1, P2とし,受光面sfの方につい
てp1, p2とする。また、レンズ11, 12の光軸と角度θを
なす２本の直線の受光面SFとの交差点をR1, R2とし, 受
光面sfとの交差点をr1, r2とする。後者の交差点が視差
σの検出上の基準点であるが、この実施態様では距離検
出回路40はバイアスbsを含む計算上の視差ｓを検出する
ため交差点対R1, R2やr1, r2からbs/2個の光センサ分ず
つ互いに内側にずれた受光面SF上やsf上の点を計算上の
基準点として検出動作を行なう。
【００２２】いま、点P1, R1間の距離をD1とし、点p1,
r1間の距離をd1とし、点P2, R2間の距離をD2とし、点p
2, r2間の距離をd2とすると、各２個の距離の和 D1+D2
およびdl+d2 が角度誤差ε1 がない場合とある場合の視
差になる。図２に示す傾きａは視差の距離ｄの逆数に対
する比例係数であるから、角度誤差ε1 により傾きａに
発生する誤差はΔａ＝(dl+d2)-(D1+D2) で表せる。この
右辺は幾何学的な計算により距離ｄ, 基線長ｂ, 焦点距
離ｆ, および角度θと角度誤差ε1 の三角関数を用いて
かなり複雑にはなるが正確に表すことができる。
r1間の距離をd1とし、点P2, R2間の距離をD2とし、点p
2, r2間の距離をd2とすると、各２個の距離の和 D1+D2
およびdl+d2 が角度誤差ε1 がない場合とある場合の視
差になる。図２に示す傾きａは視差の距離ｄの逆数に対
する比例係数であるから、角度誤差ε1 により傾きａに
発生する誤差はΔａ＝(dl+d2)-(D1+D2) で表せる。この
右辺は幾何学的な計算により距離ｄ, 基線長ｂ, 焦点距
離ｆ, および角度θと角度誤差ε1 の三角関数を用いて
かなり複雑にはなるが正確に表すことができる。
【００２３】しかし、実際の角度θと角度誤差ε1 はい
ずれもかなり小さな値であるから、実用的には誤差Δａ
を近似式で表現するのが便利であり、この近似計算によ
れば傾きａの誤差Δａを次のようにごく簡単な式で表せ
る。 Δａ＝２(bf/h)ε1 θ さて、距離ｄはσを光センサ数で表した視差とすると前
述のようにｄ＝bf/hσであり，従ってσ＝(bf/h)(1/d)
であるから、図２の傾きａはａ＝bf/hと表現することが
でき、これを上式に入れると次のように書ける。
ずれもかなり小さな値であるから、実用的には誤差Δａ
を近似式で表現するのが便利であり、この近似計算によ
れば傾きａの誤差Δａを次のようにごく簡単な式で表せ
る。 Δａ＝２(bf/h)ε1 θ さて、距離ｄはσを光センサ数で表した視差とすると前
述のようにｄ＝bf/hσであり，従ってσ＝(bf/h)(1/d)
であるから、図２の傾きａはａ＝bf/hと表現することが
でき、これを上式に入れると次のように書ける。
【００２４】Δａ＝２ａε1 θ 次に、視差σに生じる誤差はその検出上の基準点R1, R2
が角度誤差ε1 によりr1, r2に変わる点に起因するか
ら、点R1, R2間の距離を D12とし, 点r1, r2間の距離を
d12とすると(d12-D12)/h と表現することができ、これ
がこの実施態様におけるバイアスbsの誤差Δbsになる。
距離 D12は基線長ｂと等しく、距離 d12は幾何学的な計
算から d12＝ｂ cosθ／cos(θ＋ε1)となるから、両者
の差をとりかつ角度θと角度誤差ε1 がいずれも小さい
として近似計算すると、誤差Δbsを次のようにごく簡単
に表現できる。
が角度誤差ε1 によりr1, r2に変わる点に起因するか
ら、点R1, R2間の距離を D12とし, 点r1, r2間の距離を
d12とすると(d12-D12)/h と表現することができ、これ
がこの実施態様におけるバイアスbsの誤差Δbsになる。
距離 D12は基線長ｂと等しく、距離 d12は幾何学的な計
算から d12＝ｂ cosθ／cos(θ＋ε1)となるから、両者
の差をとりかつ角度θと角度誤差ε1 がいずれも小さい
として近似計算すると、誤差Δbsを次のようにごく簡単
に表現できる。
【００２５】Δbs＝ｂε1 θ 前の傾きａの誤差Δａの式とこのバイアスbsの誤差Δbs
の式からいずれの誤差も対象１の距離ｄと無関係になる
ことがわかる。同様に２番目以降の組み立て誤差につい
ても傾きａの誤差Δａとバイアスbsの誤差Δbsを計算す
ることができ、その詳細は省略するが計算結果を６種類
の組み立て誤差について纏めて示すと以下のとおりであ
る。
の式からいずれの誤差も対象１の距離ｄと無関係になる
ことがわかる。同様に２番目以降の組み立て誤差につい
ても傾きａの誤差Δａとバイアスbsの誤差Δbsを計算す
ることができ、その詳細は省略するが計算結果を６種類
の組み立て誤差について纏めて示すと以下のとおりであ
る。
【００２６】 角度誤差ε1 に対して、 Δａ＝２ａε1 θ, Δbs＝ｂε1 θ 角度誤差ε2 に対して、 Δａ＝ ａε2 θ, Δbs＝ｆε2 θ2 位置ずれδ3 に対して、 Δａ＝ ｂδ3 ／２, Δbs＝ δ3 θ 角度誤差ε4 に対して、 Δａ＝ ａε4 φ, Δbs＝ ０ 角度誤差ε5 に対して、 Δａ＝ ａε5 φ, Δbs＝ｆε5 θφ 角度誤差ε6 に対して、 Δａ＝ ０, Δbs＝ｆε6 φ ここで、角度θは点光源１に対応する窓の映像検出モジ
ュール30の正面に対するxz面内の角度、角度φはその方
向がxz面となす角度である。
ュール30の正面に対するxz面内の角度、角度φはその方
向がxz面となす角度である。
【００２７】以上からわかるようにいずれの組み立て誤
差に対しても傾きａやバイアスbsの検出値に生じる誤差
ΔａやΔbsは距離ｄと無関係であり、本発明ではこの性
質を利用して各窓についての検出値を視界内の窓位置を
示す上述のような２個の角度変数θとφの値にのみ応じ
て補正する。図１(c) は映像検出モジュール30がもつ方
形輪郭の視界Vw内に窓Ｗを二次元マトリックスに並べて
設定した様子を窓Ｗの代表的な位置により示し、ここで
は２個の変数θとφが視界Vwの中央を原点としｘ軸とｙ
軸にそれぞれ対応する座標軸変数として示されている。
差に対しても傾きａやバイアスbsの検出値に生じる誤差
ΔａやΔbsは距離ｄと無関係であり、本発明ではこの性
質を利用して各窓についての検出値を視界内の窓位置を
示す上述のような２個の角度変数θとφの値にのみ応じ
て補正する。図１(c) は映像検出モジュール30がもつ方
形輪郭の視界Vw内に窓Ｗを二次元マトリックスに並べて
設定した様子を窓Ｗの代表的な位置により示し、ここで
は２個の変数θとφが視界Vwの中央を原点としｘ軸とｙ
軸にそれぞれ対応する座標軸変数として示されている。
【００２８】本発明では組み立て誤差ε1 等に対して視
界Vw内の各窓Ｗについての検出値の誤差ΔａやΔbsがも
つ前掲のような特性を窓位置を表す２個の角度変数θと
φに関する二元多項式に集約して表現する。まず、傾き
ａについてはその誤差Δａに対する特性関数ｆn を次式
のように表現する。 ｆn ＝ｐ＋ｑθ＋ｒφ ただし、この多項式中の係数ｐ, ｑ, ｒの組み立て誤差
との関係は、 ｐ＝ｂδ3 ／２, ｑ＝２ａε1 ＋ａε2 , ｒ＝ａε4 ＋
ａε5 である。次に、バイアスbsの誤差Δbsに対する特性関数
Ｆn を、 Ｆn ＝Ｐθ＋Ｑθ2 ＋Ｒφ＋Ｓθφ で表現する。ただし、この多項式中の係数Ｐ, Ｑ, Ｒ,
Ｓは、 Ｐ＝ｂε1 ＋δ3 , Ｑ＝ｆε2 , Ｒ＝ｆε6 , Ｓ＝ｆ
ε5 である。本発明では以上のように検出値の誤差の特性関
数は二次以下の多項式を用いて表現するのが実用上の観
点から見て望ましい。
界Vw内の各窓Ｗについての検出値の誤差ΔａやΔbsがも
つ前掲のような特性を窓位置を表す２個の角度変数θと
φに関する二元多項式に集約して表現する。まず、傾き
ａについてはその誤差Δａに対する特性関数ｆn を次式
のように表現する。 ｆn ＝ｐ＋ｑθ＋ｒφ ただし、この多項式中の係数ｐ, ｑ, ｒの組み立て誤差
との関係は、 ｐ＝ｂδ3 ／２, ｑ＝２ａε1 ＋ａε2 , ｒ＝ａε4 ＋
ａε5 である。次に、バイアスbsの誤差Δbsに対する特性関数
Ｆn を、 Ｆn ＝Ｐθ＋Ｑθ2 ＋Ｒφ＋Ｓθφ で表現する。ただし、この多項式中の係数Ｐ, Ｑ, Ｒ,
Ｓは、 Ｐ＝ｂε1 ＋δ3 , Ｑ＝ｆε2 , Ｒ＝ｆε6 , Ｓ＝ｆ
ε5 である。本発明では以上のように検出値の誤差の特性関
数は二次以下の多項式を用いて表現するのが実用上の観
点から見て望ましい。
【００２９】上述の特性関数ｆn やＦn の多項式中の係
数が判明すれば視界Vw内の各窓Ｗについての検出値を補
正できることにはなるが、このために組み立て誤差ε1
等をわざわざ測定するのは実用的でなく, 実際には非常
に困難でもある。このため、本発明では組み立て後の映
像検出モジュール30に対し所定距離に置かれた試験用サ
ンプルの映像を与えた状態で視界Vw内の複数の窓Ｗにつ
いて映像がもつ距離,この実施形態では計算上の視差ｓ
を検出して、その検出結果から誤差特性を表す多項式内
の係数の値を求める。このための試験用サンプルには縞
模様等の均一な繰り返しパターンをもつものを用いるの
がよく、その映像検出モジュール30との距離はとくに厳
密に規定する必要はない。
数が判明すれば視界Vw内の各窓Ｗについての検出値を補
正できることにはなるが、このために組み立て誤差ε1
等をわざわざ測定するのは実用的でなく, 実際には非常
に困難でもある。このため、本発明では組み立て後の映
像検出モジュール30に対し所定距離に置かれた試験用サ
ンプルの映像を与えた状態で視界Vw内の複数の窓Ｗにつ
いて映像がもつ距離,この実施形態では計算上の視差ｓ
を検出して、その検出結果から誤差特性を表す多項式内
の係数の値を求める。このための試験用サンプルには縞
模様等の均一な繰り返しパターンをもつものを用いるの
がよく、その映像検出モジュール30との距離はとくに厳
密に規定する必要はない。
【００３０】このような要領で実際の映像検出モジュー
ル30について誤差関数を表す上述の多項式の係数を求め
たところ、傾きａの誤差特性関数ｆn の多項式の係数は
ごく小さくて誤差Δａは実用的には無視できることが判
明した。また、通例のように各窓Ｗ内の映像の距離を視
差σや計算上の視差ｓの形で検出する限り、傾きａの誤
差Δａをとくに求める必要もない。そこで、以下ではバ
イアスbsの誤差Δbsを表現する多項式の係数を求める要
領, およびその特性関数Ｆn を用いて視差ｓの検出値を
補正する要領を説明することとする。
ル30について誤差関数を表す上述の多項式の係数を求め
たところ、傾きａの誤差特性関数ｆn の多項式の係数は
ごく小さくて誤差Δａは実用的には無視できることが判
明した。また、通例のように各窓Ｗ内の映像の距離を視
差σや計算上の視差ｓの形で検出する限り、傾きａの誤
差Δａをとくに求める必要もない。そこで、以下ではバ
イアスbsの誤差Δbsを表現する多項式の係数を求める要
領, およびその特性関数Ｆn を用いて視差ｓの検出値を
補正する要領を説明することとする。
【００３１】映像検出モジュール30の試験に際しては、
図１(c) に示すよう視界Vwの中央に対して対称的に分布
した複数, 図の例では25個の代表的な窓Ｗに関して視差
ｓを検出するのがよい。また、窓Ｗの視界Vw内の位置を
示す座標としての前述の角度変数θとφのかわりに正負
に変化する番号変数ｉとｊを用いるのが便利である。前
掲の誤差特性関数Ｆn をこれらの変数ｉとｊを用いて表
すと、Ｆn ＝Ｐｉ＋Ｑｉ2 ＋Ｒｊ＋Ｓｉｊとなる。ただ
し、この多項式の係数Ｐ等を便宜上前の式と同じ符号で
表すこととする。また、番号変数ｉやｊはもちろん整数
であって、図１(c) の25個の窓Ｗの分布例では−２〜０
〜２の間で変化するものとする。
図１(c) に示すよう視界Vwの中央に対して対称的に分布
した複数, 図の例では25個の代表的な窓Ｗに関して視差
ｓを検出するのがよい。また、窓Ｗの視界Vw内の位置を
示す座標としての前述の角度変数θとφのかわりに正負
に変化する番号変数ｉとｊを用いるのが便利である。前
掲の誤差特性関数Ｆn をこれらの変数ｉとｊを用いて表
すと、Ｆn ＝Ｐｉ＋Ｑｉ2 ＋Ｒｊ＋Ｓｉｊとなる。ただ
し、この多項式の係数Ｐ等を便宜上前の式と同じ符号で
表すこととする。また、番号変数ｉやｊはもちろん整数
であって、図１(c) の25個の窓Ｗの分布例では−２〜０
〜２の間で変化するものとする。
【００３２】25個の窓Ｗについて検出された視差ｓから
多項式Ｆn の４個の係数を計算するために厳密には最小
二乗法を用いるべきであるが、ここでは係数を簡略に求
める要領を説明する。まず、25個の窓Ｗについて検出し
た視差ｓの平均値を計算し、各視差ｓのそれとの差Δｓ
を求める。25個の窓Ｗが視界Vwの中央に対し対称的に分
布していて番号変数ｉとｊの変化が正負対称であるか
ら、変数ｉとｊに上述の変化範囲内の各整数値を入れた
多項式Ｆn の総和ΣＦn では、ｉ2 の係数であるＱ以外
はすべて０になり, 簡単な計算によってこの総和はΣＦ
n ＝50Ｑになる。従って、これに対応する差Δｓの総和
に対応するΣΔｓを計算すれば、係数ＱをＱ＝ΣΔｓ／
50の式からごく簡単に求めることができる。また、視界
Vwの中央に対して右斜め上と左斜め下にある各４個の窓
Ｗについての多項式の和ΣＦn ではｉ2 の係数Ｑとijの
係数Ｓのみが残ってΣＦn ＝20Ｑ＋18Ｓとなるから、こ
れに対応する視差ｓの差の和ΣΔｓと上述の既知の係数
Ｑの値から変数ijの係数Ｓの値を容易に計算することが
できる。
多項式Ｆn の４個の係数を計算するために厳密には最小
二乗法を用いるべきであるが、ここでは係数を簡略に求
める要領を説明する。まず、25個の窓Ｗについて検出し
た視差ｓの平均値を計算し、各視差ｓのそれとの差Δｓ
を求める。25個の窓Ｗが視界Vwの中央に対し対称的に分
布していて番号変数ｉとｊの変化が正負対称であるか
ら、変数ｉとｊに上述の変化範囲内の各整数値を入れた
多項式Ｆn の総和ΣＦn では、ｉ2 の係数であるＱ以外
はすべて０になり, 簡単な計算によってこの総和はΣＦ
n ＝50Ｑになる。従って、これに対応する差Δｓの総和
に対応するΣΔｓを計算すれば、係数ＱをＱ＝ΣΔｓ／
50の式からごく簡単に求めることができる。また、視界
Vwの中央に対して右斜め上と左斜め下にある各４個の窓
Ｗについての多項式の和ΣＦn ではｉ2 の係数Ｑとijの
係数Ｓのみが残ってΣＦn ＝20Ｑ＋18Ｓとなるから、こ
れに対応する視差ｓの差の和ΣΔｓと上述の既知の係数
Ｑの値から変数ijの係数Ｓの値を容易に計算することが
できる。
【００３３】多項式Ｆn のその他のｉの係数Ｐやｊの係
数Ｒの計算についても同様であり、このように誤差特性
関数としての多項式Ｆn の係数Ｐ〜Ｓの値を視界Vw内に
対称分布した代表的な窓Ｗに関する複数個の検出値から
抽出する組み合わせを適切に作ることにより容易に計算
することができる。このようにして求めた誤差特性を表
す多項式Ｆn 内の各変数の係数Ｐ〜Ｓの値は、本発明方
法により距離検出値を補正する際に随時使えるように図
１(b) のプロセッサ50内の記憶手段52としての例えばＰ
ＲＯＭに各映像検出モジュール30に固有な値として永久
的に記憶させておく。なお、上述のように得られる係数
は代表的な窓の位置を示す変数ｉとｊに対する値である
から、視界Vw内のすべての窓位置を洩れなく指定できる
別の番号変数ｉとｊに適する値に換算した上で記憶して
おくのがよい。
数Ｒの計算についても同様であり、このように誤差特性
関数としての多項式Ｆn の係数Ｐ〜Ｓの値を視界Vw内に
対称分布した代表的な窓Ｗに関する複数個の検出値から
抽出する組み合わせを適切に作ることにより容易に計算
することができる。このようにして求めた誤差特性を表
す多項式Ｆn 内の各変数の係数Ｐ〜Ｓの値は、本発明方
法により距離検出値を補正する際に随時使えるように図
１(b) のプロセッサ50内の記憶手段52としての例えばＰ
ＲＯＭに各映像検出モジュール30に固有な値として永久
的に記憶させておく。なお、上述のように得られる係数
は代表的な窓の位置を示す変数ｉとｊに対する値である
から、視界Vw内のすべての窓位置を洩れなく指定できる
別の番号変数ｉとｊに適する値に換算した上で記憶して
おくのがよい。
【００３４】以上のように誤差特性関数としての多項式
Ｆn の各係数Ｐ〜Ｓの値が計算かつ記憶された後は、映
像検出モジュール30の視界Vw内に捉えた実際の映像につ
いて距離検出回路40により検出される各窓Ｗに関する計
算上の視差ｓを記憶手段62の記憶値を用いて正確に補正
できる。この補正のために図１(b) のプロセッサ50に補
正手段60をソフトウエアの形で装荷しておくのがよい。
補正手段50は各窓Ｗについての補正用の誤差Δbsの値を
多項式Ｆn に記憶手段62から読み出した各係数Ｐ〜Ｓの
値とその窓に関する上述の別の番号変数ｉとｊの値を入
れることにより計算した上で、実際の映像についての検
出値を誤差Δbsを加算ないしは減算することにより補正
する。この補正手段50により距離指標としての視差σ
は、 σ＝ｓ−(bs+Δbs) なる式で補正される。
Ｆn の各係数Ｐ〜Ｓの値が計算かつ記憶された後は、映
像検出モジュール30の視界Vw内に捉えた実際の映像につ
いて距離検出回路40により検出される各窓Ｗに関する計
算上の視差ｓを記憶手段62の記憶値を用いて正確に補正
できる。この補正のために図１(b) のプロセッサ50に補
正手段60をソフトウエアの形で装荷しておくのがよい。
補正手段50は各窓Ｗについての補正用の誤差Δbsの値を
多項式Ｆn に記憶手段62から読み出した各係数Ｐ〜Ｓの
値とその窓に関する上述の別の番号変数ｉとｊの値を入
れることにより計算した上で、実際の映像についての検
出値を誤差Δbsを加算ないしは減算することにより補正
する。この補正手段50により距離指標としての視差σ
は、 σ＝ｓ−(bs+Δbs) なる式で補正される。
【００３５】なお、傾きａの誤差Δａを求めれば距離ｄ
の検出値は上述のように補正済みの視差σを用いて、 ｄ＝ (ａ＋Δａ) ／σ により非常に正確な値に補正できるが、前述のようにふ
つうはΔａを無視しても差し支えないから距離を単にｄ
＝ａ／σにより計算することでよい。
の検出値は上述のように補正済みの視差σを用いて、 ｄ＝ (ａ＋Δａ) ／σ により非常に正確な値に補正できるが、前述のようにふ
つうはΔａを無視しても差し支えないから距離を単にｄ
＝ａ／σにより計算することでよい。
【００３６】以上説明した実施形態では映像検出モジュ
ール30の構造を図１(a) のとおりとしたが、異なるモジ
ュール構造では発生する組み立て誤差も変わり、従って
誤差特性を示す多項式Ｆn やｆn の形もそれに応じて異
なってくる。
ール30の構造を図１(a) のとおりとしたが、異なるモジ
ュール構造では発生する組み立て誤差も変わり、従って
誤差特性を示す多項式Ｆn やｆn の形もそれに応じて異
なってくる。
【００３７】
【発明の効果】以上のように本発明による距離検出値の
補正方法では、映像検出モジュールの視界内をマトリッ
クス状に配列された複数の窓に分割して各窓内の映像の
距離をその視差に基づいて検出するようにし、モジュー
ルの組み立て誤差により各窓の距離検出結果に生じる誤
差の特性を窓の視界内の位置を示す縦方向変数と横方向
変数に関する二元多項式で表現しておき、所定距離に置
かれた試験用サンプルの映像をモジュールに与えた状態
で複数個の窓について距離ないし視差を検出してその結
果から二元多項式の各項の係数の値を求めて記憶手段に
記憶させておき、このモジュールにより実際の距離や視
差を検出する際には二元多項式に対し係数記憶値と窓の
位置を示す２個の変数の値を入れた値を加算ないし減算
して各窓に関する検出値を補正することにより、次の効
果を挙げることができる。
補正方法では、映像検出モジュールの視界内をマトリッ
クス状に配列された複数の窓に分割して各窓内の映像の
距離をその視差に基づいて検出するようにし、モジュー
ルの組み立て誤差により各窓の距離検出結果に生じる誤
差の特性を窓の視界内の位置を示す縦方向変数と横方向
変数に関する二元多項式で表現しておき、所定距離に置
かれた試験用サンプルの映像をモジュールに与えた状態
で複数個の窓について距離ないし視差を検出してその結
果から二元多項式の各項の係数の値を求めて記憶手段に
記憶させておき、このモジュールにより実際の距離や視
差を検出する際には二元多項式に対し係数記憶値と窓の
位置を示す２個の変数の値を入れた値を加算ないし減算
して各窓に関する検出値を補正することにより、次の効
果を挙げることができる。
【００３８】(a) 映像検出モジュールに起こりやすい組
み立て誤差の影響を補正によりほぼ完全に消去して、距
離や視差の検出値の正確性をモジュールの視界内のすべ
ての窓について確実に保証することができる。 (b) モジュールの組み立て誤差により検出値に生じる誤
差が距離とは無関係な特性をもち，窓の視界内の位置に
のみ関連して変化する点を利用して、補正用の誤差特性
関数を視界内の窓位置を示す２個の変数に関する二元多
項式に集約して表現するので、この多項式の各項の係数
を簡単な試験の結果から容易に決定して距離検出値を正
確に補正することができる。
み立て誤差の影響を補正によりほぼ完全に消去して、距
離や視差の検出値の正確性をモジュールの視界内のすべ
ての窓について確実に保証することができる。 (b) モジュールの組み立て誤差により検出値に生じる誤
差が距離とは無関係な特性をもち，窓の視界内の位置に
のみ関連して変化する点を利用して、補正用の誤差特性
関数を視界内の窓位置を示す２個の変数に関する二元多
項式に集約して表現するので、この多項式の各項の係数
を簡単な試験の結果から容易に決定して距離検出値を正
確に補正することができる。
【００３９】(c) 各映像検出モジュールごとに試験用サ
ンプルの映像を与える試験の結果に基づいて組み立て誤
差により検出値に生じる誤差を補正するための二元多項
式のモジュールごとに異なる各項の係数の値を決めるの
で、組み立て誤差を測定することなく各モジュールに則
した補正をその検出値に施すことができる。なお、距離
の指標として視差を用いる本発明の実施形態と誤差特性
関数として二次以下の多項式を用いる実施形態は、検出
値に対する補正を視界内の窓ごとに容易かつ正確に施し
得る利点があり、モジュールの試験の際に視界の中央に
対し対称分布した複数個の窓について距離を検出し，適
宜に組み合わせた窓に関する検出結果から誤差特性を表
す多項式の各項の係数値を求める実施態様は、試験と係
数の決定が容易かつ簡単になる効果を有する。
ンプルの映像を与える試験の結果に基づいて組み立て誤
差により検出値に生じる誤差を補正するための二元多項
式のモジュールごとに異なる各項の係数の値を決めるの
で、組み立て誤差を測定することなく各モジュールに則
した補正をその検出値に施すことができる。なお、距離
の指標として視差を用いる本発明の実施形態と誤差特性
関数として二次以下の多項式を用いる実施形態は、検出
値に対する補正を視界内の窓ごとに容易かつ正確に施し
得る利点があり、モジュールの試験の際に視界の中央に
対し対称分布した複数個の窓について距離を検出し，適
宜に組み合わせた窓に関する検出結果から誤差特性を表
す多項式の各項の係数値を求める実施態様は、試験と係
数の決定が容易かつ簡単になる効果を有する。
【図１】本発明方法に関連する映像検出モジュール等の
構成例およびその視界を示し、同図(a) は映像検出モジ
ュールの構成を示す斜視図、同図(b) は距離検出回路と
補正手段の構成例を示す模式回路図、同図(c) は映像検
出モジュールの視界内の代表的な窓の位置を示す視界の
模式図である。
構成例およびその視界を示し、同図(a) は映像検出モジ
ュールの構成を示す斜視図、同図(b) は距離検出回路と
補正手段の構成例を示す模式回路図、同図(c) は映像検
出モジュールの視界内の代表的な窓の位置を示す視界の
模式図である。
【図２】本発明により補正を施す対象例としての視差の
傾きと視差用のバイアスを示す線図である。
傾きと視差用のバイアスを示す線図である。
【図３】検出値に生じる誤差の映像検出モジュールの組
み立て誤差との関連性の一例を説明するために窓を代表
する点光源とレンズ対によるそのイメージセンサ対上の
結像点の関連を示す線図である。
み立て誤差との関連性の一例を説明するために窓を代表
する点光源とレンズ対によるそのイメージセンサ対上の
結像点の関連を示す線図である。
１ 窓を代表する点光源 10 光学手段 11,12 光学手段のレンズ対 20 イメージセンサ手段 21,22 イメージセンサ 23 イメージセンサ手段の対が実装される基板 30 映像検出モジュール 40 距離検出回路 50 距離検出値補正用のプロセッサ 51 検出値を記憶するメモリ 52 補正用係数を記憶する記憶手段としてのＰＲ
ＯＭ 60 補正手段 ａ 視差の距離の逆数に対する傾き ｂ 基線長としてのレンズ対の光軸間距離 bs 視差に対するバイアス ｄ 検出距離 ｆ レンズの焦点距離 ID1,ID2 映像データの対 ｉ 窓の視界内の位置を示す番号変数 ｊ 窓の視界内の位置を示す番号変数 L1,L2 レンズ対を通る光 ｓ バイアスを含む視差 Vw 映像検出モジュールの視界 WD1,WD2 窓部分データの対 ｘ ｘ軸 ｙ ｙ軸 ｚ ｚ軸 ε1 基板のｙ軸回りの取り付け角度誤差 ε2 イメージセンサ手段のｙ軸回りの取り付け角
度誤差 δ3 イメージセンサ手段のｚ軸方向の取り付け位
置ずれ ε4 基板のｘ軸回りの取り付け角度誤差 ε5 イメージセンサ手段のｘ軸回りの取り付け角
度誤差 ε6 イメージセンサ手段のｚ軸回りの取り付け角
度誤差 σ 距離指標としての視差 θ 窓の視界内の位置を示す角度変数 φ 窓の視界内の位置を示す角度変数
ＯＭ 60 補正手段 ａ 視差の距離の逆数に対する傾き ｂ 基線長としてのレンズ対の光軸間距離 bs 視差に対するバイアス ｄ 検出距離 ｆ レンズの焦点距離 ID1,ID2 映像データの対 ｉ 窓の視界内の位置を示す番号変数 ｊ 窓の視界内の位置を示す番号変数 L1,L2 レンズ対を通る光 ｓ バイアスを含む視差 Vw 映像検出モジュールの視界 WD1,WD2 窓部分データの対 ｘ ｘ軸 ｙ ｙ軸 ｚ ｚ軸 ε1 基板のｙ軸回りの取り付け角度誤差 ε2 イメージセンサ手段のｙ軸回りの取り付け角
度誤差 δ3 イメージセンサ手段のｚ軸方向の取り付け位
置ずれ ε4 基板のｘ軸回りの取り付け角度誤差 ε5 イメージセンサ手段のｘ軸回りの取り付け角
度誤差 ε6 イメージセンサ手段のｚ軸回りの取り付け角
度誤差 σ 距離指標としての視差 θ 窓の視界内の位置を示す角度変数 φ 窓の視界内の位置を示す角度変数
───────────────────────────────────────────────────── フロントページの続き (72)発明者 泉 晶雄 神奈川県川崎市川崎区田辺新田１番１号 富士電機株式会社内 (56)参考文献 特開 平８−211284（ＪＰ，Ａ) 特開 平６−109467（ＪＰ，Ａ) 特開 昭58−53707（ＪＰ，Ａ) 特開 平７−218252（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G01C 3/00 - 3/32 B60R 21/00 621 G01B 11/00
Claims (5)
- 【請求項１】複数個のイメージセンサをそれぞれ含む１
対のイメージセンサ手段を光学手段とともに組み込んで
なる映像検出モジュールによって捉えたその視界内の映
像から検出される距離ないしその指標の値を補正する方
法であって、映像検出モジュールの視界内を二次元マト
リックス状に配列された複数個の窓に分割してイメージ
センサ対により捉えた各窓内の映像の対がもつ視差に基
づいて距離を各窓ごとに検出するようにし、映像検出モ
ジュールへのイメージセンサの組み込み上の誤差に起因
して各窓に関する検出距離に生じ得る誤差の特性を表す
特性関数を視界内の窓位置を示す縦方向変数と横方向変
数に関する二元多項式により表現し、所定距離に置かれ
た試験用サンプルの映像を映像検出モジュールに与えた
状態でその視界内の複数個の窓について距離を検出して
その結果から誤差特性を表す多項式の各項の係数の値を
求めて記憶手段に記憶させておき、実際の距離検出の際
には視界内の各窓に関する検出値を誤差特性を示す多項
式に係数のこの記憶値とその窓に関する縦方向変数値と
横方向変数値を入れた値を加算して補正するようにした
ことを特徴とする距離検出値の補正方法。 - 【請求項２】請求項１に記載の方法において、視界内の
各窓ごとに映像対がもつ視差を検出してその窓に対する
検出距離の指標としてそのまま用いるようにしたことを
特徴とする距離検出値の補正方法。 - 【請求項３】請求項１に記載の方法において、誤差の特
性関数として用いる多項式が二次以下の多項式であるこ
とを特徴とする距離検出値の補正方法。 - 【請求項４】請求項１に記載の方法において、映像検出
モジュールの試験に際して均一な繰り返しパターンをも
つ試験用サンプルを用いるようにしたことを特徴とする
距離検出値の補正方法。 - 【請求項５】請求項１に記載の方法において、映像検出
モジュールの試験に際して視界の中央に対して対称的に
分布した複数個の窓に関して距離を検出し、誤差特性を
表す二元多項式の各係数の値を検出結果から抽出された
組み合わせに基づいて求めるようにしたことを特徴とす
る距離検出値の補正方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25403796A JP3147002B2 (ja) | 1996-09-26 | 1996-09-26 | 距離検出値の補正方法 |
| US08/929,421 US5915033A (en) | 1996-09-26 | 1997-09-15 | Method for correcting detected distance values |
| DE19741392A DE19741392A1 (de) | 1996-09-26 | 1997-09-19 | Verfahren zur Korrektur gemessener Entfernungswerte |
| KR1019970048714A KR100473436B1 (ko) | 1996-09-26 | 1997-09-25 | 거리검출값보정방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25403796A JP3147002B2 (ja) | 1996-09-26 | 1996-09-26 | 距離検出値の補正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10103949A JPH10103949A (ja) | 1998-04-24 |
| JP3147002B2 true JP3147002B2 (ja) | 2001-03-19 |
Family
ID=17259368
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25403796A Expired - Fee Related JP3147002B2 (ja) | 1996-09-26 | 1996-09-26 | 距離検出値の補正方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5915033A (ja) |
| JP (1) | JP3147002B2 (ja) |
| KR (1) | KR100473436B1 (ja) |
| DE (1) | DE19741392A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014055022A (ja) * | 2012-09-13 | 2014-03-27 | Toppan Forms Co Ltd | 封書 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100321121B1 (ko) * | 1996-09-16 | 2002-03-18 | 추후제출 | 차량에 사용하기 위한 주요 측정 장치 |
| JP3870491B2 (ja) * | 1997-07-02 | 2007-01-17 | 松下電器産業株式会社 | 画像間対応検出方法およびその装置 |
| JP3850541B2 (ja) * | 1998-02-18 | 2006-11-29 | 富士重工業株式会社 | 高度計測装置 |
| EP2259220A3 (en) * | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Method and apparatus for displaying image |
| JP3532772B2 (ja) * | 1998-09-25 | 2004-05-31 | 本田技研工業株式会社 | 乗員の乗車状態検出装置 |
| KR100568396B1 (ko) * | 1998-10-08 | 2006-04-05 | 마츠시타 덴끼 산교 가부시키가이샤 | 운전조작 보조장치 |
| JP3263931B2 (ja) * | 1999-09-22 | 2002-03-11 | 富士重工業株式会社 | ステレオマッチング装置 |
| JP3565749B2 (ja) * | 1999-09-22 | 2004-09-15 | 富士重工業株式会社 | 車載カメラの撮像方向の検査方法およびその検査装置 |
| JP3349121B2 (ja) * | 1999-09-22 | 2002-11-20 | 富士重工業株式会社 | ステレオカメラの取付構造 |
| JP2002140694A (ja) * | 2000-10-31 | 2002-05-17 | Keyence Corp | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 |
| GB2372656A (en) * | 2001-02-23 | 2002-08-28 | Ind Control Systems Ltd | Optical position determination |
| KR100770019B1 (ko) * | 2004-12-06 | 2007-10-25 | 한국전자통신연구원 | 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 |
| ATE550140T1 (de) * | 2005-09-13 | 2012-04-15 | Gudmunn Slettemoen | Opto-mechanischer positionsfinder |
| JP5234894B2 (ja) * | 2007-06-28 | 2013-07-10 | 富士重工業株式会社 | ステレオ画像処理装置 |
| TWI448666B (zh) * | 2010-06-15 | 2014-08-11 | Pixart Imaging Inc | 依據環境溫度以校正測距裝置所量測之待測物之待測距離之校正方法與其相關裝置 |
| FR2972061B1 (fr) * | 2011-02-24 | 2013-11-15 | Mobiclip | Procede de calibrage d'un dispositif de prise de vue stereoscopique |
| JP6443502B2 (ja) * | 2012-03-21 | 2018-12-26 | 株式会社リコー | 画像処理装置、撮影装置、制御システム、移動体、及びプログラム |
| JP6365744B2 (ja) * | 2012-03-21 | 2018-08-01 | 株式会社リコー | プログラム、記録媒体、及び校正方法 |
| JP6182866B2 (ja) * | 2012-03-21 | 2017-08-23 | 株式会社リコー | 校正装置、距離計測装置及び車両 |
| JP6167525B2 (ja) * | 2012-03-21 | 2017-07-26 | 株式会社リコー | 距離計測装置及び車両 |
| US9936131B2 (en) * | 2012-07-18 | 2018-04-03 | Nokia Technologies Oy | Robust two dimensional panorama generation using light field camera capture |
| JP6040782B2 (ja) * | 2013-01-17 | 2016-12-07 | 株式会社リコー | 画像処理装置及びプログラム |
| KR102149276B1 (ko) * | 2014-10-23 | 2020-08-28 | 한화테크윈 주식회사 | 영상 정합 방법 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5202555A (en) * | 1983-01-10 | 1993-04-13 | Minolta Camera Kabushiki Kaisha | Focus detecting device for use with cameras with correlation and contrast detecting means |
| GB2147169B (en) * | 1983-08-09 | 1987-09-30 | Konishiroku Photo Ind | Rangefinder |
| JPH02217812A (ja) * | 1989-02-17 | 1990-08-30 | Minolta Camera Co Ltd | 焦点検出装置 |
| US5193124A (en) * | 1989-06-29 | 1993-03-09 | The Research Foundation Of State University Of New York | Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images |
| JPH03269315A (ja) * | 1990-03-20 | 1991-11-29 | Mitsubishi Electric Corp | 先行車追尾用車間距離検出装置 |
| JP2676985B2 (ja) * | 1990-06-26 | 1997-11-17 | 富士電機株式会社 | 光学器械の対象検出方式 |
| JP3047252B2 (ja) * | 1990-11-05 | 2000-05-29 | コニカ株式会社 | 合焦制御装置 |
| JP2753544B2 (ja) * | 1991-06-07 | 1998-05-20 | 株式会社ニコン | 焦点検出装置 |
| JPH0588077A (ja) * | 1991-06-20 | 1993-04-09 | Fuji Photo Film Co Ltd | 距離検出装置および方法 |
| US5577130A (en) * | 1991-08-05 | 1996-11-19 | Philips Electronics North America | Method and apparatus for determining the distance between an image and an object |
| US5561497A (en) * | 1992-01-09 | 1996-10-01 | Nikon Corporation | Auto focusing apparatus in a camera |
| JPH0682675A (ja) * | 1992-09-03 | 1994-03-25 | Nikon Corp | オートフォーカスカメラ |
| JPH06109467A (ja) * | 1992-09-29 | 1994-04-19 | Mitsubishi Electric Corp | 距離検出装置 |
| US5692227A (en) * | 1993-04-05 | 1997-11-25 | Asahi Kogaku Kogyo Kabushiki Kaisha | Viewfinder |
| US5682198A (en) * | 1993-06-28 | 1997-10-28 | Canon Kabushiki Kaisha | Double eye image pickup apparatus |
| US5586063A (en) * | 1993-09-01 | 1996-12-17 | Hardin; Larry C. | Optical range and speed detection system |
| JP3059035B2 (ja) * | 1993-12-14 | 2000-07-04 | 三菱電機株式会社 | 距離測定装置 |
| JPH07218252A (ja) * | 1994-02-09 | 1995-08-18 | Fuji Electric Co Ltd | イメージセンサの映像データ回路 |
| US5530514A (en) * | 1994-07-19 | 1996-06-25 | Eastman Kodak Company | Direct focus feedback autofocus system |
| JPH0894916A (ja) * | 1994-09-28 | 1996-04-12 | Nikon Corp | 焦点検出装置 |
| US5715043A (en) * | 1994-12-28 | 1998-02-03 | Fuji Photo Film Co., Ltd. | Range finder with compensation of rotation about Z-axis |
-
1996
- 1996-09-26 JP JP25403796A patent/JP3147002B2/ja not_active Expired - Fee Related
-
1997
- 1997-09-15 US US08/929,421 patent/US5915033A/en not_active Expired - Fee Related
- 1997-09-19 DE DE19741392A patent/DE19741392A1/de not_active Ceased
- 1997-09-25 KR KR1019970048714A patent/KR100473436B1/ko not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014055022A (ja) * | 2012-09-13 | 2014-03-27 | Toppan Forms Co Ltd | 封書 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5915033A (en) | 1999-06-22 |
| KR100473436B1 (ko) | 2005-06-29 |
| KR19980024964A (ko) | 1998-07-06 |
| JPH10103949A (ja) | 1998-04-24 |
| DE19741392A1 (de) | 1998-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3147002B2 (ja) | 距離検出値の補正方法 | |
| CN107103625B (zh) | 用于成像系统的方法和设备 | |
| JP3070953B2 (ja) | 空間座標の逐点式測定方法及びシステム | |
| US4672564A (en) | Method and apparatus for determining location and orientation of objects | |
| US6067165A (en) | Position calibrating method for optical measuring apparatus | |
| US7474591B2 (en) | Six-component seismic data acquisition system | |
| EP1017962B1 (en) | Three dimensional inspection of electronic leads with optical element attached to the top surface of a transparent reticle | |
| US6930297B1 (en) | Image sensing device and distance measuring device using the image sensing device | |
| US20090058993A1 (en) | Cmos stereo camera for obtaining three-dimensional image | |
| KR19980070247A (ko) | 거리 측정 장치 | |
| EP0302512B1 (en) | Simplified calibration for a distance information obtaining device | |
| JPWO2018042954A1 (ja) | 車載カメラ、車載カメラの調整方法、車載カメラシステム | |
| KR19990068886A (ko) | 프리즘에 의한 스테레오 카메라 시스템 | |
| EP0122503A2 (en) | Attitude transfer system | |
| CN111220118B (zh) | 基于视觉惯性导航系统的激光测距仪及测距方法 | |
| KR101995344B1 (ko) | 사각지역이 없는 듀얼 깊이 카메라 모듈 | |
| US5017013A (en) | Method of determining the position of a reference point of a scanner relative to an incremental scale as well as a reference point communicator | |
| CN115375773A (zh) | 单目激光散斑投影系统的外参数标定方法和相关装置 | |
| Clark et al. | Measuring range using a triangulation sensor with variable geometry | |
| KR100295477B1 (ko) | 물체의치수를측정하는장치 | |
| CN114814865A (zh) | 用于车辆测距的方法和系统、车辆及程序产品 | |
| JP2567923B2 (ja) | 距離計測方法 | |
| WO1997030572A1 (en) | Process for forming on an opto-electronic transducer a shadow image of at least a part of an electronic component | |
| JP3369235B2 (ja) | 三次元測定に於ける測定歪校正方法 | |
| JPH0798429A (ja) | 距離計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080112 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090112 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090112 Year of fee payment: 8 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090112 Year of fee payment: 8 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |