JP4461091B2 - 位置検出装置及びその補正方法 - Google Patents

位置検出装置及びその補正方法 Download PDF

Info

Publication number
JP4461091B2
JP4461091B2 JP2005318206A JP2005318206A JP4461091B2 JP 4461091 B2 JP4461091 B2 JP 4461091B2 JP 2005318206 A JP2005318206 A JP 2005318206A JP 2005318206 A JP2005318206 A JP 2005318206A JP 4461091 B2 JP4461091 B2 JP 4461091B2
Authority
JP
Japan
Prior art keywords
parallax
imaging means
imaging
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005318206A
Other languages
English (en)
Other versions
JP2006184274A (ja
Inventor
伸治 長岡
雅和 坂
正人 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2005318206A priority Critical patent/JP4461091B2/ja
Priority to US11/287,554 priority patent/US7620237B2/en
Publication of JP2006184274A publication Critical patent/JP2006184274A/ja
Application granted granted Critical
Publication of JP4461091B2 publication Critical patent/JP4461091B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、複数の撮像手段により対象物を撮像し前記対象物の実空間位置を検出する位置検出装置及びその補正方法に関する。
例えば、車両に2台の撮像手段を搭載し、これらの撮像手段を用いて同一の対象物を撮像し、撮像された対象物の画像間の視差を利用して車両から対象物までの距離を計測し、あるいは、車両に対する対象物の実空間位置を計測し、ドライバに前方の障害物の有無等を報知するようにした車両周辺監視装置が開発されている(特許文献1参照)。
特開2003−216937号公報
ここで、撮像手段から対象物までの距離Zは、各撮像手段の焦点距離をf、各撮像手段により撮像された画像の画素ピッチをp、撮像手段間の基線長をB、各撮像手段により撮像された対象物の画像間での視差をdnとした場合、各撮像手段の光軸が平行に設定されている理想的な透視変換モデルでは、
Z=f/p・B/dn …(1)
として算出することができる。
しかしながら、各撮像手段の光軸が平行に設定されていない場合、すなわち、撮像手段間の相対パン角が0゜でない場合、相対パン角に応じた誤差が視差に含まれるため、視差に基づいて距離Zを正しく計測することができなくなってしまう。この対策として、単純には、撮像手段の光軸同士が正確に平行となるように調整することが考えられるが、光軸を調整するための調整装置が必要であり、多大なコストのかかることが懸念される。
一方、各撮像手段の焦点距離f、画素ピッチp、基線長Bが容易に計測できるものとして、対象物を撮像手段から既知の距離Zに配設して撮像し、得られた対象物の2つの画像から誤差を含む視差を算出し、距離Zに対して(1)式の関係式から得られる理論上の視差dnと、画像から算出した誤差を含む実際の視差との差分を求め、この差分を視差補正値として設定することが考えられる。この場合、光軸を調整するための特別な調整装置を用いることなく、相対パン角が0゜でないことを許容して視差を補正し、対象物までの距離を算出することができる。
しかしながら、視差補正値を算出する前記の方法では、相対パン角が視差に大きく影響を与えるため、対象物を配設する距離Zをできるだけ大きく設定しておかないと、視差補正値を高精度に算出することができない。従って、視差補正値の算出のために、広いスペースが必要となる。
本発明は、前記の不具合に鑑みなされたものであり、複数の撮像手段の光軸を調整する調整装置を用いることなく、光軸間の相対角度に起因する誤差を補正する補正値を高精度に算出して対象物の実空間位置を補正することができる位置検出装置及びその補正方法を提供することを目的とする。
また、本発明は、広いスペースを必要とすることなく、撮像手段間の補正値を高精度に算出することができる位置検出装置及びその補正方法を提供することを目的とする。
さらに、本発明は、必要最小限の既知情報を用いて補正値を算出することができる位置検出装置及びその補正方法を提供することにある。
第1の本発明に係る位置検出装置は、2台の撮像手段により対象物を撮像し、前記対象物の実空間位置を検出する位置検出装置において、
第1撮像手段及び第2撮像手段の配列方向に所定距離離間させて第1対象物及び第2対象物を配設し、前記第1撮像手段により撮像した前記第1対象物と、前記第2撮像手段により撮像した前記第2対象物との画像上での距離を仮想視差として算出する仮想視差算出手段と、
前記第1撮像手段の光軸と前記第2撮像手段の光軸とが平行であるとした場合における前記第1対象物と前記第2対象物との画像上での距離を基準仮想視差とし、前記仮想視差と前記基準仮想視差との差分を視差補正値として算出する視差補正値算出手段と、
を備え、前記第1撮像手段及び前記第2撮像手段により撮像された同一の対象物の画像の視差を前記視差補正値により補正することを特徴とする(請求項記載の発明)。
第1の本発明において、前記第1対象物と前記第2対象物との間の前記所定距離を、前記第1撮像手段と前記第2撮像手段との間の基線長に等しく設定し、前記視差補正値算出手段は、前記仮想視差を前記視差補正値として算出することを特徴とする(請求項2記載の発明)。
また、第1の本発明において、前記第1対象物は、実空間上の予め規定された特定点と前記第1撮像手段とを結ぶ直線上に配設され、前記第2対象物は、前記特定点と前記第2撮像手段とを結ぶ直線上に配設され、前記視差補正値算出手段は、前記第1撮像手段と前記第2撮像手段間の基線の長さ(基線長)、前記第1対象物及び前記第2対象物間の前記基線に沿った方向の距離、前記基線と前記第1対象物との距離、前記基線と前記第2対象物との距離、前記第1撮像手段の光軸から前記第1対象物までの距離に基づいて、前記基準仮想視差dnを算出することを特徴とする(請求項3記載の発明)。
また、第1の本発明において、前記第1撮像手段と前記第2撮像手段とを結ぶ基線と前記第1対象物との距離と、前記基線と前記第2対象物との距離とが同一であることを特徴とする(請求項4記載の発明)。
この場合、前記視差補正値算出手段は、前記第1撮像手段及び前記第2撮像手段の焦点距離をf、画素ピッチをp、前記第1撮像手段と前記第2撮像手段との間の基線長をB、前記第1対象物及び前記第2対象物を前記第1撮像手段及び前記第2撮像手段の配列方向に配列した場合における前記第1対象物及び前記第2対象物間の距離をD、前記基線と前記第1対象物及び前記第2対象物との距離をZnとしたとき、下記式に基づいて、前記基準仮想視差dnを算出することを特徴とする(請求項5記載の発明)。
dn=f/p・(B−D)/Zn
また、第1の本発明において、前記第1撮像手段と前記第2撮像手段とを結ぶ基線と前記第1対象物との距離と、前記基線と前記第2対象物との距離とが異なることを特徴とする(請求項6記載の発明)。
第2の本発明に係る位置検出装置は、2台の撮像手段により対象物を撮像し、前記対象物の実空間位置を検出する位置検出装置において、
第1撮像手段及び第2撮像手段の配列方向と直交する方向に配列され、且つ、前記第1撮像手段と前記第2撮像手段とを結ぶ基線からの距離がそれぞれ異なる位置に配設された第1対象物及び第2対象物と、
前記第1撮像手段により撮像した前記第1対象物の画像と、前記第2撮像手段により撮像した前記第1対象物の画像との視差を第1視差として算出する第1視差算出手段と、
前記第1撮像手段により撮像した前記第2対象物の画像と、前記第2撮像手段により撮像した前記第2対象物の画像との視差を第2視差として算出する第2視差算出手段と、
前記第1視差と、前記第2視差と、前記第1対象物及び前記第2対象物間の距離とに基づいて視差補正値を算出する視差補正値算出手段と、
前記第1撮像手段及び前記第2撮像手段により撮像された同一の対象物の画像の視差を前記視差補正値により補正する手段とを有し、
前記視差補正値算出手段は、前記第1撮像手段及び前記第2撮像手段の焦点距離をf、画素ピッチをp、前記第1撮像手段と前記第2撮像手段との間の基線長をB、前記第1視差をdn1、前記第2視差をdn2、前記第1対象物及び前記第2対象物間の距離をE、前記基線と前記第2対象物との距離をZnとしたとき、下記式の関係から前記視差補正値αを算出することを特徴とする(請求項7記載の発明)。
Zn−E=f/p・B/(dn1−α)
Zn=f/p・B/(dn2−α)
第3の本発明に係る位置検出装置の補正方法は、2台の撮像手段により対象物を撮像して前記対象物の実空間位置を検出する位置検出装置の補正方法であって、
第1撮像手段及び第2撮像手段の配列方向に所定距離離間させて第1対象物及び第2対象物を配設するステップと、
前記第1撮像手段により前記第1対象物を撮像し、前記第1対象物の画像を取得するステップと、
前記第2撮像手段により前記第2対象物を撮像し、前記第2対象物の画像を取得するステップと、
前記第1対象物及び前記第2対象物間の画像上での距離を仮想視差として算出するステップと、
前記第1撮像手段の光軸と前記第2撮像手段の光軸とが平行であるとした場合における前記第1対象物及び前記第2対象物間の画像上での距離を基準仮想視差とし、前記仮想視差と前記基準仮想視差との差分を視差補正値として算出するステップと、
を有し、前記第1撮像手段及び前記第2撮像手段により任意の対象物を撮像して得られる画像の視差を前記視差補正値により補正することを特徴とする(請求項記載の発明)。
この場合、前記第1撮像手段と前記第2撮像手段とを結ぶ基線の長さを基線長としたとき、前記基準仮想視差dnは、前記第1撮像手段及び前記第2撮像手段の焦点距離f、画素ピッチp、前記基線長B、前記第1対象物及び前記第2対象物間の前記基線に沿った距離D、前記基線と前記第1対象物及び前記第2対象物との距離Znを用いて、
dn=f/p・(B−D)/Zn
として算出することを特徴とする(請求項9記載の発明)。
また、第3の本発明において、前記第1対象物を、実空間上の予め規定された特定点と前記第1撮像手段とを結ぶ直線上に配設し、前記第2対象物を、前記特定点と前記第2撮像手段とを結ぶ直線上に配設し、前記第1撮像手段と前記第2撮像手段との間の基線長、前記第1対象物及び前記第2対象物間の前記基線に沿った方向の距離、前記基線と前記第1対象物との距離、前記基線と前記第2対象物との距離、前記第1撮像手段の光軸から前記第1対象物までの距離に基づいて、前記基準仮想視差dnを算出することを特徴とする(請求項10記載の発明)。
第4の本発明に係る位置検出装置の補正方法は、2台の撮像手段により対象物を撮像して前記対象物の実空間位置を検出する位置検出装置の補正方法であって、
第1撮像手段及び第2撮像手段の配列方向と直交する方向であって、且つ、前記第1撮像手段と前記第2撮像手段とを結ぶ基線からの距離がそれぞれ異なる位置に第1対象物及び第2対象物を配設するステップと、
前記第1撮像手段により前記第1対象物及び前記第2対象物を撮像し、前記第1対象物の画像及び前記第2対象物の画像を取得するステップと、
前記第2撮像手段により前記第1対象物及び前記第2対象物を撮像し、前記第1対象物の画像及び前記第2対象物の画像を取得するステップと、
前記第1撮像手段により撮像した前記第1対象物の画像と、前記第2撮像手段により撮像した前記第1対象物の画像との視差を第1視差として算出するステップと、
前記第1撮像手段により撮像した前記第2対象物の画像と、前記第2撮像手段により撮像した前記第2対象物の画像との視差を第2視差として算出するステップと、
前記第1視差と、前記第2視差と、前記第1対象物及び前記第2対象物間の距離とに基づいて視差補正値を算出するステップと、
前記第1撮像手段及び前記第2撮像手段により撮像された同一の対象物の画像の視差を前記視差補正値により補正するステップとを有し、
前記視差補正値を算出するステップは、前記第1撮像手段及び前記第2撮像手段の焦点距離をf、画素ピッチをp、前記第1撮像手段と前記第2撮像手段との間の基線長をB、前記第1視差をdn1、前記第2視差をdn2、前記第1対象物及び前記第2対象物間の距離をE、前記基線と前記第2対象物との距離をZnとしたとき、下記式の関係から前記視差補正値αを算出することを特徴とする(請求項11記載の発明)。
Zn−E=f/p・B/(dn1−α)
Zn=f/p・B/(dn2−α)
なお、本発明の位置検出装置及びその補正方法は、3台以上の撮像手段間においても、同様にして補正値を算出して対象物の実空間位置を補正することができる。すなわち、実空間上の予め規定された位置に複数の対象物を配設し、その画像を3台以上の撮像手段により撮像し、得られた前記複数の対象物の画像上の位置に基づき、各撮像手段の相対的な補正値を算出し、各補正値に従って対象物の実空間位置を補正することができる。
本発明によれば、複数の撮像手段の光軸を調整する調整装置を用いることなく、光軸間の相対角度に起因する誤差を補正する補正値を高精度に算出して対象物の実空間位置を補正することができる。
また、広いスペースを必要とすることなく、複数の対象物を近距離に配設して補正値を高精度に算出し、対象物の実空間位置を補正することができる。
さらに、必要最小限の既知情報を用いて補正値を算出して対象物の実空間位置を補正することができる。
以下、本発明に係る位置検出装置及びその補正方法について好適な実施形態を挙げ、添付の図面を参照しながら説明する。
図1に示すように、本実施形態に係るナイトビジョンシステム(車両用周辺監視装置)10は、車両12に搭載されたシステムであって、主要な制御部であるECU(Electronic Control Unit)14と、左右一対の赤外線カメラ(第1撮像手段、第2撮像手段)16R、16Lと、検出結果画像を表示するためのHUD(Head Up Display)18と、警報音等を発するスピーカ20と、走行速度を検出する速度センサ22と、走行時のヨーレートを検出するヨーレートセンサ24と、日射センサ26と、ヘッドライトスイッチ28と、システムを起動又は停止させるメインスイッチ30と、外部コンピュータシステムとの接続部32とを有する。ナイトビジョンシステム10を構成するこれらの機器間の接続には、他のシステムと兼用の車内通信網を用いてもよい。
赤外線カメラ16R及び16Lは、バンパ下部における横長グリル孔の右端部及び左端部に並行配置され、左右対称位置でそれぞれ前方を指向し、カメラ間距離(以下、基線長ともいう。)Bの間隔で設けられている。赤外線カメラ16R及び16Lは遠赤外線を検出することにより高温部ほど高輝度となる赤外線画像を撮像して、それぞれECU14に供給する。
HUD18はインスツルメントパネル上部のドライバ正面位置において前方視界を妨げないように設けられている。HUD18はシステムオフ状態ではインスツルメントパネル内に格納されており、日射センサ26の情報から夜であると判断し、且つ、ヘッドライトスイッチ28の情報からヘッドライト(又はフォグライト)が点灯していると判断される状態でメインスイッチ30をオンにするとポップアップする。HUD18の映像表示部は凹面ミラーで構成され、インスツルメントパネル内部からの映像を反射・投影する。ナイトビジョンシステム10はメインスイッチ30の操作に拘わらず、オートライト機能に連動して自動起動させてもよい。HUD18の表示輝度は適当なスイッチ操作によって調整可能としてもよい。
ECU14は、赤外線カメラ16R、16Lから得られた2つの赤外線画像に基づいて、両画像の視差から熱源対象物を検出してHUD18上で白いシルエットとして映し出す。さらに、熱源対象物の中から歩行者を特定すると、注意喚起のためにスピーカ20から音を発すると同時に、HUD18上に映し出された歩行者を目立つ色の枠で囲んで強調表示する。この注意喚起機能は、所定の速度域において歩行者の位置に到達するまでの時間を予測し、充分な回避操作が行えるタイミングで注意喚起を行う。
赤外線カメラ16R、16Lは、遠方の熱源対象物の位置、距離及び形状を正確に判定するため、製作所における製造時、あるいは、定期点検時等において、後述する調整処理であるエイミングが行われる。
図2に示すように、ECU14は、赤外線カメラ16R、16Lにより撮像された赤外線画像をA/D変換してグレースケール画像を生成する画像入力部40と、閾値に基づいてグレースケール画像から二値化画像を生成する二値化処理部42と、グレースケール画像及び二値化画像を記憶する画像記憶部44と、エイミングを実行し、その処理結果であるカメラパラメータをカメラパラメータ記憶部46に記憶させるエイミングモード実行部48と、速度センサ22等からのセンサ情報及びカメラパラメータ記憶部46に記憶されたカメラパラメータを参照しながら通常の画像処理を行うとともにHUD18及びスピーカ20を制御する通常モード実行部50と、接続部32を介して外部のコンピュータシステムからの指示に基づき、エイミングモードか通常モードのいずれか一方を選択するモード選択部52とを有する。
なお、通常モード実行部50は、赤外線カメラ16R、16Lにより撮像された画像から対象物を抽出する対象物抽出手段、対象物の実空間位置を算出する実空間位置算出手段、及び、カメラパラメータ記憶部46に記憶されたカメラパラメータを用いて対象物の実空間位置を補正する実空間位置補正手段として機能する。
エイミングモード実行部48は、車両12を製造する製作所内において外部コンピュータシステムとしてエイミングターゲット制御装置100(図3参照)を用いてエイミングを行う製作所モード部70と、サービスエイミング調整装置120(図4参照)を用いてサービス工場等でエイミングを行うサービスモード部72とを有し、これらの外部コンピュータシステムからの指示に基づいて製作所モード部70又はサービスモード部72のいずれか一方が選択実行される。
また、エイミングモード実行部48は、エイミングの開始時に外部コンピュータシステムから所定のパラメータを入力するパラメータ入力部74と、エイミングに必要な初期設定を行う初期設定部76と、画像記憶部44に記憶された左右のグレースケール画像に対してテンプレートマッチングを行うテンプレートマッチング部78と、赤外線カメラ16R、16Lにより撮像して得られた画像信号の輝度を調整するための輝度調整LUTを設定する輝度調整LUT設定部80と、赤外線カメラ16R、16Lの焦点距離、画素ピッチ等の固体差に起因して発生する映像歪みを補正する左右カメラ映像歪補正部82と、赤外線カメラ16R、16Lの取付角(パン角、ピッチ角)を算出する左右カメラ取付角算出部84と、画像から演算範囲を切り出すための基準となる切り出し座標を算出する左右カメラ映像切出座標算出部86と、赤外線カメラ16R、16Lの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値を算出する視差オフセット値算出部88とを有する。
なお、視差オフセット値算出部88は、赤外線カメラ16R、16Lのそれぞれで撮像された異なる対象物間の画像上での距離を仮想視差として算出する仮想視差算出手段、赤外線カメラ16R、16Lのそれぞれで撮像された同一の対象物の画像の視差(第1視差、第2視差)を算出する視差算出手段(第1視差算出手段、第2視差算出手段)、赤外線カメラ16R、16Lにより撮像された各画像を各パン角に従って切り出し、測距精度をさらに向上するために視差オフセット値(補正値、視差補正値)を算出する補正値算出手段(視差補正値算出手段)として機能する。
初期設定部76は、対象物までの距離に応じて用意された6つのテンプレートTP1、TP2、TP3、TP4、TP5、TP6(代表的にテンプレートTPとも示す。)から1つを選択するテンプレート設定部94を有する。また、ECU14は、対象物の位置を求めるための透視変換モデルを数式として記憶するモデル記憶部96を有し、エイミングモード実行部48及び通常モード実行部50は該透視変換モデルを用いて被撮像体の位置を算出する。なお、モデル記憶部96には、対象物が近距離にある場合の近距離用モデルと遠距離にある場合の遠距離用モデルとが記憶されている。
ECU14は、主たる制御部としてのCPU(Central Processing Unit)と、記憶部としてのRAM(Random Access Memory)及びROM(Read Only Memory)等を有しており、上記の各機能部は、CPUがプログラムを読み込み、記憶部等と協動しながらソフトウェア処理を実行することにより実現される。
図3に示すように、エイミングターゲット制御装置100は、車両12の位置決め装置102と、車両12が位置決めされた状態で赤外線カメラ16R、16Lの前方の所定位置に設けられたゲート104と、前記接続部32を介してECU14と通信を行うとともにゲート104を制御する主制御装置106とを有する。ゲート104は、車幅よりやや広い間隔で設けられた2本の支柱108と、左右端を支柱108に支持された横長のエイミングターゲット板110とを有し、該エイミングターゲット板110は、主制御装置106の作用下に支柱108に沿って昇降可能である。エイミングターゲット板110には、熱源である8つのエイミングターゲット112a〜112h(代表的にエイミングターゲット112とも示す。)が左から順に水平に配列されている。
左側のエイミングターゲット112a〜112dは比較的小さい間隔Wで並んでおり左ターゲット群114を形成する。同様に、右側のエイミングターゲット112e〜112hは間隔Wで並んでおり右ターゲット群116を形成する。左ターゲット群114の右端であるエイミングターゲット112dと右ターゲット群116の左端であるエイミングターゲット112eの間隔は基線長B(W<B)に等しく、エイミングターゲット112d及び112eは、赤外線カメラ16R及び16Lの正面位置に配置される。
図4に示すように、サービスエイミング調整装置120は、車両12の位置マーク122と、該位置マーク122に基づいて車両12が位置決めされた状態で赤外線カメラ16R、16Lの前方所定距離の位置に設けられたヘッドライトテスタ124と、前記接続部32を介してECU14と通信を行う主制御装置126とを有する。ヘッドライトテスタ124は、レール128に沿って車幅方向と並行に移動可能であるとともに、昇降台130が昇降可能な構成となっている。昇降台130には、ターゲット板132が設けられ、該ターゲット板132には間隔W(W<B)で水平に並んだ3つの熱源であるエイミングターゲット134a〜134c(代表的にエイミングターゲット134とも示す。)が設けられている。エイミングターゲット134は、前記エイミングターゲット112と同じもの、あるいは、略同じものを用いることができる。
次に、このように構成されるエイミングターゲット制御装置100又はサービスエイミング調整装置120を用いたナイトビジョンシステム10のエイミングについて説明する。
エイミングには、製作所内でエイミングターゲット制御装置100を用いる製作所エイミングモードと、サービスエイミング調整装置120を用いるサービスエイミングモードとがある。
製作所エイミングモードでは、位置決め装置102により車両12の位置決めを行うとともに、主制御装置106を車両12の接続部32に接続しておく。主制御装置106は、ECU14に対して、エイミングターゲット制御装置100を用いた製作所エイミングを実行するように指示を送出する。また、エイミングターゲット112a〜112hは、車両12の種類に応じて赤外線カメラ16R及び16Lと同じ高さとなるように調整されている。
サービスエイミングモードでは、位置マーク122に各車輪を合わせて車両12を位置決めし、主制御装置126を車両12の接続部32に接続しておく。主制御装置126は、ECU14に対して、サービスエイミング調整装置120を用いたサービスエイミングを実行するように指示を送出する。エイミングターゲット134a〜134cは、規定高さとなるように調整されている。
図5〜図9に示す処理は、ECU14において主にエイミングモード実行部48で実行される処理である。
先ず、図5のステップS1において、赤外線カメラ16R、16Lからステレオ赤外線画像を入力し、画像入力部40においてA/D変換してグレースケール画像を得る(ステップS2)。このグレースケール画像は、画像記憶部44に記憶される。また、グレースケール画像は、二値化処理部42で二値化されて画像記憶部44に記憶される。
ステップS3において、モード選択部52は、主制御装置106又は126からの指示に従い、エイミングモード又は通常モードのいずれを実行するのかを判断する。通常モードを実行する場合にはステップS5へ移り、エイミングモードを実行する場合にはステップS4へ移る。
ステップS5の通常モードでは、通常モード実行部50の作用下に、カメラパラメータ記憶部46に記憶されたカメラパラメータを参照し、後述するようにHUD18及びスピーカ20を制御して対象物の探索及び必要に応じた注意喚起を行う通常のモードを実行し、この後、ステップS1へ戻る。
ステップS4においては、モード選択部52がエイミングターゲット制御装置100又はサービスエイミング調整装置120のいずれの装置を用いるのかを判断し、エイミングターゲット制御装置100を用いると判断した場合には、ステップS6へ移り、製作所モード部70の作用下に製作所エイミングモードを実行する。また、サービスエイミング調整装置120を用いると判断した場合には、ステップS30(図7参照)へ移り、サービスモード部72の作用下にサービスエイミングモードを実行する。以下、製作所エイミングモード及びサービスエイミングモードを順に説明する。
製作所エイミングモードでは、先ず、ステップS6において、赤外線カメラ16R、16Lからエイミングターゲット板110までの距離Znを設定する。この場合、距離Znは固定値である。
ステップS7において、テンプレート設定部94の作用下に、距離Znに配置されたエイミングターゲット112に対応した1つの基準テンプレートをテンプレートTP1〜TP6から選択する。
ステップS8においては、近距離に配設されたエイミングターゲット112までの距離に対応した透視変換モデルを用いてエイミングターゲット112の位置を算出するため、この透視変換モデルに適応した赤外線カメラ16R、16Lの結像距離(焦点距離)を設定する。
ステップS9において、前記ステップS7で選択したテンプレートTPに基づいてテンプレートマッチング処理を行う。すなわち、赤外線カメラ16R、16Lにより撮像されたエイミングターゲット112のグレースケール画像と、テンプレートTPとの相関演算を行い、相関演算の結果が最小となるグレースケール画像の座標を算出して記憶する(ステップS10)。
ステップS11では、取得したグレースケール画像が所定枚数Nに達したか否かを確認し、N枚に達した場合には、ステップS12へ移り、N枚未満である場合には、ステップS1へ戻り、グレースケール画像の取得を継続してターゲット座標の算出記憶処理を繰り返す。
ステップS12において、算出されたN組のターゲット座標の平均値を算出する処理を行い、ターゲット座標が正常に算出された場合にはステップS14へ移り、算出されなかった場合にはステップS3へ戻るという分岐処理(ステップS13)を行う。
ステップS14において、輝度調整LUTの設定処理を行う。この処理では、相関演算によるテンプレートマッチングを確実に実行できるよう、例えば、赤外線カメラ16R及び16Lにより検出されたエイミングターゲット112の輝度信号同士のレベルを比較し、各輝度レベルにおいて、相関演算の基準とする赤外線カメラ16Rからの輝度信号が赤外線カメラ16Lからの輝度信号よりも常に大きくなるように調整する輝度調整LUTを設定する。該輝度調整LUT設定処理が正常に実行された場合にはステップS16へ移る(ステップS15)。
ステップS16において、赤外線カメラ16R、16Lの焦点距離、画素ピッチ等の個体差に起因して発生する映像歪みを補正する映像歪補正値の算出処理を行う。映像歪補正値が正常に算出された場合にはステップS18へ移る(ステップS17)。
ステップS18において、左右カメラ取り付け角であるパン角及びピッチ角の算出処理を行い、左右カメラ取り付け角が正常に算出された場合にはステップS20へ移る(ステップS19)。
ステップS20において、赤外線カメラ16R、16Lにより撮像された各画像から画像処理に用いられる範囲を切り出す基準とする切り出し座標の算出処理を行い、切り出し座標が正常に算出された場合にはステップS22へ移る(ステップS21)。
ステップS22において、赤外線カメラ16R、16Lの光軸が平行に設定されていないことに起因する対象物画像の視差に含まれる誤差である視差オフセット値の算出処理を行う。視差オフセットが正常に算出された場合にはステップS24へ移る(ステップS23)。なお、視差オフセット値の算出処理の詳細については、後述する。
ステップS24において、ステップS14、S16、S18、S20及びS22での処理で求められた輝度調整LUT、映像歪補正値、パン角及びピッチ角、切り出し座標、視差オフセット値をカメラパラメータ記憶部46に記憶し、これらのカメラパラメータが正しく記憶された場合には製作所エイミングの処理を終了する。このとき、ECU14は主制御装置106に対して製作所エイミングが終了した旨の信号を送出する。この後に通常モードを実行する場合には所定の再起動処理を行えばよい。なお、ステップS17、S19、S21、S23及びS25における各分岐処理において判定結果が否定的であった場合には、ステップS13の分岐処理における否定的な結果時と同様にステップS3へ戻ることになる。
次に、サービスエイミングモードの処理について説明する。サービスエイミングモードにおいては、前記の製作所エイミングと同様にステップS1〜S3の処理(図5参照)が実行され、次のステップS4からステップS30へ分岐処理が行われ、サービスモード部72の作用下に図7〜図9に示す処理が実行される。
図7のステップS30において、赤外線カメラ16R、16Lからターゲット板132までの距離を設定する。この場合、ターゲット板132までの距離は、サービスエイミングを行う作業所に設置されたエイミングターゲット134の位置によって決定される。この距離は、主制御装置126から入力され、ECU14に供給される。
ステップS31において、赤外線カメラ16R、16Lの高さH(図1参照)を確認して入力する。
ステップS32において、テンプレート設定部94の作用下に、ステップS30で設定したエイミングターゲット134までの距離に対応したテンプレートTP1〜TP6のうちの1つを選択する。
ステップS33においては、ステップS8と同様に、エイミングターゲット134までの距離に対応した透視変換モデルに適応した結像距離が設定される。
ステップS34において、ターゲット板132の位置確認が行われる。つまり、サービスエイミングモードでは、ターゲット板132を中心位置PC、左位置PL及び右位置PR(図4参照)の順に配置してエイミングを行うため、ステップS34が最初に実行されたときには、主制御装置126に対してターゲット板132を中心位置PCに設定するように確認指示の信号を送出する。この信号を受けた主制御装置126では、モニタ画面上に「ターゲットを中心位置PCに配置して、『Y』キーを押してください。」等のメッセージを表示する。調整員はこのメッセージに応じてヘッドライトテスタ124を手動又は所定の駆動装置によってレール128に沿って移動させ、ターゲット板132を中心位置PCに配置する。
ステップS35においては、その時点のターゲット板132の位置に応じて分岐処理が行われる。つまり、ターゲット板132が中心位置PCに配置されているとき(初回〜30回目)にはステップS36へ移り、左位置PLに配置されているとき(31回目〜60回目)にはステップS41へ移り、右位置PRに配置されているとき(61回目以降)にはステップS46へ移る。
ステップS36においては、ステップS9と同様に、テンプレートマッチング処理を行う。
ステップS37においては、ステップS10と同様に、エイミングターゲット134のターゲット座標を算出して記憶する。
ステップS38においては、ステップS11と同様に、取得したグレースケール画像の枚数を確認し、N枚以上である場合にはステップS39へ移り、N枚未満である場合にはステップS1へ戻る。なお、2回目以降は、ステップS3〜S8及びS30〜S35の処理をスキップする。
ステップS39においては、中心位置PCについて、ステップS12と同様に、ターゲット座標の平均値算出処理を行い、ターゲット座標が正常に算出された場合にはステップS1へ移り、算出されなかった場合にはステップS3へ戻るという分岐処理(ステップS40)を行う。
同様にして、ターゲット板132を左位置PLに配置し、図8に示すステップS41〜S45が実行される。
また、ターゲット板132を右位置PRに配置し、図9に示すステップS46〜S50が実行される。
最後のステップS50において、ターゲット座標が正常に算出されたと判断されたときには、ステップS14(図6参照)へ移り、それ以降は製作所エイミングモードと同様の処理が行われ、各カメラパラメータがカメラパラメータ記憶部46に記憶される。
次に、ステップS22における視差オフセット値(視差補正値)の算出処理につき、図10及び図11を用いて詳細に説明する。なお、視差オフセット値とは、赤外線カメラ16Rの光軸と赤外線カメラ16Lの光軸とが正確に平行状態に設定され、これらの赤外線カメラ16R、赤外線カメラ16L間の相対パン角θが0の場合に同一の対象物を撮像して得られる視差dnに対して、相対パン角θが0でない場合に得られる視差の誤差である。以下、この誤差を視差オフセット値αとする。
先ず、赤外線カメラ16R、16Lに対して、2つのエイミングターゲットT1、T2(第1対象物、第2対象物)を図10に示す位置関係に配設する。この場合、エイミングターゲットT1、T2は、赤外線カメラ16R、16Lから既知の距離Zn(第2距離)にあり、エイミングターゲットT1、T2間の距離D(第1距離)は、赤外線カメラ16R、16L間の基線長Bに対してD≦Bの関係にある。なお、D=Bとなる場合のエイミングターゲットT1、T2としては、例えば、図3に示すエイミングターゲット112d及び112eを利用することができる。
赤外線カメラ16RによりエイミングターゲットT1を撮像し、赤外線カメラ16LによりエイミングターゲットT2を撮像するものとし、これらのエイミングターゲットT1、T2が同一物であると仮定すると、赤外線カメラ16R、16Lから距離Zの位置に1つのエイミングターゲットT0を配設した場合と等価になる。この場合、距離Zは、
Z=B/(B−D)・Zn …(2)
である。
赤外線カメラ16R、16L間の相対パン角θを0゜と仮定した理想状態において、エイミングターゲットT1、T2を各赤外線カメラ16R、16Lで撮像して得られる画像間の基準仮想視差dnは、(1)式及び(2)式を用いて算出することができ、
dn=f/p・(B−D)/Zn …(3)
となる。
一方、相対パン角θが0゜でない任意の場合において、エイミングターゲットT1、T2を赤外線カメラ16R、16Lにより撮像し、赤外線カメラ16Rにより撮像された基準画像146のターゲット画像T1*と、赤外線カメラ16Lにより撮像された探索画像152のターゲット画像T2*との間の基線長方向の仮想視差(dn+α)を算出する。αは0゜でない相対パン角に起因する視差オフセット値である。そして、算出した仮想視差(dn+α)と(3)式で求めた基準仮想視差dnとの差分から、相対パン角θに起因する視差オフセット値αが求められる。算出された視差オフセット値αは、視差補正値としてカメラパラメータ記憶部46に記憶される。
なお、仮想視差又は基準仮想視差は、異なる赤外線カメラ16R、16Lにより異なるエイミングターゲットT1、T2を撮像して得られるエイミングターゲットT1、T2の画像上での距離を表し、異なる赤外線カメラ16R、16Lにより同一の対象物を撮像して得られる画像上での視差と区別する。
ここで、上述した視差オフセット値αの算出処理では、各エイミングターゲットT1、T2を赤外線カメラ16R、16Lから同一の距離Znに配設しているが、図12に示すように、各エイミングターゲットT1、T2を赤外線カメラ16R、16LとエイミングターゲットT0とを結ぶ直線上の任意の位置に配設し、同様にして視差オフセット値αを算出することができる。
すなわち、赤外線カメラ16R、16Lを結ぶラインからエイミングターゲットT1までの距離Z1、前記ラインからエイミングターゲットT2までの距離Z2、エイミングターゲットT1、T2間の赤外線カメラ16R、16Lの配列方向成分である距離D、基準とする撮像手段である一方の赤外線カメラ16Rの光軸からエイミングターゲットT1までの距離X1が分かれば、エイミングターゲットT0までの距離Zは、
Z=B・Z1・Z2/(Z1・(B+X1−D)−X1・Z1)…(4)
として求めることができる。そして、算出した距離Zと(1)式とを用いて基準仮想視差dnを算出し、この基準仮想視差dnと、撮像した画像から得た仮想視差(dn+α)との差分として視差オフセット値αを算出することができる。
なお、基準とする撮像手段を赤外線カメラ16Lとし、赤外線カメラ16Lの光軸からエイミングターゲットT2までの距離を用いて距離Zを算出し、視差オフセット値αを算出してもよい。
さらに、距離Z1、Z2、D、X1を与える代わりに、特定点であるエイミングターゲットT0の赤外線カメラ16R、16Lに対する位置情報のみを予め与えておき、エイミングターゲットT0と各赤外線カメラ16R、16Lとを結ぶ直線上の任意の位置に各エイミングターゲットT1、T2を配置することにより、前記位置情報を用いて基準仮想視差dnを算出することができる。
例えば、前記位置情報から、エイミングターゲットT0と赤外線カメラ16R、16Lとを結ぶ直線の式を算出し、これらの直線と赤外線カメラ16R、16Lを結ぶラインに平行な任意の直線との交点の位置を算出することにより、図10に示すように、エイミングターゲットT1及びT2が前記各交点に配置されている場合と同等の状況を設定することができる。そして、各交点間の距離D、各交点と赤外線カメラ16R、16Lとの距離Znを算出し、(3)式から基準仮想視差dnを算出することができる。
さらにまた、特定点であるエイミングターゲットT0の赤外線カメラ16R、16Lに対する位置情報が予め与えられていることから、その位置情報である距離Zを用いて、(1)式から直接基準仮想視差dnを算出することもできる。そして、この基準仮想視差dnと、撮像した画像から得た仮想視差(dn+α)との差分として視差オフセット値αを算出することができる。
また、エイミングターゲットT1、T2間の距離Dを基線長Bに等しく設定した場合、(2)式においてエイミングターゲットT0までの距離が無限大となるため、無限遠に配設されたエイミングターゲットT0を用いて視差オフセット値αを一層高精度に算出することができる。この場合、基準仮想視差dn=0であり、ターゲット画像T1*、T2*間の仮想視差がそのまま視差オフセット値αとして求まる。しかも、赤外線カメラ16R、16Lを結ぶラインからそれぞれのエイミングターゲットT1、T2までの距離Znも任意である。従って、エイミングターゲットT1、T2間の前記ラインの方向に対する距離Dを基線長Bに一致するように調整することにより、距離Znのデータを用いることなく視差オフセット値αを得ることができる。
次に、視差オフセット値αの算出処理の他の実施形態を図13及び図14を用いて説明する。
この場合、赤外線カメラ16R、16Lから距離Znの位置にエイミングターゲットT2を配設し、赤外線カメラ16R、16Lから距離(Zn−E)の位置にエイミングターゲットT1を配設する。
エイミングターゲットT1、T2を前記の状態に配設した後、赤外線カメラ16R、16Lにより2つのエイミングターゲットT1、T2をそれぞれ撮像し、基準画像146及び探索画像152における各ターゲット画像T1*間の第1視差dn1と各ターゲット画像T2*間の第2視差dn2を算出する。
この場合、(1)式を用いて、エイミングターゲットT1に対して、
Zn−E=f/p・B/(dn1−α) …(5)
の関係が得られ、エイミングターゲットT2に対して、
Zn=f/p・B/(dn2−α) …(6)
の関係が得られる。そして、(5)式及び(6)式から、視差オフセット値αを、
α=dn2−f/p・B/Zn …(7)
として算出することができる。また、赤外線カメラ16R、16LからエイミングターゲットT2までの距離Znは、
Zn=β・E−√((β・E)2−4・β・E)/(2・β) …(8)
(但し、β=(dn2−dn1)/(f/p・B))
として算出される。従って、視差オフセット値αは、(7)、(8)式からエイミングターゲットT1、T2間の距離Eを与えるだけで算出することができる。
なお、エイミングターゲットT1、T2は、必ずしも赤外線カメラ16R、16Lを結ぶラインと直交する直線上に配列されている必要はなく、前記直線上にエイミングターゲットT1、T2を配列した場合における距離Eさえ分かれば、エイミングターゲットT1、T2を任意の位置に配設して視差オフセット値αを算出することができる。
このようにして算出された赤外線カメラ16R、16Lの光軸間の相対パン角に起因する視差オフセット値αである視差補正値は、カメラパラメータとしてカメラパラメータ記憶部46に記憶される。なお、同様にして、ターゲット画像T1*、T2*の鉛直方向に対する視差から光軸間の相対ピッチ角に起因する視差オフセット値を算出し、カメラパラメータとしてカメラパラメータ記憶部46に記憶させる。
以上のようにして、エイミングモードにより各カメラパラメータが設定された後、このカメラパラメータを用いて通常モードでの処理が行われる。
そこで、通常モードでの対象物の探索処理及び必要に応じた注意喚起処理につき、図15に示すフローチャートに従って説明する。
赤外線カメラ16Rにより車両12の前方を基準画像として撮像するとともに、赤外線カメラ16Lにより車両12の前方を探索画像として撮像し、各画像をグレースケール画像として画像記憶部44に記憶させるとともに、二値化処理部42により赤外線カメラ16Rからの画像を二値化画像として画像記憶部44に記憶させる(ステップS101、102)。
通常モード実行部50は、赤外線カメラ16Rにより撮像した基準画像の二値化画像から対象物を抽出する(ステップS103)。次いで、基準画像の対象物に対応する探索画像の対象物を、グレースケール画像同士の相関演算によって探索し、探索された対象物間の画像上での視差を算出して対象物までの距離を求める(ステップS104)。
この場合、相関演算に先立ち、カメラパラメータである輝度調整LUTを用いて、赤外線カメラ16Rにより撮像して得られた基準画像の輝度信号が赤外線カメラ16Lにより撮像して得られた探索画像の輝度信号より大きくなるように調整され、調整された各グレースケール画像により相関演算が行われて対象物が確実に探索される。また、基準画像146及び探索画像152における対象物の座標は、カメラパラメータである映像歪み係数によって補正され、探索された対象物間の視差が、相対パン角に起因するカメラパラメータである視差オフセット値αにより高精度に補正され、対象物までの距離も高精度に算出される。
次いで、基準画像における対象物の二次元座標をステップS18で算出した赤外線カメラ16R、16Lの絶対パン角、絶対ピッチ角により補正し、ステップS104で算出した距離を含む対象物の実空間における三次元座標である相対位置を算出する(ステップS105)。
ステップS105における対象物の実空間三次元座標は、微小時間間隔で繰り返し算出され、対象物の移動ベクトルが算出される(ステップS106)。この移動ベクトルを用いて、対象物から道路構造物や車両を除外する処理を行い(ステップS107)、残余の対象物の形状から歩行者の有無を判定する(ステップS108)。
ステップS108において、歩行者有りとの判定がなされた場合、赤外線カメラ16Rにより撮像された基準画像をHUD18に表示させるとともに、歩行者の画像を強調枠で囲み(ステップS109)、且つ、スピーカ20を鳴動させてドライバに注意喚起を行う(ステップS110)。
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
本発明の位置検出装置及びその補正方法が適用されるナイトビジョンシステムの構成図である。 図1に示すナイトビジョンシステムを構成するECUの機能構成ブロック図である。 製作所に設置されるエイミングターゲット制御装置の構成図である。 サービス工場等に設置されるサービスエイミング調整装置の構成図である。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 エイミング処理のフローチャートである。 視差オフセット値の算出処理を行う際の赤外線カメラとエイミングターゲットとの配置関係説明図である。 図10に示す配置関係において得られた基準画像及び探索画像の説明図である。 図10に示す配置関係の変形例の説明図である。 視差オフセット値の算出処理を行う他の実施形態での赤外線カメラとエイミングターゲットとの配置関係説明図である。 図13に示す配置関係において得られた基準画像及び探索画像の説明図である。 通常モードでの対象物探索処理のフローチャートである。
符号の説明
10…ナイトビジョンシステム 12…車両
14…ECU 16R、16L…赤外線カメラ
18…HUD 20…スピーカ
46…カメラパラメータ記憶部 48…エイミングモード実行部
50…通常モード実行部 52…モード選択部
70…製作所モード部 72…サービスモード部
74…パラメータ入力部 76…初期設定部
78…テンプレートマッチング部 80…輝度調整LUT設定部
82…左右カメラ映像歪補正部 84…左右カメラ取付角算出部
86…左右カメラ映像切出座標算出部 88…視差オフセット値算出部
100…エイミングターゲット制御装置 120…サービスエイミング調整装置

Claims (11)

  1. 2台の撮像手段により対象物を撮像し、前記対象物の実空間位置を検出する位置検出装置において、
    第1撮像手段及び第2撮像手段の配列方向に所定距離離間させて第1対象物及び第2対象物を配設し、前記第1撮像手段により撮像した前記第1対象物と、前記第2撮像手段により撮像した前記第2対象物との画像上での距離を仮想視差として算出する仮想視差算出手段と、
    前記第1撮像手段の光軸と前記第2撮像手段の光軸とが平行であるとした場合における前記第1対象物と前記第2対象物との画像上での距離を基準仮想視差とし、前記仮想視差と前記基準仮想視差との差分を視差補正値として算出する視差補正値算出手段と、
    を備え、前記第1撮像手段及び前記第2撮像手段により撮像された同一の対象物の画像の視差を前記視差補正値により補正することを特徴とする位置検出装置。
  2. 請求項1記載の位置検出装置において、
    前記第1対象物と前記第2対象物との間の前記所定距離を、前記第1撮像手段と前記第2撮像手段との間の基線長に等しく設定し、前記視差補正値算出手段は、前記仮想視差を前記視差補正値として算出することを特徴とする位置検出装置。
  3. 請求項1記載の位置検出装置において、
    前記第1対象物は、実空間上の予め規定された特定点と前記第1撮像手段とを結ぶ直線上に配設され、前記第2対象物は、前記特定点と前記第2撮像手段とを結ぶ直線上に配設され、
    前記視差補正値算出手段は、前記第1撮像手段と前記第2撮像手段間の基線の長さ(基線長)、前記第1対象物及び前記第2対象物間の前記基線に沿った方向の距離、前記基線と前記第1対象物との距離、前記基線と前記第2対象物との距離、前記第1撮像手段の光軸から前記第1対象物までの距離に基づいて、前記基準仮想視差dnを算出することを特徴とする位置検出装置。
  4. 請求項1記載の位置検出装置において、
    前記第1撮像手段と前記第2撮像手段とを結ぶ基線と前記第1対象物との距離と、前記基線と前記第2対象物との距離とが同一であることを特徴とする位置検出装置。
  5. 請求項4記載の位置検出装置において、
    前記視差補正値算出手段は、
    前記第1撮像手段及び前記第2撮像手段の焦点距離をf、画素ピッチをp、前記第1撮像手段と前記第2撮像手段との間の基線長をB、前記第1対象物及び前記第2対象物を前記第1撮像手段及び前記第2撮像手段の配列方向に配列した場合における前記第1対象物及び前記第2対象物間の距離をD、前記基線と前記第1対象物及び前記第2対象物との距離をZnとしたとき、下記式に基づいて、前記基準仮想視差dnを算出することを特徴とする位置検出装置。
    dn=f/p・(B−D)/Zn
  6. 請求項1記載の位置検出装置において、
    前記第1撮像手段と前記第2撮像手段とを結ぶ基線と前記第1対象物との距離と、前記基線と前記第2対象物との距離とが異なることを特徴とする位置検出装置。
  7. 2台の撮像手段により対象物を撮像し、前記対象物の実空間位置を検出する位置検出装置において、
    第1撮像手段及び第2撮像手段の配列方向と直交する方向に配列され、且つ、前記第1撮像手段と前記第2撮像手段とを結ぶ基線からの距離がそれぞれ異なる位置に配設された第1対象物及び第2対象物と、
    前記第1撮像手段により撮像した前記第1対象物の画像と、前記第2撮像手段により撮像した前記第1対象物の画像との視差を第1視差として算出する第1視差算出手段と、
    前記第1撮像手段により撮像した前記第2対象物の画像と、前記第2撮像手段により撮像した前記第2対象物の画像との視差を第2視差として算出する第2視差算出手段と、
    前記第1視差と、前記第2視差と、前記第1対象物及び前記第2対象物間の距離とに基づいて視差補正値を算出する視差補正値算出手段と、
    前記第1撮像手段及び前記第2撮像手段により撮像された同一の対象物の画像の視差を前記視差補正値により補正する手段とを有し、
    前記視差補正値算出手段は、前記第1撮像手段及び前記第2撮像手段の焦点距離をf、画素ピッチをp、前記第1撮像手段と前記第2撮像手段との間の基線長をB、前記第1視差をdn1、前記第2視差をdn2、前記第1対象物及び前記第2対象物間の距離をE、前記基線と前記第2対象物との距離をZnとしたとき、下記式の関係から前記視差補正値αを算出することを特徴とする位置検出装置。
    Zn−E=f/p・B/(dn1−α)
    Zn=f/p・B/(dn2−α)
  8. 2台の撮像手段により対象物を撮像して前記対象物の実空間位置を検出する位置検出装置の補正方法であって、
    第1撮像手段及び第2撮像手段の配列方向に所定距離離間させて第1対象物及び第2対象物を配設するステップと、
    前記第1撮像手段により前記第1対象物を撮像し、前記第1対象物の画像を取得するステップと、
    前記第2撮像手段により前記第2対象物を撮像し、前記第2対象物の画像を取得するステップと、
    前記第1対象物及び前記第2対象物間の画像上での距離を仮想視差として算出するステップと、
    前記第1撮像手段の光軸と前記第2撮像手段の光軸とが平行であるとした場合における前記第1対象物及び前記第2対象物間の画像上での距離を基準仮想視差とし、前記仮想視差と前記基準仮想視差との差分を視差補正値として算出するステップと、
    を有し、前記第1撮像手段及び前記第2撮像手段により任意の対象物を撮像して得られる画像の視差を前記視差補正値により補正することを特徴とする補正方法。
  9. 請求項8記載の補正方法において、
    前記第1撮像手段と前記第2撮像手段とを結ぶ基線の長さを基線長としたとき、
    前記基準仮想視差dnは、前記第1撮像手段及び前記第2撮像手段の焦点距離f、画素ピッチp、前記基線長B、前記第1対象物及び前記第2対象物間の前記基線に沿った距離D、前記基線と前記第1対象物及び前記第2対象物との距離Znを用いて、
    dn=f/p・(B−D)/Zn
    として算出することを特徴とする補正方法。
  10. 請求項8記載の補正方法において、
    前記第1対象物を、実空間上の予め規定された特定点と前記第1撮像手段とを結ぶ直線上に配設し、前記第2対象物を、前記特定点と前記第2撮像手段とを結ぶ直線上に配設し、
    前記第1撮像手段と前記第2撮像手段との間の基線長、前記第1対象物及び前記第2対象物間の前記基線に沿った方向の距離、前記基線と前記第1対象物との距離、前記基線と前記第2対象物との距離、前記第1撮像手段の光軸から前記第1対象物までの距離に基づいて、前記基準仮想視差dnを算出することを特徴とする補正方法。
  11. 2台の撮像手段により対象物を撮像して前記対象物の実空間位置を検出する位置検出装置の補正方法であって、
    第1撮像手段及び第2撮像手段の配列方向と直交する方向であって、且つ、前記第1撮像手段と前記第2撮像手段とを結ぶ基線からの距離がそれぞれ異なる位置に第1対象物及び第2対象物を配設するステップと、
    前記第1撮像手段により前記第1対象物及び前記第2対象物を撮像し、前記第1対象物の画像及び前記第2対象物の画像を取得するステップと、
    前記第2撮像手段により前記第1対象物及び前記第2対象物を撮像し、前記第1対象物の画像及び前記第2対象物の画像を取得するステップと、
    前記第1撮像手段により撮像した前記第1対象物の画像と、前記第2撮像手段により撮像した前記第1対象物の画像との視差を第1視差として算出するステップと、
    前記第1撮像手段により撮像した前記第2対象物の画像と、前記第2撮像手段により撮像した前記第2対象物の画像との視差を第2視差として算出するステップと、
    前記第1視差と、前記第2視差と、前記第1対象物及び前記第2対象物間の距離とに基づいて視差補正値を算出するステップと、
    前記第1撮像手段及び前記第2撮像手段により撮像された同一の対象物の画像の視差を前記視差補正値により補正するステップとを有し、
    前記視差補正値を算出するステップは、前記第1撮像手段及び前記第2撮像手段の焦点距離をf、画素ピッチをp、前記第1撮像手段と前記第2撮像手段との間の基線長をB、前記第1視差をdn1、前記第2視差をdn2、前記第1対象物及び前記第2対象物間の距離をE、前記基線と前記第2対象物との距離をZnとしたとき、下記式の関係から前記視差補正値αを算出することを特徴とする補正方法。
    Zn−E=f/p・B/(dn1−α)
    Zn=f/p・B/(dn2−α)
JP2005318206A 2004-11-30 2005-11-01 位置検出装置及びその補正方法 Active JP4461091B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005318206A JP4461091B2 (ja) 2004-11-30 2005-11-01 位置検出装置及びその補正方法
US11/287,554 US7620237B2 (en) 2004-11-30 2005-11-23 Position detecting apparatus and method of correcting data therein

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004347679 2004-11-30
JP2005318206A JP4461091B2 (ja) 2004-11-30 2005-11-01 位置検出装置及びその補正方法

Publications (2)

Publication Number Publication Date
JP2006184274A JP2006184274A (ja) 2006-07-13
JP4461091B2 true JP4461091B2 (ja) 2010-05-12

Family

ID=36566963

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005318206A Active JP4461091B2 (ja) 2004-11-30 2005-11-01 位置検出装置及びその補正方法

Country Status (2)

Country Link
US (1) US7620237B2 (ja)
JP (1) JP4461091B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4026641B2 (ja) * 2004-12-03 2007-12-26 日産自動車株式会社 物体検出装置、および物体検出方法
JP5022609B2 (ja) * 2006-02-27 2012-09-12 日立オートモティブシステムズ株式会社 撮像環境認識装置
JP2008160454A (ja) * 2006-12-22 2008-07-10 Sumitomo Electric Ind Ltd 遠赤外線撮像装置
KR100851018B1 (ko) * 2007-01-23 2008-08-12 국방과학연구소 두 조준경의 조준점 공간 동기화를 이용한 거리측정방법
JP5234894B2 (ja) * 2007-06-28 2013-07-10 富士重工業株式会社 ステレオ画像処理装置
US7809258B2 (en) * 2007-07-06 2010-10-05 Flir Systems Ab Camera and method for use with camera
CN101842262A (zh) * 2007-11-05 2010-09-22 沃尔沃拉斯特瓦格纳公司 基于车辆的夜视装置及其操作方法
JP4874280B2 (ja) * 2008-03-19 2012-02-15 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5222597B2 (ja) * 2008-03-19 2013-06-26 三洋電機株式会社 画像処理装置及び方法、運転支援システム、車両
JP5052463B2 (ja) * 2008-09-10 2012-10-17 日立建機株式会社 作業機械のステレオ画像処理装置
JP5292364B2 (ja) * 2010-07-07 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP2012103109A (ja) * 2010-11-10 2012-05-31 Panasonic Corp ステレオ画像処理装置、ステレオ画像処理方法及びプログラム
US9013620B2 (en) * 2011-04-20 2015-04-21 Trw Automotive U.S. Llc Multiple band imager and method
US9633186B2 (en) * 2012-04-23 2017-04-25 Apple Inc. Systems and methods for controlling output of content based on human recognition data detection
JP6427984B2 (ja) * 2013-06-27 2018-11-28 株式会社リコー 測距装置、車両、測距装置の校正方法
JP6413595B2 (ja) * 2013-12-19 2018-10-31 株式会社リコー 画像処理装置、システム、画像処理方法およびプログラム
JP5942979B2 (ja) * 2013-12-27 2016-06-29 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法
US9560260B2 (en) * 2014-10-02 2017-01-31 Sensors Unlimited, Inc. System for determining a lens position
EP3330664B1 (en) * 2015-07-29 2021-01-27 KYOCERA Corporation Parallax calculating device, stereo camera device, vehicle, and parallax calculating method
CN106170086B (zh) * 2016-08-19 2019-03-15 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、系统
JP6920159B2 (ja) * 2017-09-29 2021-08-18 株式会社デンソー 車両の周辺監視装置と周辺監視方法
CN111256744B (zh) * 2020-02-27 2021-06-29 苏州海之博电子科技有限公司 一种线性输出位置传感器标定方法

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01273113A (ja) 1988-04-25 1989-11-01 Mazda Motor Corp 移動車の画像処理装置
JP3227870B2 (ja) 1993-02-24 2001-11-12 いすゞ自動車株式会社 車線逸脱警報装置の調整方法
JP3237414B2 (ja) 1994-09-19 2001-12-10 株式会社明電舎 ステレオカメラ校正装置
JPH08210816A (ja) 1995-02-03 1996-08-20 Fanuc Ltd ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP3653783B2 (ja) 1995-04-03 2005-06-02 スズキ株式会社 車載用画像処理装置及び画像表示システム
JPH08293029A (ja) 1995-04-20 1996-11-05 Kobe Steel Ltd 箱状物体の積重ね状態認識装置
JPH10115518A (ja) 1996-10-09 1998-05-06 Omron Corp 距離測定装置およびその装置が用いられた車両
KR0183299B1 (ko) * 1996-11-04 1999-04-15 삼성전자주식회사 자동차의 주변사항을 알려주는 네비게이션 장치 및 그 제어방법
JP3223863B2 (ja) 1997-01-09 2001-10-29 富士電機株式会社 測距装置
JP3436074B2 (ja) 1997-06-10 2003-08-11 トヨタ自動車株式会社 車載ステレオカメラ
JP3833786B2 (ja) 1997-08-04 2006-10-18 富士重工業株式会社 移動体の3次元自己位置認識装置
JP3880702B2 (ja) 1997-09-11 2007-02-14 富士重工業株式会社 画像のオプティカルフロー検出装置及び移動体の自己位置認識システム
FR2770317B1 (fr) 1997-10-24 2000-12-08 Commissariat Energie Atomique Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes
JP4172554B2 (ja) * 1998-03-12 2008-10-29 富士重工業株式会社 ステレオカメラの調整装置
JP3284190B2 (ja) 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
JP2000003448A (ja) 1998-06-16 2000-01-07 Sony Corp 輝度値補正回路及び方法並びに距離画像生成装置
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
JP4028135B2 (ja) * 1999-05-27 2007-12-26 本田技研工業株式会社 物体検出装置
JP3515926B2 (ja) 1999-06-23 2004-04-05 本田技研工業株式会社 車両の周辺監視装置
US6531959B1 (en) 1999-07-13 2003-03-11 Honda Giken Kogyo Kabushiki Kaisha Position detecting device
JP3565749B2 (ja) 1999-09-22 2004-09-15 富士重工業株式会社 車載カメラの撮像方向の検査方法およびその検査装置
JP3479006B2 (ja) * 1999-09-22 2003-12-15 富士重工業株式会社 車載カメラの検査方法ならびに装置
JP3760068B2 (ja) 1999-12-02 2006-03-29 本田技研工業株式会社 画像認識装置
JP3822770B2 (ja) * 1999-12-10 2006-09-20 三菱電機株式会社 車両用前方監視装置
JP2001211449A (ja) 2000-01-27 2001-08-03 Honda Motor Co Ltd 車両用画像認識装置
JP3666348B2 (ja) 2000-03-27 2005-06-29 豊田工機株式会社 距離認識装置
JP2001289654A (ja) 2000-04-11 2001-10-19 Equos Research Co Ltd ナビゲーション装置、ナビゲーション装置の制御方法、及びそのプログラムを記録した記録媒体
JP3729025B2 (ja) 2000-06-09 2005-12-21 日産自動車株式会社 歩行者検知装置
JP3808287B2 (ja) 2000-06-27 2006-08-09 本田技研工業株式会社 位置検出装置
JP3897956B2 (ja) 2000-06-27 2007-03-28 本田技研工業株式会社 位置検出装置
JP3569684B2 (ja) 2001-02-26 2004-09-22 本田技研工業株式会社 車両用走行制御装置
JP2002290234A (ja) 2001-03-28 2002-10-04 Hitachi Kokusai Electric Inc Pll回路
JP4615139B2 (ja) 2001-03-30 2011-01-19 本田技研工業株式会社 車両の周辺監視装置
JP2003016429A (ja) 2001-06-28 2003-01-17 Honda Motor Co Ltd 車両周辺監視装置
JP3764086B2 (ja) 2001-10-29 2006-04-05 本田技研工業株式会社 車両用情報提供装置
JP2003141520A (ja) 2001-10-31 2003-05-16 Fuji Xerox Co Ltd 画像読取装置、画像検査装置、およびプログラム
JP2003208601A (ja) * 2002-01-15 2003-07-25 Nec Corp 3次元物体撮影装置、3次元形状モデル生成装置、3次元形状モデル生成方法、3次元形状モデル生成プログラム
JP4104867B2 (ja) 2002-01-18 2008-06-18 本田技研工業株式会社 ナイトビジョンシステム
DE10301468B4 (de) 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
JP3756452B2 (ja) 2002-01-18 2006-03-15 本田技研工業株式会社 赤外線画像処理装置
JP3983573B2 (ja) * 2002-03-06 2007-09-26 富士重工業株式会社 ステレオ画像特性検査システム
EP1398601A3 (en) * 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
JP3902109B2 (ja) 2002-10-02 2007-04-04 本田技研工業株式会社 赤外線カメラ特性確認治具
JP4109077B2 (ja) 2002-10-11 2008-06-25 敬二 実吉 ステレオカメラの調整装置およびステレオカメラの調整方法
JP4044454B2 (ja) 2003-02-07 2008-02-06 独立行政法人科学技術振興機構 ズームによる位置計測方法
JP3987048B2 (ja) 2003-03-20 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP3987013B2 (ja) 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP3987057B2 (ja) 2004-06-14 2007-10-03 本田技研工業株式会社 車両周辺監視装置
JP3934119B2 (ja) 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置

Also Published As

Publication number Publication date
JP2006184274A (ja) 2006-07-13
US20060114320A1 (en) 2006-06-01
US7620237B2 (en) 2009-11-17

Similar Documents

Publication Publication Date Title
JP4461091B2 (ja) 位置検出装置及びその補正方法
US7599521B2 (en) Vehicle vicinity monitoring apparatus
US7616806B2 (en) Position detecting apparatus and method of correcting data therein
JP4861034B2 (ja) 車載カメラのキャリブレーションシステム
EP3113146B1 (en) Location computation device and location computation method
WO2016056197A1 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
US7590263B2 (en) Vehicle vicinity monitoring apparatus
WO2013035353A1 (ja) 画像処理装置及び画像処理方法
JP2002074339A (ja) 車載撮像装置
EP3113147B1 (en) Self-location calculating device and self-location calculating method
JP6032034B2 (ja) 物体検知装置
US7567688B2 (en) Apparatus for and method of extracting image
WO2015125297A1 (ja) 自己位置算出装置及び自己位置算出方法
JP4523445B2 (ja) 通信車両表示装置
JP2016001378A (ja) 車載カメラの校正装置
JP2010218058A (ja) 運転支援装置及び運転支援方法
JP2013107439A (ja) 車載カメラのキャリブレーション装置
JP4867035B2 (ja) 画像処理装置、画像処理用プログラム、画像処理方法
JP4105146B2 (ja) エイミング装置
JP4032053B2 (ja) 車両周辺監視装置
KR101709009B1 (ko) 어라운드 뷰 왜곡 보정 시스템 및 방법
JP4125280B2 (ja) 周辺監視装置
WO2011090053A1 (ja) 障害物検知警報装置
JP6020736B2 (ja) 予測進路提示装置及び予測進路提示方法
JP6459701B2 (ja) 自己位置算出装置及び自己位置算出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100215

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4461091

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250