JP3436074B2

JP3436074B2 - 車載ステレオカメラ

Info

Publication number: JP3436074B2
Application number: JP15217497A
Authority: JP
Inventors: 賢一村田; 徹伊藤
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 1997-06-10
Filing date: 1997-06-10
Publication date: 2003-08-11
Anticipated expiration: 2017-06-10
Also published as: JPH10341458A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、車両に搭載された
ステレオカメラの設置方向についてのカメラ校正を行う
方法に関し、特に、走行中に設置方向ずれを検出する方
法に関する。また、本発明は、カメラの設置方向ずれを
校正する機能を有する車載ステレオカメラに関する。

【０００２】

【従来の技術】ステレオカメラは、互いに離れた複数の
位置で同一被写体を撮影するカメラである。ステレオカ
メラとしては、所定距離を隔てて設けられた複数のカメ
ラを有するものや、一つのカメラ内に複数の光学系を備
えたものがある。以下では、前者の複数カメラを備える
タイプについて中心に説明するが、その他のタイプの場
合も同様に本発明が適用される。

【０００３】ステレオカメラで得られた画像を基に、被
写体の立体視や、被写体までの距離測定（測距）ができ
る。そこで、ステレオカメラを車両に搭載し、各種の用
途に用いることが考えられる。例えば、前方を走行する
車両を検出し、この前方車両に追従する自動走行制御を
行うために、車載ステレオカメラを利用することが提案
されている。

【０００４】ステレオカメラを用いる場合、予めキャリ
ブレーション（校正）を行い、焦点距離、光軸の向きな
どのカメラ内部パラメータや、カメラ同士の位置関係を
正確に獲得しておく必要がある。しかし、車両搭載用の
ステレオカメラは、走行中に振動が加わるなど、過酷な
状況で使われる。そのため、走行中にカメラの位置関係
が変化し、位置関係のずれが距離測定誤差などの大きな
原因となる。そこで、車両の走行中にカメラの位置関係
の変化量を獲得し、自動的にキャリブレーションを行う
ことが望まれる。

【０００５】特開平８−２８５５３４号公報では、路上
の２本の横方向白線（高速道路に設けられた車間距離確
認用の白線）が撮影され、２本の白線間の距離がステレ
オ法を用いて測定される。上記の白線の距離は既知であ
る。そこで、この既知の距離と実測値とが比較される。
両者が一定値以上に異なることをもって、カメラの撮影
方向が異常であると判定され、異常を知らせる警報が発
せられる。

【０００６】

【発明が解決しようとする課題】上記公報では、カメラ
の撮影方向のずれを求める上で、間隔が既知の２つの白
線の存在が前提とされている。このような白線が道路上
に存在する場所はほとんどなく、実際のところ、高速道
路上に限られる。従って、撮影方向ずれの検出ができる
のも、高速道路を走行しているときだけである。

【０００７】ところで、ステレオカメラは、今後、一般
道路においても積極的に利用される見込みである。例え
ば、車両を目的地まで導くナビゲーションシステムにお
いて、案内の目印を探すためにステレオカメラを使用す
ることが考えられる。従って、高速道路のみではなく、
一般道路の任意の場所でキャリブレーションを実行可能
にすることが望まれる。

【０００８】また、車両の走行中に一回だけカメラの撮
影方向のずれ量を検出したのでは、その信頼性が高いと
は言い難い。そこで、撮影方向のずれ量を正確に検出す
るためには、複数回の測定を行うことが望まれる。しか
し、高速道路上であっても車間距離確認用の白線が設置
されているところは少なく、従来装置で複数回の測定を
行うことができる機会は少ない。そのため、撮影方向の
大きなずれは検出できても、小さなずれを検出すること
は難しい。また、撮影方向のずれ量を高精度で求めるこ
とも難しい。結果として、従来装置は、検出した異常を
警報するにとどまり、検出結果に基づいた調整までは行
わない。ユーザは、警報に対応して、その都度カメラの
ずれを直す処置を施さなくてはならない。

【０００９】さらに、上記のように、高速道路であって
も、車間距離確認用の白線が設置されているところは少
ない。また、高速道路の最高速度は一定ではなく、従っ
て、場所によって白線間の距離が異なる。従来技術を実
施する上では、これらの点に配慮したデータベースの構
築や活用が必要で、その分、処理が複雑になると考えら
れる。

【００１０】このように、従来技術では、走行中にカメ
ラの撮影方向ずれを検出できるものの、不利な点が多
い。その理由は、主として、間隔が既知の２つの白線の
存在を前提としていることにある。撮影方向のずれが検
出できるか否かが走行場所に依存し、上記のような特殊
な条件を満たすことが要求される。

【００１１】本発明は、上記の課題に鑑みてなされたも
のであり、その目的は、一般道などの任意の場所でカメ
ラ撮影方向のずれを検出することを可能とし、検出結果
に基づいたカメラ校正ができるようにすることにある。

【００１２】

【課題を解決するための手段】本発明の車載カメラは、
車両上の離れた位置で車外を撮影する複数の撮影手段を
備えており、走行路上の複数の校正用撮影地点における
撮影画像から、同一の静止特徴物を認識する認識手段
と、前記複数の校正用撮影地点におけるそれぞれの撮影
画像内での前記静止特徴物の位置と、校正用撮影地点間
の距離とを基に、前記複数の撮影手段間の撮影方向のず
れを求める撮影方向ずれ検出手段と、撮影方向ずれの検
出結果を基に、カメラ校正を行う校正手段とを含む。こ
こで、カメラ校正では、撮影方向を修正してもよい。ま
た、カメラ校正では、検出された撮影方向ずれを考慮し
たデータ処理（補正など）を行い、正しい結果を得ても
よい。

【００１３】本発明において、好ましくは特徴物追跡手
段が設けられ、複数の校正用撮影地点を走行する間に撮
影される撮影画像内で前記静止特徴物が追跡される。実
際に道路で撮影された画像には、校正に使用される特徴
物のみならず、いろいろな種類の被写体が写っている。
特徴物を含むこれらの被写体の画像内での位置は、車両
の移動とともに変化する。画像内での移動方向、距離
は、被写体ごとに異なる。また、車両の姿勢も走行とと
もに変化する。さらに、複数の同種の特徴物が画像内に
捉えられることもある。例えば、ある地点では１つしか
写らなかった特徴物が、後の地点では２つ以上写るとき
がある。このように、実際の道路では風景がめまぐるし
く変化するので、互いに離れた地点で同一特徴物を認識
するのは容易でないこともある。しかし、本発明によれ
ば、上記の如き状況でも、撮影手段が連続して撮影して
いる画像内で特徴物が追跡される。従って、走行路上の
互いに離れた地点での撮影画像から、確実に同一の特徴
物が認識される。これにより、前述したような一般動な
どでの撮影方向ずれの検出、カメラ校正を正確に実行す
ることができる。

【００１４】本発明において、好ましくは、前記複数の
校正用撮影地点が第１の地点と該第１の地点から所定距
離走行した第２の地点であって、第１の地点と第２の地
点が直線路上に位置することを条件にカメラ校正が実行
される。進行方向の変化を演算に加味することにより発
生する誤差が排除されるので、より正確な校正が可能と
なる。

【００１５】上記のように、本発明では、一つの静止特
徴物を利用して、２地点での撮影画像と２地点間の距離
とから、カメラの撮影方向ずれが検出される。道路沿い
に頻繁に存在する被写体を特徴物として選定し、撮影画
像に適当な画像処理を行って特徴物を抽出するとよい。
本発明では、高速道路の車間距離確認用白線の存在とい
ったような、測定条件の特殊な制約がない。道路上に頻
繁に存在する特徴物を使用できるので、走行場所に依存
しない自立した校正機能が実現される。

【００１６】従って、本発明によれば、一般道や、高速
道路上の普通の場所（車間距離確認用白線のないとこ
ろ）でも、適宜、カメラ校正ができる。ステレオカメラ
を一般道で積極的に利用してナビゲーションなどを行う
場合に有利である。また、前述のように、走行中に一回
だけカメラの撮影方向のずれ量を検出したのでは、その
信頼性が高いとは言い難い。これに対し、本発明では、
適当なタイミングで複数回のずれ量検出ができ、撮影方
向のずれ量を正確に求め、カメラ校正を適切に行うこと
ができる。

【００１７】本発明の一態様において、前記静止特徴物
は信号機である。信号機は、決まった色の光を自ら発し
ており、形状も決まっているので、撮影画像から抽出し
やすい。動画像中で特徴物を追跡する場合にも、信号機
は扱いやすい。また、当然ながら、信号機は一般道に頻
繁に存在する。従って、信号機は、本発明に用いる静止
特徴物として適している。

【００１８】好ましくは、信号機が青信号であることを
条件にカメラ校正が実行される。青信号であれば、車両
の制動灯（特にハイマウントストップランプ）との誤認
が防止されるので、カメラ校正が確実に行われる。

【００１９】

【００２０】

【発明の実施の形態】以下、本発明の好適な実施の形態
（以下、実施形態という）について、図面を参照し説明
する。

【００２１】「原理」まず、本実施形態の原理として、
２つの地点で同一特徴物までの距離を測定した測定結果
に基づいて撮影方向のずれ量を求める方法を説明する。

【００２２】図１は、複数のカメラを有するステレオカ
メラを用いて被写体までの距離測定を行うステレオ測距
の原理を示している。このステレオカメラには、図示の
如く、左カメラ１と右カメラ２との２つのカメラが設け
られている。図１では、各カメラ１、２はモデル化さ
れ、焦点距離ｆのピンホールカメラとして表されてい
る。両カメラ１、２は互いに離れて配置されており、レ
ンズ中心間の距離はｂである。レンズ中心同士を結んだ
線分は、基線（baseline）といわれる。図１のカメラ配
置において、カメラ１、２の光軸は互いに平行であり、
かつ、基線に対して垂直である。このようなカメラ配置
は、一般に標準ステレオ配置といわれる。両カメラ１、
２の撮像面は、レンズ中心から距離ｆだけ離れた同一平
面上にある。

【００２３】測定対象の被写体Ｐが、２つのカメラ１、
２によって撮影されたとする。両カメラでは、撮像面の
異なる位置に被写体Ｐが映る。図２に示すように、左カ
メラ１と右カメラ２では、距離ｄだけ離れた位置に被写
体Ｐが映ったとする。このずれ量ｄを視差（disparit
y）という。視差ｄが分かれば、三角測量の原理を用い
て、下式（１）に従い、カメラから測定対象Ｐまでの距
離Ｄが求められる。

【００２４】

【数１】Ｄ＝ｂ×ｆ／ｄ・・・（１）図１において、ラインｍ、ラインｎは、それぞれ、測定
対象Ｐとカメラ１、２のレンズ中心とを結ぶ直線であ
る。ラインｎ１は、左カメラ１のレンズ中心を通り、ラ
インｎに平行に引かれている。頂点と底辺がそれぞれ左
カメラ１のレンズ中心および撮像面である三角形と、頂
点が測定対象Ｐで底辺が基線である三角形との相似を考
えれば、式（１）によって距離Ｄが求まることは明らか
である。

【００２５】図１に示すように、レンズ中心を中心とし
て撮像面に対して対象な仮想的な撮像面を想定する。こ
の仮想面を実際の撮像面として扱っても、上記の原理を
同様に適用できる。そこで、以下では、上記の仮想面を
用いて説明する。

【００２６】また、実際に車載されるカメラとしては、
ＣＣＤカメラなどが好適である。視差は、撮影画像内で
被写体が映る位置のずれとして表される。実際には、視
差の大きさは、画素を単位として、画素数によって表さ
れる。しかし、ここでは、説明を分かりやすくするた
め、通常の長さの単位を用いて視差を表す。画素数で表
した視差は、一画素当たりの長さ(m／pixel）をかける
ことにより、メートル単位で表した視差に変換される。

【００２７】以上の距離測定方法では、２つのカメラ
が、図１に示した正しい位置に設置されていることが前
提条件である。しかし、車両に搭載されたステレオカメ
ラは、走行中に振動が加わるなど、過酷な状況で使用さ
れる。振動等が原因で２つのカメラが平行でなくなった
場合には、距離測定の結果に大きな誤差が生じてしま
う。そこで、以下の方法でカメラの設定方向のずれを獲
得し、その結果を用いてカメラ校正を行う。

【００２８】図３において、車両３の前部には、カメラ
１、２が図１の標準ステレオ配置で設けられている。車
両３がある地点Ａにいるときに、静止している特徴物４
までの距離ＤAが計測される。本実施形態では、キャリ
ブレーション用の特徴物として、信号機（青信号）を使
用する。そして、一定距離Ｚだけ前方の地点Ｂに車両３
が移動したとき、もう一度、信号機４までの距離ＤBが
計測される。カメラが平行に正しく配置されていれば、
地点Ａでの距離ＤAと地点Ｂでの距離ＤBとの差（ＤA−
ＤB）が、地点Ａ、Ｂ間の走行距離Ｚに等しい。しか
し、カメラの設置方向がずれていると、両者が等しくな
らない。このことを利用して、カメラの設置方向のずれ
角を獲得する。

【００２９】図４を参照し、ずれ角獲得の詳細な方法を
説明する。図４では、右カメラ２の設置方向が標準ステ
レオ配置からずれており、ずれ角度はΔθである。その
ため、右カメラ３の撮像面（仮想面）は、図１と比較し
て傾いており、その角度もΔθである。角度Δθに相当
する撮像面上での距離をΔｄとする。Δｄは、角度Δθ
だけ開いた２つの直線の撮像面上での距離に相当し、Δ
ｄ＝ｆ・tanΔθである。

【００３０】地点Ａにおいて、撮影画像に画像処理を施
すことにより、静止対象物たる信号機４が抽出される。
図４において、信号機４は、左カメラ１のレンズの光軸
を通る垂直面上に位置している。左カメラ１では、光軸
上に信号機４が映る。一方、カメラ２では、信号機４が
光軸から距離ｄAだけ離れた位置に映る。従って、地点
Ａにおいて観測される視差はｄAである。しかし、この
視差ｄAは、両カメラが本来の標準ステレオ配置にある
ときの視差よりも大きい。視差ｄAは、正常時の視差に
設置方向のずれ分Δｄが加わった値をもつ。

【００３１】図４に点線で示すように、カメラ２がカメ
ラ１と平行に配置されているはずであるとして、視差ｄ
Aを用いて信号機４までの距離を計算すると、測距結果
は、距離ＤA（ＤA＝ｂ×ｆ／ｄA）になる。測定値ＤAは
実際の値よりも小さく、その差はΔＤAである。

【００３２】地点Ｂにおいても同様に信号機４までの距
離が測定される。地点Ｂで観測される視差はｄBであ
り、カメラの設置方向ずれがないときと比べて、Δｄだ
け大きい。そして、距離測定値はＤBであり、実際の値
よりもΔＤBだけ小さい。

【００３３】ここで、地点Ａ、Ｂ間の走行距離Ｚは、Ｇ
ＰＳ（グローバル・ポジショニング・システム）等を用
いれば分かる。図３から明らかなように、距離ＤAと距
離ＤBの差は、地点Ａ、Ｂ間の距離Ｚに等しくならな
い。これは、もしもカメラが正しい位置にあるとしたな
らば、信号機４が、（Ｚ＋ＤB−ＤA）だけ移動したこと
を意味する。しかし、測定対象物として、静止している
はずの信号機４が選ばれている。ここに矛盾が生じ、カ
メラの設置方向がずれたと判断される。

【００３４】カメラの設置方向のずれ角Δθは、測定値
たるｄA、ｄB、Ｚを用いて、下記のようにして算出でき
る。地点Ａにおける静止対象物までの実際の距離ＤA＋
ΔＤAは、次式（２）によって表される。ここで、（ｄA
−Δｄ）は、両カメラ１、２の設置方向がずれていない
ときに観測されるべき視差の値である。

【００３５】

【数２】ＤA＋ΔＤA ＝ｂ×ｆ／（ｄA−Δｄ）≡ｆA(Δｄ) ・・・（２）同様に、地点Ｂにおける静止対象物までの実際の距離Ｄ
B＋ΔＤAは、次式（３）によって表される。

【００３６】

【数３】ＤB＋ΔＤB ＝ｂ×ｆ／（ｄB−Δｄ）≡ ｆB(Δｄ) ・・・（３）一方、地点Ａ、Ｂ間の距離Ｚは、次式（４）によって表
される。

【００３７】

【数４】Ｚ＝（ＤA＋ΔＤA）−（ＤB＋ΔＤB）・・・（４）式（４）に、式（２）、式（３）を代入することにより
次式（５）が得られ、さらに式（５）を変形することに
より式（６）が得られる。そして、式（６）をΔｄにつ
いて解くと、式（７）が得られる。

【００３８】

【数５】Ｚ＝ｂ×ｆ／（ｄA−Δｄ）− ｂ×ｆ／（ｄB−Δｄ）・・・（５）

【数６】

【数７】ただし、式（７）の計算のみでは解が２つ存在し、一意
にΔｄが特定できない。ここで、２つの解をα、βとす
る。α、βを式（２）、（３）に代入すると、以下の関
係が成り立つ。

【００３９】

【数８】ｆA(α)＝−ｆB(β) ｆB(α)＝−ｆB(β) ・・・（８）このことは、一方の解を代入した際のｆA、ｆBは負にな
り、他方の解を代入した際のｆA、ｆBは正になることを
意味している。カメラ１、２は車両前方を撮影するよう
に配置されており、従って、地点Ａ、Ｂから静止対象物
までの実際の距離ｆA、ｆBは必ず正である。従って、
α、βの一方を、視差の誤差分Δｄとして特定できる。
さらに、下式（９）を用いて、Δｄからカメラ設置方向
のずれ角Δθが求まる。

【００４０】

【数９】ステレオカメラが、カメラの設置方向を修正するための
駆動装置を備える場合は、カメラ校正として、角度Δθ
だけカメラを回転させて設置方向を修正することができ
る。また、カメラ校正として、Δｄを用いた測定結果の
補正を行ってもよい。すなわち、測距時に観測された視
差からΔｄだけ差し引いた値を式（１）に代入すれば、
正しい測定値が得られる。この場合には、カメラの回転
が不要である。

【００４１】なお、図４では、説明を分かりやすくする
ために、静止対象物が左カメラ１のレンズの光軸を含む
垂直面上にあるものと仮定した。しかし、式（７）に示
されるように、本実施形態では、地点Ａ、Ｂでの視差を
用いて視差の誤差Δｄが求められる。静止対象物がカメ
ラの正面に存在しないときでも（例えば図３）、同様の
計算により、上記のΔｄやΔθが求められる。従って、
上記の各式の一般性は失われない。

【００４２】また、図４では、車両が直進のみを行う場
合について説明した。しかし、車両の進行方向が地点
Ａ、Ｂで変わる場合にも、同様の原理に従って、上記の
ΔｄやΔθを求めることができる。この場合、ステレオ
カメラを備えるシステムに、車両の向きの変化量（回転
成分）を検出する手段を設ける。例えば、ジャイロセン
サの出力やステアリング舵角を検出するセンサの出力か
ら、上記の回転成分が分かる。この回転成分を用いれ
ば、測定結果を、図４の状態で得られたものに変換でき
る。従って、車両の進行方向が変わったときでも、同様
の計算式が適用できる。

【００４３】ただし、好ましくは、地点Ａ、地点Ｂの間
では、車両３が直線走行した方がよい。進行方向の変化
分を加味することにより発生する誤差成分が排除される
からである。車両が直線走行するか否かは、ナビゲーシ
ョンシステムの地図情報を用いれば、校正前に予め予測
できる。また、実際に地点Ａ、地点Ｂ間を直線走行した
か否かは、上記のジャイロセンサやステアリングセンサ
などの出力を基に判断できる。

【００４４】「ステレオカメラシステム」次に、上記の
校正方法が実現される車載ステレオカメラシステムの好
適な形態を説明する。図５はカメラシステムの全体構成
を示しており、ステレオカメラを構成する車載カメラと
して、左カメラ１と右カメラ２が設けられている。カメ
ラ１、２は、車両の前方を撮影するＣＣＤカメラであ
り、車幅方向に所定距離だけ離して配置されている。カ
メラ１、２の配置は、図３の標準ステレオ配置である。
両カメラは、例えば、車室内でフロントガラスの左上
隅、右上隅に近接した場所に設置されている。カメラ
１、２は、撮像結果である画像信号を基にデジタルの画
像データを生成し、出力する。

【００４５】カメラ１、２には、画像認識部１０が接続
されている。画像認識部１０は、画像データから、道路
上や道路沿いに存在する特徴物を探索する。特徴物は、
信号機、標識、歩道橋、ビル、看板などである。特徴物
を抽出する方法の例を説明する。まず、抽出対象の特徴
物に特有の色や輝度値をもつ部分であって、エッジ（色
値や輝度値が大きく変化するところ）で囲まれた部分
が、特徴物の候補として抽出される。画像認識部１０に
は、抽出対象の特徴物の形状をもつテンプレートが予め
用意されている。そして、候補物体とテンプレートの形
状が比較され、候補物体が抽出対象の特徴物であるか否
かが判定される。このような特徴物の抽出は、２つのカ
メラ１、２で得られたそれぞれの画像について、別個に
行われる。画像認識部１０は、撮影画像とともに、抽出
された特徴物と、画像内での特徴物の位置を示す情報を
測距部１２に送る。

【００４６】測距部１２では、左右の画像内での同一特
徴物の位置の相違から、視差ｄが求められる。そして、
視差ｄを基に、図１に示したステレオ測距の原理に従
い、特徴物までの距離を求める。測距部１２は、車載の
ナビゲーションシステム１４に接続されている。測定結
果は、撮影画像などとともに、ナビゲーションシステム
１４に送られる。

【００４７】ナビゲーションシステム１４では、測距部
１２からの入力情報が、各種の経路案内に利用される。
例えば、右左折を案内する分岐点（交差点）の手前で、
信号機が発見されたとする。このとき、分岐点までの距
離と、特徴物までの距離が比較され、特徴物が分岐点上
にあるか否かが判定される。そして、ナビゲーションシ
ステム１４は、「この先、信号のある交差点を右方向で
す。」といった、特徴物を効果的に利用した音声案内を
行う。また、ディスプレイ上に、カメラで撮影された画
像が表示されるとともに、画像中の信号機を強調するマ
ークが合成表示される。

【００４８】ステレオカメラ校正部１６は、上述した本
実施形態の原理に基づいて、カメラ校正を行う。そのた
め、ステレオカメラ校正部１６は、図５のカメラシステ
ムの各構成を制御し、それぞれの構成に指示を出して校
正のために機能させる。測距部１２からステレオカメラ
校正部１６へは、ある地点Ａにて、前方に位置する信号
機までの距離の測定値ＤAが送られる。車両が地点Ａか
ら距離Ｚだけ直線移動した地点Ｂで、ステレオカメラ校
正部１６は、測距部１２に指示を出して、もう一度、同
じ信号機までの距離測定値ＤBを取り込む。ステレオカ
メラ校正部１６は、入力情報に基づいて、距離ＤA、ＤB
を基に、地点Ａ、Ｂでの視差ｄA、ｄBを求め、さらに式
（７）〜（９）に従って、カメラ設置方向のずれ角Δθ
を求める。

【００４９】なお、ステレオカメラ校正部１６は、測距
部１２から、距離測定値でなく、視差そのものを取り込
んでもよい。その他、上記の原理に示された本発明の範
囲内であれば、データ処理方法は適宜変更できる。

【００５０】また、距離Ｚだけ移動したか否かの判断の
ため、ステレオカメラ校正部１６には、自車位置検出部
１８が接続されている。自車位置検出部１８は、例えば
ＧＰＳを利用したものであり、ＦＭ多重放送により提供
される誤差情報を加味したＤ−ＧＰＳ装置なども利用で
きる。さらに、光ビーコンや電波ビーコンから供給され
る位置情報や、マップマッチングによる補正や、進行方
向および走行距離から位置を検出する自立航法などを組
み合わせることも好適である。自車位置検出部１８は、
ナビゲーションシステム１４に備えられたものと兼用す
ることが好ましい。なお、距離Ｚだけ移動したか否か
は、車速センサ（図示せず）の出力に基づいて判断して
もよい。

【００５１】地点Ａから地点Ｂまで直線走行したか否か
も、自車位置検出結果に基づいて判断することができ
る。また、この判断は、前述したように、ジャイロセン
サやステアリングセンサ（図示せず）の出力に基づいて
もよい。

【００５２】また、右カメラ２には、カメラを回転させ
るカメラ駆動部２０が取り付けられている。カメラ駆動
部２０は、右カメラ２の設置方向を微調整し、任意の方
向に向けて位置させることができる。カメラ駆動部２０
には、ステレオカメラ校正部１６から、カメラ設置方向
のずれ角Δθが入力される。駆動部２０は、ずれ角Δθ
だけ右カメラ２を逆方向に回転させる。

【００５３】次に、図５のステレオカメラシステムが走
行中にカメラ校正を行うときの動作を、図６のフローチ
ャートを参照して説明する。まず、静止特徴物を探索
し、発見する処理が行われる（Ｓ１０）。ここでは、前
述のように、静止特徴物として、信号機（青信号）が探
索される。探索にあたり、ナビゲーションシステム１４
にて、車両が直線路を走行中であるか否かが判断され
る。そして、画像認識部１０では、２つのカメラで捉え
られたそれぞれの画像から、青信号が抽出される。ここ
では、色フィルタを用いて画像データから青色部分が取
り出され、さらに輝度の高い部分のエッジが検出され
る。エッジの形状が○であることをもって、そのエッジ
の部分が青信号であると判定する。また、信号機の位置
は、上記○形状の部分の重心位置とする。

【００５４】図３の地点Ａで青信号が認識されたとす
る。認識された青信号の画像内での位置を示す情報が、
測距部１２に送られる。測距部１２では、左右両画像上
での青信号についての視差ｄAが求められ、さらに、視
差ｄAを基に、青信号までの距離ＤAが算出される（Ｓ１
２）。距離ＤAは、測距部１２からカメラ校正部１６へ
送られる。

【００５５】本実施形態では、２つの離れた地点で同一
の静止特徴物を認識する必要がある。そこで、地点Ａで
の青信号の認識後、その青信号を画像上で追跡する（Ｓ
１４）。この追跡は、画像認識部１０で行われる。ここ
では、車両の移動とともに静止特徴物が画像内で移動す
るものの、静止特徴物の見え方や画像上での位置が急に
変化しないことを利用する。そこで、地点Ａで認識され
た青信号の位置の近傍にサーチエリアを限定し、このエ
リアで、テンプレートマッチング等を行って静止特徴物
を探す。本実施形態では、サーチエリア内で、テンプレ
ートと同じ形状（円形）の青色物体を求める。この追跡
処理は、フレームごとや所定時間ごとに繰り返される。
一度の追跡処理のたびに、そのときの特徴物の位置を基
準として、サーチエリアを更新するとよい。

【００５６】一回の追跡処理（テンプレートマッチング
等）を行うたびに、追跡に失敗したか否かが判断される
（Ｓ１６）。追跡対象の青信号とカメラの間に、長い
間、トラック等の遮蔽物が存在することがある。追跡処
理を何回か（所定回）繰り返しても継続して青信号を発
見できないとき、青信号を見失ったと判断する。追跡処
理に失敗した場合、Ｓ１０に戻り、静止特徴物の発見を
再び行う。

【００５７】追跡に失敗していなければ、地点Ａから所
定距離Ｚだけ車両が進んだか否かが判断される（Ｓ１
８）。この判断は、自車位置検出部１８の出力に基づい
て行われる。例えば、自車位置検出部１８がＧＰＳを利
用する場合、自車の絶対位置の検出結果には誤差があ
る。しかし、相対的な移動距離を検出する場合、かなり
高精度な検出が可能である。Ｓ１８で、まだ地点Ａから
距離Ｚだけ移動していなければ、Ｓ１４に戻り、特徴物
の追跡が継続される。

【００５８】地点Ａから所定距離Ｚ進んで地点Ｂに達し
たら、地点Ａ、地点Ｂ間で直線走行が行われたか否かを
判定する（Ｓ２０）。この判定は、自車位置検出部１８
の出力に基づき、あるいは、前述のようにジャイロセン
サ等（図示せず）の出力に基づいて行われる。地点Ａ、
Ｂ間を直線走行していなかった場合、Ｓ１０に戻り、再
び青信号の発見を行う。実質的に直線走行していた場合
には、Ｓ１２と同様に、測距部１２で、ステレオ測距に
よって、着目している青信号までの距離ＤBが求められ
る（Ｓ２２）。距離ＤBは、ステレオカメラ校正部１６
へ出力される。

【００５９】ステレオカメラ校正部１６では、地点Ａ、
地点Ｂでの距離測定値ＤA、ＤB、および走行距離Ｚか
ら、図３の原理に従い、カメラ設置方向のずれ角Δθを
算出する（Ｓ２４）。次に、ずれ角Δθの検出が、所定
回数Ｎだけ行われたか否かを判定する（Ｓ２６）。検出
回数がＮより少なければ、Ｓ１０に戻り、再び、Δθの
検出を行う。なお、Ｓ１０では、直線路を走行している
ことが特徴物の探索開始の条件とされていたが、Ｎ個の
Δθは別の直線路において検出されてもよいことはもち
ろんである。すなわち、Ｎ個のΔθの検出の途中に、右
左折やカーブが入ってもよい。また、各回のΔθの検出
において、地点Ａ、Ｂ間の走行距離Ｚは同一でなくとも
よい。

【００６０】また、測距位置Ａ、Ｂを、図７に示すよう
に設定してもよい。地点Ａ１、Ａ２、Ａ３・・・ＡＮ
は、それぞれ、距離Ｚよりも小さい距離だけ離れてい
る。地点Ａ１と地点Ｂ１、地点Ａ２と地点Ｂ２、地点Ａ
３と地点Ｂ３・・・の間隔は、それぞれ距離Ｚである。
地点Ａ１と地点Ａ２に関して一つのΔθが検出され、同
様にして各組について一つのΔθが検出される。このよ
うにすれば、短い距離で、効率よく、所定回数Ｎ分のΔ
θを検出できる。

【００６１】図７の設定では、全部または一部のΔθ検
出において、同じ静止特徴物が使われてもよい。この場
合、画像認識部１０で特徴物の追跡を行いつつ、この特
徴物までの距離の測定が各測距地点で行われる。測定結
果を基に、順次、ずれ角Δθが求められる。

【００６２】カメラ設置方向のずれ角Δθが所定回数Ｎ
求められたら、それらを適当に統計処理して正確なずれ
角Δθを求める。本実施形態では、Ｎ個のずれ角Δθの
平均値が求められ、この平均値が最終的なカメラ設置方
向のずれ角Δθとされる（Ｓ２８）。

【００６３】次に、Ｓ２８で求めたΔθ（平均値）が、
許容範囲内の小さな値であるか否かが判定される（Ｓ３
０）。Δθの許容範囲は、ステレオ視の利用目的に応
じ、適宜、異なる範囲に設定できる。例えば、対象まで
の距離が５０ｍの場合において、ずれ角Δθの限度値
を、距離測定誤差が５ｍとなる角度（用いるカメラや基
線長によって異なる）等と予め定めておく。Δθが許容
範囲内であれば、そのまま処理を終わる。ずれ角θが許
容範囲を外れていれば、カメラ校正部１６は、ずれ角Δ
θをカメラ駆動部２０へ送る。カメラ駆動部２０は、右
カメラ２を角度Δθだけ回転させる（Ｓ３２）。これに
より、カメラ設置方向が修正され、左カメラ１と右カメ
ラ２の撮影方向が平行になる。

【００６４】なお、変形例として、カメラ駆動部２０
は、左カメラ１と右カメラ２の両方に設けられていても
よい。このような構成は、ステア機構を備えるカメラシ
ステムに好適に適用される。通常、ステア機構を用いる
ことにより、２つのカメラがステアされ、カメラの視線
が固定されずに、いろいろに向けられる。校正時には、
例えば、一方のカメラを回転させず、他方のカメラの
み、ずれ角Δθだけ回転させればよい。

【００６５】次に、カメラの設置方向を調整するカメラ
駆動部が設けられていないカメラシステムに好適に適用
される校正方法を説明する。図８は、本実施形態のカメ
ラシステムの第２の構成例であり、図５と異なり、カメ
ラ駆動部が設けられていない。その他の構成は、図５と
同様である。

【００６６】図８のシステムの動作において、図５のシ
ステムの動作と相違する点を説明する。図５では、地点
Ａ、地点Ｂでの距離測定結果に基づき、カメラ設置方向
のずれ角Δθが算出された（図６、Ｓ２４）。しかし、
ここでは、ずれ角Δθに相当する画像上での視差の誤差
Δｄ（Δｄ＝ｆ・tanΔθ）が算出される。そして、所
定個数ＮのΔｄの平均がとられ、最終的な視差の誤差Δ
ｄとされる。Δｄ（平均値）が許容範囲内であれば、特
に校正は行われない。Δｄが許容範囲をはずれていれ
ば、その平均値が測距部１２へ送られる。

【００６７】以降、測距部１２では、カメラ校正とし
て、Δｄを用いて視差の補正が行われる。すなわち、画
像認識部１０では、通常どおり、撮影画像から特徴物を
抽出し、画像内での特徴物の位置を測距部１２に送る。
測距部１２では、入力情報から視差を求める。そして、
求めた視差を、Δｄを用いて補正する。補正後の視差を
用いて特徴物までの距離が計算される。

【００６８】以上、本実施形態について説明した。本実
施形態によれば、一つの信号機を利用してカメラの撮影
方向ずれが検出される。信号機は道路沿いにたくさん存
在している。従って、カメラ校正が可能な場所の制約が
少なく、一般道の多くの場所でカメラ校正ができる。も
ちろん、使用する静止特徴物を変更すれば、高速道路上
での校正もできる。

【００６９】そして、カメラの撮影方向ずれを複数回に
わたって検出することにより、方向ずれ量（角度を含
む）を正確に求めることができる。この正確な方向ずれ
量を用いることにより、撮影方向ずれの自動的な校正が
適切に行われる。

【００７０】なお、本実施形態では、静止特徴物とし
て、交通信号機、特に青信号を取り上げた。これに対
し、信号機以外の静止特徴物を使用した場合にも、同様
に本発明の校正方法を実施できる。その他の静止特徴物
としては、例えば、行き先案内標識、規制標識、停止
線、横断歩道、歩道橋、トンネルの入口等である。これ
らの特徴物は、世の中に多く存在し、かつ、画像処理に
て比較的認識しやすい。

【図面の簡単な説明】

【図１】ステレオ測距の原理を示す説明図である。

【図２】ステレオ測距の原理に関し、左右画像の視差
を示す図である。

【図３】実施形態のカメラ校正の原理を説明する図で
ある。

【図４】実施形態のカメラ校正の原理を説明する図で
ある。

【図５】実施形態のカメラ校正方法が好適に適用され
るステレオカメラシステムの構成を示すブロック図であ
る。

【図６】図５のカメラシステムの校正時の動作を示す
フローチャートである。

【図７】カメラ設置方向のずれ角を複数回、効率よく
求める方法を示す図である。

【図８】実施形態のカメラ校正方法が好適に適用され
るステレオカメラシステムの第２の構成を示すブロック
図である。

【符号の説明】

１左カメラ、２右カメラ、３車両、４信号機、
１０画像認識部、１２測距部、１６カメラ校正
部、１８自車位置検出部、２０カメラ駆動部。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 13/02 G06T 7/00 H04N 17/00

Claims

(57)【特許請求の範囲】

【請求項１】車両上の離れた位置で車外を撮影する複
数の撮影手段を備えた車載ステレオカメラであって、走
行路上の複数の校正用撮影地点における撮影画像から、
同一の静止特徴物を認識する認識手段と、前記複数の校
正用撮影地点におけるそれぞれの撮影画像内での前記静
止特徴物の位置と、校正用撮影地点間の距離とを基に、
前記複数の撮影手段間の撮影方向のずれを求める撮影方
向ずれ検出手段と、撮影方向ずれの検出結果を基に、カ
メラ校正を行う校正手段と、を含むことを特徴とする車
載ステレオカメラ。
【請求項２】請求項１に記載の車載ステレオカメラに
おいて、複数の校正用撮影地点間を走行する間に撮影さ
れる撮影画像内で前記静止特徴物を追跡する特徴物追跡
手段を含むことを特徴とする車載ステレオカメラ。
【請求項３】請求項１、２いずれかに記載の車載ステ
レオカメラにおいて、前記校正手段は、前記複数の校正
用撮影地点が第１の地点と該第１の地点から所定距離走
行した第２の地点であって、前記第１の地点と第２の地
点が直線路上に位置することを条件にカメラ校正が実行
されることを特徴とする車載ステレオカメラ。
【請求項４】請求項１〜３のいずれかに記載の車載ス
テレオカメラにおいて、前記静止特徴物は信号機である
ことを特徴とする車載ステレオカメラ。
【請求項５】請求項４に記載の車載ステレオカメラに
おいて、前記信号機が青信号であることを特徴とする車
載ステレオカメラ。