JP3416921B2 - ステア型撮影装置 - Google Patents

ステア型撮影装置

Info

Publication number
JP3416921B2
JP3416921B2 JP25222395A JP25222395A JP3416921B2 JP 3416921 B2 JP3416921 B2 JP 3416921B2 JP 25222395 A JP25222395 A JP 25222395A JP 25222395 A JP25222395 A JP 25222395A JP 3416921 B2 JP3416921 B2 JP 3416921B2
Authority
JP
Japan
Prior art keywords
image
camera
data
screen
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25222395A
Other languages
English (en)
Other versions
JPH0996508A (ja
Inventor
並 俊 明 柿
木 充 義 斉
雌 邦 彦 曽
中 久 志 里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Toyota Motor Corp
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Toyota Motor Corp, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP25222395A priority Critical patent/JP3416921B2/ja
Publication of JPH0996508A publication Critical patent/JPH0996508A/ja
Application granted granted Critical
Publication of JP3416921B2 publication Critical patent/JP3416921B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明が属する技術分野】本発明は、前方シ−ンの投影
画面の映像信号を発生するカメラ、例えばCCDカメ
ラ、および、物体追跡のためにカメラを回転駆動するス
テアリング機構を備えるステア型撮影装置に関し、特
に、これに限定する意図ではないが、車両上において車
両前方の、路面を含むシ−ンを撮影し、撮影画面上で、
路面上の走行レ−ン(を区画する白線)および先行車両
(又は前方障害物)の検出ならびに先行車両に対する自
車両の距離を検出する、路上物体検出装置に関する。
【0002】
【従来の技術】この種の検出装置の一例が、特開昭64-1
5605号公報に開示されている。これにおいては、車両に
搭載された撮影装置で得た、車両前方の路面を含むシ−
ンをx,y直交座標系画面に表わす画像デ−タの、x軸
に対して45度の角度をなす方向の微分値を算出してそれ
が設定値以上のx,y直交座標上の位置を特徴点とし
て、特徴点の連なりを細線に処理し、所定長以上の細線
を摘出して、車両上のテレビカメラから前方を撮影した
場合の、画面上の白線の特徴に基づいて設定された条件
を満す細線を、路面上の白線と認識する。すなわち自車
が走行中のレ−ンの左,右端白線を表わす二直線を得
る。二直線の交点を求めて、該交点から自車両までの二
直線間の領域(3角形領域)で物体の存否を検出し、物
体を検出すると自車両から該物体までの距離(物体が先
行車両であると車間距離)を算出する。
【0003】自車が走行中のレ−ン(自車走行レ−ン)
が直線である場合、該レ−ン上の先行車両はすべて前記
3角形領域に存在する(ル−フは外れても、車底は該領
域内にある)。ところが、左,右端白線を近似する二直
線は、カメラに近い位置の左,右端白線像に基づいて決
定されるので、自車レ−ンが自車前後でカ−ブしている
と、あるいは前方でカ−ブしていると、直線レ−ンの場
合には無限遠点と見なしうる前記二直線の交点は、自車
レ−ンの遠方点よりも左(自車レ−ンが右にカ−ブの場
合)又は右(左にカ−ブの場合)にずれる。すなわち、
前記交点は、自車レ−ンが右にカ−ブしているときには
自車レ−ンの遠方点より左側にずれ、左にカ−ブしてい
るときには右側にずれる。このため、カ−ブがあるとこ
ろでは、前記3角形領域内での物体探索のみでは、前方
物体(先行車両又は障害物)、特に遠方に存在する物
体、の検知に失敗する確率が高くなる。
【0004】特開平1−276214号公報は、道路沿
いの指標を車両上のカメラで撮影して車両上で車両位置
情報を生成し、車両位置情報と目的地情報とを対比して
最適経路を決定し、決定した経路に従って車両速度およ
び車輪ステアリングを制御する、との車両自動運転を提
案し、道路沿いの指標を撮影するためにカメラの撮影方
向を水平方向および垂直方向に変更する、カメラ用の2
次元姿勢変更機構を提案している。しかしこの提案は、
決定した最適経路の通りに道路が存在すること、ならび
に、該道路上に先行車両が存在しないことを前提として
いる。実際には、現実の道路の追跡(存在確認)および
先行車両の有無ならびに車間距離の確実な検出が必要で
ある。
【0005】特開平6−12435号公報は、カメラで
先行車両を追跡するために、先行車両像が画面上で実質
上一定サイズとなるように焦点距離およびズ−ムを制御
し、しかも先行車両像が画面上略中央になるようにカメ
ラの姿勢を水平方向および垂直方向に制御する追従装置
を提示している。この追従制御は、最初の先行車両の検
出又は特定、ならびに追従中の先行車両が道をそれて自
車前方から消えたときの、次の先行車両の探索が大前提
となるが、これに関する教示はない。また、追従中の先
行車両が道をそれて自車進行方向から外れるときの、誤
追従に対する処置方の技術の提示もない。
【0006】
【発明が解決しようとする課題】カメラで物体を追跡す
る場合、カメラのステアリング速度が速いとカメラステ
アリング中の撮影画像は、いわゆる画像流れを生じ、画
面上の物体像の分解能が低下する。物体像の分解能の低
下は、画像処理による物体像の検出精度の低下となり、
特に、背景とのコントラストが低い物体像は検出不能又
は検出エラ−を招き易い。これは物体追跡失敗の原因の
1つとなる。車両上で前方を撮影し、撮影画面上で走行
レ−ンを区画する白線や前方車両を検出する場合には、
カメラが、撮影路面に対して移動しているので画像の分
解能は低くなる傾向があり、これにカメラステアリング
による回転移動が加わると、画像の分解能低下が大き
い。
【0007】本発明は、物体追跡の信頼性を向上するこ
とを第1の目的とし、撮影画面上での物体検出の精度を
高くすることを第2の目的とし、物体追従速度を向上す
ることを第3の目的とする。
【0008】
【課題を解決するための手段】(1)前方シ−ンの投影
画面の映像信号を発生するカメラ(16b)該カメラの撮
影方向を変更するための回転駆動装置(26d)1画面分
の映像信号を画像デ−タにデジタル変換して読込む、画
面読込み手段(100)該画面読込み手段(100)が読込んだ
画像デ−タに基づいて画面上の物体像(白線/先行車両)
を検出する像検出手段(100)該像検出手段(100)が検出
した物体像の位置に対応して該物体像対応の物を追跡す
るためのカメラ回転角(A)を算出するステアリング角度
算出手段(100)および、前記回転駆動装置(16d)を介し
て前記ステアリング角度算出手段(100)が算出したカメ
ラ回転角(A)に撮影方向を定める撮影方向制御手段(CPU1
1,16e)を備えるステア型撮影装置において、 前記画面
読込み手段(100)が第n回の画像デ−タ読込みを終了す
ると、前記撮影方向制御手段(CPU11,16e)が、前記ステ
アリング角度算出手段(100)が算出した第n−1回のカ
メラ回転角(A)に定めるカメラステアリングを開始し、
このカメラステアリングと並行して前記像検出手段(10
0)が第n回読込み画面上の物体像を検出し、前記ステア
リング角度算出手段(100)が、第n回読込み画面上の物
体像対応の物を追跡するための第n回のカメラ回転角
(A)を算出する、ことを特徴とするステア型撮影装置
なお、理解を容易にするためにカッコ内には、図面に示
し後述する実施例の対応要素の記号又は対応事項を、参
考までに付記した。
【0009】これによれば、例えば、画面読込み手段(1
00)が第1回に読込んだ画像デ−タに基づいて像検出手
段(100)が第1回読込み画面上の物体像を検出し、ステ
アリング角度算出手段(100)が、検出した物体像対応の
物を追跡するための第1回のカメラ回転角(A)を算出す
る。次に画面読込み手段(100)が第2回の画像デ−タ読
込みを終了すると、撮影方向制御手段(CPU11,16e)が撮
影方向を第1回のカメラ回転角(A)に定めるカメラステ
アリングを開始し、このカメラステアリングと並行し
て、像検出手段(100)が第2回読込み画面上の物体像を
検出し、ステアリング角度算出手段(100)が、検出した
物体像対応の物を追跡するための第2回のカメラ回転角
(A)を算出する。以下同様に、画面読込み手段(100)が第
n回の画像デ−タ読込みを終了すると、撮影方向制御手
段(CPU11,16e)が撮影方向を第n−1回のカメラ回転角
(A)に定めるカメラステアリングを開始し、このカメラ
ステアリングと並行して、像検出手段(100)が第n回読
込み画面上の物体像を検出し、ステアリング角度算出手
段(100)が、検出した物体像対応の物を追跡するための
第n回のカメラ回転角(A)を算出する。
【0010】第n回に読込んだ画像デ−タに基づいて像
検出手段(100)が物体像検出のための画像処理をしてい
る時間に、更に、ステアリング角度算出手段(100)が、
第n回のカメラ回転角(A)算出のための画像処理をして
いる時間、を加えた時間区間は比較的に長い。その結
果、この時間区間内の最初の所定時間ではカメラステア
リングを行うことができる。したがって、第n+1回の
カメラ画像読込み時には、カメラステアリングが終了し
ている確率が高く、カメラ画像読込みにカメラステアリ
ングが重複することによる、読込み画像の流れ(分解能
低下)がなくなるか、少くとも低減する。したがって、
撮影画面上での物体検出の精度が高くなり、物体追跡の
信頼性が向上する。また、第n回のカメラ回転角(A)算
出直後にその分のカメラステアリングを開始し、これが
完了してから第n+1回の画像読込みを開始する場合
(例えば後述の第2実施例)よりも、カメラステアリン
グが像検出手段(100)およびステアリング角度算出手段
(100)の画像処理時間と重複する分、カメラ画像読込み
周期(ステアリング周期はこれに同期している)が短く
なり、物体追従速度が向上する。
【0011】(2)前方シ−ンの投影画面の映像信号を
発生するカメラ(16b)該カメラの撮影方向を変更する
ための回転駆動装置(26d)1画面分の映像信号を画像
デ−タにデジタル変換して読込む、画面読込み手段(10
0)該画面読込み手段(100)が読込んだ画像デ−タに基
づいて画面上の物体像(白線/先行車両)を検出する像検
出手段(100)該像検出手段(100)が検出した物体像の位
置に対応して該物体像対応の物を追跡するためのカメラ
回転角(A)を算出するステアリング角度算出手段(100)
および、前記回転駆動装置(16d)を介して前記ステアリ
ング角度算出手段(100)が算出したカメラ回転角(A)に撮
影方向を定める撮影方向制御手段(CPU11,16e)を備え
ステア型撮影装置において、前記回転駆動装置による
カメラの回転駆動を禁止して、前記画面読込み手段を介
して画像メモリ(35a)に画像デ−タを書込む読込み制御
手段(CPU11,CPU31);を備えることを特徴とするステア
型撮影装置
【0012】これによれば、カメラステアリング開始時
点の如何にかかわらず、読込み制御手段(CPU11,CPU31)
が、回転駆動装置によるカメラの回転駆動を禁止するの
で、画像読込みがカメラステアリングと重複することは
なく、読込み画像の流れ(分解能低下)がなくなる。し
たがって、撮影画面上での物体検出の精度が高く、物体
追跡の信頼性が高い。
【0013】(3)前方シ−ンの投影画面の映像信号を
発生するカメラ(16b),該カメラの撮影方向を変更する
ための回転駆動装置(26d),1画面分の映像信号を画像
デ−タにデジタル変換して読込む、画面読込み手段(10
0),該画面読込み手段(100)が読込んだ画像デ−タに基
づいて画面上の物体像(白線/先行車両)を検出する像検
出手段(100),該像検出手段(100)が検出した物体像の位
置に対応して該物体像対応の物を追跡するためのカメラ
回転角(A)を算出するステアリング角度算出手段(100)、
および、前記回転駆動装置(16d)を介して前記ステアリ
ング角度算出手段(100)が算出したカメラ回転角(A)に撮
影方向を定める撮影方向制御手段(CPU11,16e)、を備え
るステア型撮影装置において、 前記カメラ(36b)のシャ
ッタ−速度(Sv3)が低いときには前記回転駆動装置(36d)
によるカメラ(36b)の回転駆動を禁止して前記画面読込
み手段(35a,36c,CPU31)を介して画像メモリ(35a)に画像
デ−タを書込み、該シャッタ−速度(Sv3)が高いときに
は前記回転駆動装置(36d)によるカメラ(36b)の回転駆動
に非干渉で前記画面読込み手段(35a,36c,CPU31)を介し
て画像メモリ(35a)に画像デ−タを書込む読込み制御
手段(CPU11,CPU31);を備えることを特徴とするステア
型撮影装置。
【0014】シャッタ−速度(Sv3)が高いとその分読込
み画像の流れ(分解能低下)が低減する。特に、ステア
リング速度(車体に対する相対速度)および追跡対象物
の移動速度(車体にする)が低い場合には、画像の流れ
(分解能低下)は少なく、読込み画像の流れ(分解能低
下)は少い。シャッタ−速度(Sv3)が低いときには回転
駆動装置(36d)によるカメラ(36b)の回転駆動を禁止する
ので、画像読みがカメラステアリングと重複することは
なく、読込み画像の流れ(分解能低下)はない。撮影画
面上での物体検出の精度が高く、物体追跡の信頼性が高
い。
【0015】本発明の他の目的および特徴は、図面を参
照した以下の実施例の説明より明らかになろう。
【0016】
【発明の実施の形態】
【実施例】−第1実施例− 図1の(a)に本発明の第1実施例の構成を示す。それ
ぞれ回転機構16d,26dおよび36dで支持された
第1〜第3テレビカメラ16b,26bおよび36b
は、第1〜第3画像処理装置100〜300に接続され
ている。回転機構16d,26dおよび36dは、それ
ぞれ回転駆動用の電気モ−タおよび減速機を内蔵するも
のであり、減速機の出力回転軸にカメラ(16b,26
b,36b)が固着されている。
【0017】第1〜第3回転機構16d,26dおよび
36dは、1つの支持フレ−ムで支持され図1の(b)
に示すように、車両MCRの車内のフロントウィンドウ
の中央上部付近に設置されており、第1〜第3テレビカ
メラ16b,26bおよび36bのそれぞれは、車両前
方のシ−ンを撮影して1フレ−ム当り512×512画
素のアナログ信号を出力する。
【0018】第1カメラ16bは広角カメラであり、そ
れより30m前方の、視野中心線に直交する、略24m
×24mの面積を512×512画素に投影する。視野
中心線は、水平路面の場合で車両の前方略15mで路面
と交わる。この交わる点に第1カメラ16bの焦点が合
せてある。第1カメラ16bの撮影画面が例えば図2に
示すものであり路面が水平であると、画面上のy=15
0にある路面が車両前方30mであり、y=350にあ
る路面が車両前方10mである。後述の白線検出および
車両検出は、y=150〜350の範囲(特徴点検出ウ
ィンドウ2)内で行なわれる。
【0019】第2カメラ26bは標準画角カメラであ
り、それより60m前方の、視野中心線に直交する、略
19m×19mの面積を512×512画素に投影す
る。視野中心線は、水平路面の場合で車両の前方略45
mで路面と交わる。この交わる点に第2カメラ26bの
焦点が合せてある。この第2カメラ26bの撮影画面上
では、y=150にある路面が車両前方60mであり、
y=350にある路面が車両前方30mである。後述の
白線検出および車両検出は、y=150〜350の範囲
(特徴点検出ウィンドウ2)内で行なわれる。
【0020】第3カメラ36bは望遠カメラであり、そ
れより90m前方の、視野中心線に直交する、略13m
×13mの面積を512×512画素に投影する。視野
中心線は、水平路面の場合で車両の前方略75mで路面
と交わる。この交わる点に第3カメラ36bの焦点が合
せてある。この第3カメラ36bの撮影画面上では、y
=150にある路面が車両前方90mであり、y=35
0にある路面が車両前方60mである。後述の白線検出
および車両検出は、y=150〜350の範囲(特徴点
検出ウィンドウ2)内で行なわれる。
【0021】第1〜第3カメラ16b,26bおよび3
6bそれぞれの、車両前方距離と撮影範囲(画面全体)
および、後述の白線検出および車両検出を行なう領域
(y=150〜350:特徴点検出ウィンドウ2の領
域)を図3に示す。また、図4の(a)には、第1〜第
3カメラ16b,26bおよび36bそれぞれの、車両
前方距離と撮影横幅との関係を示し、図4の(b)に
は、車両前方距離と撮影画面上での距離計測の誤差σの
関係を示す。この誤差σは、車両前方距離において、距
離計測可能な最小分解能を示し、視野が狭いカメラほど
高精度で計測することができる。
【0022】道路がカ−ブしている場合は、視角が狭い
カメラほど路面から外れた方向を撮影してしまう可能性
が高い。したがってこの実施例では、回転機構16d,
26dおよび36dでカメラ16b,26bおよび36
bを支持して、主に画像処理装置100の後述のCPU
11により、車両前方10m〜90mの走行レ−ン検出
および前方車両検出を行ない、前方車両を検出しないと
きには、図5に示すように、カメラ16b,26bおよ
び36bの視野中心をレ−ン中央に合すように、カメラ
16b,26bおよび36bを個別にステアリングす
る。視野(上述のy=150〜350)内に車両が存在
する(と検出した)カメラは、該車両を視野中心に置く
ようにステアリングする。
【0023】図6に、第1画像処理装置100の構成を
示す。この画像処理装置100は、マイクロコンピュ−
タ(以下CPUという)11を中心に構成されており、
そのバスラインには、制御プログラムが格納された読み
出し専用メモリ(ROM)12,処理中のパラメ−タが
格納される読み書きメモリ(RAM)13、および、各
種構成要素が接続された入出力ポ−ト(I/O)15,
16等が接続されている。
【0024】CPU11は、テレビカメラコントロ−ラ
16aを介してテレビカメラ6bの絞りおよびシャッタ
−速度を制御し、A/Dコンバ−タ16cの入出力およ
びイメ−ジメモリ15aの書込み等を同期制御する。A
/Dコンバ−タ16cは、第1カメラ16bよりのアナ
ログ画信号を各画素毎に256階調(階調0が黒レベ
ル、階調255が白レベル)のデジタルデ−タ(階調デ
−タ)に変換してイメ−ジメモリ15aに与える。な
お、イメ−ジメモリ15aは、一画面(512×512
画素)の階調デ−タを記憶する領域を一頁とするとその
数頁分の階調デ−タ記憶領域と、1ビット情報(2値デ
−タ)を数画面分記憶する2値デ−タ記憶領域を有す
る。
【0025】イメ−ジメモリ15aにはDMA装置14
が接続されており、CPU11が指定したメモリ領域
に、画像処理装置200又は300から送られる画像デ
−タを書込む。
【0026】回動機構16dの電気モ−タはステアリン
グコントロ−ラ16e(のモ−タドライバ)に接続され
ており、CPU11がコントロ−ラ16eに目標角度A
nを与え、コントロ−ラ16eは、回動機構16dによ
る第1カメラ16bのステアリング角度Aを目標角度A
nとするように回転機構16dの電気モ−タを正転駆動
(右向き方向)又は逆転駆動(左向き方向)し、第1カ
メラ16bのステアリング角度Aが目標角度に合致する
と電気モ−タを停止する。なお、このステアリング角度
Aは、車両の前後軸(の水平面への投影線)に対するカ
メラ視野中心線(の水平面への投影線)のなす角度であ
り、両者が合致するときがステアリング角度=0であ
る。この実施例では、右方向(+)に60°、左方向
(−)に60°がステアリング範囲(角度Aの調整範
囲)である。
【0027】図7および図8に、第2画像処理装置20
0および第3画像処理装置300の構成を示す。これら
の画像処理装置200および300の構成は、第1画像
処理装置100の構成と略同様である。しかし、第2,
第3画像処理装置200,300のDMA装置24,3
4は、それぞれのメモリ25a,35aの、CPU2
1,31が指定した領域の画像デ−タを読出して、第1
画像処理装置100のDMA装置14に転送し、DMA
装置14は転送を受けた画像デ−タをメモリ15aの、
CPU11が指定する領域に書込む。
【0028】第1画像処理装置100のCPU11に
は、第2および第3画像処理装置200,300のCP
U21,31のシリアルデ−タ通信ラインが接続されて
おり、CPU11(マスタ−)が、画像読取,読取画像
の補正および画像デ−タ転送を第2および第3画像処理
装置200,300のCPU21,31(スレ−ブ)に
指示する。CPU11は、第1カメラ16bの撮影画像
デ−タおよび200,300から転送を受けた画像デ−
タに基づいて、車両前方10〜90mの画像上の走行レ
−ン(白線)の検出,カ−ブの検出および走行レ−ン上
の車両(先行車両/路上障害物の場合もある)の検出を
行ない、更に、検出車両があるときにはそれを画面中央
とするためのステアリング角、検出車両がないときには
走行レ−ン中央を画面中央とするためのステアリング角
を、第1〜第3カメラ宛てそれぞれに算出し、カ−ブ情
報(カ−ブ半径)および検出車両情報(前方位置)を、
通信コントロ−ラ17を介してホストマイクロコンピュ
−タ(CPUを主体とするコンピュ−タシステム:以下
MPUと称す)18に転送する。第1カメラ16b宛て
のステアリング角Anはステアリングコントロ−ラ16
eに与え、第2,第3カメラ26b,36b宛てのステ
アリング角Bn,Cnは、シリアル通信ラインを介してC
PU21および31に転送する。これらのCPU21,
31は、受信したステアリング角Bn,Cnをステアリン
グコントロ−ラ26e,36eに与える。
【0029】MPU18は、車両速度制御(定速走行制
御/車間距離制御)および車両進行方向制御(各車輪ブ
レ−キ個別のブレ−キ圧制御)を行なうコンピュ−タシ
ステムであり、CPU11から受信した先行車両情報お
よびカ−ブ情報を、車両速度制御および車両進行方向制
御に用いる。
【0030】図9,図10および図11に、CPU11
の処理動作の概要を示す。CPU11の処理動作の多く
部分は、特開平6−213660号公報(発明の名称:
像の近似直線の検出方法)に提示した車両前方の物体検
出装置のCPU1の処理動作と共通又は類似であり、公
知である。したがって、図9〜図11には、該公知の処
理動作と実質上同じ処理動作を表わすブロックは太線
(太い実線又は太い破線)で表示し、以下においてはそ
の内容の大要のみを記す。本実施例のCPU11の上記
公報に開示のない処理動作を表わすブロックは細線(細
い実線又は細い破線)で表示した。
【0031】また、CPU21および31がCPU11
と同様に実行する処理動作を表わすブロックは実線(太
い実線又は細い実線)で示し、CPU11のみが実行す
る処理動作を表わすブロックは破線(太い破線又は細い
破線)で表示した。以下、図9〜図11を参照してCP
U11の処理動作を説明し、合せてCPU21および3
1の処理動作も説明する。
【0032】まず図9を参照する。第1画像処理装置1
00のCPU11は、それ自身に電源が投入されると入
出力ポ−トの初期化,内部レジスタ,内部カウンタの初
期化等(初期化A)を行なった後、第2,第3画像処理
装置200,300のCPU21,31に、画像読取を
指令する(T1)。
【0033】次にCPU11は、一画面のアナログ画信
号を所定周期でデジタル変換してイメ−ジメモリ15a
の入力デ−タメモリ領域に書込む(画像入力B)。CP
U21,31も画像読取指令に応答して同様に、一画面
の画像デ−タをイメ−ジメモリ25a,35aに書込
む。
【0034】一画面の画像デ−タをメモリに書込むと、
CPU11,CPU21およびCPU31はそれぞれ、
目標ステアリング角度An,BnおよびCnをステアリン
グコントロ−ラ16e,26eおよび36eに与える
(A1)。目標ステアリング角度An,BnおよびCnは
それぞれレジスタAn,BnおよびCnに書込まれてお
り、初期値は0であり、後述する「カメラステアリング
角の算出」(A5)を実行した後は、それによって算出
された値となる。
【0035】次にCPU11のみ、「特徴点検出ウィン
ドウ1セット」(C1)〜「ロ−ル角θr,パン移動量
xp計算」(C5)を実行する。これらの内容を次に説
明する。
【0036】C1.「特徴点検出ウィンドウ1セット」
(図12) この内容を図12の(a)に示す。図12の(b)に示
すように、第1カメラ16bの撮影画面(画像デ−タは
入力デ−タメモリにある階調デ−タ)の左上を原点
(0,0)に定めて、一点(0,350)ともう一点
(511,511)を対角コ−ナとする画像領域を特徴
点検出用の領域(ウィンドウ1)に定める。すなわち、
定めようとする領域の左上コ−ナのx座標値0をレジス
タXULに、y座標値350をレジスタYULに、該領
域の右下コ−ナのx座標値511をレジスタXLRに、
y座標値511をレジスタYLRに書込む(図12の
(a)のステップ1;カッコ内ではステップという語は
省略し、ステップNo.のみを記す)。これらのレジス
タのそれぞれのデ−タが示す値を以下、レジスタ記号そ
のもので表わす。
【0037】次に説明する「特徴点検出(UP)」C2
の処理に対して、上述の「特徴点検出ウィンドウセッ
ト」C1により、図12の(b)に示すように、2点鎖
線で示すブロック(特徴点検出ウィンドウ1)が、処理
対象領域に指定されたことになる。この領域は、図12
の(b)に示すように、車両のボンネットの先端エッジ
像を十分に含むものである。次に「特徴点検出(U
P)」C2を実行する。
【0038】C2.「特徴点検出(UP)」C2 ここでは、特徴点検出ウィンドウ1の左下コ−ナ(0,
511)よりy方向2画素上方の画素(0,509)か
ら、y方向座標値を350まで順次小さくするy方向の
下から上への走査により、該方向(x=0の直線上)に
分布する画素を順次に注目画素に指定して、各注目画素
(xs,ys)に関して、それより1画素下側の画素
(xs,ys+1)と2画素下側の画素(xs,ys+
2)の階調デ−タが表わす輝度の和と、注目画素(x
s,ys)より1画素上側の画素(xs,ys−1)と
2画素上側の画素(xs,ys−2)の、入力デ−タメ
モリにある階調デ−タが表わす輝度の和、の差の絶対値
すなわち上下方向(y方向)の階調微分値の絶対値を算
出する。これを注目画素点(xs,ys)の階調微分値
D(xs,ys)とする。この階調微分値D(xs,y
s)は、注目点(xs,ys)の上側2画素の画像濃度
和と下側2画素の画像濃度和との差の絶対値であるの
で、注目点を境にした上下方向(y)の濃度変化を表わ
し、画面上の各像の、水平方向に延びる輪郭線のところ
で大きい値となる。この階調微分値D(xs,ys)が
しきい値Th1(設定値)以上であるかをチェックし
て、Th1以上であると、イメ−ジメモリ15aのある
領域に割り当てている2値デ−タテ−ブルの、注目画素
点(xs,ys)対応アドレスE(xs,ys)に、
「1」を書込む。この情報「1」は、像の水平方向に延
びる輪郭線であることを意味する。y方向にこのような
処理を一ライン分(x=0,y=509〜350)行な
うと、走査線を右方向に移して、次の一ライン分(x=
1,y=509〜350)につき同様な処理を行なう。
以下同様に、最後のライン(x=511,y=509〜
350)まで同様な処理を行なう。
【0039】以上の処理により、イメ−ジメモリ15a
の2値デ−タテ−ブルE(xs,ys),xs=0〜5
11,ys=509〜350)に、特徴点検出ウィンド
ウ1(図12のb)内の像の水平方向に延びる輪郭線を
示す情報が書込まれたことになる。特徴点検出ウィンド
ウ1は、ボンネットの先端エッジ像を含む領域に設定さ
れているので、2値デ−タテ−ブルE(xs,ys)に
はボンネットの先端エッジを表わす情報が含まれてい
る。この実施例では、ボンネットの先端エッジを直線と
見なして、次の「ボンネット検出」C3で該直線を検出
する。
【0040】C3.「ボンネット検出」C3(図13) まず大要を説明するとここでは、公知の「ハフ(Houg
h)変換」を用いて直線を検出する。ハフ変換は、直交
座標系(x−y座標系;例えば特徴点検出ウィンドウ1
内の画素分布)で表現されている情報(例えば前記2値
デ−タテ−ブルE(xs,ys))を、極座標系(ρ−
θ座標系)で表現する手法であり、ρ=xcos(θ)+
ysin(θ)の変換を行なう。x−y座標系におけるあ
る一点(画素)はρ−θ極座標系(ρとθを直交2軸の
一方と他方に割り当てる直交座標平面)ではある曲線と
なり、x−y座標系において直線上に乗っている各点を
ρ−θ座標系で各曲線で表わすと、これらの曲線は一点
で交わる。この交点をx−y座標系への変換式に代入す
ることにより、x−y座標系での直線式が得られる。
【0041】したがって、前記2値デ−タテ−ブルE
(xs,ys)上の特徴点情報「1」を有する座標をρ
−θ極座標値に変換し、ρ−θ極座標系において曲線の
交点を求め、この交点をx−y座標系への変換式に代入
することにより、特徴点を結ぶ直線を求めることができ
る。しかし、単に2点を結ぶ直線はx−y座標系で直接
に求めることができ、ρ−θ極座標系への変換を行なう
意味はない。ところが、画面上のボンネット輪郭線は、
実際のボンネットの先端輪郭線がカ−ブしているとか、
ボンネットへの光の当り具合などにより画面上カ−ブし
ているとかあるいは粗れており、ボンネット輪郭線を直
線で近似する場合、単に2値デ−タテ−ブルE(xs,
ys)上の特徴点情報「1」がある2点を結ぶ直線を求
めたのでは、近似誤差が大き過ぎるし、ボンネットでな
いものの輪郭線を摘出してしまうこともあり得る。図1
2の(b)および図2に示すように、ボンネット輪郭線
は広い領域に分布しているので、2値デ−タテ−ブルE
(xs,ys)上には特徴点情報「1」が多く存在す
る。したがって、該「1」がある2点(画素)を結ぶ直
線は多数得られる。多数得た直線群を代表する右下りの
一直線を確定すると、それはボンネットの先端輪郭線の
右半分を最も良く近似するものである(図13のb)。
同様に、多数得た直線群を代表する左下りの一直線を確
定すると、それはボンネットの先端輪郭線の左半分を最
も良く近似するものである(図13のb)。しかしなが
らこのような統計的処理をx−y座標系で行なうと処理
がきわめて複雑となる。ところがハフ変換を用いて、2
値デ−タテ−ブルE(xs,ys)上の特徴点情報
「1」がある座標(特徴点)をρ−θ極座標系へ変換す
ると、各特徴点を表わす曲線の交点が2点(ボンネット
の右半分輪郭線と左半分輪郭線に対応)に集中する。し
たがって2値デ−タテ−ブルE(xs,ys)の特徴点
をハフ変換し、ρ−θ極座標系上の各点で、曲線が通る
度数(一点を通る曲線の数)をカウントし、度数が最大
の点と次に大きい点の二点を選択して、選択した各点を
x−y座標系への変換式に代入することによりボンネッ
トの輪郭線の右半分,左半分を表わす直線式が得られ
る。この実施例ではこのような論理に従って、すなわち
ハフ変換とρ−θ極座標系上各点を曲線が通る度数のカ
ウントにより、ボンネットの先端輪郭線を検出する。
【0042】ところで、ρ−θ極座標系上各点での曲線
交鎖度数のカウントを、2値デ−タテ−ブルE(xs,
ys)のサイズ対応の大きさのρ−θ極座標系全領域の
各点で行なうと、曲線が通る度数のカウント処理が膨大
となり、直線検出処理に長い時間がかかる。そこでこの
実施例では、2値デ−タテ−ブルE(xs,ys)の最
下端の左右中間点(x=255,y=511)をρ−θ
極座標系の原点(0,0)に定め、かつ、2値デ−タテ
−ブルE(xs,ys)を左右に2分して、右半分につ
いて、第1ハフ変換で、2値デ−タテ−ブルE(xs,
ys)の特徴点を、低密度(サンプリングピッチが大き
い)ρ−θ極座標系に変換して該極座標系の各点を曲線
が通る度数(一点を通る曲線の数)をカウントし、度数
が最大の点(第1予測点)を求める。次に第2ハフ変換
で、第1予測点を中心とする小範囲のρ−θ領域を設定
し、該領域の大きさの中密度ρ−θ極座標系に2値デ−
タテ−ブルE(xs,ys)の特徴点を変換してこのρ
−θ極座標系の各点を曲線が通る度数をカウントし、度
数が最大の点(第2予測点)を求める。そして第3ハフ
変換で、第2予測点を中心とする更に小範囲のρ−θ領
域を設定し、該領域の大きさの高密度ρ−θ極座標系に
2値デ−タテ−ブルE(xs,ys)の特徴点を変換し
てこのρ−θ極座標系の各点を曲線が通る度数をカウン
トし、度数が最大の点(第3予測点)を求める。そして
この第3予測点で表わされる直線をボンネットの先端輪
郭線の右半分と決定する(図13の12R〜14R)。
2値デ−タテ−ブルE(xs,ys)の左半分について
も、同様に第1ハフ変換,第2ハフ変換および第3ハフ
変換を行って、ボンネットの先端輪郭線の左半分を表わ
す直線を決定する(図13の12L〜14L)。
【0043】次に図13の(a)を参照して、「ボンネ
ット検出」C3の内容を詳細に説明する。まずボンネッ
トの先端輪郭線の右半分を近似する直線を検出するため
のパラメ−タを設定する(12R)。そして該近似する
直線対応の点(Rm3,Tm3)を検出する(13
R)。Rm3はρ−θ極座標系のρ値、Tm3はθ値で
ある。求めた点の座標値をレジスタRmR,TmRに格
納する(14R)。同様な処理をボンネットの先端輪郭
線の左半分を近似する直線を検出するために行なう(1
2L〜14L)。ハフ変換により直線を検出する「直線
当てはめ」13R,13Lの内容は、特願平5−701
7号に開示のものと同じであるので、ここでの詳細な説
明は省略する。なお、「直線当てはめ」13Rはウィン
ドウ1(図2)の右半分の領域の直線を検出し、「直線
当てはめ」13Lは左半分の領域の直線を検出する。
【0044】「直線当てはめ」13Rおよび13Lで求
めた直線それぞれは、極座標系の点(RmR,TmR
および(RmL,TmL)で表わされ、これらの直線を
x−y座標系で表わすと、 RmR=xcos(TmR)+ysin(TmR) および RmL=xcos(TmL)+ysin(TmL) となる。これらの直線は、図13の(b)に示す如きも
のである。
【0045】C4.「直線交点計算」C4(図14)C
PU11は、上述の「ボンネット検出」C3を終了する
と、「直線交点計算」C4で、これらの直線の交点(x
c,yc)を次のように算出する: xc=xch+〔RmR×sinTmL−RmL×sinTmR〕/ 〔cosTmR×sinTmL−cosTmL×sinTmR〕 ・・・(1) yc=ych+〔RmR×cosTmL−RmL×cosTmR〕/ 〔sinTmR×cosTmL−sinTmL×cosTmR〕 ・・・(2) この計算において、xchは2値デ−タテ−ブルE(x
s,ys)の領域のx方向中央位置(xch=255)、
ychは最下端位置(ych=509)であり、点(xch,
ych)は前述の直線検出で極座標原点に定めたものであ
る。
【0046】C5.「ロ−ル角,パン移動量計算」C5
(図14) ここでロ−ル角とは、図14の(a)に示すように、前
記検出した2直線の交わる角を2等分する直線(車両の
縦軸線)と撮影画面のy軸線とのなす角θrであり、第
1カメラ16bの視野中心線と車両の縦軸線が、それら
を水平面に投影した場合になす角度、すなわち第1カメ
ラ16bの視野中心線の、車両の縦軸線に対するロ−ル
方向のずれ角である。パン移動量xpは、撮影画面上で
の、該画面を左右に2等分する縦軸線に対する、ボンネ
ット先端中央(前記2直線の交点)の横方向ずれ量であ
る。自車から進行方向前方の車両(先行車両)を見てこ
の車両との車間距離を算出する場合、ロ−ル角θrある
いはパン移動量xpが大きいと、自車の進行方向から外
れた方向にある車両や物体を自車レ−ン(自車が走行し
ているレ−ン)上の車両等と誤認する確率が高くなる。
この確率を下げるためにはロ−ル角θrおよびパン移動
量xpが共に零となるように、カメラ16bの取付角を
調整すればよいが、この調整はむつかしくわずらわし
い。したがってある程度のロ−ル角θrおよびパン移動
量xpは避けられない。そこでこの実施例では、「画面
の校正」Cにより、画面上でロ−ル角θrおよびパン移
動量xpを零に調整するが、この調整代の算出のため
に、前述のC1〜C4の処理を行ない、かつ「ロ−ル
角,パン移動量計算」C5で、ロ−ル角θrおよびパン
移動量xpを算出してロ−ル角レジスタθrおよびパン
移動量レジスタxpに格納する: θr=(TmL+TmR)/2−π/2 ・・・(3) xp=xc−256 ・・・(4)。
【0047】CPU11は、CPU間シリアルデ−タ通
信ラインにより、算出したロ−ル角θrおよびパン移動
量Xpを、CPU21および31に送信する(図9のT
2)。
【0048】C6〜8.「画像補正」C6〜8 CPU11,21および31それぞれは、「画像補正」
C6〜8を実行する。この内容をCPU11に関して説
明する(CPU21,31の処理も同様)と、CPU1
1は、次の、「補正画像メモリイニシャライズ」C6,
「画像回転平行移動」C7および「補間」C8を含む
「画像補正」により、イメ−ジメモリ15aの、入力デ
−タメモリ(1画面分の階調デ−タ記憶領域)の各画素
の階調デ−タのアドレス(図14の(b)のx,y)
を、ロ−ル角θrおよびパン移動量Xpに対応する回転
および平行移動を行なったアドレス(θr=0,xp=
0で撮影画像を表わす画面座標系のアドレス;図14の
(b)のx’,y’)に変換して、入力デ−タメモリ対
応の補正画像メモリ(イメ−ジメモリ15aの、1画面
分の階調デ−タ記憶領域)に書込む(C6,C7)。
【0049】C6.「補正画像メモリイニシャライズ」
C6 このような回転および平行移動を行なうと、補正した画
面に階調デ−タが存在しない画素が生ずる。このような
画素を後に認識しうるように、「補正画像メモリイニシ
ャライズ」C6では、補正画像メモリの全アドレスに、
撮影画像デ−タ(階調デ−タ)には存在しない「−1」
を表わすデ−タを書込む。
【0050】C7.「画像回転平行移動」C7 これにおいては、入力デ−タメモリのアドレス(x,
y);x=0〜511,y=0〜511、のそれぞれ
を、θr=0,xp=0で撮影画像を表わす画面座標系
(補正画像メモリ)のアドレス(x’,y’);x’=
0〜511,y’=0〜511、に変換して、入力デ−
タメモリのアドレス(x,y)の階調デ−タを、補正画
像メモリの、該アドレス(x,y)を変換したアドレス
(x’,y’)に書込む。これにより、補正画像メモリ
の階調デ−タを仮に2次元ディスプレイに表示すると、
図14の(a)に示すロ−ル角θrおよびパン移動量x
p共に実質上零の、図2に示す如き画像が表示される。
ただし、この「画像回転平行移動」により、補正画像メ
モリ上には、階調デ−タが存在しないアドレス(画素=
空白画素)が生じることがあり、その場合そこには、上
述の「補正画像メモリイニシャライズ」C6により、
「−1」を示すデ−タが残存していることになる。
【0051】C8.「補間」C8 「補間」C8では、階調デ−タが存在しない画素に、そ
の周りの4画素の階調デ−タの平均値を割り当てる。周
り4画素のいずれかが空白画素であると、この割り当て
はしない。この「補間」C8においては、補正画像メモ
リのアドレス(画素)を順次に指定して、指定した画素
(注目画素)が空白画素(メモリデ−タが「−1」を示
すもの)であるかをチェックして、注目画素が空白画素
であると、図15に示すように、その左隣りの画素ロ,
右隣りの画素ハ,上側の画素イおよび下側の画素ニに階
調デ−タがあるかをこの順にチェックし、これら4個の
画素の1つでも空白画素であるとそこで、該注目画素に
対する処理は終了(空白画素のまま放置)し、注目画素
を次に移す。前記4画素を1つづつ階調デ−タがあるか
チェックしたとき、階調デ−タがあるとそれを累算レジ
スタIsの内容に加算し、得た和を累算レジスタIsに
更新メモリし、回数レジスタNsの内容を1インクレメ
ントする。前記4個の画素のすべてについてこれを終了
すると、これらの画素の階調デ−タの平均値Ic(x,
y)を算出して、注目画素にメモリする。
【0052】以上で、「画面の校正」C(図3)を終了
し、CPU11,21,31は次に、レジスタNveの
デ−タが0(無限遠点追跡に成功している:後述)であ
るかをチェックする(図10のA2)。後述の「無限遠
点計算」(D4)で、自車両走行レ−ンを区画する左右
白線の検出に成功しそれらの交点(これを無限遠点と称
す)の算出に成功しているときに、レジスタNveのデ
−タが0である。CPU11は、レジスタNveのデ−
タが0であると、「レ−ン検出ウィンドウ設定」(A
3)を実行し、レジスタNveのデ−タが0でないと、
「特徴点検出ウィンドウ2セット」(D1)を実行す
る。CPU21,31も同様な処理を実行する。
【0053】A3.「レ−ン検出ウィンドウ設定」(A
3) ここでは、車両前方のシ−ンの中から樹木,路肩等の背
景像(外乱)を除去し白線のみのエッジ点を検出するた
めに、エッジ検出を行う範囲を限定するウィンドウを設
定する。白線検出の処理速度を高速化するために、レ−
ン形状に応じた複数のレ−ン検出ウィンドウを規定する
デ−タをROM12に格納しており、前回「無限遠点計
算」(D4)で算出した無限遠点(xv,yv)および
「左右白線間隔(WL)計算」(D5)で算出した左,
右白線の、画面上の始端位置(x,y),(x
)に基づいて、レ−ン検出ウィンドウを定める。
【0054】レ−ン検出ウィンドウ形状は、図16に示
すような逆V字形で、頂点を5パタ−ン,左右端を各3
パタ−ンで構成する合計45パタ−ンである。各パタ−
ンのウィンドウ形状は、常に白線が捕捉できるように、
次の観点で定められている。 (1)ウィンドウ幅(W,W,W:図16) 車両のピッチングによるカメラ16bのチルト角の変動
が吸収できる幅, (2)頂点座標(C〜C:図16) 車両と白線とのヨ−角,カ−ブ路及び、カメラ16bの
ステアリングにより、画面上で移動する無限遠点を、常
にウィンドウ内に捕える, (3)左右端座標(L,L,L,R,R
:図16) 車両と白線とのヨ−角,カ−ブ路及び、カメラ16b,
26b,36bのステアリングにより、画面上の左右端
に映し出されるレ−ンの位置が変化しても、白線をウィ
ンドウ内に捕える。
【0055】図16に示す寸法(画素単位)は次の通り
である: ウィンドウ頂点C〜Cのピッチ(Cn−1−C) カメラ16b:50,カメラ26b:70,カメラ36
b:80 なお、中央のCがx方向の画面中央である, ウィンドウ左右端L〜L,R〜Rのピッチ(L
−Ln−1,R−Rn−1) カメラ16b:60,カメラ26b:70,カメラ36
b:80 なお、L,Rが、基準レ−ン幅で、レ−ンが水平か
つ直線のときに車両がその中央を走行しているときに表
われる白線(を近似した直線)の画面エッジにおける端
部位置である, ウィンドウ頂点の幅W: カメラ16b:50,カメラ26b:70,カメラ36
b:80 ウィンドウ左右端の幅W,W: カメラ16b:60,カメラ26b:70,カメラ36
b:80。
【0056】「レ−ン検出ウィンドウ設定」(A3)で
CPU11は、C〜Cの中の前回検出した無限遠点
のx座標値(xv)に最も近い点(C〜Cの1つC
)を検策し、そのx座標値と前回検出した無限遠点の
y座標値を、レ−ン検出ウィンドウの基準位置(逆v字
線)の頂点に定め、前回検出した左,右白線の、画面上
の始端位置(x,y),(x,y)のy座標値
(y),(y)に最も近い点(L〜Lの1つL
,R〜Rの1つR)を検索して、前回検出した
始端位置のx座標値と検出した点のy座標値をウィンド
ウの基準位置(逆v字線)の左,右端に定めて、このよ
うに定めた3点とW,W,Wで規定される画面上
の領域(レ−ン検出ウィンドウ)を定める。なお、定め
たレ−ン検出ウィンドウを適用するメモリは補正画像メ
モリである。
【0057】D1.「特徴点検出ウィンドウ2セット」
D1 この内容は、前述の「特徴点検出ウィンドウ1セット」
C1と類似であるが、ウィンドウ2のサイズと位置がウ
ィンドウ1とは異なり、しかも、ウィンドウ2を適用す
るメモリは補正画像メモリである。図2に示すように、
ウィンドウ2は、ウィンドウ1の上側に設定される。
【0058】D2.「特徴点検出(UP)」D2 ウィンドウ2を設定すると、補正画像メモリ上の該ウィ
ンドウ2内の特徴点を検出する。この内容は前述の「特
徴点検出(UP)」C2と同様であり、「特徴点検出
(UP)」D2でも特徴点を表わす「1」情報は、2値
デ−タテ−ブルE(xs,ys)に書込む。ただし、検
出領域がウィンドウ2である点、および、処理対象デ−
タが補正画像メモリ上のデ−タである点、が異なる。レ
−ン検出ウィンドウを設定した場合には、補正画像メモ
リ上の該レ−ン検出ウィンドウの内部領域の特徴点を検
出する。
【0059】D3.「左右白線検出」D3 ここでも前述の「ボンネット検出」C3と類似の処理
で、自車レ−ンの右端白線を近似する直線および左端白
線を近似する直線を検出する。ただし、ウィンドウ2
(又はレ−ン検出ウィンドウ)がウィンドウ1とサイズ
および位置が異なるので、極座標原点が異なる(図
2)。
【0060】「直線当てはめ」 「直線当てはめ」は、ウインドウ2(又はレ−ン検出ウ
ィンドウ)の右半分に対して適用される点に注意された
い。ここではまず、2値デ−タテ−ブルE(xs,y
s)上の特徴点をρ−θ極座標系に変換してこの座標系
の各点(r,t)の曲線が通る度数カウント値を書込
む、イメ−ジメモリ15aのある領域に割り当てたデ−
タテ−ブルHGn(r,t)、ここではn=1、のデ−
タをクリアする。次にハフ変換パラメ−タ(変換領域お
よびハフ変換密度)を設定し、第1回のハフ変換(HG
1)を行なう。
【0061】「ハフ変換(HG1)」 これにおいては、2値デ−タテ−ブルE(xs,ys)
の、補正画像メモリ対応の一画面の中のウィンドウ2
(又はレ−ン検出ウィンドウ)対応領域の右半分、に特
徴点(「1」情報)があるかをチェックする。特徴点が
ある毎に、該点を、x−y座標上で原点が(xch=2
55,ych=350)、θが0〜π/2の範囲、か
つ、θの単位が(π/2)×(1/32)の極座標ρ−
θ上の位置(r,t)、t=0〜31、rは r=〔(xs−xch)cos{(T−T)・t/T+T} +(ych−ys)sin{(T−T)・t/T+T}−R} ×R/(R−R) ・・・(5) で算出される値、に変換し、データテーブルHGn(こ
こではn=1)の、位置(r,t)対応のアドレスのデ
ータを1インクレメントする。x−y座標上の一点は極
座標ρ−θに変換すると極座標ρ−θ上では曲線となる
ので、前記変換された位置(r,t)は、t=0〜31
のそれぞれに対応する32個(それらの連なりが曲線)
となる。データテーブルHGnの、これらの位置(r,
t)に割り当てたアドレスのデータが1インクレメント
されるので、各アドレスのデータは、x−y座標上の特
徴点それぞれの、ρ−θ座標上の曲線が通る度数を表わ
すことになる。
【0062】 上記(5)式を変形すると次の(5a)式となる; r/R/(R−R)+R=(x−ych)・cos〔(t・(T−T) /T)+T〕+(ych−ys)・sin〔(t・(T−T)/Td)+T〕 ・・・(5a) これは次の(5b)式で表わすことができる; r/d+c=(xs−xch)・cos(a・t+b) +(ych−ys)・sin(a・t+b) ・・・(5b) ここで、a=(T−T)/T,b=T,c=R
,d=R/(R−R)である。
【0063】この(5)式において、(xch,ych)
は、極座標原点のx−y座標上の位置であり、ここでは
xch=255、ych=350である。xsは特徴点の、
x−y座標上のx座標値、ysはy座標値である。
【0064】ここで、 θ=〔(t・(T−T)/T)+T〕 と表わすと、 (T−T)/T=(π/2)/32、 T=0 であるので、 θ=t・(π/2)/32 =(π/64)t a=π/64,b=0,c=0,d=1/8 であり、t=0〜31であるので、θ=0,θ=π/6
4,θ=2π/64,θ=3π/64,・・・,31π
/64と、π/64を最小単位として32点のρ値rが
算出される。すなわちこの第1ハフ変換では、ウィンド
ウ2の右半分の領域の特徴点各点が、θがπ/64を最
小単位とし、かつ0以上π/2未満の範囲の極座標平面
上の位置(r,t)に変換される。
【0065】上記(5)式の、R/(R−R
は、 R/(R−R)=32/256 である。これは、θ=π/64をtの1単位としている
ので、すなわち、π/2を32分割しているので、これ
に対応してρの範囲0〜256も同様に32分割するも
のである。すなわちrの一単位は256/32である。
【0066】要約すると、「ハフ変換(HG1)」で
は、(5)式は具体的には次の(5−1)式である; r={(xs−255)・cos〔(t・(π/64))+(350−ys)・sin〔(t・(π/64))〕 ×1/8 ・・・(5-1) これを(5b)式の形に変形して、 r/d+c=(xs−xch)・cos(a・t+b) +(ych−ys)・sin(a・t+b) ・・・(5-1b) で表わすと、a=π/64,b=0,c=0,d
=1/8 である。
【0067】このように第1ハフ変換では、ρ−θ極座
標のθの単位をπ/64と粗いものとし、しかもρの単
位を256/32と粗いものとしているので、1つの特
徴点(xs,ys)をρ−θ極座標に変換する演算回数
(tの切換回数32すなわち(1)式の演算を行なう回
数)が極く少く、rデータビット数が少く、特徴点各点
をρ−θ極座標へ変換する速度が速く、かつ、度数カウ
ント処理速度が速い。
【0068】CPU11は、第1回のハフ変換である
「ハフ変換(HG1)」を終了すると、第1回の「最大
点探索」を実行する。
【0069】第1回の「最大点探索」 前述のデータテーブルHGn(ここではn=1)の各ア
ドレス(r,t)のデータ(度数)を順次に読出して、
読出したデータをレジスタGmのデータと比較して、読
出しデータの方が大きいと読出しデータをレジスタGm
に更新メモリし、かつこの時読出しデータのアドレス
(r,t)のrはレジスタrm1に、tはレジスタt
m1に更新メモリする。データテーブルHGnのすべて
のアドレスに対してこのような処理を終了すると、レジ
スタGmにはデータテーブルHGnにある度数の最大値
が、レジスタrm1,tm1には該最大値があるアドレ
ス(rm1,tm1)が格納されていることになる。
【0070】CPU11は、第1回の「最大点探索」を
終了すると、r−t極座標系で表現された前記アドレス
(rm1,tm1)を、x−y座標系画面に対応するρ
−θ極座標系アドレス(Rm1,Tm1)に変換する。
ここでは、 Rm1=rm1・(Re1−Rs1)/Rd1 ・・・(6) Tm1=tm1・(Te1−Ts1)/Td1 ・・・(7) を算出して、算出したRm1をレジスタRm1に、算出
したTm1をレジスタTm1 に格納する。 (Re1−Rs1)=256 Rd1=32 (Te1−Ts1)=π/2 Td1=32 であり、(6)式は、Rm1=8・rm1 を意味し、
(7)式は、Tm1=(π/64)・tm1を意味す
る。アドレス(Rm1,Tm1)をx−y座標系への変
換式に代入すると、補正画像メモリの画像データを表示
する画面上の、ウィンドウ2(又はレ−ン検出ウィン
ド)の右半分の領域にある、ある直線(低密度ハフ変換
67により検出した直線:以下第1回検出の直線と称
す)を示す式が得られる。
【0071】次にCPU11は、イメージメモリ15a
のある領域に割り当てたデータテーブルHGn(r,
t)のデータをクリアする。次に第2回のハフ変換であ
る「ハフ変換(HG2)」の変換パラメータを設定す
る。前述の第1回のハフ変換ではθの範囲T〜T
0〜π/2、単位(T−T)/Tをπ/64と
し、ρの範囲R〜Rは0〜256、単位R/(R
−R)を1/8としたが、ここでは、θおよびρの
範囲を、前記(Rm1,Tm1)を中心とする小範囲に
設定し、θおよびρの単位も小さく設定する。具体的に
は、 Rs=8(rm1−2) Re=8(rm1+2) Rd=32 Ts=(π/64)(tm1−2) Te=(π/64)(tm1+2) Td=32 を設定する。なお、rm1=Rm1/8,tm1=T
m1/(π/64)である。そして第2回の「ハフ変換
(HG2)」を行なう。
【0072】「ハフ変換(HG2)」この第2回の「ハ
フ変換(HG2)」の内容は、第1回の「ハフ変換(H
G1)」と同様であるが、演算式(前述の(5)式)の
内容が異なる。すなわち前記(5)式は具体的には次の
(5−2)式となる; r={(xs−255)・cos〔t・(π/512)+π(tm1−2)/64〕 +(350−ys)・sin〔t・(π/512)+π(tm1−2)/64〕−8(rm1−2)} ×(1/1) ・・・(5-2) これを(5b)式の形に変形して、 r/d+c=(xs−xch)・cos(a・t+b) +(ych−ys)・sin(a・t+b) ・・・(5-2b) で表わすと、前述の第1回の変換で、 a=(π/64), b=0, c=0, d=1/8 に対して、 a=(π/512),b=π(tm1−2)/64,c=8(rm1−2),d=1 となる。
【0073】t=0〜31であるので、 θ= π(tm1−2)/64, θ= (π/512)+π(tm1−2)/64, θ= 2(π/512)+π(tm1−2)/64, θ= 3(π/512)+π(tm1−2)/64, ・ ・ ・ θ=31(π/512)+π(tm1−2)/64, と、(π/512)を最小単位として32点のθに対応
するρ値rが算出される。すなわちこの第2回のハフ変
換では、ウィンドウ2の右半分の領域の特徴点各点が、
θが(π/512)を最小単位(tの1単位がπ/51
2)とし、かつθ=π(tm1−2)/64以上θ=3
1(π/512)+π(tm1−2)/64以下の範囲
の極座標平面上の位置(r,t)に変換される。ρの範
囲は8(rm1−2)以上8(rm1+2)以下で、ρ
の単位はこの範囲を32分割するものである。すなわち
rの一単位は32/32=(1/1)=1である。した
がって、第2回のハフ変換はウィンドウ2(又はレ−ン
検出ウィンドウ)の右半分の特徴点を、第1のハフ変換
よりも、狭い範囲かつ高い密度の極座標に変換するもの
である。特徴点の1つの極座標変換では、この第2ハフ
変換でもt=0〜31、すなわち32回の演算を行なう
ので、第1ハフ変換と処理時間は同程度である。1つの
特徴点(xs,ys)をρ−θ極座標に変換する演算回
数が極く少く、rデータビット数が少く、特徴点各点を
ρ−θ極座標へ変換する速度が速く、かつ、度数カウン
ト処理速度が速い。
【0074】CPU11は、第2回のハフ変換である
「ハフ変換(HG2)」を終了すると、第2回の「最大
点探索」を実行する。その内容は前述の、第1回の「最
大点探索」と同様である。この処理を終了すると、レジ
スタGmにはデータテーブルHGnにある度数の最大値
が、レジスタrm2,tm2には該最大値があるアドレ
ス(rm2,tm2)が格納されていることになる。
【0075】CPU11は、第2回の「最大点探索」を
終了すると、r−t極座標系で表現された前記アドレス
(rm2,tm2)を、x−y座標系画面に対応するρ
−θ極座標系アドレス(Rm2,Tm2)に変換する。
演算式は、 Rm2=rm2・(Re2−Rs2)/Rd2+Rs2 ・・・(8) Tm2=tm2・(Te2−Ts2)/Td2+Ts2 ・・・(9) である。算出したRm2をレジスタRm2に、算出した
m2をレジスタTm2に格納する。ここでは、 (Re2−Rs2)=32 Rd2=32 (Te2−Ts2)=π/16 Td2=32 であり、(8)式は、具体的には、 Rm2=rm2+8rm1−16 ・・・(8-1) であり、(9)式は、具体的には、 Tm2=tm2・(π/512)+(π/64)・(tm1−2) ・・・(9-1) を意味する。アドレス(Rm2,Tm2)をx−y座標
系への変換式に代入すると、補正画像メモリの画像デー
タを表示する画面上の、ウィンドウ2(又はレ−ン検出
ウィンドウ)の右半分の領域にある、ある直線(中密度
ハフ変換により検出した直線:以下第2回検出の直線と
称す)を示す式が得られる。
【0076】次にCPU11は、イメージメモリ15a
のある領域に割り当てたデータテーブルHGn(r,
t)のデータをクリアする。次に第3回のハフ変換であ
る「ハフ変換(HG3)」の変換パラメータを設定す
る。ここでは、θおよびρの範囲を、第2回の「ハフ変
換(HG2)」の場合よりも、前記(Rm2,Tm2
を中心とする更に小さい範囲に設定し、θおよびρの単
位も小さく設定する。具体的には、 R=rm2+8rm1−18 R=rm2+8rm1−14 R=32 T=(π/512)tm2+(π/64)tm1−9π/256 T=(π/512)tm2+(π/64)tm1−7π/256 T=32 を設定する。なお、rm2,tm2は、Rm2,Tm2
に対して上記(8−1)式,(9−1)式で規定される
ものである。そして第3回の「ハフ変換(HG3)」を
行なう。
【0077】「ハフ変換(HG3)」 この第3回の「ハフ変換(HG3)」の内容は、前述の
第2回の「ハフ変換(HG2)」と同様であるが、演算
式(前述の(5)式)の内容が異なる。前記(5)式
は、この第3回の「ハフ変換(HG3)」では、具体的
には次の(5−3)式となる。
【0078】 r={(xs−255)・cos〔t・(π/4096)+(π/512)tm2+(π/64)tm1 −9π/256〕+(350−ys)・sin〔t・(π/4096)+(π/512)tm2 +(π/64)tm1−9π/256〕−rm2−8rm1+18}×8 ・・・(5-3) これを(5b)式の形に変形して、 r/d+c=(xs−xch)・cos(a・t+b) +(ych−ys)・sin(a・t+b) ・・・(5-3b) で表わすと、前述の第1回および第2回の変換で、 a=(π/64), b=0, c=0, d=1/8 a=(π/512),b=π(tm1−2)/64,c=8(rm1−2),d=1 に対して、 a=(π/4096),b=(π/512)tm2+(π/64)tm1−9π/256, c=rm2+8rm1−18,d=8 となる。
【0079】t=0〜31であるので、 θ= (π/512)tm2+(π/64)tm1−9π/256, θ= (π/4096)+(π/512)tm2+(π/64)tm1−9π/256, θ= 2(π/4096)+(π/512)tm2+(π/64)tm1−9π/256, θ= 3(π/4096)+(π/512)tm2+(π/64)tm1−9π/256, ・ ・ ・ θ= 31(π/4096)+(π/512)tm2+(π/64)tm1−9π/256, と、(π/4096)を最小単位として32点のθ(t=0
〜31)に対応するρ値rが算出される。すなわちこの
第3回のハフ変換では、ウィンドウ2(又はレ−ン検出
ウィンドウ)の右半分の領域の特徴点各点が、θが(π
/4096)を最小単位(tの1単位がπ/4096)とし、かつ
θ=(π/512)tm2+(π/64)tm1−9π/256以上
θ=31(π/4096)+(π/512)tm2+(π/64)t
m1−9π/256以下 の範囲の極座標平面上の位置(r,
t)に変換される。ρの範囲はR=rm2+8rm1
−18 以上 R=rm2+8rm1−14 以下で、ρの
単位はこの範囲を32分割するものである。すなわちr
の一単位は4/32=(1/8)である。したがって、
第3回のハフ変換はウィンドウ2(又はレ−ン検出ウィ
ンドウ)の右半分の特徴点を、第2回のハフ変換より
も、更に狭い範囲かつ高い密度の極座標に変換するもの
である。特徴点の1つの極座標変換では、この第3回の
ハフ変換でもt=0〜31であるので、32回の演算を
行なうので、第2回のハフ変換と処理時間は同程度であ
る。1つの特徴点(xs,ys)をρ−θ極座標に変換
する演算回数が極く少く、rデータビット数が少く、特
徴点各点をρ−θ極座標へ変換する速度が速く、かつ、
度数カウント処理速度が速い。
【0080】CPU11は、第3回のハフ変換である
「ハフ変換(HG3)」を終了すると、第3回の「最大
点探索」を実行する。その内容は前述の、第2回の「最
大点探索」と同様である。この処理を終了すると、レジ
スタGmにはデータテーブルHGnにある度数の最大値
が、レジスタrm3,tm3には該最大値があるアドレ
ス(rm3,tm3)が格納されていることになる。
【0081】CPU11は、第3回の「最大点探索」を
終了すると、r−t極座標系で表現された前記アドレス
(rm3,tm3)を、x−y座標系画面に対応するρ
−θ極座標系アドレス(Rm3,Tm3)に変換する。
演算式は、 Rm3=rm3・(Re3−Rs3)/Rd3+Rs3・・・(10) Tm3=Tm3・(Te3−Ts3)/Td3+Ts3・・・(11) である。算出したRm3をレジスタRm3に、算出した
m3をレジスタTm3に格納する。ここでは、 (Re3−Rs3)=4 Rd3=32 (Te3−Ts3)=π/128 Td3=32 であり、(10)式は、具体的には、 Rm3=(1/8)・rm3+rm2+8rm1−18 ・・・(10-1) であり、(11)式は、具体的には、 Tm3=(π/128)・tm3+(π/512)tm2+(π/64)tm1−9π/256 ・・・(11-1) を意味する。アドレス(Rm3,Tm3)をx−y座標系へ
の変換式に代入すると、補正画像メモリの画像データを
表示する画面上の、ウィンドウ2(又はレ−ン検出ウィ
ンドウ)の右半分の領域にある、ある直線(高密度ハフ
変換により検出した直線:以下第3回検出の直線と称
す)を示す式が得られる。以上で「直線当てはめ」を終
了したことになる。
【0082】以上で、ウィンドウ2(又はレ−ン検出ウ
ィンドウ)の右半分領域にある画像中の直線(最も代表
的な直線)を表わす直線(第3回検出の直線)を得たこ
とになる。ウィンドウ2(又はレ−ン検出ウィンドウ)
は、自車レーンの左,右端の白線を検出するに適した領
域に設定されており、ウィンドウ2(又はレ−ン検出ウ
ィンドウ)の右半分領域に右端の白線像があると、第3
回検出の直線はこの白線を近似する直線である確率が高
い。したがって、上述の「直線当てはめ」は、ウィンド
ウ2(又はレ−ン検出ウィンドウ)の右半分領域での、
自車レーンの右端白線の検出である。
【0083】CPU11は、次に、第3回検出の直線を
表わすデータ(Rm3,Tm3)のRm3をレジスタR
mRに、Tm3をレジスタTmRに格納する。すなわち
自車レーンの右端白線を表わす直線を表わすデータをレ
ジスタRmR,TmRに格納する。
【0084】左白線検出 CPU11は次に、以上に説明したウィンドウ2(又は
レ−ン検出ウィンドウ)の右半分領域に関する処理と同
様な処理を、ウィンドウ2(又はレ−ン検出ウィンド
ウ)の左半分領域に施して、自車レーンの左端白線を表
わす直線を検出し、それを表わすデータをレジスタR
mL,TmLに格納する。以上で「左右白線検出」D3
を終了する。CPU11は次に、「無限遠点計算」D4
を行なう。
【0085】D4.「無限遠点計算」D4 ここではまず、「直線交点計算」で、レジスタRmR
mRのデータが表わす直線(自車走行レーン右端白線
と推定した)と、レジスタRmL,TmLのデータが表
わす直線(自車走行レーン左端白線と推定した)との交
点(x,y)を算出する。次に、算出した交点(x
,y)が、レジスタxv,yvのデ−タが表わす無
限遠点(xv,yv)を中心とする横60画素×縦60
画素の領域内に存在するかをチェックする。この領域内
であると、今回求めた交点(x,y)が無限遠点で
ある信頼性が高いので、無限遠点データ(x,y
を、今回求めた交点(x,y)に1/8の重み付け
をし、これまでの無限遠点データ(x,y)に7/
8の重み付けをして加算した値に更新する。そして、無
限遠点追跡に失敗した回数をカウントするためのレジス
タNveをクリアする。
【0086】今回算出した交点(x,y)が、レジ
スタxv,yvのデ−タが表わす無限遠点(xv,y
v)を中心とする前記横60画素×縦60画素の領域内
にないときには、無限遠点追跡が失敗(今回の交点算出
がエラー又はこれまでの無限遠点データ(xv,yv)
がエラー)であるとして、レジスタNveの内容を1イ
ンクレメントし、レジスタNveの内容が5になったか
をチェックする。5になっていると、今回と過去4回の
計5回連続して交点算出がエラーであったことになり、
これは現在保待している無限遠点データ(x,y
がエラーであると見なして、無限遠点データ(y,y
)を今回算出した交点(x,y)に更新する。
【0087】A4.「ρ,θ&無限遠点のフィルタリン
グ」A4ここでCPU11は、「左右白線検出」(D
3)で検出した、直線を表わすパラメ−タρ,θおよび
「無限遠点計算」(D4)で算出した直線交点座標(x
v,yv)をフィルタリングする。すなわち、 ρL=(3・ρL+RmL)/4 ・・・(11L) ρR=(3・ρR+RmR)/4 ・・・(11R) θL=(3・θL+TmL)/4 ・・・(12L) θR=(3・θR+TmR)/4 ・・・(12R) を算出して、レジスタρL,ρR,θL,θRに格納す
る。上記4式のカッコ内のρL,ρR,θL,θRはレ
ジスタρL,ρR,θL,θRの前回値、RmL等はレ
ジスタRmL等のデ−タである。次に、算出したρL,
ρRで表わされる直線とθL,θRで表わされる直線の
交点(xv,yv)を算出し、xvをレジスタxvに、
yvをレジスタyvに書込む。
【0088】D5.「左右白線間隔(WL)計算」D5 CPU11は次に、自車レーンの右白線と左白線との間
隔(レーン幅)WLを算出する。これにおいては、カメ
ラ16bの視野中心線(図17の2点鎖線)が路面と交
わる位置(画面上では画面の中心点)L1での、画面上
の右端白線(ρR,θR)のX位置を路面上位置XRに
変換し、画面上の左端白線(ρL,θL)のX位置を路
面上位置XLに変換して、間隔WL=XR−XLを、次
のように算出する: XR=(Sy×Hc×sinθR)/(Sx×cosθR) ・・・(13R) XL=(Sy×Hc×sinρR)/(Sx×cosρR) ・・・(13L) WL=XR−XL ・・・(14) なお、図17のSxおよびSyはそれぞれカメラ16bの
横方向および縦方向のスケールファクタであり、Hc
は、カメラ16bのレンズの中心の、路面からの高さで
ある。
【0089】CPU11は次に、算出した、路面上のレ
ーン間隔WLが正しい(自車レーン検出成功)かをチェ
ックする(D6)。すなわち、基準値WL3Dに対するWL
の偏差が、許容範囲DwL内であるかをチェックする。こ
の実施例では、日本の高速道路のレーン幅が3.5m±
0.2mであるので、基準値WL3D=3.5mに、許容
値DwL=0.3mに定めている。
【0090】基準値WL3Dに対するWLの偏差が許容範囲
DwL内にあると、自車レーン検出に成功しているとし
て、これを表わす情報「1」をレジスタFLに書込み
(61)、基準値WL3Dに対するWLの偏差が許容範囲D
wLを外れていると、自車レーン検出に失敗しているとし
て、これを表わす情報「0」をレジスタFLに書込む
(62)。以上で、「自車レーン検出」を終了したこと
になり、自車レーン検出が成功していると、レジスタF
Lのデータは「1」である。
【0091】「自車レーン検出」Dを終了するとCPU
11は、レジスタFLのデータをチェックしてそれが
「1」であると、「カ−ブ推定」G1を実行する。すな
わち、 R=(L1/2)・sinA ・・・(15) でカ−ブ半径Rを算出する。L1は、カメラ16bから
その視野中心線が水平路面と交わる点までの距離(L1
=15m)、Aはカメラ16bのステアリング角(図1
1のA5で算出する)である。次に、算出したカ−ブ半
径が2000m以下(カ−ブしている)かをチェックし
て(G2)、そうであると「特徴点選定」G3を実行す
る。
【0092】G3.「特徴点選定」G3 CPU11は、ウィンドウ2の領域内かつy軸方向で無
限遠点(yv)までの、レジスタρR,θRのデ−タρ
R,θRが表わす直線上の画素を中心とする、y方向±
設定半幅値(路面上で±80cm以内)、かつx方向±
5画素以内の特徴点を、右白線(ここでは道路がカ−ブ
しているので右曲線)を表わす特徴点として抽出する。
同様に、ウィンドウ2の領域内かつy軸方向で無限遠点
(yv)までの、レジスタρL,θLのデ−タρL,θ
Lが表わす直線上の画素を中心とする、y方向±設定半
幅値(路面上で±80cm以内)、かつx方向±5画素
以内の特徴点を、左白線(ここでは道路がカ−ブしてい
るので左曲線)を表わす特徴点として抽出する。
【0093】G4A.「座標変換」G4A 次にCPU11は、「特徴点選定」G3で抽出した特徴
点の座標を、路面の3次元座標系(X,Y,Z)に変換
する。Xは水平左右方向,Yは垂直上下方向,ZはX,
Yに直交する水平方向(車両前方向)である。カメラ1
6bの光学モデルの側面および平面を図18の(a)お
よび(b)に示す。なお、路面は水平な平面(Z軸に平
行)と見なす。図18の(a)において、路面上の点P
が上述の特徴点の1つypを意味するとする: tan(α−θ)=hc/Zp ・・・(16) tanθ=B/f ・・・(17) であり、これらの関係より、点PのZ軸座標値Zpは、 Zp=(f+B・tanα)・hc/(f・tanα−B) ・・・(18) となる。また、カメラ16bの下向き角度αは、 tanα=(yo−yv)/f ・・・(19) である。(19)式のtanαを算出し、これを(1
8)式に代入してZpを算出することができる。ここ
で、yoはカメラ座標系(画面座標系)の視野中心位
置,ypは特徴点の位置,Bは、カメラ系のy座標上で
の、視野中心位置に対する特徴点の位置差、yvは「無
限遠点計算」D4で計算した無限遠点のy座標である。
【0094】毎回、距離計算にtan関数を使用する
と、処理時間が長くなるため、近似計算を考える。関数
tan(β)と角度βとの関係は、βが0に近いときに
は、tanβ=βと近似できるため、(16)式,(1
7)式は、 α−θ=hc/Zp ・・・(16a) θ=B/f=(yo−yp)/f ・・・(17a) α=(yo−yv)/f ・・・(19a) となり、(18)式は、 Zp=f・hc/(yo−yv) ・・・(18a) と近似できる。CPU11は、この(18a)式の演算
で、特徴点のカメラ系のy座標値を、道路系のZ軸座標
値Zpに変換する。
【0095】図18の(b)を参照すると、路面上の点
P(画面上の特徴点の対応位置)と結像面との関係は、 tanθ=Xp/Zp ・・・(20) tanθ=xp/f ・・・(21) となる。xpが、カメラ座標系での、特徴点のx座標値
である。これら(20),(21)式より、道路座標系の点Pの
X座標値Xpは、 Xp=Zp・xp/f ・・・(22) と算出できる。CPU11は、この(22)式で表わされる
演算で、Xpを算出する。なお、道路座標系(X,Y,
Z)で、特徴点のY座標値は、計算処理を単純化するた
めに、すべて0としている。
【0096】G5A.「特徴点の回転補正」G5A レジスタA,B,Cには、後述の「カメラステアリング
角の算出」A5で算出した、カメラ16b,26b,3
6bのステアリング角度A,B,C(図5)が格納され
る。「特徴点の回転補正」G5でCPU11は、上述の
ように道路系座標に変換した特徴点位置デ−タ(Zp,
Xp)を、垂直軸Y(図18の(a))を中心にAだけ
回転した値に変換する。これは、カメラの視野中心線か
ら見た特徴点の方向を、車両の前後軸から見た特徴点の
方向に変換することを意味する。すなわち、この回転補
正前の特徴点位置デ−タ(Zp,Xp)は、Z軸がカメ
ラの視野中心線の水平面投影線と合致する道路座標系の
ものであるが、上述の回転補正は、特徴点位置デ−タ
(Zp,Xp)を、Z軸が車両前後軸の水平面投影線に
合致する道路座標系のものに変換する。
【0097】以上に説明した、図9の「補正画像メモリ
イニシャライズ」C6から図10を経て図11の「特徴
点の回転補正」G5までの上述のCPU11の処理と同
様な処理を、CPU21およびCPU31が、それぞれ
カメラ26bおよび36bで撮影して得た画像デ−タを
対象に、実行する。
【0098】T3A.「補正デ−タの集積」T3A 次にCPU11は、上述のように回転補正を施した特徴
点位置デ−タ(右白線対応のものと左白線対応のもの、
計2グル−プ)を、メモリ15aの特定領域に割り当て
たレ−ン領域デ−タテ−ブルの、カメラ16b撮影デ−
タ領域(右白線用領域と左白線用領域)に書込む。
【0099】そして、CPU間シリアルデ−タ通信ライ
ンを介して、CPU21に、それが上述のように回転補
正を施した特徴点位置デ−タの転送を指示しかつDMA
装置14に、DMA転送装置24から送られて来るデ−
タの、レ−ン領域デ−タテ−ブルのカメラ26b撮影デ
−タ領域への書込みを指示する。CPU21はCPU1
1のこの指示に応じてDMA装置24に、回転補正を施
した特徴点位置デ−タを格納しているメモリ領域を指定
してデ−タ転送を指示する。DMA装置24はこの指示
に応答して該メモリ領域のデ−タを読出してDMAデ−
タラインに送出し、DMA装置14がそれをメモリ15
aに書込む。DMA24が送出終了を報知するとCPU
21は転送終了をCPU11に報知する。
【0100】この報知を受けるとCPU11は、CPU
間シリアルデ−タ通信ラインを介して、CPU31に、
それが上述のように回転補正を施した特徴点位置デ−タ
の転送を指示しかつDMA装置14に、DMA転送装置
24から送られて来るデ−タの、レ−ン領域デ−タテ−
ブルのカメラ36b撮影デ−タ領域への書込みを指示す
る。CPU31はCPU11のこの指示に応じてDMA
装置34に、回転補正を施した特徴点位置デ−タを格納
しているメモリ領域を指定してデ−タ転送を指示する。
DMA装置34はこの指示に応答して該メモリ領域のデ
−タを読出してDMAデ−タラインに送出し、DMA装
置14がそれをメモリ15aに書込む。DMA34が送
出終了を報知するとCPU21は転送終了をCPU11
に報知する。
【0101】なお、CPU21又はCPU31が、ステ
ップG2で推定カ−ブ半径Rが2000m超を判定して
いた場合には、ステップG3,G4A,G5Aを実行し
ていないので、該CPU21又はCPU31はCPU1
1にデ−タなしを報知する。この場合にはそこでCPU
11は、後述の「ρ,θの座標変換」G4Bに進む。
【0102】G6A.「曲線検出(最小自乗)」G6A CPU11は次に、上述のレ−ン領域デ−タテ−ブルの
右白線用領域群の特徴点位置デ−タ(カメラ16b,2
6b,36bそれぞれで得た特徴点の集合)に対して、
最小自乗法を適用して、それらの特徴点の分布が表わす
円弧(右白線の近似曲線)を算出する。すなわち、Z方
向で車両に近い側の円弧端のX,Z座標値,遠い側の円
弧端のX,Z座標値,円弧中心のX,Z座標値および半
径RRを算出する。これらの座標値はいずれも、この段
階では、車両の前後軸の水平面投影線をZ軸とする道路
座標系のものである。このとき、特徴点のサンプル数
(存在数)をカウントする。そして同様に、上述のレ−
ン領域デ−タテ−ブルの左白線用領域群の特徴点位置デ
−タ(カメラ16b,26b,36bそれぞれで得た特
徴点の集合)に対して、最小自乗法を適用して、それら
の特徴点の分布が表わす円弧(左白線の近似曲線)を算
出し、特徴点のサンプル数をカウントする。
【0103】G7.「曲線検出の成否判定」G7 CPU11は次に、特徴点サンプル数(2組)および半
径R(2組R,R)をチェックして、特徴点サンプ
ル数の1つでも所定値未満であると、又は、カ−ブ半径
Rの一方が2000mを越えると、曲線検出不成立と見
なして、レ−ンを直線と決定(判定)する。
【0104】G9.「カ−ブRのフィルタリング」G9 特徴点サンプル数のいずれもが所定値以上でしかもカ−
ブ半径R,Rのいずれもが2000m以下である
と、曲線検出成立と見なして、今回検出した半径R
のそれぞれをフィルタリング処理して、半径レジス
タR,Rに更新書込みする。すなわち、今回算出し
た半径Rが150m以下のときには係数Kwを16に、
150m超過300m以下のときには係数Kwを8に、
300mを越えるときには係数Kwを4に定めて、 RR=〔(Kw−1)・RR+R〕/Kw ・・・(23R) RL=〔(Kw−1)・RL+R〕/Kw ・・・(23L) を算出し、算出したRRおよびRLをレジスタRR,R
Lに更新書込みする。(Kw−1)・RR,(Kw−1)
・RLのRRおよびRLは、それぞれレジスタRRおよ
びRLの、更新書込み前のデ−タ値である。Kwを上述
のように定めるので、算出したカ−ブ半径R,R
大きいときには、フィルタリング処理値RR,RLに対
する今回算出の半径R,Rの寄与比(重み)が大き
く、算出値に対するフィルタリング処理値の応答性が高
い。算出したカ−ブ半径R,Rが小さいときには、
フィルタリング処理値RR,RLに対する今回算出の半
径R,Rの寄与比(重み)が小さく、算出値に対す
るフィルタリング処理値の応答性は低い。カ−ブ半径に
対応して定められるカメラ16b,26b,36bのス
テアリング角A,B,Cは、カ−ブ半径に略反比例し、
ホストMPU18が行なうカ−ブ対応の制御の重要度が
カ−ブ半径に略反比例し、カ−ブ検出又は算出の誤差が
大きい場合やそれらの信頼性が低い場合には、カ−ブ半
径が小さいときにカメラが走行レ−ンを見失なうとか、
ホストMPU18のカ−ブ対応制御がエラ−となると
か、制御の信頼性が低下する。これを改善するために、
上述のように、フィルタリング処理値を、大きい算出値
,Rに対しては高応答(Kw小)に、小さい算出
値R,Rに対しては低応答(Kw大)に定めた。
【0105】G4B.「ρ,θの座標変換」G4B 先の「カ−ブ推定」G1で推定したカ−ブ半径がRが2
000mを越える場合、先の「補正デ−タの集積」T3
Aで、CPU21又はCPU31が転送デ−タなしを報
知して来た場合、あるいは、「曲線検出の成否判定」G
7で曲線検出不成立と判定した場合、CPU11は、先
の「ρ,θ&無限遠点のフィルタリング」A4で得た走
行レ−ンの左右白線を近似する直線を規定するデ−タ
(ρL,θL),(ρR,θR)を、カメラの視野中心
線の水平面投影線をZ軸とする道路座標系(X,Y,
Z)の直線を規定するデ−タ(Road−ρL,Road−θ
L),(Road−ρR,Road−θR)に変換する。CPU
21およびCPU31も、先の「カ−ブ推定」G1で推
定したカ−ブ半径Rが2000mを越える場合、同様に
変換処理を行なう。
【0106】G5B.「回転補正」G5B CPU11は、上記変換で得たデ−タ(Road−ρL,Ro
ad−θL),(Road−ρR,Road−θR)に、カメラ1
6bのステアリング角A相当の回転補正を加えた、車両
前後軸を基準とした直線規定デ−タ(ρL,θ
),(ρR,θR)を算出する。すなわち、カ
メラの視野中心線の水平面投影線をZ軸とする道路座標
系の直線規定デ−タ(Road−ρL,Road−θL),(Ro
ad−ρR,Road−θR)を、車両の前後軸の水平面投影
線をZ軸とする道路座標系の直線規定デ−タ(ρL
θL),(ρR,θR)に変換する。CPU21
およびCPU31も同様に変換処理を行なう。
【0107】T3B.「補正デ−タの集積」T3B CPU11は、CPU間シリアルデ−タ通信ラインを介
して、CPU21およびCPU31より、それらが変換
処理した直線規定デ−タ(ρL,θL),(ρ
,θR)を得る。
【0108】なお、CPU21又はCPU31が、ステ
ップG2で推定カ−ブRが2000m以下を判定してい
た場合には、ステップG4B,G5Bを実行していない
ので、該CPU21又はCPU31は、CPU11に該
当デ−タなしを報知する。この場合にはCPU11は、
そのまま次の「直線検出」G6Bに進む。
【0109】G6B.「直線検出」G6B CPU11は、自己が算出してセ−ブしている直線規定
デ−タ(ρL,θL),(ρR,θR)ならび
にCPU21およびCPU31が転送して来た同様な直
線規定デ−タの3者(ただし、CPU11のものだけ
(1者のみ)の場合があり、またCPU21又はCPU
31のものとCPU11のもの合せて2者の場合もあ
る)が表わす2グル−プの直線(右白線グル−プと左白
線グル−プ)の各グル−プを代表する(近似する)右代
表直線および左代表直線を規定するデ−タ(ρRm,
θRm)および(ρLm,θLm)を算出する。こ
れは重み付け平均で行ない、CPU11のものには8/
16の重み付けを、CPU21のものには5/16の重
み付けを、CPU31のものには3/16の重み付けを
する。
【0110】G10.「左右レ−ンの推定」G10 CPU11は、「カ−ブRのフィルタリング」G9から
この「左右レ−ンの推定」G10に進んだときには、
「カ−ブRのフィルタリング」G9で得た半径レジスタ
RRのデ−タとレジスタRLのRLを比較して右曲りか
左曲りかを判定して、右曲りのときには、RR−WLを
右隣接レ−ンの右白線のカ−ブ半径として、RL+WL
を左隣接レ−ンの左白線のカ−ブ半径として算出し、左
曲りのときには、RR+WLを右隣接レ−ンの右白線の
カ−ブ半径として、RL−WLを左隣接レ−ンの左白線
のカ−ブ半径として算出する。WLは、レジスタWLの
デ−タであり、「左右白線間隔(WL)計算」D5(図
10)でCPU11が算出した自車走行レ−ン幅であ
る。
【0111】「直線検出」G6Bからこの「左右レ−ン
の推定」G10に進んだときには、「直線検出」G6B
で算出した、右代表直線(を規定するデ−タρRm,
θRm)を右にWL分平行移動した直線を規定するデ
−タ(ρRR,θRR)ならびに左代表直線(を規
定するデ−タρLm,θLm)を左にWL分平行移動
した直線を規定するデ−タ(ρLL,θLL)を算
出する。
【0112】G12.「車両検索エリアの設定」G12 曲線検出成立と判定している場合には、「左右レ−ンの
推定」G10で算出した、右隣接レ−ンの右白線に相当
する円弧および左隣接レ−ンの左白線に相当する円弧そ
れぞれの、図3(道路座標系であり車両の前後軸の水平
面投影線がZ軸)に示す10m,L1=15m,30
m,L2=45m,60m,L3=75mおよび90m
(いずれもZ軸値)の、それぞれの地点の位置デ−タ
(Z,X)を算出する。
【0113】曲線検出不成立と判定している場合には、
「左右レ−ンの推定」G10で算出した、右隣接レ−ン
の右白線に相当する直線および左隣接レ−ンの左白線に
相当する直線それぞれの、図3に示す10m,L1=1
5m,30m,L2=45m,60m,L3=75mお
よび90mの、それぞれの地点の位置デ−タ(Z,X)
を算出する。
【0114】これにより、カメラ16b(CPU11)
に撮影が割り当てられた領域(10〜30mの範囲)
に、道路領域(自車走行レ−ン+右隣接レ−ン+左隣接
レ−ン)を規定する6点(10m地点で左右各1点,1
5m地点で左右各1点および30m地点で左右各1点)
が定められたことになる。
【0115】同様に、カメラ26b(CPU21)に撮
影が割り当てられた領域(30〜60mの範囲)に、道
路領域(自車走行レ−ン+右隣接レ−ン+左隣接レ−
ン)を規定する6点(30m地点で左右各1点,45m
地点で左右各1点および60m地点で左右各1点)が定
められたことになる。
【0116】更に同様に、カメラ36b(CPU31)
に撮影が割り当てられた領域(60〜90mの範囲)
に、道路領域(自車走行レ−ン+右隣接レ−ン+左隣接
レ−ン)自車両走行レ−ン領域を規定する6点(60m
地点で左右各1点,75m地点で左右各1点および90
m地点で左右各1点)が定められたことになる。
【0117】G12.「車両検索エリアの座標逆変換」
G12 CPU11は、カメラ16b(CPU11)に撮影が割
り当てられた領域の上記6点を、カメラ16bのステア
リング角A対応の補正を施してから、すなわちカメラ1
6bの視野中心線の水平面投影線をZ軸とする道路座標
系の位置に変換してから、カメラ16bの撮影画面上の
座標値に逆変換し、同様に、カメラ26b(CPU2
1)および36b(CPU31)に撮影が割り当てられ
た領域の各6点を、各カメラの撮影画面上の座標値に逆
変換する。
【0118】T4.「車両検索エリア内特徴点の集積」
T4 ここでCPU11は、CPU間シリアルデ−タ通信ライ
ンを介して、CPU21に、カメラ26b(CPU2
1)に撮影が割り当てられた領域の上記6点の上記逆変
換した座標値を与えて、該6点で囲まれる領域の特徴点
の摘出,座標変換(カメラ視野中心線の水平面投影線を
Z軸とする道路座標系の位置への変換)および回転補正
(車両前後軸の水平面投影線をZ軸とする道路座標系の
位置への変換)を指示し、CPU31には、カメラ36
b(CPU31)に撮影が割り当てられた領域の上記6
点の逆変換した座標値を与えて、該6点で囲まれる領域
の特徴点の摘出,座標変換および回転補正を指示する。
そしてCPU11は、カメラ16b(CPU11)に撮
影が割り当てられた領域の上記6点の上記逆変換した座
標値に基づいて、該6点が囲む領域(折れ線で囲まれ
る)の、メモリ15a上の特徴点を摘出し、摘出した特
徴点に対して、上述の「座標変換」G4Aと同様な座標
変換処理を実行し、更に、上述の「特徴点の回転補正」
G5Aと同様な回転補正処理を実行する。このようにし
て得た特徴点デ−タは、メモリ15aの特定領域に割り
当てたレ−ン領域デ−タテ−ブルの、カメラ16b撮影
デ−タ領域に書込む。CPU21およびCPU31も同
様な処理を行なう。
【0119】次にCPU11は、CPU間シリアルデ−
タ通信ラインを介して、CPU21に、このように処理
した特徴点デ−タの、メモリ15aへのDMA転送を指
示する。このDMA転送が終了するとCPU11は、C
PU31に、上述のように処理した特徴点デ−タの、メ
モリ15aへのDMA転送を指示する。これらのDMA
転送の詳細は、前述の「補正デ−タの集積」T3Aの中
で説明したDMA転送と同様である。
【0120】H.「先行車両認識&測距」H メモリ15aの特定領域に割り当てたレ−ン領域デ−タ
テ−ブルの、カメラ16b撮影デ−タ領域,カメラ26
b撮影デ−タ領域およびカメラ36b撮影デ−タ領域の
全領域に渡って、特徴点の分布を検索する。すなわち、
車両前後軸の水平面投影線をZ軸とする道路座標系で、
自車走行レ−ン,右隣接レ−ンおよび左隣接レ−ンの3
レ−ン(道路面領域)に分布する特徴点の、X方向(左
右方向)分布数(Z軸投影ヒストグラム)を検索する。
これにおいては、道路面領域をZ方向で下(車両直近)
側から、左から右に水平走査(X方向走査)して、その
走査線上にある特徴点の数をカウントし、カウント値を
走査線No.(Z位置)対応でセ−ブする。このX走査
を道路面領域のZ方向で下(車両直近)から上側(遠
方)へ行なう。
【0121】道路面領域についてこれ(Z軸投影ヒスト
グラムの作成)を完了すると、特徴点の水平カウント値
(X方向分布数)が設定値以上のZ方向連続幅(車両に
近い始端Z位置と終端Z位置)を、Z方向で下(車両直
近)側から検索し、それがあると、そのZ方向連続幅の
Z始端からZ終端までの、道路面領域の特徴点を、X方
向で左端から垂直(Z方向)に走査して右端まで、特徴
点の垂直分布数を検索(X軸投影ヒストグラムを作成)
する。そしてこのX軸投影ヒストグラムから、特徴点の
垂直カウント値(Z方向分布数)が設定値以上のX方向
連続幅(始端X位置と終端X位置)を、X方向で左(左
隣接レ−ンの左白線相当位置)側から検索し、それがあ
ると、その中央点(始端X位置と終端X位置の中間点
(Xt)を算出し、垂直走査幅(前記水平カウント値が
設定値以上のZ方向連続幅の中間点(Zt)を算出し、
車両デ−タテ−ブルに、(Xt,Zt)を書込む。特徴
点の水平カウント値が設定値以上の第1のZ方向連続幅
について、左端から右端まで、上述の垂直カウント値が
設定値以上のx方向連続幅の検索を終了すると、Z軸投
影ヒストグラム上の、車両直近から遠方への次の、水平
カウント値が設定値以上の第2のZ方向連続幅を検索す
る。
【0122】このようにして、まずZ軸投影ヒストグラ
ムによりZ方向の、他車両が存在する可能性がある領域
を、自車両直近側から遠方側に(Z方向に)順次に検索
し、1つの該当領域を検索したときにその領域を、自車
両の左方側(左隣接レ−ン)から右方側に(X方向
に)、他車両が存在する可能性がある領域を検索し、そ
れがあると、検索した領域の中心デ−タ(Xt,Zt)
を、車両デ−タテ−ブルに書込む。これを道路面領域全
面について終了すると、カメラ16b,26bおよび3
6bで撮影した路面(自車走行レ−ン+推定の左隣接レ
−ン+推定の右隣性レ−ン)上の存在車両(正確には、
車両でない場合もある。例えば貨物車からの落下物)の
道路座標系上の位置(Xt,Zt)が車両デ−タテ−ブ
ルにあることになる。
【0123】次にCPU11は、車両デ−タテ−ブル上
の各位置(Xt,Zt)が、左隣接レ−ン(推定レ−
ン)上か,それと自車走行レ−ンとの間(両レ−ンにま
たがる)か、自車走行レ−ン上か、それと右隣接レ−ン
との間か、あるいは、右隣接レ−ン(推定レ−ン)上
か、識別し、この区分を表わすデ−タを、車両デ−タテ
−ブルの各位置情報(Xt,Zt)に付加する。以下に
おいては位置情報(Xt,Zt)+区分デ−タを、他車
両デ−タと称す。
【0124】K.「出力」K CPU11は、曲線検出成立の場合にはカ−ブ情報(カ
−ブ半径(RR+RL)/2)および車両デ−タテ−ブ
ルの他車両デ−タを、通信コントロ−ラ17を介してホ
ストMPU18に転送する。曲線検出不成立の場合に
は、直線情報(直線であることを表わすデ−タ)と車両
デ−タテ−ブルの他車両デ−タを転送する。
【0125】A5.「カメラステアリング角の算出」A
5 CPU11は、車両デ−タテ−ブルの、他車両デ−タの
中から、区分デ−タが自車走行レ−ン,それと左又は右
隣性レ−ンとの間である車両位置の、距離(Zt)が1
0〜30mの範囲内であって、しかも最短のものを検索
する。それがあると、該検索した車両位置(Xt,Z
t)にカメラ16bの視野中心線(の路面上投影線)を
向けるためのステアリング角Aを算出する。該当する車
両位置が無かったときには、自車走行レ−ンの、車両よ
りL1前方(Z位置=L1)の幅WLの中央(左,右白
線の中間点)にカメラ16bの視野中心線(の路面上投
影線)を向けるためのステアリング角Aを算出する。そ
して、レジスタAnのデ−タAnをレジスタAに書込
み、レジスタAnに、今回算出したステアリング角Aを
書込む。
【0126】次にCPU11は、車両デ−タテ−ブル
の、他車両デ−タの中から、区分デ−タが自車走行レ−
ン,それと左又は右隣性レ−ンとの間である車両位置
の、距離(Zt)が30〜60mの範囲内であって、し
かも最短のものを検索する。それがあると、該検索した
車両位置(Xt,Zt)にカメラ26bの視野中心線
(の路面上投影線)を向けるためのステアリング角Bを
算出する。該当する車両位置が無かったときには、自車
走行レ−ンの、車両よりL2前方(Z位置=L2)の幅
WLの中央(左,右白線の中間点)にカメラ26bの視
野中心線(の路面上投影線)を向けるためのステアリン
グ角Bを算出する。そして、レジスタBnのデ−タBn
をレジスタBに書込み、レジスタBnに、今回算出した
ステアリング角Bを書込む。
【0127】更にCPU11は、車両デ−タテ−ブル
の、他車両デ−タの中から、区分デ−タが自車走行レ−
ン,それと左又は右隣性レ−ンとの間である車両位置
の、距離(Zt)が60〜90mの範囲内であって、し
かも最短のものを検索する。それがあると、該検索した
車両位置(Xt,Zt)にカメラ36bの視野中心線
(の路面上投影線)を向けるためのステアリング角Cを
算出する。該当する車両位置が無かったときには、自車
走行レ−ンの、車両よりL3前方(Z位置=L3)の幅
WLの中央(左,右白線の中間点)にカメラ36bの視
野中心線(の路面上投影線)を向けるためのステアリン
グ角Cを算出する。そして、レジスタCnのデ−タCn
をレジスタCに書込み、レジスタCnに、今回算出した
ステアリング角Cを書込む。
【0128】T5.「カメラステアリング角の送信」T
5 CPU11は、CPU間シリアルデ−タ通信ライン介し
て、CPU21に、レジスタBnのデ−タBnを送信
し、CPU31にはレジスタCnのデ−タCnを送信す
る。
【0129】CPU11,CPU21およびCPU31
は、先に説明した「カメラステアリング出力」A1で、
デ−タAn,BnおよびCnを、それぞれステアリング
コントロ−ラ16e,26eおよび36eに与え、これ
らのコントロ−ラが、カメラ16b,26bおよび36
bの視野中心線(の水平面投影線)が車両前後軸(の水
平面投影線)となす角がAn,BnおよびCnとなるよ
うにカメラを回転駆動する。これにより、前方車両があ
るときには、カメラは前方車両を追跡し、前方車両がな
いときには、自車走行レ−ンの幅中央を追跡することに
なる。
【0130】「カメラステアリング角の送信」T5を終
了するとCPU11は、図9の「画像入力を指令」T1
に進む。これ以降の説明は、ここまでの説明の繰返しに
なるので、省略する。
【0131】以上に説明した第1実施例によれば、第n
+1回の「画像入力」Bの直後に、前回(第n回)の
「画像入力」Bで得た画像デ−タに基づいてその画面上
の白線又は先行車両を追跡するために第n回の「カメラ
ステアリング角の算出」A5で算出した目標角度An,
BnおよびCnを目標角度とするためのカメラ角度の変
更(ステアリング)を開始するので、第n+1回の「画
像入力」Bで得た画像デ−タに対しては、第n回の「カ
メラステアリング角の算出」A5で算出した目標角度A
n,BnおよびCnを適用して物体追跡処理を行なう必
要がある。このため前述のように、「カメラステアリン
グ角の算出」A5では、ステアリング角度An,Bnお
よびCnを算出すると、前回算出値を格納しているレジ
スタAn,BnおよびCnのデ−タを、前回値格納用の
レジスタA,BおよびCに書込み、それからレジスタA
n,BnおよびCnに、今回算出値An,BnおよびC
nを書込む。
【0132】したがって、第n+1回の「画像入力」B
で得た画像デ−タに対する「特徴点の回転補正」G5
A,G5Bおよび「車両検索エリアの座標逆変換」G1
2の処理では、第n+1回の「画像入力」Bのときに設
定されているステアリング角度A,BおよびC(レジス
タA,BおよびCのデ−タ:第n回の算出値)が用いら
れる。第n+1回の算出値An,BnおよびCnは、第
n+2回の「画像入力」Bで得た画像デ−タに基づいた
「特徴点の回転補正」G5A,G5B等で計算に利用さ
れる。
【0133】しかして、第n+1回の「画像入力」Bを
終了し、その画像デ−タに基づいた各種画像処理の間
に、第n回のステアリング算出値を目標値とするカメラ
角度の変更(ステアリング)が行なわれるので、第n+
1回のカメラ画像読込み時には、カメラステアリングが
終了している確率が高く、カメラ画像読込みにカメラス
テアリングが重複することによる、読込み画像の流れ
(分解能低下)がなくなるか、少くとも低減する。カメ
ラステアリング時間≦画像処理時間(C1以下Bまでの
時間)であると、カメラ画像読込みにカメラステアリン
グが重複することはない。また、第n+1回のカメラ回
転角算出直後にその分のカメラステアリングを開始し、
これが完了してから第n回の画像読込みを開始する場合
(例えば後述の第2実施例)よりも、カメラステアリン
グが像検出手段(100)およびステアリング角度算出
手段(100)の画像処理時間と重複する分、カメラ画
像読込み周期(ステアリング周期はこれに同期してい
る)が短くなり、物体追従速度が向上する。
【0134】−第実施例− 図19に、本発明の第2実施例のCPU11の、第1実
施例のものと異なる処理動作部分のみを示す。なお、第
2実施例は、ハ−ドウェアは第1実施例と同一であり、
CPU11の処理動作が部分的に異なる。
【0135】この第実施例のCPU11は、第1実施
例と同様に、図11の「カメラステアリング角の算出」
A5で、ステアリング角度An,BnおよびCnを算出
すると、前回算出値を格納しているレジスタAn,Bn
およびCnのデ−タを、前回値格納用のレジスタA,B
およびCに書込み、それからレジスタAn,Bnおよび
Cnに、今回算出値An,BnおよびCnを書込む。
【0136】そして「画像入力」Bを終了すると、A
n,BnおよびCnを目標角度とするカメラ角度の設定
(ステアリング)を開始するが、「画像入力」Bのとき
に、前回開始したステアリングが完了していない場合も
あり得るので、CPU11は、CPU31にシャッタ−
速度Sv3の転送を要求して、CPU31よりそれを入
手し(図19のQ1)、シャッタ−速度Sv3が高速か
低速かをチェックする。
【0137】高速であると、前回開始したステアリング
が完了していなくても「画像入力」Bで像流れは少いの
で、CPU11はCPU21およびCPU31に画像入
力を指令し(T1)、自身も画像読込みを行なう。シャ
ッタ−速度Sv3が低速であったときには、前回開始し
たステアリングが完了していない場合の「画像入力」B
で像流れが大きいはずであるので、CPU11は、ステ
アリングコントロ−ラ16e,CPU21およびCPU
31に、カメラステアリングの停止を指示した後、CP
U21およびCPU31に画像入力を指令し、自身も
「画像入力」Bを実行する。
【0138】「画像入力」Bを終了するとCPU11
は、この第3実施例では、シャッタ−速度Sv3が低速
であったときには、ステアリングコントロ−ラ16e,
CPU21およびCPU31に、カメラの現在角度デ−
タの転送を要求し、それらが送って来た角度A,Bおよ
びCをそれぞれレジスタA,BおよびCに、更新書込み
する(カメラステアリングの停止により、実角が、A5
でレジスタA,BおよびCのデ−タと異なることがあり
うるので、これを防止する)。そしてステアリングコン
トロ−ラ16e,CPU21およびCPU31に、A
n,BnおよびCnを転送する(A1)。シャッタ−速
度Sv3が高速であったときには、レジスタA,Bおよ
びCを更新することなく、ステアリングコントロ−ラ1
6e,CPU21およびCPU31に、An,Bnおよ
びCnを転送する(A1)。
【0139】なお、第3カメラ36bのシャッタ−速度
Sv3のみを参照しているのは、第3カメラ36bが最
も遠方を撮影するので、ステアリング目標角度An,B
nおよびCnの繰返し算出周期の一周期間で、目標角度
Cnの変化量が最も大きくなり、ステアリング時間が最
長となり、第3カメラ36bのカメラステアリングが画
像読込みと重複する可能性が最も高いからである。
【0140】シャッタ−速度Sv3が高いとその分読込
み画像の流れ(分解能低下)が低減する。特に、ステア
リング速度(車体に対する相対速度)および追跡対象物
の移動速度(車体にする)が低い場合には、画像の流れ
(分解能低下)は少なく、読込み画像の流れ(分解能低
下)は少い。第実施例では、シャッタ−速度Sv3が
低いときにはカメラのステアリングを停止して画像読込
みを行なうので、画像読み込みがカメラステアリングと
重複することはなく、読込み画像の流れ(分解能低下)
はない。撮影画面上での物体検出の精度が高く、物体追
跡の信頼性が高い。
【図面の簡単な説明】
【図1】 本発明の第1実施例の概要を示すブロック図
である。
【図2】 図1に示すテレビカメラ16bの撮影画面を
示す平面図である。
【図3】 図1に示すテレビカメラ16b,26bおよ
び36bの撮影範囲(車両前方方向)を示す平面図であ
る。
【図4】 (a)は図1に示すテレビカメラ16b,2
6bおよび36bの撮影範囲(左右方向)を示すグラ
フ、(b)は量子化誤差を示すグラフである。
【図5】 図1に示すテレビカメラ16b,26bおよ
び36bの撮影範囲およびステアリング角A,B,Cを
示す平面図である。
【図6】 図1に示す第1画像処理装置100の構成を
示すブロック図である。
【図7】 図1に示す第2画像処理装置200の構成を
示すブロック図である。
【図8】 図1に示す第3画像処理装置300の構成を
示すブロック図である。
【図9】 図6に示すCPU11の画像デ−タ処理およ
び先行車両検出の内容の一部を示すフロ−チャ−トであ
る。
【図10】 図6に示すCPU11の画像デ−タ処理お
よび先行車両検出の内容の一部を示すフロ−チャ−トで
ある。
【図11】 図6に示すCPU11の画像デ−タ処理お
よび先行車両検出の内容の残部を示すフロ−チャ−トで
ある。
【図12】 (a)は、図9に示す「特徴点検出ウィン
ドウ1セット」C1の内容を示すフロ−チャ−トであ
る。(b)は、図1に示すテレビカメラ16bの撮影画
面上の特徴点検出ウィンドウ1の領域を示す平面図であ
る。
【図13】 (a)は、図9に示す「ボンネット検出」
C3の内容を示すフロ−チャ−トである。(b)は、図
1に示すテレビカメラ16bの撮影画面上の特徴点の分
布と、「直線あてはめ」により検出する直線を示す平面
図である。
【図14】 (a)は、図1に示すテレビカメラ16b
の撮影画面上のロ−ル角およびパン移動量を示す平面
図、(b)は図9に示す「画像回転平行移動」C7で用
いる計算式を示す。
【図15】 図9に示す「補間」C8で注目画素の画像
デ−タを算出するために参照する画素を示す平面図であ
る。
【図16】 図10に示す「レ−ン検出ウィンドウ設
定」A3で設定されるテレビカメラ16bの撮影画面上
のレ−ン検出ウィンドウを示す平面図である。
【図17】 図1に示すテレビカメラ16b内のレンズ
および撮像素子と車両前方の先行車両との幾何学的関係
を示す側面概要図である。
【図18】 (a)は図1に示すテレビカメラ16b内
のレンズおよび撮像素子と車両前方の路面上における点
Pとの幾何学的関係を示す側面概要図、(b)は平面概
要図である。
【図19】 本発明の第2実施例のCPU21の、画像
デ−タ処理および先行車両検出の内容の一部を示すフロ
−チャ−トである。
【符号の説明】
11:CPU 12:ROM 13:RAM 15〜16:入出力ポ−ト 15a:イメ−ジメモリ 16a:カメラコントロ−ラ 16b:テレビカメラ 16c:A/Dコンバ−タ 16d:回動機構 16e:ステアリングコント
ロ−ラ 17:通信コントロ−ラ 18:ホストMPU
───────────────────────────────────────────────────── フロントページの続き (72)発明者 里 中 久 志 愛知県豊田市トヨタ町1番地 トヨタ自 動車株式会社 内 (56)参考文献 特開 平5−346958(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 - 11/30 B60R 21/00 620 H04N 7/18

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】前方シ−ンの投影画面の映像信号を発生す
    るカメラ該カメラの撮影方向を変更するための回転駆
    動装置1画面分の映像信号を画像デ−タにデジタル変
    換して読込む、画面読込み手段該画面読込み手段が読
    込んだ画像デ−タに基づいて画面上の物体像を検出する
    像検出手段該像検出手段が検出した物体像の位置に対
    応して該物体像対応の物を追跡するためのカメラ回転角
    を算出するステアリング角度算出手段および、前記
    転駆動装置を介して前記ステアリング角度算出手段が算
    出したカメラ回転角に撮影方向を定める撮影方向制御手
    を備えるステア型撮影装置において前記画面読込み手段が第n回の画像デ−タ読込みを終了
    すると、前記撮影方向制御手段が、前記ステアリング角
    度算出手段が算出した第n−1回のカメラ回転角に定め
    るカメラステアリングを開始し、このカメラステアリン
    グと並行して前記像検出手段が第n回読込み画面上の物
    体像を検出し、前記ステアリング角度算出手段が、第n
    回読込み画面上の物体像対応の物を追跡するための第n
    回のカメラ回転角を算出する、ことを特徴とする ステア
    型撮影装置。
  2. 【請求項2】前方シ−ンの投影画面の映像信号を発生す
    るカメラ該カメラの撮影方向を変更するための回転駆
    動装置1画面分の映像信号を画像デ−タにデジタル変
    換して読込む、画面読込み手段該画面読込み手段が読
    込んだ画像デ−タに基づいて画面上の物体像を検出する
    像検出手段該像検出手段が検出した物体像の位置に対
    応して該物体像対応の物を追跡するためのカメラ回転角
    を算出するステアリング角度算出手段および、前記
    転駆動装置を介して前記ステアリング角度算出手段が算
    出したカメラ回転角に撮影方向を定める撮影方向制御手
    を備えるステア型撮影装置において、 前記回転駆動装置によるカメラの回転駆動を禁止して、
    前記画面読込み手段を介して画像メモリに画像デ−タを
    書込む読込み制御手段; を備えることを特徴とするステア型撮影装置。
  3. 【請求項3】前方シ−ンの投影画面の映像信号を発生す
    るカメラ,該カメラの撮影方向を変更するための回転駆
    動装置,1画面分の映像信号を画像デ−タにデジタル変
    換して読込む、画面読込み手段,該画面読込み手段が読
    込んだ画像デ−タに基づいて画面上の物体像を検出する
    像検出手段,該像検出手段が検出した物体像の位置に対
    応して該物体像対応の物を追跡するためのカメラ回転角
    を算出するステアリング角度算出手段、および、前記回
    転駆動装置を介して前記ステアリング角度算出手段が算
    出したカメラ回転角に撮影方向を定める撮影方向制御手
    段、を備えるステア型撮影装置において前記 カメラのシャッタ−速度が低いときには前記回転駆
    動装置によるカメラの回転駆動を禁止して、前記画面読
    込み手段を介して画像メモリに画像デ−タを書込み、該
    シャッタ−速度が高いときには前記回転駆動装置による
    カメラの回転駆動に非干渉で前記画面読込み手段を介し
    て画像メモリに画像デ−タを書込む、読込み制御手段 を備えることを特徴とする ステア型撮影装置。
JP25222395A 1995-09-29 1995-09-29 ステア型撮影装置 Expired - Fee Related JP3416921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25222395A JP3416921B2 (ja) 1995-09-29 1995-09-29 ステア型撮影装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25222395A JP3416921B2 (ja) 1995-09-29 1995-09-29 ステア型撮影装置

Publications (2)

Publication Number Publication Date
JPH0996508A JPH0996508A (ja) 1997-04-08
JP3416921B2 true JP3416921B2 (ja) 2003-06-16

Family

ID=17234234

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25222395A Expired - Fee Related JP3416921B2 (ja) 1995-09-29 1995-09-29 ステア型撮影装置

Country Status (1)

Country Link
JP (1) JP3416921B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19950033B4 (de) 1999-10-16 2005-03-03 Bayerische Motoren Werke Ag Kameravorrichtung für Fahrzeuge
JP2001116512A (ja) * 1999-10-20 2001-04-27 Matsushita Electric Ind Co Ltd 車間距離測定方法および車間距離測定装置
EP1817689B1 (en) * 2004-11-18 2014-03-12 Gentex Corporation Improved image acquisition and processing systems for vehicle equipment control
DE102005007904B4 (de) * 2005-01-11 2007-12-20 Daimlerchrysler Ag Verfahren zur Ausrichtung verstellbarer Sensoren zur Erfassung von Refenzpunkten in einer Umgebung eines Kraftfahrzeuges
JP2019201301A (ja) * 2018-05-16 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 撮像システム

Also Published As

Publication number Publication date
JPH0996508A (ja) 1997-04-08

Similar Documents

Publication Publication Date Title
JPH0995194A (ja) 車両前方の物体検出装置
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
JP3125550B2 (ja) 移動車の前方認識装置ならびに車輌用走行制御装置
US8477191B2 (en) On-vehicle image pickup apparatus
JPH06213660A (ja) 像の近似直線の検出方法
JP2002352225A (ja) 障害物検出装置及びその方法
JP3588728B2 (ja) 車両前方の路上線検出装置
JP3993259B2 (ja) 画像処理装置
JP3268325B2 (ja) 車上認識対象画像デ−タの前処理方法
US11273763B2 (en) Image processing apparatus, image processing method, and image processing program
CN110626269A (zh) 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
JP6768554B2 (ja) キャリブレーション装置
WO2022073461A1 (zh) 泊车过程展示方法、装置及车辆
WO2022153795A1 (ja) 信号処理装置、信号処理方法及び信号処理システム
JP3416921B2 (ja) ステア型撮影装置
CN111860270B (zh) 一种基于鱼眼相机的障碍物检测方法及装置
JP3395393B2 (ja) 車両周囲表示装置
JPH07250268A (ja) 車両周辺監視装置
JP3143814B2 (ja) 車両前方の物体の距離検出方法
JP2021060720A (ja) 物体検出装置
JP3237705B2 (ja) 障害物検出装置および障害物検出装置を搭載した移動体
JP7436331B2 (ja) 画像処理装置
JP4106163B2 (ja) 障害物検出装置及びその方法
JP4432730B2 (ja) 車両用道路標示検出装置
JP2881248B2 (ja) 移動車の環境認識装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees