JP2963138B2 - カラー画像処理装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、自動車の自律走行に必要とされる走行路判
別の技術等に応用されるカラー画像処理装置に関するも
のである。

〔従来の技術〕

従来、走行路領域を抽出する手法は、そのほとんどが
モノクロ画像によるエッジ検出に基づくものであり、カ
ラー画像に基づいてこの種の走行路判別を行う技術は、
ほとんど提供されていない。

また、デジタル値化されたカラー画像情報を取り扱う
ときは、RGBデータ（三原色情報−R;赤,G;緑,B;青）以
外に、明度Ｉ（色の明るさの程度），彩度Ｓ（色のあざ
やかさの程度），色相Ｈ（色の種類に関する分類を示す
値）などが特徴量として使用される場合が多い。これら
明度I,彩度Ｓおよび色相Ｈの特徴量は、RGBデータを所
定の変換式に代入することにより、求められる。従来、
このRGBデータからISHデータへの変換処理は、画像処理
においてISHデータが必要になる度毎に行われていた。
つまり、ISHデータが必要になった際には、CPUは、Ｒデ
ータが記憶されたＲ画像メモリ,Gデータが記憶されたＧ
画像メモリおよびＢデータが記憶されたＢ画像メモリに
アクセスし、RGBデータを収集する。そして、CPUはこの
RGBデータを基にした所定の変換処理を行うことによ
り、必要とするISHデータを演算していた。

また、従来の走行路領域の判別は、モノクロ画像によ
るエッジ検出により走行路に描かれた白線やランドマー
クを検知し、この白線やランドマークに基づいて行われ
ていた。

また、限定された走行コースではなく、一般環境の道
路を自律走行車が走行する場合には、様々な路面状況が
考えられる。特に、走行コースの周囲に種々の立体物が
存在する場合には、路面上には影が出来る。路面上に影
が存在する場合には走行路領域は一様な色にはならな
い。このため、画像処理により走行路領域を抽出するに
は、走行路領域にある影を考慮して行わなければならな
い。従来、この影を認識するため、走行コースの路面状
況を限定し、この限定時における日向部分や影部分の色
の分布を予め計測しておいて走行路領域を抽出する手法
が一部の研究において行われている。この手法は、計測
した各部分の色の分布をコンピュータに保存しておき、
実際の画像を取り入れた時に、保存しておいた色の分布
を読み出して入力画像の色の分布と比較して走行路領域
を判断するものである。

また、走行路領域を判別するため、画像分割した各領
域にラベル付けを行い、各領域を区分する必要がある。
このラベリング処理は、２値画像内の対象領域の面積や
重心を計算するために必要不可欠なものとなっている。
従来、提案されてきたラベリングアルゴリズムとして
は、ラスタ走査型、ランコート型、境界追跡型に大別で
きる。しかし、ハードウエア化（高速化）に際してはそ
のリアルタイム処理の可能性や回路規模、実現の容易性
等からラスタ走査型が一般的に用いられている。この走
査は、まず、１回目の走査で仮ラベルを割り付けながら
異なった値を持つ仮ラベル同士の連結を示す情報を保持
し、次いでその統合情報を解析することにより、対象領
域と１対１で対応した最終ラベルを得る。最後に、１回
目の走査で得られた仮ラベル画像を再度走査し、仮ラベ
ルを最終ラベルで置き換えることによりラベリングが実
行される。

また、与えられた画像を領域分割手法によって分割す
ると画像領域は過分割される。このため、過分割された
各領域の色や、各領域の周囲領域との連結具合に基づ
き、過分割された各領域の併合処理を行う。すなわち、
分割領域の個々にラベル付けをした後、各ラベル間の連
結関係を記述する。そして、この記述に基づき、併合さ
れる領域のラベルを併合する領域のラベルに書き替える
ラベルの付け替え操作を実行する。ラベルの付け替え
は、画像を走査して併合される対象の領域の画素ならば
ラベル値すなわち画素値を変更することにより行われ
る。

また、従来、画像分割領域から道路端や走行コースを
求める場合には、得られた走行コース領域と背景領域と
の境界を追跡して境界線に対応する点列群を求めてい
た。つまり、走行領域の境界部に位置する画素をこの境
界に沿って一つ一つ追跡し、この追跡の跡を点列群と
し、この点列群に基づいて道路端を判断していた。

〔発明が解決しようとする課題〕

カラー画像を用いてこのような画像処理を行うこと
は、モノクロ画像を用いて処理を行う場合に比較してコ
ストが高くなり、産業分野におけるカラー画像処理の事
例は少ない。

また、上記従来のRGBデータからIHSデータへの変換処
理は、画像処理においてIHSデータが必要になる度毎に
行われていたため、処理に時間を要していた。特にRGB
データから色相データＨへの変換処理には非常に時間が
かかり、例えば、ワークステーション（Sun3）であって
もこの変換処理には約１分の時間を要していた。このた
め、リアルタイム処理が必要とされる自動車の自律走行
等における画像処理においては、演算処理に時間がかか
り、十分な走行制御を行うことが出来なかった。

また、上記従来のモノクロ画像におけるエッジ検出を
用いた手法は、走行路上に描かれた白線やランドマーク
を追跡することによって走行コースを認識するため、走
行路上に必ず白線やランドマークを必要とする。また、
カメラで撮像した画像を処理した結果、走行路を照射す
る光源の状態や不明瞭な白線などが原因になり、検出し
たエッジが途切れている場合があり、このような場合に
は走行路領域を検出することが困難である。

また、走行路上にゴミがあったり、影が出来ている場
合には、白線やランドマークを誤検知してしまい、正確
な走行路情報が得られない場合がある。また、走行路領
域と背景領域との境界が草や土で区分されている場合に
は、境界部分に相当するエッジの変化が小さく、境界の
認識が困難である。また、天候や太陽の位置により、時
々刻々と走行路の明るさが変化する場合、走行路領域と
背景領域との領域区分のためのしきい値を固定したもの
とすると正しい走行路領域を求めることが出来なくな
る。

また、上述したように、一般の道路ではその走行時の
天候、太陽の位置や雲の動きなどによって路面上の明る
さの分布は時々刻々と変化している。このため、予め色
の分布を計測しておいてこれを入力画像と比較判断する
従来手法では、この比較判断処理は上記の明るさの変化
に追従することが出来ず、影の部分を必ずしも抽出でき
るとは限らない。また、舗装工事などで道路の一部が変
色している場合、この変色の度合いによっては画像処理
によって変色部分の道路領域が抽出されない場合があ
る。

また、今までのラベリング処理の対象とする画像は全
て２値画像であり、多値画像に対してはラベリングを行
うことが出来なかった。また、ラスタ走査型は、１回の
走査では対象領域と１対１で対応したラベルを付けるこ
とが出来ない。また、１次ラベリングと２次ラベリング
については比較的簡単にハードウエア化を行うことが出
来るが、統合情報の解析、つまり、統合処理については
ハードウエア化が困難である。そして、ラスタ走査型の
アルゴリズムでは仮ラベル付け時に大量の統合情報が発
生するため、統合処理の負荷が大きく、ラベリング処理
全体で見たときの処理性能は上がらない。

また、従来の領域併合のためのラベル値の付け替え操
作は、画像の全画素について、または、少なくとも併合
領域に外接する長方形内の画素について走査することに
より行われる。従って、ラベルの付け替え走査に時間を
要し、自動車の自律走行に必要とされる高速処理が困難
になる。また、処理コストが低減されないという欠点も
ある。

また、領域境界部の画素を一つ一つ逐次追跡していっ
て道路端を求める上記従来の方法は、処理に時間がかか
る。そのうえ、複数の領域がある場合には何を基準にし
て道路端の判断処理をするかが問題になる。また、走行
コース領域と分割領域とがごくわずかに繋がっており、
しかも、この分割領域が走行コースでない場合が画像処
理の結果によっては起こり得る。このような場合に、従
来の領域の境界を逐次追跡していく方法では、実際に走
行コースでない領域の境界も点列として求まってしま
う。この結果、正確な道路端情報を得ることが出来な
い。また、得られた点列群が繋がらずに分離したとして
いても、複数の点列群の妥当性を検証する必要があり、
処理が複雑になる。さらには、得られた画像にノイズに
よる穴や切れ込みが有る場合には、得られる点列群が滑
らかでなくなってしまう。

この発明の目的は、前記した従来技術の問題点に鑑
み、カラー画像から対象領域を高速、正確、かつ安価に
抽出することのできるカラー画像処理装置を提供するこ
とにある。

〔課題を解決するための手段〕

本発明はこのような課題を解消するためになされたも
ので、原画像をRGB情報として取り込む撮像装置と、該
撮像装置に取り込まれた前記RGB情報を明度，彩度，色
相のISH情報に変換するISH変換部と、該ISH変換部によ
り変換されたISH情報のうち明度と彩度に基づいて対象
領域を抽出するカラー処理部と、カラー処理部により抽
出された対象領域を構成する各領域にラベル付けをする
ラベリング部と、ラベリング部によりラベル付けされた
各領域の接続関係を求めて各領域間の併合処理を行う併
合手段と、併合された領域の境界端を求める領域境界識
別手段とを備えて構成されものである。

〔作用〕

本発明によれば、原画像がRGB情報として取り込ま
れ、該取り込まれたRGB情報は明度，彩度，色相のISH情
報に変換され、該ISH情報に基づいて対象領域を抽出す
るカラー処理が行われ、該カラー処理により抽出された
前記対象領域を構成する各領域にラベル付けをするラベ
リング処理が行われ、該ラベリング処理によりラベル付
けされた前記各領域の接続関係を求めて併合処理が行わ
れ、次いで、併合された領域の境界端を求める領域境界
処理が行われる。以上の処理により、撮像された対象領
域の形状を、高速かつ正確に識別できるようになる。

〔実施例〕

本発明の一実施例によるカラー画像処理装置およびそ
の処理方法を、自律走行車の走行制御に適用した場合に
ついて以下に説明する。本実施例の装置および方法によ
り、走行車の走行コースは自動的に認識され、走行車は
認識された走行コースに基づいてステアリングの操蛇角
やエンジンへの燃料噴出量などを決定し、自律走行す
る。

第１図は本実施例によるカラー画像処理装置全体の概
略構成を示すブロック図である。

カラー画像処理装置は、道路情報を撮像するカラーカ
メラ101と、撮像されたRGB情報をISH変換するISH変換部
102と、ISH変換された画像情報から道路候補領域等を抽
出するカラー処理部103と、カラー処理された画像につ
いてラベリング処理を施すラベリングハード部104と、
ラベリングされた画像領域について併合処理等を実行す
るCPU処理部105とに大別される。ISH変換部102は、カラ
ーカメラ入力ボード,ISH変換ボードおよびフィルタ等に
よって構成されている。

第２図はこのカラー画像処理装置における画像処理方
法を示す概略のフローチャートである。

カラーカメラ101により道路画像106がRGB情報として
取り込まれ、ISH変換部102において明度（Ｉ），彩度
（Ｓ），色相（Ｈ）の各画像に変換される（ステップ20
1）。これら各画像を基にしてカラー処理部103において
走行コースの基になる道路候補領域が抽出される（ステ
ップ202）。ここで、CPUのステータスレジスタにある低
輝度のしきい値存在フラグがオンしているか否かを判断
する（ステップ203）。このフラグは取り込まれた原画
像に影や変色部などの低輝度領域が有るか否かを示すフ
ラグであり、フラグがオンしていればカラー処理部103
において低輝度領域が抽出される（ステップ204）。抽
出された道路候補領域および低輝度領域はラベリングハ
ード部104においてラベル付けされ、各領域間の接続関
係が判断される。この判断結果に基づき、各領域が併合
すべき関係にある場合にはCPU処理部105においてマージ
（併合）処理が実行される（ステップ205）。

次に、CPUのステータスレジスタにある高輝度のしき
い値存在フラグがオンしているか否かを判断する（ステ
ップ206）。ステップ203において低輝度のしきい値存在
フラグがオンしていない場合には、直ちにこのステップ
206の処理が実行される。この高輝度のしきい値存在フ
ラグは、取り込まれた原画像に日向や変色部分などの高
輝度領域が有るか否かを示すフラグであり、フラグがオ
ンしていればカラー処理部103において高輝度領域が抽
出される（ステップ207）。抽出された道路候補領域お
よび高輝度領域はラベリングハード部104においてラベ
ル付けされ、各領域間の接続関係が判断される。この判
断結果に基づき、各領域が併合すべき関係にある場合に
はCPU処理部105においてマージ（併合）処理が実行され
る（ステップ208）。

このようにして併合された道路候補領域に基づき、領
域の左右の境界端、つまり、道路端の境界線が点列とし
て求められる。この点列情報により、今回撮像された原
画像に基づく走行コースが認識される（ステップ20
9）。この後、ステップ201の処理に戻り、自律走行車の
移動に伴って引き続いて得られる画像情報について上記
と同様な処理が繰り返し実行され、自律走行車の走行制
御が実行される。

次に、以上の処理内容について、第１図に示されたカ
ラー処理装置の構成図に基づいてより詳しく説明する。

カラーカメラ101は自律走行車の車体に固定して設置
してあり、このカラーカメラ101には走行車の前方に位
置する道路画像106がRGB情報として撮像される。ISH変
換部102の変換処理部107には、このRGB情報が与えられ
る。この変換処理部107において、後に詳述する「ROMテ
ーブルを用いたカラー画像のISH変換処理」が実行さ
れ、RGBの道路画像情報は明度（Ｉ）画像108,彩度
（Ｓ）画像109および色相（Ｈ）画像110の各画像情報に
変換される。

明度画像108は道路候補領域抽出手段111に与えられ、
後に詳述する「テンプレート画像を用いた繰返しきい値
処理による走行コースの抽出手法」により、明度画像に
基づく道路候補領域画像113が抽出される。また、彩度
画像109は道路候補領域抽出手段112に与えられ、上記と
同様の手法により、彩度画像に基づく道路候補領域114
が抽出される。この手法における領域区分のためのしき
い値は、後に詳述する「繰返しきい値処理における特徴
量ヒストグラムの形状に基づくしきい値設定手段」によ
り決定される。求められた各道路候補領域画像113,114
は論理積演算手段115に与えられ、明度および彩度から
得られた各道路候補領域の共通部分が取り出され、カラ
ー情報に基づく新たな道路候補領域画像116になる。

また、明度画像108に低輝度領域が存在している場合
には、カラー処理部のステータスレジスタ117に有る低
輝度のしきい値存在フラグがオンする。このフラグがオ
ンしている場合に、低輝度領域抽出手段118は明度画像1
08を取り込む。そして、後に詳述する「明るさの違いに
注目した走行コースからの影や高輝度部分の抽出手段」
により、低輝度領域を抽出する。抽出された低輝度領域
は低輝度画像119になる。この低輝度領域画像119は、論
理積演算手段120において、彩度画像109から抽出された
道路候補領域画像114と論理積が取られ、低輝度領域の
うちで道路候補領域と似た彩度の領域が抽出される。抽
出されたこの低輝度領域の画像情報は、道路候補領域画
像116に加えられる。

また、明度画像108に高輝度領域が存在している場合
には、カラー処理部のステータスレジスタ117にある高
輝度のしきい値存在フラグがオンする。このフラグがオ
ンしている場合に、高輝度領域抽出手段121は明度画像1
08を取り込む。そして、後に詳述する「明るさの違いに
注目した走行コースからの影や高輝度部分の抽出手段」
により、高輝度領域を抽出する。抽出された高輝度領域
は高輝度領域画像122になる。この高輝度領域画像122
は、論理積演算手段123において、彩度画像109から抽出
された道路候補領域画像114と論理積が取られ、高輝度
領域のうちで道路候補領域と似た彩度の領域が抽出され
る。抽出されたこの高輝度領域の画像情報は道路候補領
域画像116に加えられる。

上記各手段により、道路候補領域画像116には、画素
値１の道路候補領域画像113と、画素値２の低輝度領域
画像119と、画素値３の高輝度領域画像122とが含まれる
ことになる。

道路候補領域画像116はラベリング処理部124に与えら
れる。ラベリング処理部124は与えられた画像の各領域
にラベル付けをし、ラベル画像126を作成する。また、
これと同時に、ラベリング処理部124は同一ラベル領域
の面積や重心などを演算する。これらの各演算値はラベ
リング処理部124に対応した演算値125になる。このラベ
リング処理は、後に詳述する「ラベリング処理装置」に
よって実行される。

CPUはラベル画像126を小領域除去手段127に取り込
む。ここで、ノイズ等によって生じた小領域や地平線位
置より重心が上に位置する領域は、道路領域に該当する
ものではないものとし、これら領域は各ラベル画像の中
から除去される。小領域除去手段127により、道路候補
領域から小領域が除去されたラベル画像は、新たなラベ
ル画像128になる。また、各領域に付けられたラベル毎
の演算値125の内、小領域除去手段127によって除去され
なかった各領域の特徴量はリスト１に記述される。

リスト１に記憶された特徴量129,ラベル画像128,道路
画像116に基づいて、道路候補領域画像の各ラベル領域
と低輝度領域画像の各ラベル領域、および道路候補領域
画像の各ラベル領域と高輝度領域画像の各ラベル領域が
併合すべき関係にある場合には、領域併合手段130にお
いて併合処理が実行され、新たなラベル画像131がメモ
リ１に記憶される。以上の併合処理は、後に詳述する
「複数の領域の併合手段」により実行される。

最終的に得られたラベル画像131に基づいて道路領域
の左右端の道路位置座標132が演算される。この道路端
位置座標132に基づき、道路端に相当する点列データ133
が求まる。この道路端を求める処理は、後に詳述する
「走行可能範囲を求める手段」、並びに「多様な形状の
走行コースの内部表現手法」により実行される。この点
列データ133は、自律走行車の走行制御のための画像処
理データ統括管理を行うデータ管理部へ送出され、カラ
ー画像処理が終了する。

次に、カラーカメラで撮像して得られたRGBデータ
を、明度I,彩度S,色相Ｈの各データに変換する「ROMテ
ーブルを用いたカラー画像のISH変換処理」について、
第３図を用いて以下に説明する。

まず、カラーカメラから原画像301をRGBデータとして
入力する。原画像301にはRGBの各データが混在している
ため、RGBデータの各成分を分離する。そして、分離し
た各RGBデータをＲ画像メモリ302,G画像メモリ303およ
びＢ画像メモリ304の３つの各画像メモリに各々別個に
記憶する。これら各R,G,B画像メモリ302〜304は８ビッ
トの階調を持った複数の画素値から構成されており、次
のようにISH変換される。

まず、８ビットの各RGBデータを読み出す際に上位の
６ビットのみを読みだし、下位２ビットを切り捨てる。
つまり、上位６ビットをとることにより、８階調の画素
値を６階調の画素値に近似する。この上位６ビットによ
る数値は16進数で00〜3F（hex）の間で変化する（切り
捨てた下位２ビットを考慮すると00〜FC（hex）の間で
変化する）。また、この上位６ビットの値を40（hex）
で割った数値をそれぞれR,G,B値とする。これらR,G,Bの
各値は実数の０から約１までの範囲で変化する。

R,G,Bの各値を（Ｒ＋Ｇ＋Ｂ）で割った値をそれぞれ
r,g,bとすると、R,G,B値からI,S,H値への変換は次式に
従って行われる。

ここで、min（r,g,b）は、r,g,bの各特徴量のうちの
最少の値を持つ特徴量の値を示す。

Ｉ＝（Ｒ＋Ｇ＋Ｂ）/3 ……（１） Ｓ＝１−（1/3）・min（r,g,b） Ｈ＝1/2＋（1/π）・arctan｛（３）^1/2 ・（ｇ−ｂ）／（2r−ｇ−ｂ）｝ この変換はラスタスキャン順にR,G,Bの各画素毎に行
われ、変換された各I,S,H値は全て０から１までの値を
とる実数となる。ROM305にはRGBから明度Ｉへの変換テ
ーブルデータ、ROM306にはRGBから彩度Ｓへの変換テー
ブルデータ、ROM307にはRGBから色相Ｈへの変換テーブ
ルデータが記憶されている。これら各ROM305〜307はル
ックアップテーブルとして機能する。また、各ROM305〜
307にデータが記憶されるアドレスは、変換前の各R,G,B
値の８ビットの数値のうち、上位６ビットの数値によっ
て定まる。なお、各ROM305〜307の記憶容量は18ビット
（＝256Kバイト）である。

ROM305,306に記憶された各特徴量はCPUからの取り込
み命令に応じて明度データ308,彩度データ309として即
座に読み出され、必要とされる画像処理にリアルタイム
に供給される。また、ROM307から読み出された色相デー
タ310の特徴量は、さらに、３×３平均値フィルタ311に
よってノイズが除去されて平均化される。このため、各
画素処理に供される色相データ312は平滑化されたノイ
ズのないデータとなる。また、読み出された各特徴量デ
ータ（明度308,彩度309,色相310および312）の下位２ビ
ットが０で、上位６ビットが有効な８ビットの近似デー
タである。

次に、本アルゴリズムを用いたISH変換処理例につい
て、本アルゴリズムを用いないISH変換処理例と比較し
つつ、第４図〜第７図を参照して説明する。

各図の（ａ）はカラーカメラに撮像された原画像の概
略である。つまり、第４図（ａ）は走行路が遠方でカー
ブする情景を示し、走行路の片側にはガイドレールが設
置されており、このガードレールの遠方には樹木が生い
茂っている。第５図（ａ）は走行路端が雑草等によって
区画されている走行路を示し、遠方には住居や樹木等が
ある情景になっている。第６図（ａ）は夜間の高速道路
における走行路を示し、路面は月明りおよび照明燈によ
ってわずかな光が照らされている情景になっている。第
７図（ａ）は天気の良い日中の走行路を示し、走行路上
にはブロック塀の中にある樹木による影ができている情
景になっている。

また、第４図から第７図の各図の（ｂ−１）および
（ｂ−２）は明度Ｉを特徴量とするヒストグラム、各図
の（ｃ−１）および（ｃ−２）は彩度Ｓを特徴量とする
ヒストグラム、各図の（ｄ−１）および（ｄ−２）は３
×３平均値フィルタ311にかける前の色相Ｈ′を特徴量
とするヒストグラム、各図の（ｅ−１）および（ｅ−
２）は３×３平均値フィルタ311にかけた後の色相Ｈを
特徴量とするヒストグラムである。

各ヒストグラムの縦軸は各特徴量の画素数を示し、全
画面の1/4を最大としている。また、各ヒストグラムの
横軸は明度Ｉ、彩度Ｓ、色相Ｈ′,Hの各特徴量の度合い
を示す。この各特徴量の度合いは原点から遠ざかる程強
まるように表示されており、０〜FF（hex）の各数値に
割り当てられた各特徴量の度合いを64分割して表示して
ある。また、原画像の画素数は512×512より若干少なく
なっている。これは画像周辺部にはR,G,Bの各データが
全て０の部分があるためであり、各ヒストグラムはこの
部分を含んだデータ値により表されているからである。

また、各図の（ｂ−１），（ｃ−１），（ｄ−１），
（ｅ−１）は従来手法に基づいて得られたヒストグラム
であり、各画像メモリにCPUが直接アクセスし、R,G,Bデ
ータを変換式に従ってI,S,Hデータに変換することによ
り得られたものである。これに対して各図の（ｂ−
２），（ｃ−２），（ｄ−２），（ｅ−２）は本実施例
の手法によるアルゴリズムに基づいて得られたヒストグ
ラムであり、ROMに６ビット階調のRGBデータからI,S,H
の各特徴量への変換テーブルを記憶し、これを読み出す
ことにより得られたものである。

第４図〜第７図の各（ｂ−１），（ｂ−２）および各
（ｃ−１），（ｃ−２）に示されるように、明度Ｉおよ
び彩度Ｓについては、本手法によるヒストグラム分布と
従来手法によるヒストグラム分布とには大差がないこと
が分かる。このことは、RGBデータをISHデータに変換す
る本手法による機能は、従来手法による変換機能に比較
して劣る面がないことを示している。一方、各図の（ｄ
−１），（ｄ−２）に示される３×３平均値フィルタ31
1にかける前の特徴量である色相Ｈ′のヒストグラム分
布は、従来手法と本手法とでは全体的な傾向が変わって
いる。これは本例に用いたような画像では、RGBデータ
から色相Ｈへ変換する式の中の（ｇ−ｂ）および（2r−
ｇ−ｂ）の値は０付近の極めて限定された値しか取らな
いため、本手法によるデータの６ビットへの圧縮により
情報が極端に離散化してしまったことに起因する。

しかし、この色相Ｈ′を３×３平均値フィルタ311に
かけることにより得られるヒストグラム分布は、各図の
（ｅ−１），（ｅ−２）に示されるように、従来手法に
よる分布に十分対応するものになっている。色相データ
の計算値はRGBデータの小さな雑音によって容易に変化
する不安定な値であり、また、色相の画像には非常に大
きなノイズがある。このため、本手法のように、色相変
換の計算値結果について何等かの平滑化を行うことは妥
当な処理であり、この平滑化を行うことにより特徴量を
６ビットに圧縮して処理しても何等問題は生じないこと
が理解される。なお、色相の計算値は雑音によって容易
に変化する不安定な値であるからこそ、色相Ｈ′のデー
タを平均値フィルタに通すことにより、従来手法による
ヒストグラム分布と同様な分布が得られた。

このように、ROM305〜307をルックアップテーブルと
して用いてI,S,Hの各特徴量を予め変換処理することに
より、従来のように処理が必要とされる度毎に各画像メ
モリにCPUがアクセスして演算する必要は無くなる。こ
の結果、本実施例によるデータ変換の際の演算処理速度
はビデオレートで高速に実行することが可能となり、処
理速度が向上する。また、上述のR,G,BデータからI,S,H
データへの変換式が変わっても、同一のハードウエアに
よって対処することが可能である。つまり、この変換式
の変更が与える影響は、ROM305〜307の記憶内容の変化
だけである。このため、ハードウエアは変換式の変更に
よっては変化しない。また、R,G,Bの各画素値を６ビッ
トに圧縮したため、ハードウエアの量を小さくすること
が可能になる。さらに、ルックアップテーブルから色相
Ｈを読み出す際に３×３平均値フィルタ311を通すこと
により、データを６ビットに圧縮したことによる悪影
響、例えば、ヒストグラムの離散化等を防ぐことができ
る。

次に、「繰返しきい値処理における特徴量ヒストグラ
ムの形状に基づくしきい値設定手段」について説明す
る。この手段は走行路領域を抽出するカラー画像処理の
前処理として行われる。

第８図はこの処理過程の概略を示すフローチャートで
あり、走行車両に設置されたカラーカメラから得られた
原画像データのコントラストが低い場合における処理を
示す。

まず、カメラから得られた原画像のRGBデジタル画像
データを基にして色の特徴量（明度または彩度）に対す
る頻度を表すヒストグラムを作成する。このヒストグラ
ムの横軸は色の特徴量（明度または彩度），縦軸は特徴
量の頻度に設定する。このヒストグラムは原画像のコン
トラストが低いため、ヒストグラムの原点側に偏って分
布する。また、コントラストの低い画像はモードが単峰
形になり易く、明確な谷が発生しない。このため、一般
的には各画素値について所定の演算を行って画像強調を
行った後にヒストグラムを作成するのであるが、本手法
の場合には、ヒストグラムのデータ上でこのヒストグラ
ムを横軸方向に単に引き伸ばすことにより、画像強調を
行う（ステップ801）。

そして、強調されたヒストグラムの左端処理（ステッ
プ802）、および右端処理（ステップ803）を実行する。
次に、ヒストグラムの頻度の分布状態から特徴量に対す
る頻度の大きい仮の頂上（ピーク）、および特徴量に対
する頻度の小さい仮の谷をピーク・谷テーブル上に設定
する（ステップ804）。求まった仮の谷の頻度に基づい
て谷の評価をこのテーブル上で行う（ステップ805）。
さらに、この谷に隣接するピークに基づいて再度谷の評
価をテーブル上で行う（ステップ806）。最後に、評価
されたピーク・谷テーブルの平滑化を行い、ピークと谷
の相対関係から領域区分の対象領域とこの背景領域との
区分に有効な谷を抽出する（ステップ807）。

一方、上記の処理に並行してステップ801で作成され
たヒストグラムに対して大津の判別分析法を適用し、こ
の判別分析法による領域区分しきい値を得る。そして、
得られたしきい値とステップ807で抽出された谷の位置
とを比較し、しきい値の近傍に位置する谷の頻度を真の
しきい値とし、大津の判別分析法によるしきい値を補正
する。

次に、各処理の詳細について以下に説明する。

ステップ804における仮のピークおよび仮の谷の設定
は次のように行われる。つまり、特徴量に対する頻度の
分布状態を基にして仮のピークおよび谷を判断する。具
体的には、ヒストグラム上の着目点の左右の隣接点の頻
度により、ピークおよび谷の状態は第９図（ａ）〜
（ｆ）に図示される６通りの状態に分けられる。ここ
で、ヒストグラム上の着目点をｈi（添字のｉはヒスト
グラムの横軸に添ってＮ個の点を均等に割り振った時の
任意の１点を意味し、０〜Ｎ−１の値とする）、着目点
ｈiより特徴量が小さい隣接点をｈi-1、着目点ｈiより
特徴量が大きい隣接点をｈi+1とする。また、着目点ｈi
と隣接点ｈi-1との各頻度の差をピッチｐi1（ｐi1＝ｈi
−ｈi-1）、隣接点ｈi+1と着目点ｈiとの各頻度の差を
ピッチｐi2（ｐi2＝ｈi＋１-hi）とする。

ｉ＝１〜Ｎ−２の範囲（ヒストグラムの両端点は除
く）において、ピーク・谷テーブル値pktiを以下のよう
に設定する。すなわち、ｐi1の符号とｐi2の符号が異な
る時、 （１） ｐi1≧０、かつ、ｐi2≦０ならば、 テーブル値pkti＝１ （２） ｐi1≦０、かつ、ｐi2≧０ならば、 テーブル値pkt i＝−１ 第９図（ａ）は、ｐi1＞０、かつ、ｐi2＝０の状態で
あり、従ってテーブル値pkt i＝１である。同図（ｂ）
は、ｐi1＞０、かつ、ｐi2＜０の状態であり、従ってテ
ーブル値pkt i＝１である。同図（ｃ）は、ｐi1＝０、
かつ、ｐi2＜０の状態であり、従ってテーブル値pkt i
＝１である。同図（ｄ）は、ｐi1＜０、かつ、ｐi2＝０
の状態であり、従ってテーブル値pkt i＝−１である。
同図（ｅ）は、ｐi1＜０、かつ、ｐi2＞０の状態であ
り、従ってテーブル値pkt i＝−１である。同図（ｆ）
は、ｐi1＝０、かつ、ｐi2＞０の状態であり、従ってテ
ーブル値pkt i＝−１である。

このようにして隣接する各点の相対的な各頻度の関係
から、同図（ａ），（ｂ），（ｃ）の状態はpkt i＝１
であると演算され、着目点ｈiは仮のピークと判断され
る。同図（ｄ），（ｅ），（ｆ）の状態はpkt i＝−１
であると演算され、着目点ｈiは仮の谷と判断される。

また、ステップ805における頻度による谷の評価処理
は次のように行われる。つまり、ｉ＝１〜Ｎ−２におい
て着目点ｈiが仮のピークであるとき（pkt i＝１）、 （１） 隣接点ｈjと着目点ｈiとの比が0.1より小さい
（ｈj/hi＜0.1）隣接点ｈjが着目点ｈiの左側にあるな
らば、隣接点ｈjに対応するテーブル値pkt jを−１にす
る（pkt i＝−１）。

（２） 隣接点ｈmと着目点ｈiとの比が0.1より小さい
（ｈm/hi＜0.1）隣接点ｈmが着目点ｈiの右側にあるな
らば、隣接点ｈmに対応するテーブル値pkt mを−１にす
る（pkt m＝−１）。

また、ステップ806における隣接ピークに基づく谷の
評価処理は次のように行われる。

ｉ＝０〜Ｎ−１において、 （１） 着目点ｈiが仮の谷の時（pkt i＝−１）、 谷の左側の仮のピーク（隣接点ｈk，テーブル値pkt k
＝１）をtopLと呼ぶことにする。

谷の右側の仮のピーク（隣接点ｈj，テーブル値pkt j
＝１）をtopRと呼ぶことにする。

（２） 着目点ｈiにtopLおよびtopRが共に存在する
時、 着目点ｈiとtopLとの比ｌ（ｌ＝ｈi/topL）が着目点
ｈiとtopRとの比ｒ（ｒ＝ｈi/topR）より小さければ
（ｌ＜ｒ）、テーブル値pki jに１を加算する。

比ｌ（ｈi/topL）が比ｒ（ｈi/topR）より大きければ
（ｌ≧ｒ）、テーブル値pkt kに１を加算する。

（３） 着目点ｈiにtopLおよびtopRが共に存在し、か
つ、比ｌ＜0.5、または比ｒ＜0.5ならば、着目点ｈiに
対応するテーブル値pkt iから１を減じる。

（４） 上記の（３）以外の場合には、テーブル値pkt
iを−４に書き替える。

（５） 谷の右側にのみ仮のピークtopRが存在する時、
比ｒ＜0.5ならば、テーブル値pkt iから１を減じる。

（６） 谷の左側にのみ仮のピークtopLが存在する時、
比ｌ＜0.5ならば、隣接点ｈjに対応するテーブル値pkt
jから１を減じる。

また、ステップ807におけるピーク・谷テーブルの平
滑化処理、つまり、ピーク・谷テーブルpktにおいて、
求まった谷どうしの距離が十分に近い場合には平滑化処
理が次のように行われる。

ｉ＝１〜Ｎ−１において、着目点ｈiに対応するテー
ブル値pkt iが−２であり、この谷の右側に位置する谷
のテーブル値pkt jも−２であり、しかも、これら谷ど
うしの距離（ｊ−ｉ）が所定のしきい値よりも小さい
時、 （１） 着目点ｈiの頻度の方が隣接点ｈjの頻度よりも
大きければ（ｈi＞ｈj）、テーブル値pkt iを０にする
（pkt i＝０）。

（２） 着目点ｈiの頻度の方が隣接点ｈjの頻度よりも
小さければ（ｈi≦ｈj）、右側に位置する谷のテーブル
値pkt jを０にする（pkt j＝０）。

次に、上記方法を用いた具体的な例について以下に説
明する。

例えば、第10図（ａ）に示される特徴量ヒストグラム
が得られた場合を想定する。同図の横軸は明度または彩
度の色の特徴量であり、縦軸はその特徴量の画像におけ
る頻度である。このヒストグラムについて第８図に示さ
れた処理を行うと、同図（ｂ）に示されるピーク・谷テ
ーブルpktのテーブル値は、同図（ｂ）の一番左側の列
に記された１〜８の番号に沿って以下のように推移す
る。この推移の結果、再下段に示された数値が最終のテ
ーブル値として求まる。なお、同図（ｂ）の各テーブル
値が記載されている位置は、同図（ａ）のヒストグラム
の各特徴量Ａ〜Ｌに対応している。つまり、記載された
各テーブル値は、点線で示されるように、その記載され
た位置の上方の特徴量に対応している。

まず、特徴量ヒストグラムの左端処理および右端処理
を実行し（ステップ802,803）、引き続いて仮ピークお
よび仮の谷を設定する（ステップ804）。この設定は前
述のステップ804の処理に従って行われ、この結果得ら
れる各テーブル値は番号１のテーブルに示されるものと
なる。次に、頻度による谷の評価（ステップ805）およ
び隣接ピークに基づく谷の評価（ステップ806）を、前
述の処理に従って行う。

特徴量がＡの谷の場合には谷の右側にtopRのみが存在
し、また、特徴量Ａにおける頻度と谷の右側の仮のピー
クの頻度との比ｒは0.5以下である（ｈi/topR/0.5）。
このため、特徴量Ａに対応するテーブル値から１を減
じ、この結果、テーブル値は−２になってテーブルは番
号２に示されるテーブルに推移する。

また、特徴量がＤの谷の場合には、この谷の両側にto
pLおよびtopRが共に存在する。しかも、この谷の頻度と
左側の仮のピークの頻度との比ｌは0.5以下である（ｈi
/topL＜0.5）。従って、特徴量Ｄに対応するテーブル値
pktiから１を減じ、この結果、テーブル値は−２にな
る。また、特徴量がＤの谷の両側の仮の各ピーク値の頻
度と谷の頻度との各比ｌおよび比ｒは、比ｒの方が大き
い（ｌ＜ｒ）。従って、谷の右側に位置する仮のピーク
（特徴量Ｅ）のテーブル値pktjに１を加算することにい
より、テーブル値は２になる。この結果、ピーク・谷テ
ーブルは番号３に示されるテーブルになる。

また、特徴量がＦの谷の両側には共にtopLおよびtopR
が存在し、比ｌまたは比ｒの一方は0.5より小さい（l,r
＜0.5）。従って、特徴量Ｆに対応するテーブル値pkt i
から１を減じ、テーブル値を−２にする。また、比ｌは
比ｒより大きい（ｌ≧ｒ）。従って、谷の左側に位置す
る仮のピーク（特徴量Ｅ）のテーブル値pktkに１を加算
し、テーブル値を３にする。この結果、テーブルは番号
４に示されるテーブルに推移する。

また、特徴量がＨの谷の両側には共にtopLおよびtopR
が存在し、比ｌまたは比ｒの一方が0.5り大きい（l,r≧
0.5）。従って、特徴量Ｈに対応するテーブル値pkt iを
−４に書き替える。また、比ｌは比ｒよりも小さい（ｌ
＜ｒ）。従って、谷の右側の仮のピーク（特徴量Ｉ）に
対応するテーブル値pkt jに１を加える。この結果、特
徴量Ｉに対応するテーブル値は２になり。テーブルは番
号５に示されるテーブルに推移する。

また、特徴量Ｊの谷の両側には共にtopLおよびtopRが
存在し、比ｒは0.5より小さい（ｒ＜0.5）。従って、こ
の谷に対応するテーブル値pkt iから１を減じる。ま
た、比ｌは比ｒより大きい（ｌ≧ｒ）。従って、谷の左
側に位置する仮のピーク（特徴量Ｉ）に対応するテーブ
ル値pkt kに１を加算し、テーブル値を３にする。この
結果、テーブルは番号６に示されるテーブルに推移す
る。

また、特徴量Ｌの谷は谷の左側にtopLのみが存在し、
比ｌは0.5より小さい（ｌ＜0.5）。従って、この谷に対
応するテーブル値pkt iから１を減じる。この結果、テ
ーブル値は−２になり、テーブルは番号７に示されるテ
ーブルに推移する。

次に、このようにして得られた番号７のピーク・谷テ
ーブルpktについてデータの平滑化を前述のように行う
（ステップ807）。つまり、特徴量Ｄの谷ｈiとこの右側
に位置する特徴量Ｆの谷ｈjとの距離は所定のしきい値
より小さく、かつ、各谷のテーブル値は−２である。さ
らに、特徴量Ｆの谷の頻度は特徴量Ｄの谷の頻度より大
きい（ｈi≦ｈj）。従って、特徴量Ｆの谷に対応するテ
ーブル値pkt jを０にする。この結果、テーブルは最終
的に第10図（ｂ）の最下段に示されるテーブルになる。

この最終的なテーブルのうち、特徴量A,D,H,J,Lに対
応するヒストグラム上の各点が谷として求まるが、ヒス
トグラムの両端にある谷A,Lは対象にはならず、また、
テーブル値が−４の谷（特徴量Ｈ）も対象にはならな
い。すなわち、データ画像を対象領域と背景領域とに区
分するのに有効な谷は、テーブル値−２が二重丸で囲ま
れた特徴量ＤおよびＪに対応する谷である。これら谷の
うち、第10図（ａ）のヒストグラムに大津の判別分析法
を適用して得られた領域区分しきい値に近い谷の頻度が
真の領域区分しきい値になる。このように大津の判別分
析法のあいまいな結果が補正されることにより、誤差が
少なく確度の高い走行路判別を行うことが可能になる。

次に、「テンプレート画像を用いた繰返しきい値処理
により走行コースの抽出手法」について説明する。な
お、以下の説明では、自律走行車が草や土等で区切られ
たコースを走行することを前提にし、走行路領域を抽出
する場合について述べることにする。

第11図は走行路認識アルゴリズムの概要を表すフロー
チャートである。

まず、走行車に搭載されたカラーCCDカメラにより、
走行路の情景を撮像する（ステップ1101）。そして、撮
像されたRGBのカラー画像信号をカラーカメラ入力装置
に取り込み、取り込んだRGB原画像データを前述のよう
にISHデータに変換する（ステップ1102）。ISHデータに
変換された特徴量画像に基づき、前述のように各特徴量
とその画素数との特性を表すヒストグラムをカラー画像
処理装置で作成する（ステップ1103）。

次に、作成したヒストグラムに基づき、しきい値処理
を繰り返し適用して走行路を２値化画像として抽出す
る。このように抽出された画像はノイズや細かく分断さ
れた領域を有するので、次の処理を実行する。つまり、
後に詳述するラベリング装置によって各領域にラベルを
付ける（ステップ1104）。そして、ラベル付けされた各
領域の面積と重心とを計測し、カメラの取り付け位置か
ら計算される地平線位置より重心が上の領域、および面
積が小さい領域を除去する（ステップ1105）。

次に、カラー画像処理装置において最初に抽出された
走行路画像に基づいて、走行路領域より明るさが暗い領
域および明るい領域を求め、これらの領域を併合し、ま
た、各領域どうしの関係を記述する（ステップ1106）。
この領域併合および領域関係の記述を基にして走行可能
範囲、つまり、道路端を検出し、画像取り込み時刻をこ
の走行可能範囲情報に付与する。そして、走行可能範囲
情報を画像処理装置を構成するデータ管理部へ伝送する
（ステップ1107）。この後、ステップ1102に戻って以上
の処理を繰り返す。

第12図は走行路領域を抽出する処理の詳細を表すブロ
ック図である。

まず、撮像された原画像のRGBデータから明度データ
Ｉおよび彩度データＳを求め、各データを特徴量画像と
して画像メモリに記憶する（ブロック1201）。次に、画
像メモリに記憶された明度データＩを基にして明度を特
徴量とするヒストグラムを作成する（ブロック1202）。
このヒストグラムの横軸となる特徴量の分割数は40ポイ
ントであり、このポイント数は大局的に走行路の抽出を
行うのには十分な大きさである。次に、作成したヒスト
グラムを正規化する（ブロック1203）。そして、正規化
されたヒストグラムについて周知の大津の判別分析法を
適用し、走行路領域と背景領域とを区分するためのしき
い値を計算する（ブロック1204）。

一方、作成したヒストグラムの形状に基づいて特徴量
の画素数が多いピーク、および特徴量の画素数が少ない
谷を前述のように求め、ピークと谷の一覧表であるピー
ク・谷テーブルを作成する（ブロック1205）。各ピーク
および谷における各特徴量の値をしきい値処理のための
候補値とする。

ブロック1204で求めた大津の判別分析法によるしきい
値には誤差が含まれる場合があるため、ブロック1205で
求めたしきい値処理のための候補値により、大津の判別
分析法によるしきい値を補正する。つまり、ブロック12
04で求めたしきい値とブロック1205で求めた候補値とを
比較し、ブロック1204のしきい値に最も近いブロック12
05の候補値を走行路領域と背景領域とを区分するための
しきい値とする（ブロック1206）。次に、このしきい値
により明度画像を２値化する（ブロック1207）。

明度画像は512×512個の画素によって構成されてお
り、Ｉ（i,j）として表現される。ここで、i,jは条件式
０≦i,j≦511を満足する整数である。また、ブロック12
06で求まったしきい値をX1,領域分割の対象となる特徴
量範囲の最少の特徴量の値をしきい値X0,最大の特徴量
の値をしきい値X2とする。なお、しきい値X0およびX2の
各初期値は０およびFF（hex）である。ここで、明度画
像Ｉ（i,j）が次の条件式を満足する場合には、メモリM
1（i,j）にFF（hex）を書き込む（ブロック1208）。

x0≦Ｉ（i,j）＜X1 また、明度画像Ｉ（i,j）が次の条件式を満足する場
合には、メモリM2（i,j）にFF（hex）を書き込む（ブロ
ック1209）。

X1≦Ｉ（i,j）＜X2 次に、ROMに記憶されたテンプレート画像を読み出す
（ブロック1210）。このテンプレート画像内には最も安
定した走行路置情報が得られるようにテンプレート領域
が設定されている。この領域設定は自律走行車に取り付
けられたカラーカメラの俯角，画角，焦点距離を基にし
て行われ、テンプレート領域に対応するメモリにはFF
（hex）が記憶されている。次に、読み出したテンプレ
ート画像とメモリM1およびメモリM2との重複度を計算す
る（ブロック1211）。つまり、テンプレート画像とメモ
リM1およびメモリM2との各論理積を取り、論理積結果が
「１」の画素数を各メモリM1およびメモリM2毎に累計す
る。

次に、各メモリ毎に累計された画素数が、テンプレー
ト領域内にある画素数に占める比率を求める。この比率
が50％以上になるメモリ情報には走行路領域が含まれて
いるものとし、さらに、比率が50％以上のメモリM1また
はM2に記憶された画像について、以下のように繰り返し
て領域分割を行う。また、この比率に基づくメモリの選
択により、しきい値X1によって画像が領域分割されたこ
とになり、また、ヒストグラム上においても分割が行わ
れたことになる。

つまり、特徴量がX0〜X1の範囲内にあるメモリM1に記
憶された領域と、特徴量がX1〜X2の範囲内にあるメモリ
M2に記憶された領域とに分割されたことになる。また、
各メモリM1およびM2とテンプレート画像との重複度がい
ずれも50％を越えない時には、メモリM1とメモリM2との
和が記憶されたメモリM3が選択され（ブロック1212）、
メモリM3に基づいた領域分割が次に行われる。

例えば、メモリM1とテンプレート画像との重複度が高
かった場合には、しきい値X0からX1内の特徴量によって
構成された領域を道路候補領域にする（ブロック121
3）。そして、この道路候補領域をさらに繰り返して領
域分割する。この繰り返し領域分割のためのしきい値X
1′は、ブロック1205で求めた谷の候補値のうち、しき
い値X0〜X1の範囲内にあるものとなる（ブロック121
4）。また、もし、この範囲内に谷の候補値が無い場合
には、繰り返し分割処理は行われない。

繰り返し領域分割の対象となる特徴量範囲の最小値X
0′は前回の領域分割と変わらないしきい値X0になり、
最大値X2′はしきい値X1になる。この範囲内の特徴量に
より構成される領域についてブロック1207で再度２値化
を行い、その後前回の領域分割と同様な処理を実行する
ことにより、繰り返し領域分割が行われる。この繰り返
しは、分割する道路候補領域の特徴量の範囲内にブロッ
ク1205で求めた谷の候補値がなくなるまで行う。このよ
うにして処理を繰り返して実行することにより、最終的
に最初の道路画像領域が得られる。

得られた道路画像領域の明度より暗い影の領域、およ
び明るい高輝度の領域がある場合には、これらの各領域
を求めるためのしきい値を後述のように設定する（ブロ
ック1215）。そして、このしきい値に基づき、各領域に
ついて前述と同様にして領域分割し、影の領域および高
輝度の領域を求める。また、同時に行われる彩度画像に
基づく処理結果により、求めた影の領域の彩度と道路画
像領域の彩度とが似ている場合には、各々の論理積をと
り、１つの領域として最終的な低輝度領域とする。ま
た、同様に、求めた高輝度領域の彩度と道路画像領域の
彩度とが似ている場合には、各々の論理積をとり、１つ
の領域として最終的な高輝度領域とする。さらに、道路
画像領域と低輝度領域との接続関係を調べ、併合できる
関係にある場合には併合処理を行う。また、同様に、道
路画像領域と高輝度領域との接続関係を調べる。

このように併合できる関係にある場合には併合処理を
行う。この結果、走行路に影がある場合または自己の位
置が影内で走行路の遠方に直射日光が照射されて高輝度
部分がある場合には、この併合処理を行うことによって
現実の走行路に即した形状の走行路領域が得られること
になる。

以上の処理は明度画像に対するものであったが、彩度
画像に対しても同様な処理を行う。但し、ブロック1215
の処理は明度画像に対する特有なものであるため、この
処理は実行しない。この彩度画像による処理結果におい
て、各領域のR,G,Bが似た値になる同系色の場合には、
各領域のヒストグラム分布は同様な形状になる。これ
は、前述のRGBデータから彩度Ｓデータへの変換式（Ｓ
＝１−min（r,g,b）/3）から理解される。

従って、R,G,Bの各値が似た値になる曇天時の空や一
般舗装路では、彩度に基づいて各領域を区別することは
困難である。しかし、色差があって各領域のR,G,B値が
似ていない場合には、各領域の明度に差がなくても各領
域を区別することが可能である。このため、道路画像領
域をいかなる情景の下でも正確に抽出するために、明度
および彩度の２つの特徴量を用いる。そして、明度画像
および彩度画像から抽出した２種類の道路画像の論理積
を取ることにより、確度の高い走行路領域情報を得るこ
とが出来る。

第13図は、道路画像領域の抽出処理における道路候補
領域の抽出過程を示す。

まず、明度の特徴量画像1301から特徴量ヒストグラム
1302を作成する。このヒストグラム1302の横軸は明度を
示し、この明度は０〜FF（hex）の数値によって表現さ
れている。また、縦軸は各明度における原画像中の画素
数を示す。大津の判別分析法をこのヒストグラム1302に
適用し、道路領域と背景領域とを区別するためのしきい
値ｃを求める。また、ヒストグラム1302の形状に基づ
き、ヒストグラムのピークおよび谷を求め、ピーク・谷
テーブルを作成する。そして、求めた谷を繰返しきい値
処理のためのしきい値の候補値とする。このヒストグラ
ム1302では特徴量a,b,d,e,fが候補値になっている。

大津の判別分析法によって求めたしきい値ｃを、ピー
ク・谷テーブルから求めた候補値によって補正する。つ
まり、しきい値ｃに最も近い候補値ｂを補正したしきい
値とする。そして、このしきい値ｂによって特徴量画像
1301を２値化する。この結果、特徴量が00（hex）〜ｂ
の分割画像1303と、特徴量がｂ〜FF（hex）の分割画像1
304とが得られる。この時点では分割された各画像1303,
1304のうち、どちらの画像に走行路領域が含まれている
のかが分からない。

このため、道路位置を想定したテンプレート画像1305
と各画像1303,1304との論理積を取り、各画像との重複
度を計算する。テンプレート画像1305の下部には台形の
テンプレート領域が図示のように設定されている。この
テンプレート領域に対応するメモリ素子には前述したよ
うにFF（hex）が記憶されており、また、テンプレート
領域の背景領域に対応するメモリ素子には00（hex）が
記憶されている。本例の場合には、画像1304にテンプレ
ート画像1305との重なり部分が最も多く存在する。この
ため、重複度の計算結果により、特徴量がｂ〜FF（he
x）の画像1304に走行路領域が含まれているものと判断
され、画像1304に対応した道路候補領域画像1306が得ら
れる。

ｂ〜FF（hex）の特徴量の間にはまだ他の候補値が残
っているので、次に、さらにこの道路候補領域画像1306
について領域分割を行う。つまり、道路候補領域画像13
06をしきい値ｄで２値化する。この２値化により、特徴
量がｂ〜ｄの分割画像1307と、特徴量がｄ〜FF（hex）
の分割画像1308とが得られる。次に、得られた各画像13
07,1308について、前述と同様にしてテンプレート画像1
305との重複度を計算する。本例の場合には、画像1308
の方がテンプレート画像1305との重複度が高いため、特
徴量がｄ〜FF（hex）の画像1308に走行路領域が含まれ
ているものと判断され、画像1308に対応した道路候補領
域画像1309が得られる。

ｄ〜FF（hex）の特徴量の間にはまだ他の候補値ｅが
残っているため、道路候補領域画像1309をこのしきい値
ｅで２値化する。この２値化により、特徴量がｄ〜ｅの
分割画像1310と、特徴量がｅ〜FF（hex）の分割画像131
1とが得られる。そして、前述と同様にして各画像1310,
1311とテンプレート画像1305との重複度を計算する。本
例の場合には、画像1310の方がテンプレート画像1305と
の重複度が高いため、特徴量がｄ〜ｅの画像1310に走行
路領域が含まれているものと判断され、画像1310に対応
した道路候補領域1312が得られる。

ｄ〜ｅの特徴量の間にはもう他の候補値が残っていな
いので、この道路候補領域1312が最終的な道路領域の２
値画像になる。以上の処理は明度画像に対して行った
が、彩度画像に対しても同様な処理を行う。その後、明
度画像から抽出された走行路領域と彩度画像から抽出さ
れた走行路領域との論理積を取り、最終的な走行路領域
を得る。

しきい値を用いて画像を２値化し、画像の領域分割を
する手法は一般的である。しかし、本実施例のように、
走行路の位置を考慮したテンプレート画像を用いて分割
画像との重複度を計算することにより、ヒストグラム上
において行われる次の領域分割のためのしきい値を決定
する処理は高速にかつ簡素に行える。この結果、現実の
走行路に即した走行路領域が高速にかつ容易にかつ低コ
ストで得られる。

また、次のようにカメラに撮像される情景の明暗が変
化する場合がある。例えば、自車の進行方向がカーブに
よって変更したために明るさが変化した場合や、天候が
晴れたり曇ったりするために明暗が変わる場合などがあ
る。このような場合には、特徴量ヒストグラムは常に一
定の形状を示さないため、固定されたしきい値による領
域分割では正しい走行路領域が得られない。しかし、本
手法では、入力された画像の状態、つまり、明るさが時
々刻々と変化しても常に正確な走行路領域の抽出を行う
ことが可能である。これは、本手法では、テンプレート
画像との重複度が最も高い特徴量分布を見つけ、時々刻
々と変化する画像についてその時の特徴量に応じた最適
なしきい値をその都度設定するからである。

従来、領域分割を行う画像処理にあっては、原画像を
複数の領域に分割し、分割した画像について識別処理を
行って道路の妥当性を検証していた。しかし、上述した
本手法にあっては、目的とする対象物（道路）を抽出す
るために、しきい値処理による領域分割を行っている。
このように、従来の手法では処理結果から対象物を検証
したが、本手法では処理の当初から対象物を目的として
いる点で処理のアプローチが逆になっている。このた
め、道路領域を効率良く抽出することが可能になってい
る。

次に、「明るさの違いに注目した走行コースからの影
や高輝度部分の抽出手法」について説明する。本手法は
上述した「テンプレート画像を用いた繰返しきい値処理
による走行コースの抽出手法」の説明において既に簡単
に説明したものであり、以下にこの手法を詳述する。

明度画像について、上述した「テンプレート画像を用
いた繰返しきい値処理による走行コースの抽出手法」，
および「繰返しきい値処理における特徴量ヒストグラム
の形状に基づくしきい値設定手法」を適用することによ
り、走行コースの特徴量の分布するヒストグラムが求め
られた。本手法は、このヒストグラムを基にして道路領
域より暗い領域および道路領域より明るい領域を求める
ものである。また、本手法はカラー画像処理装置内で処
理されるものである。

第14図は、種々の入力画像が撮像された各ケースにつ
いて、本手法を適用した場合の処理の概要を示す。ケー
ス１は、一様な路面状況の走行コースのみが入力画像と
して撮像された場合である。この場合、自車は、右側に
カーブする道路のカーブ手前に位置している。このケー
ス１において抽出される道路候補領域は、人力画像と同
様な形状になる。これは入力画像が一様な走行コースの
みだからであり、従って、本手法により低輝度領域およ
び高輝度領域は抽出されない。

また、ケース２は、走行コースの路面上に部分的に影
ができ、しかも、走行コースの遠方に反射光などによる
高輝度部分ができている入力画像が撮像された場合であ
る。この場合の例では、道路は右側にカーブし、この右
側カーブの手前に左側にカーブする分岐路を有してい
る。自車はこれらカーブの手前に位置している。このケ
ース２において抽出される道路候補領域は、影ができて
いる暗い領域および高輝度領域である明るい領域が除外
された形状になる。また、道路の手前側にできている影
の部分は本手法による低輝度領域の抽出により、個別に
取り出すことができる。また、道路の遠方にできている
反射光による高輝度領域は高輝度領域の抽出により、個
別に取り出すことができる。

ケース３は、陽射しが強い天候の時に、樹木による影
が走行コースの路面上にできている入力画像が撮像され
た場合であり、路面上に木洩れ日がさしている場合であ
る。この場合の例では、自車は、左側にカーブする道路
のカーブ手前に位置している。このケース３において抽
出される道路候補領域は、木洩れ日によってできる影と
同じ形状である。これは、強い陽射しのために影の部分
がテンプレート画像との重複度が高くなるためである。
従って、本手法により低輝度の領域は抽出されない。ま
た、遠方の道路領域および木洩れ日がさしている部分は
強い陽射しのために高輝度の領域として抽出される。

ケース４は、道路の側帯に沿って帯状に変色部分がで
きている場合であり、例えば、舗装路の工事等によって
道路が変色した場合である。この場合の例では、自車
は、直線状に進む道路にできた変色部分を右手にみて走
行する位置にある。このケース４において抽出される道
路候補領域は、この変色部分が除外された形状になる。
また、この変色部分は道路領域より明度が高いため、本
手法により高輝度領域として抽出される。また、道路の
路面上には影などがないため、低輝度領域は抽出されな
い。

次に、上述したケース２を例として、本手法の詳細を
以下に説明する。

第15図は、ケース２において撮像された入力画像を基
にして作成されたヒストグラムである。このヒストグラ
ムの特徴量は明度であり、横軸にこの明度が示されてい
る。また、縦軸は、各明度における画素数である。

図のＡ部分の特徴量範囲は走行路領域が含まれる範囲
であり、前述した「テンプレート画像を用いた繰返しき
い値処理による走行コースの抽出手法」において最も走
行コースに相当する画素が含まれる範囲とされる部分で
ある。また、範囲Ａは特徴量がt1からt2までの範囲であ
り、各特徴量t1およびt2をしきい値として領域分割され
る。また、特徴量t1より左側にあるＢ部分は谷と谷とに
挾まれた１つの山を形成し、Ａ部分より明度の低い暗い
範囲の特徴量分布である。このＢ部分の特徴量範囲はt3
からt1までであり、各特徴量t3およびt1は領域分割のた
めのしきい値になる。また、特徴量t2より右側にあるＣ
部分は、Ａ部分より明度の高い明るい範囲の特徴量分布
であり、Ｂ分布と同様に谷と谷とに挾まれた１つの山を
形成している。このＣ部分の特徴量範囲はt2からt4まで
であり、各特徴量t2およびt4は領域分割のためのしきい
値になる。

なお、図に示されるＢ部分やＣ部分は１つの山を形成
しているが、このように１つの山を形成しない特徴量分
布は、画像上において領域分割のために有意義な領域を
形成する分布とは認められない。このため、このような
特徴量分布は優位な分布ではないものとして領域抽出の
対象として選定しない。図示の本例の場合にはＢ部分お
よびＣ部分の双方ともに優位な分布になっているが、一
方のみが優位な分布であっても本手法は適用される。

Ａ部分の特徴量分布は第14図に示されたケース２の道
路候補領域に相当する。また、Ｂ部分の特徴量分布はこ
の道路候補領域より明度の低い影の領域に相当し、Ｃ部
分の特徴量分布は道路候補領域よりも明度の高い高輝度
部分に相当するものである。本手法は、Ａ部分に隣接す
るＢ部分およびＣ部分の各特徴量分布に相当する各領域
を抽出するものである。

まず、ヒストグラムのＢ部分に相当する領域を抽出す
るため、しきい値t3およびt1によって明度を特徴量とす
る入力画像を２値化する。また、前述した「テンプレー
ト画像を用いた繰返しきい値処理による走行コースの抽
出手法」において、彩度を特徴量のする入力画像に基づ
いて道路領域画像が求められていた。この道路領域画像
は、原画像が最初に領域分割されることにより得られた
ものであり、影などの暗い領域や高輝度領域が道路領域
に含まれた状態の画像である。この道路領域に含まれた
状態の画像である。この道路領域に相当するメモリ素子
には１が記憶されており、その他の背景領域に相当する
メモリ素子には０が記憶されている。また、上記の２値
化画像において、明度がt3からt1の画素領域に相当する
メモリ素子には１が記憶されており、その他の領域に相
当するメモリ素子には０が記憶されている。このため、
道路領域画像と２値化画像との論理積をとることによ
り、走行路領域上にある例えば影の部分などの暗い領域
のみが個別に抽出される。

また、Ｃ部分に相当する領域を抽出するため、上記の
暗い領域を求めるのと同様に、しきい値t2およびt4によ
って明度画像を２値化する。そして、彩度画像から抽出
された道路領域画像とこの２値化画像との論理積を上記
のＢ部分の抽出の場合と同様にとることにより、高輝度
領域が個別に抽出される。

次に、Ｂ部分およびＣ部分を領域分割する際に必要と
されるしきい値t3およびt4を求める方法について説明す
る。前述した「繰返しきい値処理における特徴量ヒスト
グラムの形状に基づくしきい値設定手段」により、第10
図（ｂ）に示されるピーク・谷テーブルを求めたが、第
15図に示されるヒストグラムについてもこれと同様にし
て図示しないピーク・谷テーブルを求める。このピーク
・谷テーブルにおける各テーブル値は、第10図（ｂ）と
同様に、pkt iとして表現する。添字のｉは、グラフの
原点側から各テーブル値に対応して順にｉ＝0,1,2,…N,
N−１と変化するものとする。

第15図のヒストグラムにおいて、しきい値t1に相当す
るテーブル値をpkt jとする。そして、ピーク・谷テー
ブルにおいてこのテーブル値pkt iから左側へ各テーブ
ル値を見て行き、pkt0のところまでにテーブル値が負と
なるpkt k（pkt k＜０）があるか否かを判断する。テー
ブル値が負になる特徴点は谷の底に相当する点である。
pkt0までに負となるpkt kが有り、しかも、pkt jの特徴
点からpkt kの特徴点までの距離がしきい値より小さい
場合（pkt j−pkt k＜しきい値）、このテーブル値pkt
kに相当する特徴量をしきい値t3とする。また、pkt0ま
でに負となるpkt kが無い場合、または距離がしきい値
を越える場合には、道路領域より暗い優位な領域は無い
ものとする。

ヒストグラム上のしきい値t4に相当する特徴量は、し
きい値t3に相当する特徴量を求める方法と同様にして求
めることができる。つまり、しきい値t2に相当するピー
ク・谷テーブル値をpkt mとすると、このpkt mから右側
へ各テーブル値を見て行き、pktN−１までに負となるン
pkt n（pkt n＜０）が有るか否かを判断する。pktN−１
までに負となるpkt nが有り、しかも、pkt nの特徴点か
らpkt mの特徴点までの距離がしきい値より小さい場合
（pkt n−pkt m＜しきい値）、このテーブル値pkt nに
相当する特徴量をしきい値t4とする。また、pktN−１ま
でに負となるpkt nが無い場合、または、距離がしきい
値を越える場合には、道路領域より明るい優位な領域は
無いものとする。

以上のように、本手法は、「繰返しきい値処理におけ
る特徴量ヒストグラムの形状に基づくしきい値設定手
段」で求められたピーク・谷テーブルを利用することに
より、天候の変化や舗装路の工事等によって道路の路面
状況が変化しても、影や高輝度部分および変色部分を個
別に抽出することができる。

次に、「ラベリング装置」について以下に詳述する。
「テンプレート画像を用いた繰返しきい値処理による走
行コースの抽出手法」において抽出された画像は、ノイ
ズや細かく分断された領域を有する。このため、ラベリ
ング装置により抽出画像の各領域にラベル付けをし、ラ
ベル付けされた各領域の有効性を判断する。このラベリ
ング処理の結果に基づき、地平線位置より重心が上の領
域や、ノイズ等によって発生した不要な小領域を除去す
る。

第16図はこのラベリング装置の概略構成を示すブロッ
ク図であり、第17図はこのラベリング処理の概略を示す
ゼネラルフローチャートである。まず、カラー処理装置
において抽出された画像を画像バス（NE BUS）を介し
て入力メモリ1601に取り込む（ステップ1701）。この画
像情報は512×512×８ビットの情報であり、これを多値
の原画像入力とする。次に、後述するランを用いた仮ラ
ベル付け方式を用いて１次ラベリングを行う（ステップ
1702）。この１次ラベリングは、ラベリングプロセッサ
（KLP）1602,ラインバッファメモリ（LBM）1603および
ラベルマッチングメモリ（LMM）1604等において主とし
て実行される。

この１次ラベリングの後、ラベルマッチングメモリLM
M1604のデータ配置を整理するために前処理を行う（ス
テップ1703）。この前処理の後に２次ラベリングを行う
と同時に各領域の面積や重心などの特徴量を抽出する
（ステップ1704）。ステップ1703およびステップ1704の
処理は主として特徴抽出プロセッサKLC1605において実
行される。この２次ラベリングにより、各アドレスに位
置する画素に付けられたラベルをラベルメモリ（LABEL
M）1606に記憶する。また、同時に、抽出された各領域
の面積や重心を特徴メモリ1607に記憶する。この後、LA
BELM1606に記憶されたラベル画像情報をNE BUSに出力
する（ステップ1705）。

ラベル生成のためのKLP1602の使用個数は１個であ
り、ラン処理用のラインレジスタであるLBM1603は後述
するラベルメモリKLMを４個使用して構成する。また、L
MM1604は仮ラベルの最大数が1023の時にはKLMを８個使
用して構成する。仮ラベルの最大数が4095の時にはKLM
を32個使用してLMM1604を構成する。

従来のラベリングは入力画像が２値画像の場合につい
てだけ行っていたが、本手法によるラベリングはKLP160
2を使用することにより、多値画像についてもラベリン
グを行うことが可能になっている。つまり、数種類の画
像を一度にラベリングをすることが可能である。例え
ば、第18図に示されるように、３種類の２値入力画像18
01,1802,1803が入力された場合を想定する。これら２値
画像は足し合されて512×512×８ビットの多値画像1804
に変換される。この変換処理はラベリング処理の前処理
として行われる。ラインレジスタ1805（LBM1603）とラ
ベルマッチングメモリ1806（LMM1604）とを使用したラ
ベリングプロセッサ1807（KLP1602）の制御により、多
値入力画像1804はラベリングされる。このラベリングに
おいて各領域のラベル付けを整理し、最終的に512×512
×12ビットのラベル画像1808として出力する。このラベ
リングプロセッサ1807（KLP1602）を使用することによ
り、多値画像に対してのラベリング処理、ランを用いた
仮ラベル数の削減および１スキャンラベリングが可能に
なる。

多値入力画像の各画素には、各画素値に応じたラベル
付けがKLP1602の制御によって行われる。そして、同一
のラベル値を持つ各画素間の結合関係に基づいて領域区
分が行われ、また、この結合関係に基づいて新しいラベ
ルが生成される。例えば、従来、入力画像に第19図
（ａ）に示される階段状画素からなる領域が形成されて
いる場合には、ラスタ走査の順番に沿って各画素に仮ラ
ベル付けを行い、再度各画素について走査を行うことに
よりラベル生成が実行されていた。この結果、仮ラベル
付けの際には、図示のごとく１〜３の３種類仮ラベルを
必要としていた。

しかし、本方式によるランを用いたラベリング方式に
よれば、第19図（ａ）と同様な階段状画素からなる同図
（ｂ）に示される入力画像が有っても、ランを用いるこ
とにより仮ラベル数を削減することが出来る。つまり、
同図（ｃ）に示されるように、各画素をラスタ走査に沿
ったランという１つの行毎に区分けする。図示の場合に
は、２つのラン１およびラン２に区分けされる。ラベリ
ングプロセッサKLPはランの走査が最後の画素に至るま
ではラインバッファメモリLBMにフラグを書き込み、仮
ラベルの判定を行い、その行の最後の画素でそのランの
全画素に各画素間の結合関係を考慮した仮ラベルを書き
込む。

同図（ｃ）に示されるラン１について走査して上記の
処理を施した結果、ラン１に対応する画素には同図
（ｄ）に示される仮ラベル付けが行われる。この仮ラベ
ル「１」のラベル付けは、各画素に同時に行われる。こ
れは、メモリには後に詳述するラベリングメモリKLMが
使用されているためである。引き続いてラン２について
走査することにより、同図（ｅ）に示される仮ラベル付
けが行われる。ラン２はラン１の仮ラベル「１」に接続
されているので、ラン２の最後の画素を走査する時点で
ラン２の各画素には仮ラベル「１」が同時に書き込まれ
る。このようにランを用いたラベリングにより、同図
（ｂ）に示される階段状画素へのラベル付けは、１種類
のラベル「１」によって行うことが出来、仮ラベル数は
削減される。つまり、画素をランという１つのまとまり
にまとめ、ラン単位で処理を行うことにより、ラベリン
グ回路の規模を削減することが出来る。

次に、ラベリングプロセッサKLPによるラベリング処
理の詳細について説明する。ラベリングは第20図に示さ
れるウインドが各ランに沿って各画素を走査することに
より行われる。このウインドを各ランに沿って走査する
ことにより、Ｔ（ターゲット）部には注目する画素が現
れ、ａ部にはＴ部の上に位置する画素が現れ、ｂ部には
Ｔ部の右側の隣に位置する画素が現れる。以下、T,a,b
は各部に現れる入力画像のラベル値を示すことにする。
なお、ランの途中をウインドが走査している時には、出
力ラベルとしてフラグの値がラインバッファメモリLBM
に出力され、ウインドがランの最後の画素に達した時
に、フラグの立っている全ての画素にラベルが書き込ま
れる。

KLPの内部構成は第21図のブロック構成図に示され
る。KLPは、セレクタ2101、仮ラベルレジスタTml2102,
カウンタCnt2103,第１の比較回路2104および第２の比較
回路2105により構成されている。第１の比較回路2104に
はラベル値T,a,bが与えられ、入力画像の多値比較が行
われる。この比較結果はセレクタ2101のセレクト端子se
l1に与えられる。第２の比較回路2105には、ラベル値ａ
のラベルマッチングメモリLMMの値Mat（ａ），仮ラベル
レジスタTml2102の値およびカウンタCnt2103の値が与え
られ、同時に各値はセレクタ2101の端子A,B,Cに与えら
れる。このTml2102の値は、セレクタ2101からの出力信
号によって決定される。また、セレクタ2101の端子Ｄに
はラインバッファメモリLBMに記憶されるフラグFLAGの
値が与えられる。

第２の比較回路2105は与えられたこれらの各値を比較
する。この比較結果により各ラベル間の連結関係が判断
され、比較結果はセレクタ2101のセレクト端子se10に出
力される。セレクタ2101は与えたられた各値に基づき、
マッチングアドレスMAT ADDRおよびマッチングデータM
AT DATAを出力し、ラベルマッチングメモリLMMの記憶
内容の変更を行う。また、これと共に、セレクタ2101は
仮ラベルの値および抽出カラベルの値（LABEL）を出力
する。

第22図〜第27図はウインド処理のフローチャートを示
す。

第22図は、第１の比較回路2104における各値T,a,bの
比較判断処理をする際にフローチャートを示す。まず、
着目画素ラベル値Ｔが０に等しいか否を判断する（ステ
ップ2201）。Ｔが０の場合には後述する処理１を実行す
る（ステップ2202）。Ｔが０でない場合には、ラベル値
Ｔとラベル値ｂとを比較する（ステップ2203）。ラベル
値Ｔとラベル値ｂとが等しい場合には、ラベル値下とラ
ベル値ａとを比較する。（ステップ2204）。ラベル値Ｔ
とラベル値ａとが等しい場合には処理２を実行する（ス
テップ2205）。つまり、処理２は各値T,a,bが等しい場
合に実行される処理である。この場合、各ラベル値を○
と表現すると、ウインドウ状態はステップ2205の図示の
処理ボックスに隣接して描かれた状態になる。

ラベル値Ｔとラベル値ａとが等しくない場合には処理
３を実行する（ステップ2206）。つまり、処理３はラベ
ル値Ｔとラベル値ｂとが等しく、ラベル値Ｔとラベル値
ａとが異なる場合に実行される処理である。この場合、
ラベル値Ｔとラベル値ｂを○と表現し、ラベル値ａを×
と表現すると、ウインドウ状態はステップ2206の図示の
処理ボックスに隣接して描かれた状態になる。そして、
ステップ2205またはステップ2206の処理後に、ラインバ
ッファメモリLBM1603のウインドＴの位置にフラグを立
てる（ステップ2207）。

また、ステップ2203において、ラベル値Ｔとラベル値
ｂとが等しくない場合にも、ラベル値Ｔとラベル値ａと
を比較する（ステップ2208）。ラベル値Ｔとラベル値ａ
とが等しい場合には処理４を実行する（ステップ220
9）。つまり、処理４はラベル値Ｔとラベル値ａとが等
しく、ラベル値Ｔとラベル値ｂとが異なる場合に実行さ
れる処理である。この場合、ラベル値Ｔとラベル値ａを
○と表現し、ラベル値ｂを×と表現すると、ウインドウ
状態はステップ2209の図示の処理ボックスに隣接して描
かれた状態になる。

ラベル値Ｔとラベル値ａとが等しくない場合には処理
５を実行する（ステップ2210）。つまり、処理５はラベ
ル値Ｔとラベル値ａとが異なり、しかも、ラベル値Ｔと
ラベル値ｂとが異なる場合に実行される処理である。こ
の場合、ラベル値Ｔを○と表現し、ラベル値ａとラベル
値ｂを×と表現すると、ウインドウ状態はステップ2210
の図示の処理ボックスに隣接して描かれた状態になる。
そして、ステップ2209またはステップ2210の処理後にKL
P内の仮ラベルレジスタTmlをクリアする（ステップ221
1）。このTmlは、現在のウインド位置に達する直前のＴ
部に有った画素に対するラベルが記憶されているもので
ある。

以下に説明する第23図から第27図のフローチャート
は、処理１から処理５までの比較判断処理のフローチャ
ートを示す。

第23図は上述の処理１のフローチャートを示す。処理
１は何も実行せずに終了する。

第24図は上述の処理２のフローチャートを示す。ま
ず、仮ラベルレジスタTmlに記憶された前回の画素のラ
ベル値と０とを比較する（ステップ2401）。Tmlのラベ
ル値が０に等しい場合には、ラベル値ａのラベルマッチ
ングメモリ（LMM）1604の値Mat（ａ）を仮ラベルレジス
タTml2102に書き込む（ステップ2402）。Tmlのラベル値
が０と等しくない場合には、Tmlのラベル値とカウンタC
nt2103のカウンタ値とを比較する（ステップ2403）。カ
ウンタ2103には最も新しいラベルの値が記憶されてい
る。

仮ラベルレジスタTmlのラベル値とカウンタCntのカウ
ンタ値とが等しい場合には、ラベル値ａのラベルマッチ
ングメモリ（LMM）の値Mat（ａ）をTmlに書き込む（ス
テップ2404）。また、Tmlの値とカウンタCntの値とが等
しくない場合には、LMMの値Mat（ａ）とTmlの値とを比
較する（ステップ2405）。LMMの値Mat（ａ）とTmlの値
とが等しい場合には何も実行されない（ステップ240
6）。LMMの値Mat（ａ）とTmlの値とが等しくない場合に
は、Tmlの値とLMMの値Mat（ａ）とのうちの小さい方の
値｛Min（Tml,Mat（ａ））｝をTmlに書き込む。さら
に、両者のうちの小さい方の値｛Min（TMl,Mat
（ａ））｝を、両者のうちの大きい方の値に等しいラベ
ル値のラベルマッチングメモリ に書き込む（ステップ2407）。

第25図は前述の処理３のフローチャートを示す図であ
る。処理３では、まず、仮ラベルレジスタTmlの値と０
とを比較する（ステップ2501）。Tmlの値が０に等しい
場合には、カウンタ2103のカウンタ値をTmlに書き込む
（ステップ2502）。また、Tmlの値が０に等しくない場
合には、何も実行されない（ステップ2503）。

第26図は前述の処理４のフローチャートを示す図であ
る。まず、Tmlの値と０とを比較する（ステップ260
1）。Tmlの値が０に等しい場合には、ラベル値ａのLMM
の値Mat（ａ）をターゲットエリアのラベル値として、
Ｔ部とフラグが立っている全てのレジスタにこのMat
（ａ）を書き込む（ステップ2602）。この時、LBMのフ
ラグは全てクリアされる。また、ステップ2601でTmlの
値が０に等しくない場合には、Tmlの値とCntの値とを比
較する（ステップ2603）。Tmlの値とCntの値とが等しい
場合には、ラベル値ａのLMMの値Mat（ａ）をターゲット
エリアのラベル値として、Ｔ部とフラグが立っている全
てのレジスタにこのMat（ａ）を書き込む（ステップ260
4）。この時、LBMのフラグは全てクリアされる。

また、Tmlの値とCntの値とが等しくない場合には、Tm
lの値とMat（ａ）の値とを比較する（ステップ2605）。
そして、Tmlの値とMat（ａ）の値とが等しい場合には、
ラベル等ａのLMMの値Mat（ａ）をターゲットエリアのラ
ベル値として、Ｔ部とフラグが立っている全てのレジス
タにこのMat（ａ）を書き込む（ステップ2606）。この
時、LBMのフラグは全てクリアされる。また、Tmlの値と
Mat（ａ）の値とが等しくない場合には、Tmlの値とラベ
ル値ａのLMMの値Mat（ａ）との小さい方の値｛Min（Tm
l,Mat（ａ））｝をターゲットエリアのラベル値とし
て、Ｔ部とフラグが立っている全てのレジスタに書き込
む。この時、LBMのフラグは全てクリアされる。さら
に、Tmlの値とLMMの値Mat（ａ）とのうちの小さい方の
値｛Min（Tml,Mat（ａ））｝を、これらの両者のうちの
大きい方の値に等しいラベル値のラベルマッチングメモ
リ に書き込む（ステップ2607）。

第27図は前述の処理５のフローチャートを示す図であ
る。まず、仮ラベルレジスタTmlの値と０とを比較する
（ステップ2701）。Tmlの値が０に等しい場合には、Cnt
の値をターゲットエリアのラベル値として、Ｔ部とフラ
グが立っている全てのレジスタにこのCntの値を書き込
む。この時、LBMのフラグは全てクリアされる。さら
に、Cntの値を、Cntの値に等しいラベル値のMat（Cnt）
に書き込み、Cntの値を１つカウントアップする（ステ
ップ2702）。

また、Tmlの値が０に等しくない場合には、Tmlの値を
ターゲットエリアのラベル値として、Ｔ部とフラグが立
っている全てのレジスタにTmlの値を書き込む（ステッ
プ2703）。この時、LBMの全てのフラグはクリアされ
る。次に、Tmlの値とCntの値とを比較する（ステップ27
04）。Tmlの値とCntの値とが等しい場合には、Cntの値
を、Cntの値に等しいラベル値のMat（Cnt）に書き込
む。さらに、Cntの値を１つカウントアップする（ステ
ップ2705）。また、Tmlの値とCntの値とが等しくない場
合には、何も実行しない（ステップ2706）。

次に、ラインバッファメモリ7LBMやラベルマッチング
メモリLMMに使用されるラベリングメモリKLMについて説
明する。今までのメモリは、１回のアドレス指定により
１個の内部レジスタにしかデータが書き込めなかった。
しかし、以下に説明するKLMを使用することにより、複
数個の内部レジスタに１度にデータを書き込むことが出
来る。このため、本ラベリングメモリKLMは、ラン処理
用のラインレジスタ（LBM），ラベル統合不要のラベル
マッチングメモリ（LMM）,1スキャン用のラベル画像メ
モリ（LABELM）およびラベル整合を行えるラベルマッチ
ングメモリに使用することが出来る。

KLMは複数のレジスタにより構成されているが、第28
図はこれらレジスタの中の１個のレジスタのブロック構
成を示している。このブロックはKLMの構成の１単位に
なっている。各レジスタ2801にはコンパレータ2802が対
になって接続されている。このコンパレータ2802には、
レジスタ2801からの出力データDATAおよびこの出力デー
タに比較されるべき情報COMが与えられる。コンパレー
タ2802は与えられたデータを比較し、その比較結果をア
ンド回路2803に出力する。アンド回路2803にはこの他に
アドレスデコーダ回路2804の出力が与えられている。ア
ンド回路2803は、コンパレータ2802またはデコーダ回路
2804のいずれか一方が信号を出力していれば、オア回路
2805に信号を出力する。

オア回路2805にはCPUからのライト信号WRが与えられ
ており、このライト信号▲▼に同期してレジスタ28
01にイネーブル信号が与えられる。つまり、アドレスデ
コーダ回路2804によってセレクトされるか、コンパレー
タ回路2802での比較結果が一致した場合に、ライト信号
WRに同期してレジスタ2801にデータが書き込まれる。各
デコーダ回路2804へのアドレシングおよび各コンパレー
タ回路2802での比較判断は全て同時に実行される。この
ため、１回のアドレシングまたは１回のデータの比較判
断により、KLMを構成する複数個のレジスタの内容を同
時に書き替えることが可能である。

前述したランを用いたラベリング処理によって得られ
た仮ラベルは、ラベル統合を行うと不連続な値になる。
この時のラベルマッチングメモリLMMの内容は第29図
（ａ）に示される。各アドレス１〜10の画素に対応して
ラベル1,3,6がデータとして記憶されている。このラベ
ル値は不連続な値になっているため、同図（ｂ）に示さ
れ後に詳述する特徴抽出プロセッサKLCにより、同図
（ｃ）に示される連続な値を持つラベルに変換する。す
なわち、KLMによって構成されたラベルマッチングメモ
リLMMに記憶されるラベル値は、1,2,3と連続した値にな
る。

より詳細には、ラベリングプロセッサKLCはLMMのアド
レスを発生し、該当アドレスの示すデータを取り込む。
引き続いて取り込んだデータとアドレスとを比較し、各
値が同じならば新しいデータをLMMに出力してラベル値
を書き替える。また、各値が異なる場合には、LMMへ次
のアドレスを出力して次のアドレスとデータとを比較す
る。以後、この処理を繰り返して実行することにより、
第29図（ａ）に示される不連続なラベル値は同図（ｃ）
に示される連続なラベル値に変換される。

具体的には、同図（ａ）のアドレス１のデータ（１）
はアドレスと同じであるため、KLCは新しいデータとし
て１を出力し、アドレス１のデータと同じデータ（１）
を持つアドレス2,4,5,7のデータを新しいデータ１に書
き替える。図示の場合には、古いデータと新しいデータ
とがたまたま同じ１になっているため、同図（ａ）と同
図（ｃ）との該当アドレスのデータに変化は無い。次
に、アドレス２のデータ（１）とアドレスとを比較す
る。アドレスとデータとは異なるため、次のアドレス３
を発生する。そして、アドレス３のデータ（３）とアド
レスとを比較する。アドレスとデータとは同じであるた
め、新しいデータとして２を出力する。LMMはKLMによっ
て構成されていため、アドレス３のデータと同じデータ
（３）を持つアドレス9,10のデータは同図（ｃ）に示さ
れるように全て同時に２に書き替えられる。次に、KLC
は新たなアドレス４を発生する。アドレスとデータとは
異なるためにさらに次にアドレス５を発生し、以後、上
記と同様な処理を繰り返す。この結果、不連続値は連続
値に変換される。

第30図はこの特徴抽出プロセッサKLCの内部構成を示
すブロック図である。このKLCを使用することにより、
１次ラベリングによって発生する仮ラベルの前処理が行
われる。また、２次ラベリングの時、ラベリングと同時
に、同一ラベル領域の面積の演算，同一ラベル領域のＸ
方向アドレスの合計の演算および同一ラベル領域のＹ方
向アドレスの合計の演算がこのKLCによって実行され
る。

KLCは、＋１加算器3001と、２つの加算器3002,3003
と、比較器3004および２つのカウンタ3005,3006とから
構成されている。＋１加算器3001は、同一ラベル値を持
つ画素入力が有った場合にそのカウント数を１つづつカ
ウントアップし、同一ラベル領域の面積を演算してこれ
をSizeとして出力する。加算器3002,3003にはＸ方向ア
ドレス値,Y方向アドレス値が入力されている。そして、
同一ラベル値の画素入力が育った場合に、各方向ごとに
アドレス値を加算していき、各アドレス方向ごとに同一
ラベル領域のアドレス値の合計を演算する。各合計値は
Ｘ ADDRおよびＹ ADDRとして出力される。各方向のア
ドレスの合計値を同一ラベル領域の面積で割ることによ
り、各方向の重心を求めることが出来る。そして、各同
一ラベル領域の重心を求め、地平線よりも上に重心があ
る領域は、道路候補領域の抽出に有効な領域ではないも
のとして除去する。

比較器3004およびカウンタ3005,3006は、１次ラベリ
ングの時に発生する仮ラベルの前処理、つまり、不連続
なラベル値を連続なラベル値に変換する処理に使用され
る。カウンタ3005,3006にはクロック信号CLKが入力さ
れ、カウンタ3005の出力はラベルマッチングメモリLMM
へ出力されるマッチングアドレスMAT ADDRになる。こ
のアドレスは比較器3004にも同時に与えられる。また、
カウンタ3006の出力はラベルマッチングメモリLMMへ出
力されるデータMAT DATAになる。比較器3004は与えら
れたアドレスおよびデータを前述のようにして比較し、
アドレスとデータの各値が一致する場合にはカウンタ30
06に信号を出力する。カウンタ3006はこの信号を入力し
た場合にはMat DATAに現在のカウンタの値を出力し、
値を１つカウントアップする。

以上説明してきたラベリング処理の処理時間は、各ラ
ンに沿って行われる２スキャンのラスタ走査時間と、ラ
ベル統合時間との和の時間を必要とした。しかし、第16
図に示されるラベルメモリLABELM1606に前述したラベリ
ングメモリKLMを使用して構成することにより、１スキ
ャンでラベリング処理を実行することが出来る。すなわ
ち、第31図に示されるように、多値の入力画像3101が取
り込まれた場合に、ラベリングプロセッサKLP3102はラ
インレジスタ3103およびラベルマッチングメモリ3104を
使用して前述と同様にラベリング処理を実行する。そし
て、このラベリングによって得られた各画素のラベル値
は、各ランの最終の画素の走査時点でラベル画像メモリ
3105にそのまま書き込まれる。なお、ラベル結合は行わ
れないため、各ラベルの値は不連続な値のままに記憶さ
れる。

ラベリングメモリKLMは、前述したように、各内部レ
ジスタにコパレータが対になって接続されており、コン
パレータでの比較結果が一致したレジスタおよびアドレ
スセレクトされたレジスタに、一度に新しいデータが書
き込まれるものである。このKLMの特徴によって１スキ
ャンラベリングが可能になっている。また、ラベリング
プロセッサKLPは、本方式のアルゴリズムがハードウエ
ア化されたものであり、高速ラベリングを可能にするも
のである。

この１スキャンラベリング方式により、ラベリング処
理時間を今までの1/2以下に短縮することが可能にな
る。例えば、装置が8MHzのクロック信号で動作している
場合には、今までのラベリング処理時間には、ウインド
ウを２スキャンするための66msecと、ラベル統合に必要
とされる時間とを必要とした。しかし、この１スキャン
方式によれば、1/2以下の33msecでラベリング処理を行
うことが出来る。

また、通常の画素の走査は入力画像の画面左上から右
下に行うが、道路領域を抽出する画像処理においては、
目的とする画像は画像の下方に位置する。従って、目的
とする画像を走査する際に仮ラベルを記憶するメモリが
オーバーフローする事態が発生する可能性がある。この
ため、走査を画面の右下から左上に行い、目的とする画
像を初めに走査することにより、目的とする画像を常に
取得できるようにする。つまり、目的とする画像を最初
に取得すれば、メモリのオーバーフローが発生してもそ
のオーバーフローの時の画像走査は不要な画像部分につ
いての走査になり、目的とする画像を常に取得すること
ができる。

次に、画像分割されて得られた「複数の領域の併合手
法」について説明する。

「テンプレート画像を用いた繰返しきい値処理による
走行コースの抽出手法」により道路候補領域が求めら
れ、「明るさの違いに注目した走行コース上の影や高輝
度部分の抽出手段」により低輝度領域である影や高輝度
領域が求められた。この道路候補領域を基準にし、道路
候補領域と強く繋がっている低輝度領域や高輝度領域を
道路候補領域に併合し、一つの領域として扱い、これを
走行コースとみなす。このためには、各領域に隣接して
いる共通境界長と各領域の周囲長とを求め、繋がってい
る各領域どうしの関係を記述する。この各領域どうしの
関係の記述により併合関係が表され、従来のようにラベ
ルの付け替え操作を行わなくても、領域と領域の併合処
理をしたのと同じ結果が得られる。なお、共通境界長は
各領域に隣接している画素の辺の長さに基づいて求ま
り、周囲長は各領域の最外部の画素の辺の長さに基づい
て求まる。

以下に本手法のアルゴリズムを示す。本手法は二通り
あり、第１に、逆Ｌ字のマスクを走査させる逆Ｌ字マス
ク走査式手法があり、この手法は簡単なアルゴリズムで
ハードウエア化に適している。第２に、領域の公開を局
所的に探査する領域境界探査式手法があり、この手法は
必要な領域の境界のみを探査するため、少ないメモリで
処理できて有効である。

第１の手法である逆Ｌ字マスク走査式手法は、第32図
に示される逆Ｌ字マスクをラベル画像の左から右へ、上
から下へ走査することにより実行される。図示のマスク
に現れるｘ画素は着目する画素であり、ａ画素は着目画
素ｘの上に位置する画素、ｂ画素は着目画素ｘの左隣に
位置する画素である。例えば、第33図に示される画素領
域を想定する。同図に示される□は１つの画素を表して
おり、この□の中の数値はその画素のラベル値を表して
いる。本例の場合には、ラベル値１の領域とラベル値４
の領域とが隣接している。なお、図には示されていない
が、背景領域はラベル値が０になっている。

各領域の周囲長obは、逆Ｌ字マスクを各領域の行に沿
って、つまり、ランに沿って走査することにより求ま
る。具体的には、ラベル値１の領域の周囲長ob1は次の
ように求まる。まず、逆Ｌ字マスクのｘ画素を最上段の
ランの左端に位置する画素に合わせる。この場合、ａ画
素およびｂ画素は背景領域にあり、ラベル値は０になっ
ているため、この画素の２辺はラベル値１の領域の周囲
に位置していることが分かる。従って、周囲長ob1をカ
ウントするカウンタに２を加える。次に、逆Ｌ字マスク
を右に走査し、ｘ画素を右隣の画素に合わせる。この場
合、ａ画素は背景領域にあり、ｂ画素は前回マスクを合
わせたラベル値１の本領域内の画素にある。従って、こ
の画素の１辺がラベル値１の本領域の周囲に位置してい
ることが分かり、カウンタにさらに１を加える。このよ
うに逆Ｌ字マスクをランに沿ってラベル値１の領域につ
いて走査することにより、周囲長ob1は18になる。な
お、周囲長obの単位は画素の辺の数である。

ラベル値４の領域の周囲長ob4も上記の周囲長ob1と同
様にして求められ、その値は20になる。

また、ラベル値１の領域とラベル値４の領域との共通
境界長cbは次のようにして求めることが出来る。この共
通境界長cbは、ラベル値１の領域から見たラベル値４の
領域との共通境界長cb14と、ラベル値４の領域から見た
ラベル値１の領域との共通境界長cb41とで異なる場合が
ある。つまり、マスクが逆Ｌ字の形状をしており、各画
素の２近傍の画素しか考慮しないために共通境界長に差
が生じるのであるが、複数の領域の併合処理に際しては
何等問題とならない。なお、走査するマスクを着目画素
の４近傍を見る十字形状にすれば、共通境界長に差がで
きることはない。

ラベル値１の領域から見たラベル値４との共通境界長
cb14は、周囲長ob1を求める際のマスク走査によって求
められる。この共通境界長cb14は０になる。すなわち、
ラベル値１の領域の各ランについて逆Ｌ字マスクを走査
しても、ａ画素およびｂ画素にはラベル値４の画素が現
れないからである。

ラベル値４の領域から見たラベル値１の領域との共通
境界長cb41は、周囲長ob4を求める際のマスク走査によ
って求めることが出来る。この共通境界長cb41は３にな
る。すなわち、ラベル値４の領域の２段目および３段目
のランの先頭画素にマスクが位置する場合、ｂ画素には
ラベル値１の画素が現れる。このため、３段目までのラ
ンについてのマスク走査により、共通境界長cb41をカウ
ントするカウンタの値は２になる。さらに、４段目のラ
ンの先頭位置にマスクが位置する際には、マスクのａ画
素にはラベル値１の画素が現れる。このため、カウンタ
に１が加えられてカウンタの積算値は３になり、共通境
界長cb41は３になる。なお、共通境界長cbの単位は画素
の辺の数である。

次に、このように求めた各領域間の共通境界長および
各領域の周囲長は、第34図に示されるラベル間境界長マ
トリクスにその値が記憶される。同マトリクスの各列に
付された数字0,1,2,…,j,…ｋ、および各行に付された
数字0,1,2,…,i,…ｌはラベル値を示す。各列および各
行の数値によって指定される場所に記憶される数値ｍij
は、ラベル値ｉの領域から見たラベル値ｊの領域との共
通境界長である。また、ｋ＋１番目の列に記憶される数
値ｔiは、ラベル値ｉの領域の周囲長である。

第33図に示された画素領域を例とすると、ラベル値１
の領域から見たラベル値４の領域との共通境界長cb14の
値は０であるため、同マトリクスの１行４列に位置する
メモリには０が記憶される。また、ラベル値４の領域か
ら見たラベル値１の領域との共通境界長cb41の値は３で
あるため、同マトリクスの４行１列に位置するメモリに
は３が記憶される。

各領域の周囲長および各領域間の共通境界長を求めて
マトリクスを作成した後、各領域間の接続度を計算す
る。この接続度は共通境界長と周囲長とに基づく次式に
より求まる。

接続度＝X/min（A,B） ここで、Ａはラベル値ｉの領域の周囲長、Ｂはラベル
値ｊの領域の周囲長であり、min（A,B）はA,Bの各数値
の内の小さい方の数値を表す。また、Ｘは次式で表され
る各領域間の共通境界長の平均値である。

Ｘ＝（X1＋X2）/2 X1はラベル値ｉの領域から見たラベル値ｊの領域との
共通境界長、X2はラベル値ｊの領域から見たラベル値ｉ
の領域との共通境界長である。上記のＸを示す式は、X1
およびX2共に０でない（X1≠0,X2≠０）場合に有効であ
る。X2が０（X2＝０）の場合にはＸは次式に示される。

Ｘ＝X1 X1が０（X1＝０）の場合にはＸは次式に示される。

Ｘ＝X2 計算した接続度が所定のしきい値以上であれば、ラベ
ル値ｉの領域とラベル値ｊの領域との繋がり強く、各領
域は併合すべき関係にある。また、接続度が所定のしき
い値以下であれば、ラベル値ｉの領域とラベル値ｊの領
域との繋がりは薄く、各領域は併合すべき関係にはな
い。この併合関係は、第35図に示される特徴量リストの
接続ラベル欄に記述される。

同リストのラベルNo.はラベル値であり、面積，重心
はそのラベル値の領域の面積および重心である。この面
積および重心は前述のラベリング処理の時に得られる。
外接長方形とは、そのラベル値の領域内の全ての画素を
囲む長方形である。外接長方形は、辺と辺との交点であ
る４つの頂点の内、左上の頂点の座標tL（x,y）と、右
下の頂点の座標bR（x,y）とによって特定される。各座
標は上述の境界の探査過程処理の時に求められる。ま
た、接続ラベル欄に記載されたラベルNo.は、そのラベ
ル値の領域と併合すべき関係にある領域のラベル値を示
している。この欄に記載された領域とさらに併合すべき
領域がある場合には、図示のように、接続ラベルがさら
にポインタにより繋げられる。

また、同リストに記述された各特徴量は第36図に示さ
れる各領域のものである。各領域にはラベル値l1〜l4が
付され、また、G1〜G4は各領域の重心位置を示してい
る。また、各領域には外接長方形が描かれている。この
長方形の上の１辺と領域との接点座標st（x,y）として
表され、領域開始点tL（x,y）から水平操作することに
より求まる。座標stは後述する手法において利用され
る。

ラベル値l1の領域とラベル値l2の領域とは併合すべき
関係にあるため、特徴量リストのラベルNo.l1の行の接
続ラベル欄にはラベル値l2が記述される。さらに、ラベ
ル値l1の領域は、ラベル値l3の領域およびラベル値l4の
領域とも併合すべき関係にあるため、ラベル値l3および
l4の接続ラベルがポインタにより繋げられる。また、ラ
ベルNo.l2〜l4の各行の接続ラベル欄にも同様な考え方
で各領域間の接続関係が記述される。

次に、領域境界探査式手法について説明する。

まず、対象とする領域に外接する長方形を描き、この
外接長方形と領域とが接する座標st（x,y）に位置する
探索開始画素を求める。そして、この探索開始画素の８
近傍に位置する画素について調査する。８近傍に位置す
る各参照画素には、第37図に示されるように位置No.を
付す。つまり、着目画素の上に位置するNo.を０とし、
時計回りに順に番号を付す。探索開始画素の次に探索す
べき画素の座標は、第38図（ａ），（ｂ）に表された画
素参照テーブルを用いて決定する。同図（ａ）に示され
るテーブルは画素の探索を時計回り（右回り）に実行す
る際に参照されるテーブルであり、同図（ｂ）に示され
るテーブルは画素の探索を反時計回り（左回り）に実行
する際に参照されるテーブルである。テーブルの括弧
｛ ｝に挾まれた０〜７の数値は、第37図の参照画素の
位置No.に対応するものである。

次に探査すべき画素は、前回の画素位置に対する今回
の画素位置に対応する参照画素位置No.を求め、この位
置No.に一致するテーブルの行No.の列No.を参照するこ
とにより決定される。画素参照テーブルを用いた探索画
素の決定方式について以下に具体的に説明する。画素領
域の境界部が第39図のように形成されている場合を想定
する。同図の斜線が付された□はラベル値が０ではない
画素を示している。前回探索した画素を記号△で示し、
現在探索する画素を記号○で示し、次に探索すべき画素
を記号◎で示す。

前回の画素位置△に対する今回の画素位置○は、第37
図の参照画素位置No.では１に対応する。領域の境界付
近の画素を右回りに探索することにすると、画素参照テ
ーブルは第38図（ａ）のテーブルを参照することにな
る。参照画素位置No.は１であるため、行No.が１の列N
o.｛7,0,1,2,3,4,5,6｝を参照する。なお、行No.は最上
段の行が０であり、順に１〜７となっている。また、列
No.には参照すべき画素のNo.が全て記されており、画素
の８近傍の参照をこの順番に従って行うことにより、通
常のアドレス計算におけるモジュロ計算を避けることが
出来る。

すなわち、列No.は７から始まっているため、次に探
査すべき画素は現在位置○の斜め左上に位置する画素◎
になる。画素◎は背景領域であり、ラベル値は０である
ため、列No.に従って次の画素を探索する。つまり、次
の参照画素位置No.は０であるため、現在位置○の上に
位置する画素を探索する。この画素も背景領域にあるた
め、さらに、列No.に従って参照画素位置No.が１の画素
を探索する。この画素はラベル値を持っており、０では
ないため、次に探索する画素の基準をこの位置No.1の画
素におき、この８近傍について上記と同様に探索する。
そして、領域の境界に沿った各画素について上記の処理
を行い、探索開始画素に戻るまで同様の処理を各画素に
ついて繰り返す。

また、この探索の処理において、次に規則に従った処
理を行うことにより、ラベル値ｉの自身の領域の周囲長
obiおよびラベル値ｊの隣接する領域との共通境界長cbi
jを求めることが出来る。つまり、現在位置の上下左右
の４近傍に隣接する領域にラベル値ｊが存在すれば、共
通境界長cb ijをカウントするカウンタに１を加算す
る。同時に、自己の周囲長obiをカウントするカウンタ
に１を加算する。また、現在位置の４近傍に自身のラベ
ル値ｉと同一のラベル値の画素が存在しない場合には、
自己の周囲長のカウンタに１を加算する。

次に、求めた周囲長および共通境界長に基づき、逆Ｌ
字マスク操作式手法における計算と同様にして各領域間
の接続度を求める。これと同時に前述と同様にして特徴
量リストを作成する。この特徴量リストの接続ラベルに
は各領域間の接続関係が記述され、複数の領域の併合関
係が判断される。つまり、本手法によっても、各領域の
ラベルの付け替え操作を行わなくとも各領域の併合関係
が判明する。なお、上記の境界探査は右回りに行った
が、境界探査を左回りに実行する場合には、第38図
（ｂ）に示される左回り用の画素参照テーブルを用いる
ことにより、右回りと同様にして処理を行うことが可能
である。

このように画素参照テーブルを用いることにより、速
い境界探査が可能になる。つまり、探索の基準となる画
素の８近傍の全ての画素について調査する必要は無い。
また、領域の境界部付近の画素のみを探索すれば良く、
領域内の全ての画素について探索する必要が無くなる。
従って、処理時間は短縮される。

以上説明した各手法によれば、従来のようにラベルの
付け替え操作を行わずに各分割領域間の併合関係を判断
することが出来る。つまり、「テンプレート画像を用い
た繰返しきい値処理による走行コースの抽出手法」で得
られた道路候補領域と、「明るさの違いに注目した走行
コース上の影や高輝度部分の抽出手段」で得られた低輝
度および高輝度領域とが併合され、現実に即した走行コ
ース領域を得ることが出来る。

次に、「走行可能範囲を求める手段」について説明す
る。本手段は、「テンプレート画像を用いた繰返しきい
値処理による走行コースの抽出手法」，「繰返しきい値
処理における特徴量ヒストグラムの形状に基づくしきい
値設定手段」，「明るさの違いに注目した走行コース上
の影や高輝度部分の抽出手段」によって求められた走行
コース画像から最終的な走行可能範囲、すなわち、道路
端座標を求めるものである。

第40図は本手法による走行コース認識システムの処理
全体の流れを示すフローチャートである。まず、カラー
カメラ入力装置によって走行コースの画像情報を取り込
み、取り込まれたR,G,B画像を前述のようにして明度I,
彩度Ｓの各画像に変換する。変換された各画像に基づ
き、カラー処理装置において明度Ｉを特徴量とするヒス
トグラムおよび彩度Ｓを特徴量とするヒストグラムを前
述のように作成する（ステップ4001）。次に、作成した
各ヒストグラムに基づき、「テンプレート画像を用いた
繰返しきい値処理による走行コースの抽出手法」により
道路候補領域を抽出し、小領域を除去する（ステップ40
02）。

次に、本手法により、抽出した道路候補領域の道路端
の点列を評価する（ステップ4003）。そして、この道路
端の点列の評価結果に基づき、抽出した道路候補領域は
単調路か否かを判断する（ステップ4004）。道路らしい
単調路である場合には、さらに、求まった複数の各点列
間の関係を比較し、評価する（ステップ4005）。そし
て、この評価結果を最終的に出力する（ステップ400
6）。この後、今回入力された画像に対する点列は求め
られたものとし、次の画像に対する処理を実行する。

また、ステップ4004での判断結果が道路らしさが低く
て単調路でない場合には、「明るさの違いに注目した走
行コース上の影や高輝度部分の抽出手段」により、低輝
度領域が有ればこれを抽出する（ステップ4007）。そし
て、求めた低輝度領域と道路候補領域とを併合し、本手
法により道路端の点列を評価する（ステップ4008）。こ
の道路端の点列の評価結果に基づき、抽出した道路候補
領域は単調路か否かを判断する（ステップ4009）。単調
路である場合には、ステップ4005以降の処理を実行し、
次の画像に対する処理に移行する。

また、単調路でない場合には、次に、「明るさの違い
に注目した走行コース上の影や高輝度部分の抽出手段」
により、高輝度領域が有ればこれを抽出する（ステップ
4010）。そして、求めた高輝度領域と道路候補領域とを
併合し、本手法により道路端の点列を評価する（ステッ
プ4011）。この道路端の点列の評価結果に基づき、抽出
した道路候補領域は単調路か否かを判断する（ステップ
4012）。単調路である場合には、ステップ4005以降の処
理を実行し、次の画像に対する処理に移行する。単調路
でない場合には、低輝度領域および高輝度領域を道路候
補領域に併合し、３領域を併合した領域から得られる道
路端の点列を評価する（ステップ4013）。この後ステッ
プ4005移行の処理を実行し、次の画像に対する処理に移
行する。

次に、上記の道路候補領域の道路端の点列座標を求め
る手法について以下に説明する。

例えば、第41図に示される画像領域が得られた場合を
想定する。図の左上を原点とし、ｘ座標は水平方向を右
に向かって正とし、ｙ座標は垂直方向を下に向かって正
とする。この画像に示された道路領域には切れ込みが存
在し、また、ノイズ等により画像情報が得られなかった
箇所が散在する。同図に示される画像の各画素にラベリ
ング処理が行われ、この処理結果、得られる画素領域が
第42図のように示されたものとする。同図の斜線部はラ
ベル値が０ではなく、あるラベル値を持った画素とす
る。なお、斜線のない画素はラベル値が０の背景領域に
位置する画素である。また、３×３個の画素を囲む枠42
01はウインドウＷであり、ウインドウＷの中に存在する
斜線画素（０でない画素値を有する画素）の数はヒスト
グラムの値になる。図示に位置する場合のウインドウＷ
によるヒストグラムの値は５である。また、図示のウイ
ンドＷは３×３のウインドウになっているが、５×５等
の他の大きさのウインドウであっても良い。

まず、ウインドウＷを画像の中央部から左に向けて水
平に走査する。なお、画像の中央部からウインドウＷを
走査するのは、処理の開始時だけである。移動しながら
各位置におけるウインドウＷのヒストグラムの値を求め
る。このヒストグラム値を監視しながらウインドウＷを
移動し、所定のしきい値以下のヒストグラム値が連続し
て得られた場合、つまり、ウインドウＷ内の斜線画素の
密度が低くなった場合、ウインドウＷは道路領域から外
れたものと判断する。そして、ヒストグラム値が所定の
しきい値以下になった最初のウインドウＷの位置を左側
の道路端の点列座標XLとする。次に、ウインドウＷを右
側へ向けて水平走査し、ウインドウＷ内のヒストグラム
値が連続して所定のしきい値以下になった場合、このヒ
ストグラム値の変化する最初のウインドウＷの位置を右
側の道路端の点列座標XRとする。

次に、ウインドウＷの位置するＹ座標を１つ減らし、
ウインドウＷを画像の上方へ移動して水平走査位置をず
らす。そして、上記の最初の水平走査により得られた道
路端座標XL,XRから道路領域の中央位置を式（XR−XL）/
2の計算をすることにより求める。この中央位置をウイ
ンドウＷの走査開始位置とし、ウインドウＷを左右に走
査する。この走査においても上記と同様にしてウインド
ウＷ内のヒストグラム値を監視し、ヒストグラム値の変
化する位置を道路端の座標とする。以下、水平走査位置
のＹ座標が地平線位置になるまで同様の処理を繰り返す
ことにより、左右の道路端の一連の点列座標を得ること
が出来る。

また、このウインドウＷの走査において、走査開始位
置のウインドウＷから得られるヒストグラム値が最初か
ら所定のしきい値以下であり、しかも、ウインドウＷを
左側へ走査して得られるヒストグラム値が連続して所定
のしきい値以下の場合には、中央位置が道路端座標にな
ってしまう。しかし、この場合にはウインドウＷの走査
方向を逆の右側に変える。そして、所定のしきい値以上
のヒストグラム値が連続して得られた場合には、最初に
所定のしきい値以上のヒストグラム値が得られたウイン
ドウＷの位置を左側の道路端の座標とする。右側の道路
端の座標は、ウインドウＷをさらに右側に走査し、ヒス
トグラム値の変化する位置を求めることにより判明す
る。

次に、このように求めた道路端の点列座標は領域の境
界付近に存在するため、各点を繋ぐことにより得られる
境界線は一様に滑らかなものではない。このため、ある
１点の前後に位置する各点とこの１点とがなす角度を点
列の全点について計算し、この分散値を滑らかさの基準
とする。また、得られた角度が鋭角のときはその点は除
去して計算する。このように左右の道路端の各点列座標
を平滑化した後、これら点列座標を実空間へ射影変換す
る。この射影変換は自律走行社い取り付けたカラーカメ
ラの俯角，高さ，焦点距離に基づいて行われる。

さらに、この射影変換後の点列において、左右の点列
を一組として左右の各点列間の距離、つまり、道路幅を
求める。そして、この道路幅が走行車の車体幅より狭く
なる点の数を数え、点列の全点数に対するこの狭い幅の
点数を計算する。全点数に対する狭い幅の点数の比率が
小さい場合には、狭い幅の点は道路端の点としてはふさ
わしくないため、これら各点は除去する。

また、この道路端の点列の評価に際して、最初に求め
た一組の左右端によって定まる道路幅と差の少ない左右
の組を数える。差の少ない左右の組みが全部の組みに対
して占める比率が大きい場合、つまり、左右の道路端列
がある程度平行している場合には、道路らしさとしての
評価は最も高くなり、単調路として判断される。このよ
うに単調路として判断される場合には、第40図に示され
たフローチャートのステップ4003,4008,4011の処理をし
なくても道路端を得ることが出来る。

次に、自立走行車が道路端に極端に近付き過ぎた場合
における、道路左右端の点列の補正手段について説明す
る。第43図（ａ）〜（ｄ）は自律走行車が道路端に近付
く過程を示している。同図（ａ）は自律走行車が曲率の
きついカーブ手前に位置している場合を示している。こ
の場合には、自律走行車に取り付けられたカラーカメラ
には、左側の道路端Ｌおよび右側の道路端Ｒが視野内に
捕らえられている。道路のカーブの曲率がきつい場合、
同図（ａ）に位置していた自律走行車は同図（ｂ）に示
される位置に移動する。この場合、右側の道路端Ｒはカ
メラの視野から消える。

さらに、自律走行車は同図（ｃ）に示される位置に移
動し、テンプレートに占める道路外領域の比率は段々高
くなる。図示の斜線部は道路外領域を示している。さら
に、自律走行車は同図（ｄ）に示される位置に移動す
る。この場合、カメラの視野には左側の道路端および道
路外領域の左側の境界部が捕らえられている。また、テ
ンプレート画像に占める道路外領域の占める比率は高く
なり、道路外領域が走行路コースと誤認される。この結
果、左側の道路端は右側の道路端Ｒとして誤認され、道
路外領域の左側の境界は左側の道路端Ｌと誤認される。

しかし、順次撮像される画像情報から得られる道路端
の点列は、前回画像における右側の点列が今回画像にお
いて極端に左側に位置する点列になることはない。ま
た、逆に、前回画像における左側の点列が今回画像にお
いて極端に右側に位置する点列になることはない。従っ
て、１処理サイクル前の画像情報から得た点列情報を記
憶保持しておき、今回の画像情報から得た点列とこの前
回の画像情報から得た点列との距離を後述するように計
算する。そして、例えば、前回求めた右側の道路端の点
列と今回求めた右側の道路端の点列との距離が離れてお
り、前回の右側点列が今回の左側点列に近い場合には、
左右の道路端の位置が逆転したものと判断する。そし
て、今回得た道路端の右側と左側とを入れ替える。

これを第43図に示される画像を用いて説明する。同図
（ｃ）の画像を前回得られた画像とし、左側の道路端の
点列をLi−１と表現する。同図（ｄ）の画像を今回求め
た画像とし、誤認している左側の道路端の点列をLi、誤
認している右側の道路端の点列をRiと表現する。左右の
道路端の点列が逆転しているか否かの判断は、前回の点
列Li−１が今回の点列Li,Riのうちどちらに近いかを判
断することにより行う。前回の点列Li−１が今回の点列
Riに近い場合には、左右の道路端の点列は逆転したもの
と判断する。

一般的に、この点列の近さの判断は次のように行う。
つまり、今回の画像から得た左側の点列を１グループ、
右側の点列をもう１つのグループとし、前回の左側また
は右側の点列がこれら各グループのうちのどちらのグル
ープに近いかを判断することにより行う。このどちらの
グループに近いかの判断は、以下に詳述するマハラノビ
スの汎距離によって決定する。第44図はこのマハラノビ
スの汎距離を説明するための図である。

前回の画像情報による左側点列Li−１（または右側点
列Ri−１）の点を（x,y）、今回の画像情報による左側
点列Liの点を（ｘ1j,y1j）、今回の画像情報による右側
点列Riの点を（ｘ2j,y2j）とする。前回の点列の点（x,
y）が今回の点列LiとRiとのうちのどちらに近いかは、
マハラノビスの汎距離を点列Li−１（または点列Ri−
１）の全点に対して以下のように計算し、距離の短い点
が多く属すほうの点列に近いものとする。また、今回の
画像により求まった点列が直線の時には、この直線まで
の距離を計算する。

まず、点列Li上の各点について、ｘ方向成分の平均値
μ11,y方向成分の平均値μ12,x方向成分の分数値σ11,y
方向成分の分散値σ11,y方向成分の分散値σ12,x,y各方
向の共分散値σ112および相関係数ρ１を求める。ここ
で、ｎiは点列Li上に位置する点の数である。なお、点
列Ri上の各点についても以下の式と同様な式により求め
ることが出来る。

μ11＝Σｘ1j/n1,μ12＝Σｙ1j/n1 σ11²＝Σ（ｘ1j−μ11）²/（n1−１） σ12²＝Σ（ｙ1j−μ12）²/（n1−１） σ112＝Σ（ｘ1j−μ11）（ｙ1j−μ12）／（n1−１） σ１＝σ112/σ11×σ12 これら各数値に基づいて、前回の点列の点（x,y）と
今回の点列Liの点（ｘ1j,y1j）との間のマハラノビスの
汎距離D1²を次式により求めることが出来る。

D1²＝｛［（ｘ−μ11）／σ11］^２＋［（ｙ−μ12）／σ12］^２− ２ρ１［（ｘ−μ11）／σ11］×［（ｙ−μ12）／σ11］｝／（１−ρ１）^２ また、同様に前回の点列の点（x,y）と今回の点列Ri
の点（ｘ2j,y2j）との間のマハラノビスの汎距離D2²を
次式により求めることが出来る。

D2²＝｛［（ｘ−μ21）／σ21］^２＋［（ｙ−μ22）／σ22］^２− ２ρ２［（ｘ−μ21）／σ21］×［（ｙ−μ22）／σ22］｝／（１−ρ２）^２ 上記の各式に基づいて各汎距離を計算した結果、D1²
＞D2²が成立する場合には、前回の点（x,y）は今回の右
側の道路端の点列Riに近いことになる。また、D1²＞D2²
が成立しない場合には、逆に、前回の点（x,y）は今回
の左側の道路端の点列Liに近いことになる。

以上のように画像分割処理の結果得られた道路候補領
域が、ノイズなどによって不明瞭な輪郭の領域になって
も、本手法による前記のウインドウのヒストグラム値の
変化に基づけば、道路の端点を確実に得ることが出来
る。これは、本手法が領域を基にしてその端点を探索し
ているためであり、本手法によれば領域の左右端を明確
に区別することが出来る。

また、「明るさの違いに注目した走行コース上の影や
高輝度領域の抽出手段」で求められた低輝度領域は、走
行コースが全体的に暗い場合には、道路外に位置する場
合もある。このような場合に道路外の低輝度領域と道路
領域とが併合される場合があり、道路候補領域の輪郭の
形状が複雑化する。しかし、本手法により、得られた道
路端の点列データを平滑化することにより、複雑な輪郭
の領域は大局的に評価され、上記のような低輝度領域は
無視され、自動車が走行する上で何等支障の無い道路端
の情報を得ることが出来る。

また、「テンプレート画像を用いた繰返しきい値処理
による走行コースの抽出手法」によれば、自律走行車が
曲率のきつい道路の左または右に極端に近付いた場合、
テンプレートが道路外に出てしまってそこを道路とみな
してしまう場合がある。この場合には道路端の左右の認
識を誤ってしまう。しかし、上述の本手法によれば、道
路の左右端のデータを誤って認識しても、直ぐにこの認
識は補正され、常に信頼性の高い道路端の情報を得るこ
とが出来る。

次に、「多様な形状の走行コースの内部表現手法」、
つまり、得られた道路端の多様な点列を構造化して表現
する手法について説明する。

本手法は、「テンプレート画像を用いた繰返しきい値
処理による走行コースの抽出手段」で得られた走行コー
スの画像と、「明るさの違いに注目した走行コースから
の影や高輝度部分の抽出手段」で得られた画像と、「複
数の領域の併合手段」で求めた特徴量リストに基づき、
画像のラベル変位箇所を検知しながら領域の境界点のス
トラクチャを作成し、前後方向のリンクを付け、境界の
属性を付与することによって、走行コースをコンピュー
タ内部に表現し、走行のための有効な点列群を求めるも
のである。「複数の領域を併合する手段」において作成
された領域と領域との記述を表した特徴量リストを利用
して、高速に領域の端点が得られ、道路端，路肩端，分
岐路および合流路は計算機の内部に構造化されたリスト
によって表現される。

第45図は道路の構造化処理の概略を示すフローチャー
トである。

まず、カラーカメラ入力装置などの各ハードウエアの
初期設定時に領域境界点ストラクチャのｙ方向のリスト
を作成する（ステップ4501）。次に、各領域に付けられ
たラベル値のｘ方向の変化箇所を検出してｘ方向のリス
トを作成し、各境界点のｘ方向についてリンクする（ス
テップ4502）。そして各領域の特徴量リストの接続ラベ
ルを考慮して領域の左端および右端にその属性を付与
し、各領域の左右端を区分する（ステップ4503）。次
に、後述する穴などの属性を各境界点に付与しながら、
画面の前後方向（ｙ方向）の各境界点の関連付けを行
い、各境界点のｙ方向についてリンクする（ステップ45
04）。また、道路領域が分岐したり、合流したりする場
合が有り、これら各場合に各領域の境界の連続性を判断
し、各境界点に付与された属性の付け替えを行う（ステ
ップ4505）。この後、各領域の境界点の点列の開始位置
を選択し、有効点列を検出する（ステップ4506）。

以上の各処理について以下に詳述する。

ステップ4501の処理について、第46図を参照して説明
する。

同図（ａ）は、実空間上において道路面（水平面と仮
定する）を画像上に射影変換する際の原理を示す図であ
る。道路面4601は等間隔（ｌ）に区分され、道路領域お
よび道路上の各区分線は遠方の１点に向けて画像4602上
に射影され、カラーカメラのビューポートが得られる。
同図（ｂ）はこのようにして得られた画像の詳細を示す
図である。画像上には道路領域の境界線4603および区分
線4604が射影変換されている。実空間上における区分線
は間隔ｌの等間隔であったが、画像上においては道路領
域の遠方に行くに従ってその間隔が詰まっている。この
各区分線4604が位置するｙ座標を求め、同図（ｃ）に示
されるｙ方向の領域境界点ストラクチャ4605を作成す
る。

この領域境界点ストラクチャ4605の各枠は、道路領域
の境界線4603のうちの左端の境界線と区分線4604との交
点に位置する各境界点に対応している。各枠は、図示の
矢印に示されるポインタによって相互の連結関係が表現
されている。これらの各枠内には各境界点の特徴が、同
図（ｄ）に示されるリスト4606として記述されている。
まず、求めたｙ座標の各値がリスト4606に記述され、ｙ
方向のリストが作成される。このリスト4606には、上記
のｙ座標の他に各境界点が有する後述する各特徴が記述
される。

つまり、ｘ座標，点列開始点iDを表す属性1,実空間に
おける隣接点間距離を表す属性2,着目する境界点と右隣
の境界点との連結関係を表す右隣へのポインタ，左隣の
境界点との連結関係を表す左隣へのポインタ,y方向にお
ける画面手前の境界点との連結関係を表す手前へのポイ
ンタおよび画面後方の次の境界点との連結関係を表す次
へのポインタが記述される。

次にステップ4502の処理について、第47図を参照して
説明する。

同図（ａ）に示される画像4701は撮像された画像につ
いてラベリング処理が実行された画像である。このラベ
リング処理により、道路領域を構成する各領域のそれぞ
れにはラベル値が付けられる。各区分線と領域の境界と
の交点のうち、○印が付された交点は、ラベル値が変化
するラベル変換箇所である。まず、ステップ4501の処理
で求めたリストの各ｙ座標位置において水平方向、つま
り、ｘ方向に画像を走査する。この走査において、ラベ
ル値が０である背景領域からラベル値が０ではない道路
領域に移動した場合、または、ラベル値が０ではない道
路領域からラベル値が０である背景領域に移動した場
合、新しい領域境界点ストラクチャを作成する。

この領域境界点ストラクチャは同図（ｂ）に示され
る。図示のように、各領域の境界と区分線との交点に位
置する各境界点に対応して、新たにｘ方向に枠が設けら
れる。この新たな各枠は、既に前述のステップで作成さ
れたｙ方向の領域境界点ストラクチャの各枠と連結され
る。この連結関係は図示の矢印に表されるポインタによ
り表現され、このポインタにより各枠は水平方向にリン
クされている。

次に、ステップ4503の処理について、第48図を参照し
て説明する。

ステップ4502の処理で作成された領域境界点ストラク
チャの水平方向の各点の組が同一領域に存在するか否か
を判断する。同一領域であるか否かの判断は、前述の
「複数の領域の併合手法」において求めた特徴量リスト
に基づいて行われる。隣接する各点が同一領域に存在す
る場合、左側に位置する境界点は左エッジ、右側に位置
する境界点は右エッジとし、この属性を各リストに記述
する。この属性により、領域の左右端を区別することが
出来る。また、この左エッジから右エッジまでの実空間
における距離を演算し、同様に各リストに記述する。こ
の距離演算には、前述の射影変換と逆の処理である逆射
影変換処理を実行し、画像から現実の道路領域を求める
必要がある。

第48図（ａ）に示される画像について、エッジの識別
方法を具体的に説明する。道路領域4801は３つの領域A,
B,Cが併合されて表現されている。ここで、前述の特徴
量リストの接続ラベルは同図（ｂ）のように示されてい
る。つまり、領域Ａの接続ラベル欄には領域Ｃが記述さ
れており、領域Ｂの接続ラベル欄には何も記述されてお
らず、領域Ｃの接続ラベル欄には領域Ａが記述されてい
る。このため、領域Ａと領域Ｃとは併合すべき同一領域
であることが判別され、また、領域Ｂは領域Ａと領域Ｂ
とで形成される領域とは異なる領域であることが判別す
る。

従って、各境界点を区分線4802に沿って水平方向に画
像走査した場合、○印の付された境界点a,b,c,dがラベ
ル変位箇所として求まる。従って、境界点ａと境界点ｂ
とは同一領域上の点として存在しており、境界点ａは左
エッジ，境界点ｂは右エッジという属性が付与され、領
域境界点ストラクチャのリストに記述される。また、境
界点ｃと境界点ｄはそのラベル値が同じであるために同
一領域に存在しており、境界点ｃは左エッジ，境界点ｄ
は右エッジという属性が付与され、領域境界点ストラク
チャのリストに記述される。

次に、ステップ4504の処理について、第49図および第
50図を参照して説明する。

第49図（ａ）に示される画像において、左側の境界線
と各区分線との交点に位置する各境界点をａi,ai+1、右
側の境界線と各区分線との交点に位置する各境界点をｂ
i,bi+1とする。ここで、領域境界点ストラクチャのｙ方
向でｉ番目とｉ＋１番目の各境界点が読一領域に存在す
るか否かを判断し、同一領域ならば前後のリンクを行
う。つまり、境界点ａiとａi+1とが同一領域に有るか否
か、また、境界点ｂiとｂi+1とが同一領域に有るか否か
を判断する。図示の場合には、各境界点は同一領域に有
るため、同図（ｂ）に示される領域境界点ストラクチャ
において、太い線で示されるポインタにより画面の前後
に位置する各境界点がリンクされる。

また、左エッジと右エッジとの間に存在する内部点が
有るならば、第50図に示されるように、領域の境界を追
跡する。同図（ａ）は、処理の対象とする道路領域5001
の中央部に斜線区分線である白線5002が描かれている画
像である。この白線5002のラベル値は０である。ここ
で、各区分線に沿って水平方向に画像を走査すると、白
線5002部において、同図（ｂ）に示される内部点E1i,E1
i＋1,E2i,E2i＋１が得られる。従って、領域の境界を追
跡して各内部点の関係を探査する。内部点E1iから白線5
002の境界線に沿ってこの境界を追跡すると内部点E1i＋
１に達する。また、内部点E2iから境界を追跡すると内
部点E2i＋１に達する。このように隣接する内部点E1i,E
2iが、より上に位置する区分線上の次の内部点E1i＋1,E
2i＋１に連続している時、左側に位置する内部点E1iを
内部点左エッジ，右側に位置する内部点E2iを内部点右
エッジという属性を付ける。

また、境界を追跡して内部点がより上の区分線上の内
部点に連続せずに隣接する内部点に達する時は、隣接す
る各内部点に穴という属性を付与する。つまり、内部点
E1i＋１から境界を追跡すると、隣接する内部点E2i＋１
に達する。この場合、各内部点E1i＋1,E2i＋１に穴とい
う属性を付与する。以上の処理をリストの各ｙ座標に沿
ってこのｙ座標が地平線位置5003に達するまで行う。ま
た、この際、内部点左エッジから内部点右エッジまでの
実空間上における距離Ｌを演算する。この演算は、実空
間上における右エッジ点のｘ座標値から実空間上におけ
る左エッジ点のｘ座標値を引き算することにより求ま
る。

次に、ステップ4505の処理について、第51図を参照し
て説明する。

以上の各ステップの処理による属性の付与の方法で
は、道路がＹ字状に分岐したり、道路が合流する場合に
は正しい属性が付与されない。つまり、各境界点の前後
方向の関連付けが正しく行われない場合がある。このた
め、このような場合に本ステップにおいて、境界を追跡
して境界の評価を修正する。

例えば、ここまでの各ステップの処理により、第51図
（ａ）に示される画像が得られたとする。この画像にお
ける道路領域5101はＹ字状に分岐しており、本道5102と
分岐路5103とに分かれている。画面の下側から上側に向
かって各区分線（i,i＋1,i＋2,…）は画像走査され、ま
た、各区分線において画面左側から右側へ画像走査され
る。この走査により、左端の境界線と各区分線との交点
に位置する境界点にはａという符号が付けられ、左端の
境界線から一つ右に位置する境界線と区分線との交点に
位置する境界点にはｂという符号が付けられ、左端の境
界線から二つ右に位置する境界線と区分線との交点に位
置する境界点にはｃという符号が付けられる。この結
果、同図（ｂ）に示される領域境界点ストラクチャが得
られる。

この領域境界点ストラクチャによる各境界点の関連付
けは図から理解されるように現実の道路の境界に合致し
ておらず、各境界点には正しい属性が付与されていな
い。このため、内部点から領域の境界を追跡し、次の点
が左または右の領域端に存在する境界点であれば、この
内部点と次のてとは連結しているものと判断し、これら
各点のリンクの付け替えを行う。同図の場合にあって
は、内部点ｃi+4から領域の境界を追跡する。追跡する
と次の点はａi+5であり、この点は左の領域端であるた
め、リンクの付け替えを行う。つまり、ａi+5以降の各
境界点に付けられた属性を内部点ｃi+4と同じｃの属性
とする。このリンクの付け替え処理により、同図（ｃ）
に示される領域境界点ストラクチャが得られる。このス
トラクチャは現実の道路の境界に合致したものとなって
いる。

同図（ｄ）および（ｅ）は、このリンクの付け替え処
理の前および後の領域境界の状態をベクトル表現によっ
て示した図である。つまり、同図（ｄ）はリンクの付け
替え前のベクトル状態であり、同図（ｂ）の領域境界点
ストラクチャに基づいて各境界線の連結関係をベクトル
により表現したものである。属性ａが付けられたベクト
ルおよび属性ｃが付けられたベクトルは現実の道路の境
界に対応したものとなっていない。同図（ｅ）はリンク
の付け替え処理を実行した後のベクトル状態であり、同
図（ｃ）の修正された領域境界点ストラクチャに基づい
て各境界線の連係関係をベクトルにより表現したもので
ある。属性ａが付けられたベクトルの終端部分は上述の
ように修正され、属性ｃに付け替えられている。このた
め、各ベクトルa,b,cによって表現される道路領域の境
界は現実のものに即した形状になっている。

同図（ｆ）および（ｇ）は、道路が合流する場合の領
域境界の状態を上記と同様にしてベクトルにより表現し
た図ある。同図（ｆ）はリンクの付け替え前の領域境界
をベクトルによって表現したものである。属性ｄが付け
られたベクトルは、属性ｅおよびｆが付けられたベクト
ルが形成する合流路の入り口を塞いでいる。同図（ｇ）
は、前述と同様なリンクの付け替え処理後の領域境界を
ベクトルによって表現したものである。属性ｄが付けら
れたベクトルの始端部分はリンクの付け替え処理によ
り、属性ｆに修正され、領域境界は現実の合流路に合致
したものとなっている。

次に、ステップ4506の処理について、第52図を参照し
て説明する。

例えば、同図（ａ）に示される道路画像を想定する。
この道路画像には道路領域5201があり、道路領域5201の
左側には白線5202で区切られた路肩5203がある。この道
路画像の各領域の境界線と区分線との交点には境界点が
付けられ、同図（ｂ）に示される道路端および路肩端の
点列が得られる。なお、画像の縁に掛かる点は点列から
除いてある。以上の各ステップの操作により得られたｙ
方向の各領域境界点ストラクチャのリンクを画像下部に
相当するところから上部へ辿る。そして、領域境界点ス
トラクチャのリンクが所定個数以上ある場合には、この
領域境界点ストラクチャのリンクの画像下部に相当する
ところに点列の開始点という属性を付ける。図示の点列
の開始点は△印で示されている。

開始点という属性が付いているストラクチャのうち、
領域境界の左エッジから右エッジまでの実空間における
距離が走行車の車幅以上のストラクチャの組を道路端と
する。同図（ｂ）の場合には、点列5204および点列5205
に相当するストラクチャの組が道路端となる。また、道
路端の隣にストラクチャの組があり、このストラクチャ
群と道路端との間の距離が道路端を表すストラクチャ群
の幅より狭く、かつ、ストラクチャ群と他方の道路端と
の間の距離が車幅より広く、しかも、ストラクチャ群の
相互の実距離が20cm前後で連続する場合には、このスト
ラクチャ群は白線を形成するものとする。そして、スト
ラクチャ群と一方の道路端とに挾まれたところは白線で
区分された路肩とみなす。

同図（ｂ）の点列においては、点列5206および点列52
07に相当するストラクチャの組により白線が形成され、
この白線と道路端5204との間が路肩とみなされる。

ところで、前述した「走行可能範囲を求める手段」は
領域を主体として走行コースを認識するものであり、画
像処理の結果得られる道路領域が１つの領域となること
が前提である。同手段によれば、単調路や分岐路の道路
端を識別することは可能である。しかし、白線によって
分断された領域、特に、道路と路肩とに分断された場合
には、それらを区別して取り扱うことは困難である。こ
れは、同手段が領域の内部からウインドウを走査して領
域境界を探査するため、同図に道路端と路肩端とを識別
できないからである。

しかし、以上のように、ラベル画像を画像の下部から
上部まで水平に走査し、局所的な領域の境界追跡を行っ
て各領域のラベル値の変位箇所を求めることにより、領
域の境界を知ることが出来る。これと共に、領域間の関
係をストラクチャにおいて更新し、領域の境界点を構造
化することにより、道路領域は計算機内部に構造化して
表現される。従って、この「多様な形状の走行コースの
内部表現手法」によれば、路肩や走行車線等の複数の領
域の境界端座標が得られ、領域境界を容易に検出するこ
とが出来、「走行可能範囲を求める手段」のように対象
とする領域が単一領域に限定されない。さらに、上記の
白線によって分断された路肩等をも識別することが出来
る。

また、従来の領域境界手法に比べてメモリ容量は少な
くて済み、自立走行車が自動走行するのに十分な走行コ
ースの走行可能範囲を、逐次的な境界探査や多角形近似
を行って評価するといった処理をすることなく得ること
が出来る。さらに、走行コースが単調路で無く、道路が
分岐していたり、合流していたりする場合においても、
これら分岐路や合流路の形状を統一的に表現することが
でき、走行コースの境界を正確に識別することが可能で
ある。

以上説明したように「多様な形状の走行コースの内部
表現手法」によれば、リストに記述された属性により、
各領域の境界点の連続関係が構造化されたストラクチャ
において表現され、このストラクチャから対象領域の境
界が識別される。このため、従来のように求まる点列群
の数が多いため、対象領域の境界を多角形で近似し、余
分な点を間引く処理が無くなる。また、従来のように各
領域の全ての境界画素を逐次的に一つ一つ追跡する必要
は無くなり、所定の境界画素のみについて処理すること
により、対象領域が識別される。従って、処理時間は短
縮され、自立走行車の自動走行に適した領域識別方法が
提供される。

〔発明の効果〕

以上説明したように本発明によれば、カラー画像から
対象領域を安価，高速かつ正確に抽出することが可能に
なる。

【図面の簡単な説明】

第１図は本発明の一実施例によるカラー画像処理装置全
体の概略構成を示すブロック図、第２図は本実施例の概
略処理の流れを示すフローチャート、第３図は「ROMテ
ーブルを用いたカラー画像のISH変換処理」におけるISH
変換処理のアルゴリズムを示すブロック図、第４図およ
び第５図および第６図および第７図のそれぞれはこのIS
H変換処理の処理例を従来の処理例と比較して説明する
ための図、第８図は「繰返しきい値処理における特徴量
ヒストグラムの形状に基づくしきい値設定手段」におけ
るカラー画像の前処理の概略を示すフローチャート、第
９図はこの前処理におけるピーク・谷の状態を説明する
ための図、第10図はこの前処理におけるテーブル値の推
移を説明するための図、第11図は走行路の認識処理の概
要を示すフローチャート、第12図は「テンプレート画像
を用いた繰返しきい値処理による走行コースの抽出手
段」における走行路抽出の処理の詳細を示すフローチャ
ート、第13図はこの道路候補領域の抽出処理における各
過程を説明するための図、第14図は「明るさの違いに注
目した走行コースからの影や高輝度部分の抽出手段」に
おける種々の入力画像に対する処理の概要を説明するた
めの図、第15図はこの手段における影や高輝度部分の説
明をするための明度ヒストグラムの一例を示すグラフ、
第16図は「ラベリング処理装置」のラベリングボード構
成図、第17図はラベリング処理のゼネラルフローチャー
ト、第18図は多値入力ラベリング方式を説明するための
図、第19図はランを用いたラベリング方式を説明するた
めの図、第20図はラベリング処理の画像走査で使用され
るウインドウを示す図、第21図はラベリングプロセッサ
KLPの構成図、第22図および第23図および第24図および
第25図および第26図および第27図のそれぞれはラベリン
グ処理の画像走査で行われるウインドウ処理を示すフロ
ーチャート、第28図はラベリングメモリKLMの構成図、
第29図は最終的に付与されるラベル値を整合する処理を
説明するための図、第30図は特徴抽出プロセッサKLCの
構成図、第31図は１スキャンラベリング方式を説明する
ための図、第32図は「複数の領域の併合手段」において
ラベル領域を探査するために使用される逆Ｌ字マスクを
示す図、第33図は第32図に示された逆Ｌ字マスクを用い
た領域境界探査を説明する際に使用される分割領域の一
例を示す図、第34図は逆Ｌ字マスク走査式手法により求
まったラベル領域間境界長および領域の周囲長が記憶さ
れるラベル間境界長マトリスクを示す図、第35図は各領
域間の接続関係および各ラベル領域の有する特徴量が記
述される特徴量リストを示す図、第36図は第35図に示さ
れた特徴量リストに記述された各特徴量を有するラベル
領域の一例、第37図は境界探査式手法において着目され
る画素の近傍に付される参照画素位置No.を示す図、第3
8図は境界探査式手法において使用される画素参照テー
ブルを示す図、第39図は第38図に示された画素参照テー
ブルの使用方法を説明する際に用いられる画素領域の一
例を示す図、第40図は「走行可能範囲を求める手段」に
おける走行コース認識システムの処理の流れを示すフロ
ーチャート、第41図はこの手段の説明において使用され
る取り込み画像でのウインドウの移動を示す図、第42図
は対象領域におけるウインドウおよびヒストグラムの値
を説明するための図、第43図は曲率のきついカーブで走
行車が道路端に近付き過ぎた場合に生じる道路端の識別
の逆転を説明するための図、第44図は第43図に示された
道路端の認識の逆転を防止するために求めた点列群の関
係をマハラノビスの汎距離を用いて補正する手法を説明
するための図、第45図は「多様な形状の走行コースの内
部表現手法」における道路領域の構造化処理の概略を示
すフローチャート、第46図はｙ方向リストと領域境界点
ストラクチャとを説明するための図、第47図はラベル変
位箇所と領域境界点ストラクチャとを説明するための
図、第48図は領域境界の属性を説明するための図、第49
図は領域境界点の前後方向のリンク処理を説明するため
の図、第50図は内部点エッジおよび穴という属性を説明
するための図、第51図は一旦付与された属性の付け替え
処理を説明するための図、第52図は道路端および路肩端
の検出を説明するための図である。 101……カラーカメラ、102……ISH変換部、103……カラ
ー処理部、104……ラベリングハード、105……CPU処理
部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菊池 隼人 埼玉県和光市中央１丁目４番１号 株式 会社本田技術研究所内 (72)発明者 菅原 卓 埼玉県和光市中央１丁目４番１号 株式 会社本田技術研究所内 (56)参考文献 特開 昭64−46885（ＪＰ，Ａ) 特開 昭64−2177（ＪＰ，Ａ) 特開 昭63−267328（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 7/00

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】原画像をRGB情報として取り込む撮像装置
   と、該撮像装置に取り込まれた前記RGB情報を明度，彩
   度，色相のISH情報に変換するISH変換部と、該ISH変換
   部により変換された明度，彩度の前記IS情報に基づいて
   対象領域を抽出するカラー処理部と、該カラー処理部に
   より抽出された前記対象領域を構成する各領域にラベル
   付けをするラベリング部と、該ラベリング部によりラベ
   ル付けされた前記各領域の接続関係を求めて各領域間の
   併合処理を行う併合手段と、併合された領域の境界端を
   求める領域境界識別手段とを備えて構成され、撮像され
   た対象領域の形状を識別することを特徴とするカラー画
   像処理装置。