JP3333468B2 - 車両自律走行の走行路画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は走行路画像処理装置
に関し、特に高速でカラー画像のＩＳＨ変換を行え、か
つ十分な走行制御を行うことのできるようにした車両自
律走行の走行路画像処理装置に関する。

【０００２】

【従来の技術】従来、走行路領域を抽出する手法は、そ
のほとんどがモノクロ画像によるエッジ検出に基づくも
のであり、カラー画像に基づいてこの種の走行路判別を
行う技術は、ほとんど提供されていない。

【０００３】また、デジタル値化されたカラー画像情報
を取り扱うときには、ＲＧＢデータ（三原色情報−Ｒ；
赤，Ｇ；緑，Ｂ；青）以外に、明度Ｉ（色の明るさの程
度），彩度Ｓ（色のあざやかさの程度），色相Ｈ（色の
種類に関する分類を示す値）などが特徴量として使用さ
れる場合が多い。これら明度Ｉ，彩度Ｓおよび色相Ｈの
特徴量は、ＲＧＢデータを所定の変換式に代入すること
により、求められる。従来、このＲＧＢデータからＩＳ
Ｈデータへの変換処理は、画像処理においてＩＳＨデー
タが必要になる度毎に行われていた。つまり、ＩＳＨデ
ータが必要になった際には、ＣＰＵは、Ｒデータが記憶
されたＲ画像メモリ，Ｇデータが記憶されたＧ画像メモ
リおよびＢデータが記憶されたＢ画像メモリにアクセス
し、ＲＧＢデータを収集する。そして、ＣＰＵはこのＲ
ＧＢデータを基にした所定の変換処理を行うことによ
り、必要とするＩＳＨデータを演算していた。

【０００４】また、従来の走行路領域の判別は、モノク
ロ画像によるエッジ検出により走行路に描かれた白線や
ランドマークを検知し、この白線やランドマークに基づ
いて行われていた。

【０００５】また、限定された走行コースではなく、一
般環境の道路を自律走行車が走行する場合には、様々な
路面状況が考えられる。特に、走行コースの周囲に種々
の立体物が存在する場合には、路面上には影が出来る。
路面上に影が存在する場合には走行路領域は一様な色に
はならない。このため、画像処理により走行路領域を抽
出するには、走行路領域にある影を考慮して行わなけれ
ばならない。従来、この影を認識するため、走行コース
の路面状況を限定し、この限定時における日向部分や影
部分の色の分布を予め計測しておいて走行路領域を抽出
する手法が一部の研究において行われている。この手法
は、計測した各部分の色の分布をコンピュータに保存し
ておき、実際の画像を取り入れた時に、保存しておいた
色の分布を読み出して入力画面の色の分布と比較して走
行路領域を判断するものである。

【０００６】また、走行路領域を判別するため、画像分
割した各領域にラベル付けを行い、各領域を区分する必
要がある。このラベリング処理は、２値画像内の対象領
域の面積や重心を計算するために必要不可欠なものとな
っている。従来、提案されてきたラベリングアルゴリズ
ムとしては、ラスタ走査型、ランコート型、境界追跡型
に大別できる。しかし、ハードウエア化（高速化）に際
してはそのリアルタイム処理の可能性や回路規模、実現
の容易性等からラスタ走査型が一般的に用いられてい
る。この走査は、まず、１回目の走査で仮ラベルを割り
付けながら異なった値を持つ仮ラベル同士の連結を示す
情報を保持し、次いでその統合情報を解析することによ
り、対象領域と１対１で対応した最終ラベルを得る。最
後に、１回目の走査で得られた仮ラベル画像を再度走査
し、仮ラベルを最終ラベルで置き換えることによりラベ
リングが実行される。

【０００７】また、与えられた画像を領域分割手法によ
って分割すると画像領域は過分割される。このため、過
分割された各領域の色や、各領域の周囲領域との連結具
合に基づき、過分割された各領域の併合処理を行う。す
なわち、分割領域の個々にラベル付けをした後、各ラベ
ル間の連結関係を記述する。そして、この記述に基づ
き、併合される領域のラベルを併合する領域のラベルに
書き替えるラベルの付け替え操作を実行する。ラベルの
付け替えは、画像を走査して併合される対象の領域の画
素ならばラベル値すなわち画素値を変更することにより
行われる。

【０００８】また、従来、画像分割領域から道路端や走
行コースを求める場合には、得られた走行コース領域と
背景領域との境界を追跡して境界線に対応する点列群を
求めていた。つまり、走行領域の境界部に位置する画素
をこの境界に沿って一つ一つ追跡し、この追跡の跡を点
列群とし、この点列群に基づいて道路端を判断してい
た。

【０００９】

【発明が解決しようとする課題】カラー画像を用いてこ
のような画像処理を行うことは、モノクロ画像を用いて
処理を行う場合に比較してコストが高くなり、産業分野
におけるカラー画像処理の事例は少ない。

【００１０】また、上記従来のＲＧＢデータからＩＨＳ
データへの変換処理は、画像処理においてＩＨＳデータ
が必要になる度毎に行われていたため、処理に時間を要
していた。特にＲＧＢデータから色相データＨへの変換
処理には非常に時間がかかり、例えば、ワークステーシ
ョン（Ｓｕｎ３）であってもこの変換処理には約１分の
時間を要していた。このため、リアルタイム処理が必要
とされる自動車の自律走行等における画像処理において
は、演算処理に時間がかかり、十分な走行制御を行うこ
とが出来なかった。

【００１１】また、上記従来のモノクロ画像におけるエ
ッジ検出を用いた手法は、走行路上に描かれた白線やラ
ンドマークを追跡することによって走行コースを認識す
るため、走行路上に必ず白線やランドマークを必要とす
る。また、カメラで撮像した画像を処理した結果、走行
路を照射する光源の状態や不明瞭な白線などが原因にな
り、検出したエッジが途切れている場合があり、このよ
うな場合には走行路領域を検出することが困難である。

【００１２】また、走行路上にゴミがあったり、影が出
来ている場合には、白線やランドマークを誤検知してし
まい、正確な走行路情報が得られない場合がある。ま
た、走行路領域と背景領域との境界が草や土で区分され
ている場合には、境界部分に相当するエッジの変化が小
さく、境界の認識が困難である。また、天候や太陽の位
置により、時々刻々と走行路の明るさが変化する場合、
走行路領域と背景領域との領域区分のためのしきい値を
固定したものとすると正しい走行路領域を求めることが
出来なくなる。

【００１３】また、上述したように、一般の道路ではそ
の走行時の天候、太陽の位置や雲の動きなどによって路
面上の明るさの分布は時々刻々と変化している。このた
め、予め色の分布を計測しておいてこれを入力画像と比
較判断する従来手法では、この比較判断処理は上記の明
るさの変化に追従することが出来ず、影の部分を必ずし
も抽出できるとは限らない。また、舗装工事などで道路
の一部が変色している場合、この変色の度合いによって
は画像処理によって変色部分の道路領域が抽出されない
場合がある。

【００１４】また、今までのラベリング処理の対象とす
る画像は全て２値画像であり、多値画像に対してはラベ
リングを行うことが出来なかった。また、ラスタ走査型
は、１回の走査では対象領域と１対１で対応したラベル
を付けることが出来ない。また、１次ラベリングと２次
ラベリングについては比較的簡単にハードウエア化を行
うことが出来るが、統合情報の解析、つまり、統合処理
についてはハードウエア化が困難である。そして、ラス
タ走査型のアルゴリズムでは仮ラベル付け時に大量の統
合情報が発生するため、統合処理の負荷が大きく、ラベ
リング処理全体で見たときの処理性能は上がらない。

【００１５】また、従来の領域併合のためのラベル値の
付け替え操作は、画像の全画素について、または、少な
くとも併合領域に外接する長方形内の画素について走査
することにより行われる。従って、ラベルの付け替え走
査に時間を要し、自動車の自律走行に必要とされる高速
処理が困難になる。また、処理コストが低減されないと
いう欠点もある。

【００１６】また、領域境界部の画素を一つ一つ逐次追
跡していって道路端を求める上記従来の方法は、処理に
時間がかかる。そのうえ、複数の領域がある場合には何
を基準にして道路端の判断処理をするかが問題になる。
また、走行コース領域と分割領域とがごくわずかに繋が
っており、しかも、この分割領域が走行コースでない場
合が画像処理の結果によっては起こり得る。このような
場合に、従来の領域の境界を逐次追跡していく方法で
は、実際に走行コースでない領域の境界も点列として求
まってしまう。この結果、正確な道路端情報を得ること
が出来ない。また、得られた点列群が繋がらずに分離し
たとしていても、複数の点列群の妥当性を検証する必要
があり、処理が複雑になる。さらには、得られた画像に
ノイズによる穴や切れ込みが有る場合には、得られる点
列群が滑らかでなくなってしまう。

【００１７】本発明の目的は、前記した従来技術に鑑み
てなされたものであり、高速に撮像された画像データか
ら道路画像領域を判定し、十分な走行制御を行うことの
できる両自律走行の走行路画像処理装置を提供すること
にある。

【００１８】

【課題を解決するための手段】前記した目的を達成する
ために、本発明は、撮像された原画像データが記憶され
る原画像メモリと、該原画像データに含まれるＲＧＢデ
ータのうちのＲデータを記憶するＲ画像メモリと、前記
ＲＧＢデータのうちのＧデータを記憶するＧ画像メモリ
と、前記ＲＧＢデータのうちのＢデータを記憶するＢ画
像メモリと、前記Ｒ画像メモリ，前記Ｇ画像メモリおよ
び前記Ｂ画像メモリに記憶されたＲＧＢデータを下位ビ
ットを切り捨てて読み出し、該読み出されたＲＧＢデー
タから変換された明度画像データが記憶される第１の記
憶素子と、該読み出されたＲＧＢデータから変換された
彩度画像データが記憶される第２の記憶素子と、前記明
度画像データおよび彩度画像データのそれぞれを、走行
路領域と背景領域とに区分するしきい値により２値化す
る２値化手段と、該２値化手段により得られた前記明度
画像または彩度画像に係るデータと、安定した走行路情
報が得られるように設定されたテンプレート領域との論
理積により道路画像領域を判別する道路画像領域判別手
段とを備えた点に第１の特徴がある。

【００１９】また、本発明は、前記道路画像領域判別手
段により得られた明度画像および彩度画像に係る道路画
像データの論理積を取り、走行路領域情報を得るように
した点に第２の特徴がある。

【００２０】前記第１、第２の特徴によれば、ＲＧＢデ
ータからＩＳＨデータへの変換処理は各記憶素子にＩＳ
Ｈデータを格納する際にのみ行われ、以後は各記憶素子
からＩＳＨデータが直接読み取れる。このため、高速に
演算処理を行うことができる車両自律走行の走行路画像
処理装置および方法を提供できるようになる。

【００２１】

【発明の実施の形態】本発明の一実施例によるカラー画
像処理装置およびその処理方法を、自律走行車の走行制
御に適用した場合について以下に説明する。本実施例の
装置および方法により、走行車の走行コースは自動的に
認識され、走行車は認識された走行コースに基づいてス
テアリングの操舵角やエンジンへの燃料噴出量などを決
定し、自律走行する。

【００２２】第１図は本実施例によるカラー画像処理装
置全体の概略構成を示すブロック図である。カラー画像
処理装置は、道路情報を撮像するカラーカメラ１０１
と、撮像されたＲＧＢ情報をＩＳＨ変換するＩＳＨ変換
部１０２と、ＩＳＨ変換された画像情報から道路候補領
域等を抽出するカラー処理部１０３と、カラー処理され
た画像についてラベリング処理を施すラベリングハード
部１０４と、ラベリングされた画像領域について併合処
理等を実行するＣＰＵ処理部１０５とに大別される。Ｉ
ＳＨ変換部１０２は、カラーカメラ入力ボード、ＩＳＨ
変換ボードおよびフィルタ等によって構成されている。

【００２３】第２図はこのカラー画像処理装置における
画像処理方法を示す概略のフローチャートである。カラ
ーカメラ１０１により道路画像１０６がＲＧＢ情報とし
て取り込まれ、ＩＳＨ変換部１０２において明度
（Ｉ），彩度（Ｓ），色相（Ｈ）の各画像に変換される
（ステップ２０１）。これら各画像を基にしてカラー処
理部１０３において走行コースの基になる道路候補領域
が抽出される（ステップ２０２）。ここで、ＣＰＵのス
テータスレジスタにある低輝度のしきい値存在フラグが
オンしているか否かを判断する（ステップ２０３）。こ
のフラグは取り込まれた原画像に影や変色部などの低輝
度領域が有るか否かを示すフラグであり、フラグがオン
していればカラー処理部１０３において低輝度領域が抽
出される（ステップ２０４）。抽出された道路候補領域
および低輝度領域はラベリングハード部１０４において
ラベル付けされ、各領域間の接続関係が判断される。こ
の判断結果に基づき、各領域が併合すべき関係にある場
合にはＣＰＵ処理部１０５においてマージ（併合）処理
が実行される（ステップ２０５）。

【００２４】次に、ＣＰＵのステータスレジスタにある
高輝度のしきい値存在フラグがオンしているか否かを判
断する（ステップ２０６）。ステップ２０３において低
輝度のしきい値存在フラグがオンしていない場合には、
直ちにこのステップ２０６の処理が実行される。この高
輝度のしきい値存在フラグは、取り込まれた原画像に日
向や変色部分などの高輝度領域が有るか否かを示すフラ
グであり、フラグがオンしていればカラー処理部１０３
において高輝度領域が抽出される（ステップ２０７）。
抽出された道路候補領域および高輝度領域はラベリング
ハード部１０４においてラベル付けされ、各領域間の接
続関係が判断される。この判断結果に基づき、各領域が
併合すべき関係にある場合にはＣＰＵ処理部１０５にお
いてマージ（併合）処理が実行される（ステップ２０
８）。

【００２５】このようにして併合された道路候補領域に
基づき、領域の左右の境界端、つまり、道路端の境界線
が点列として求められる。この点列情報により、今回撮
像された原画像に基づく走行コースが認識される（ステ
ップ２０９）。この後、ステップ２０１の処理に戻り、
自律走行車の移動に伴って引き続いて得られる画像情報
について上記と同様な処理が繰り返し実行され、自律走
行車の走行制御が実行される。

【００２６】次に、以上の処理内容について、第１図に
示されたカラー処理装置の構成図に基づいてより詳しく
説明する。カラーカメラ１０１は自律走行車の車体に固
定して設置してあり、このカラーカメラ１０１には走行
車の前方に位置する道路画像１０６がＲＧＢ情報として
撮像される。ＩＳＨ変換部１０２の変換処理部１０７に
は、このＲＧＢ情報が与えられる。この変換処理部１０
７において、後に詳述する「ＲＯＭテーブルを用いたカ
ラー画像のＩＳＨ変換処理」が実行され、ＲＧＢの道路
画像情報は明度（Ｉ）画像１０８，彩度（Ｓ）画像１０
９および色相（Ｈ）画像１１０の各画像情報に変換され
る。

【００２７】明度画像１０８は道路候補領域抽出手段１
１１に与えられ、後に詳述する「テンプレート画像を用
いた繰返しきい値処理による走行コースの抽出手法」に
より、明度画像に基づく道路候補領域画像１１３が抽出
される。また、彩度画像１０９は道路候補領域抽出手段
１１２に与えられ、上記と同様の手法により、彩度画像
に基づく道路候補領域１１４が抽出される。この手法に
おける領域区分のためのしきい値は、後に詳述する「繰
返しきい値処理における特徴量ヒストグラムの形状に基
づくしきい値設定手段」により決定される。求められた
各道路候補領域画像１１３，１１４は論理積演算手段１
１５に与えられ、明度および彩度から得られた各道路候
補領域の共通部分が取り出され、カラー情報に基づく新
たな道路候補領域画像１１６になる。

【００２８】また、明度画像１０８に低輝度領域が存在
している場合には、カラー処理部のステータスレジスタ
１１７に有る低輝度のしきい値存在フラグがオンする。
このフラグがオンしている場合に、低輝度領域抽出手段
１１８は明度画像１０８を取り込む。そして、後に詳述
する「明るさの違いに注目した走行コースからの影や高
輝度部分の抽出手段」により、低輝度領域を抽出する。
抽出された低輝度領域は低輝度画像１１９になる。この
低輝度領域画像１１９は、論理積演算手段１２０におい
て、彩度画像１０９から抽出された道路候補領域画像１
１４と論理積が取られ、低輝度領域のうちで道路候補領
域と似た彩度の領域が抽出される。抽出されたこの低輝
度領域の画像情報は、道路候補領域画像１１６に加えら
れる。

【００２９】また、明度画像１０８に高輝度領域が存在
している場合には、カラー処理部のステータスレジスタ
１１７にある高輝度のしきい値存在フラグがオンする。
このフラグがオンしている場合に、高輝度領域抽出手段
１２１は明度画像１０８を取り込む。そして、後に詳述
する「明るさの違いに注目した走行コースからの影や高
輝度部分の抽出手段」により、高輝度領域を抽出する。
抽出された高輝度領域は高輝度領域画像１２２になる。
この高輝度領域画像１２２は、論理積演算手段１２３に
おいて、彩度画像１０９から抽出された道路候補領域画
像１１４と論理積が取られ、高輝度領域のうちで道路候
補領域と似た彩度の領域が抽出される。抽出されたこの
高輝度領域の画像情報は道路候補領域画像１１６に加え
られる。

【００３０】上記各手段により、道路候補領域画像１１
６には、画素値１の道路候補領域画像１１３と、画素値
２の低輝度領域画像１１９と、画素値３の高輝度領域画
像１２２とが含まれることになる。

【００３１】道路候補領域画像１１６はラベリング処理
部１２４に与えられる。ラベリング処理部１２４は与え
られた画像の各領域にラベル付けをし、ラベル画像１２
６を作成する。また、これと同時に、ラベリング処理部
１２４は同一ラベル領域の面積や重心などを演算する。
これらの各演算値はラベリング処理部１２４に対応した
演算値１２５になる。このラベリング処理は、後に詳述
する「ラベリング処理装置」によって実行される。

【００３２】ＣＰＵはラベル画像１２６を小領域除去手
段１２７に取り込む。ここで、ノイズ等によって生じた
小領域や地平線位置より重心が上に位置する領域は、道
路領域に該当するものではないものとし、これら領域は
各ラベル画像の中から除去される。小領域除去手段１２
７により、道路候補領域から小領域が除去されたラベル
画像は、新たなラベル画像１２８になる。また、各領域
に付けられたラベル毎の演算値１２５の内、小領域除去
手段１２７によって除去されなかった各領域の特徴量は
リスト１に記述される。

【００３３】リスト１に記憶された特徴量１２９，ラベ
ル画像１２８，道路画像１１６に基づいて、道路候補領
域画像の各ラベル領域と低輝度領域画像の各ラベル領
域、および道路候補領域画像の各ラベル領域と高輝度領
域画像の各ラベル領域が併合すべき関係にある場合に
は、領域併合手段１３０において併合処理が実行され、
新たなラベル画像１３１がメモリ１に記憶される。以上
の併合処理は、後に詳述する「複数の領域の併合手段」
により実行される。

【００３４】最終的に得られたラベル画像１３１に基づ
いて道路領域の左右端の道路位置座標１３２が演算され
る。この道路端位置座標１３２に基づき、道路端に相当
する点列データ１３３が求まる。この道路端を求める処
理は、後に詳述する「走行可能範囲を求める手段」、並
びに「多様な形状の走行コースの内部表現手法」により
実行される。この点列データ１３３は、自律走行車の走
行制御のための画像処理データ統括管理を行うデータ管
理部ヘ送出され、カラー画像処理が終了する。

【００３５】次に、カラーカメラで撮像して得られたＲ
ＧＢデータを、明度Ｉ，彩度Ｓ，色相Ｈの各データに変
換する「ＲＯＭテーブルを用いたカラー画像のＩＳＨ変
換処理」について、第３図を用いて以下に説明する。

【００３６】まず、カラーカメラから原画像３０１をＲ
ＧＢデータとして入力する。原画像３０１にはＲＧＢの
各データが混在しているため、ＲＧＢデータの各成分を
分離する。そして、分離した各ＲＧＢデータをＲ画像メ
モリ３０２，Ｇ画像メモリ３０３およびＢ画像メモリ３
０４の３つの各画像メモリに各々別個に記憶する。これ
ら各Ｒ，Ｇ，Ｂ画像メモリ３０２〜３０４は８ビットの
階調を持った複数の画素値から構成されており、次のよ
うにＩＳＨ変換される。

【００３７】まず、８ビットの各ＲＧＢデータを読み出
す際に上位の６ビットのみを読みだし、下位２ビットを
切り捨てる。つまり、上位６ビットをとることにより、
８階調の画素値を６階調の画素値に近似する。この上位
６ビットによる数値は１６進数で００〜３Ｆ（ｈｅｘ）
の間で変化する（切り捨てた下位２ビットを考慮すると
００〜ＦＣ（ｈｅｘ）の間で変化する）。また、この上
位６ビットの値を４０（ｈｅｘ）で割った数値をそれぞ
れＲ，Ｇ，Ｂ値とする。これらＲ，Ｇ，Ｂの各値は実数
の０から約１までの範囲で変化する。

【００３８】Ｒ，Ｇ，Ｂの各値を（Ｒ＋Ｇ＋Ｂ）で割っ
た値をそれぞれｒ，ｇ，ｂとすると、Ｒ，Ｇ，Ｂ値から
Ｉ，Ｓ，Ｈ値への変換は次式に従って行われる。ここ
で、ｍｉｎ（ｒ，ｇ，ｂ）は、ｒ，ｇ，ｂの各特徴量の
うちの最少の値を持つ特徴量の値を示す。 Ｉ＝（Ｒ＋Ｇ＋Ｂ）／３ ・・・ （１） Ｓ＝１−（１／３）・ｍｉｎ（ｒ，ｇ，ｂ） Ｈ＝１／２＋（１／π）・arctan｛（３）1/2 ・（ｇ−
ｂ）／（２ｒ−ｇ−ｂ）｝ この変換はラスタスキャン順にＲ，Ｇ，Ｂの各画素毎に
行われ、変換された各Ｉ，Ｓ，Ｈ値は全て０から１まで
の値をとる実数となる。ＲＯＭ３０５にはＲＧＢから明
度Ｉへの変換テーブルデータ、ＲＯＭ３０６にはＲＧＢ
から彩度Ｓへの変換テーブルデータ、ＲＯＭ３０７には
ＲＧＢから色相Ｈへの変換テーブルデータが記憶されて
いる。これら各ＲＯＭ３０５〜３０７はルックアップテ
ーブルとして機能する。また、各ＲＯＭ３０５〜３０７
にデータが記憶されるアドレスは、変換前の各Ｒ，Ｇ，
Ｂ値の８ビットの数値のうち、上位６ビットの数値によ
って定まる。なお、各ＲＯＭ３０５〜３０７の記憶容量
は１８ビット（＝２５６Ｋバイト）である。

【００３９】ＲＯＭ３０５，３０６に記憶された各特徴
量はＣＰＵからの取り込み命令に応じて明度データ３０
８，彩度データ３０９として即座に読み出され、必要と
される画像処理にリアルタイムに供給される。また、Ｒ
ＯＭ３０７から読み出された色相データ３１０の特徴量
は、さらに、３×３平均値フィルタ３１１によってノイ
ズが除去されて平均化される。このため、各画像処理に
供される色相データ３１２は平滑化されたノイズのない
データとなる。また、読み出された各特徴量データ（明
度３０８，彩度３０９，色相３１０および３１２）は下
位２ビットが０で、上位６ビットが有効な８ビットの近
似データである。

【００４０】次に、本アルゴリズムを用いたＩＳＨ変換
処理例について、本アルゴリズムを用いないＩＳＨ変換
処理例と比較しつつ、第４図〜第７図を参照して説明す
る。各図の（ａ）はカラーカメラに撮像された原画像の
概略である。つまり、第４図（ａ）は走行路が遠方でカ
ーブする情景を示し、走行路の片側にはガードレールが
設置されており、このガードレールの遠方には樹木が生
い茂っている。第５図（ａ）は走行路端が雑草等によっ
て区画されている走行路を示し、遠方には住居や樹木等
がある情景になっている。第６図（ａ）は夜間の高速道
路における走行路を示し、路面は月明りおよび照明燈に
よってわずかな光が照らされている情景になっている。
第７図（ａ）は天気の良い日中の走行路を示し、走行路
上にはブロック塀の中にある樹木による影ができている
情景になっている。

【００４１】また、第４図から第７図の各図の（ｂ−
１）および（ｂ−２）は明度Ｉを特徴量とするヒストグ
ラム、各図の（ｃ−１）および（ｃ−２）は彩度Ｓを特
徴量とするヒストグラム、各図の（ｄ−１）および（ｄ
−２）は３×３平均値フィルタ３１１にかける前の色相
Ｈ′を特徴量とするヒストグラム、各図の（ｅ−１）お
よび（ｅ−２）は３×３平均値フィルタ３１１にかけた
後の色相Ｈを特徴量とするヒストグラムである。

【００４２】各ヒストグラムの縦軸は各特徴量の画素数
を示し、全画面の１／４を最大としている。また、各ヒ
ストグラムの横軸は明度Ｉ，彩度Ｓ，色相Ｈ′，Ｈの各
特徴量の度合いを示す。この各特徴量の度合いは原点か
ら遠ざかる程強まるように表示されており、０〜ＦＦ
（ｈｅｘ）の各数値に割り当てられた各特徴量の度合い
を６４分割して表示してある。また、原画像の画素数は
５１２×５１２より若干少なくなっている。これは画像
周辺部にはＲ，Ｇ，Ｂの各データが全て０の部分がある
ためであり、各ヒストグラムはこの部分を含んだデータ
値により表されているからである。

【００４３】また、各図の（ｂ−１），（ｃ−１），
（ｄ−１）, （ｅ−１）は従来手法に基づいて得られた
ヒストグラムであり、各画像メモリにＣＰＵが直接アク
セスし、Ｒ，Ｇ，Ｂデータを変換式に従ってＩ，Ｓ，Ｈ
データに変換することにより得られたものである。これ
に対して各図の（ｂ−２）, （ｃ−２）, （ｄ−２），
（ｅ−２）は本実施例の手法によるアルゴリズムに基づ
いて得られたヒストグラムであり、ＲＯＭに６ビット階
調のＲＧＢデータからＩ，Ｓ，Ｈの各特徴量への変換テ
ーブルを記憶し、これを読み出すことにより得られたも
のである。

【００４４】第４図〜第７図の各（ｂ−１），（ｂ−
２）および各（ｃ−１）, （ｃ−２）に示されるよう
に、明度Ｉおよび彩度Ｓについては、本手法によるヒス
トグラム分布と従来手法によるヒストグラム分布とには
大差がないことが分かる。このことは、ＲＧＢデータを
ＩＳＨデータに変換する本手法による機能は、従来手法
による変換機能に比較して劣る面がないことを示してい
る。一方、各図の（ｄ−１），（ｄ−２）に示される３
×３平均値フィルタ３１１にかける前の特徴量である色
相Ｈ′のヒストグラム分布は、，従来手法と本手法とで
は全体的な傾向が変わっている。これは本例に用いたよ
うな画像では、ＲＧＢデータから色相Ｈへ変換する式の
中の（ｇ−ｂ）および（２ｒ−ｇ−ｂ）の値は０付近の
極めて限定された値しか取らないため、本手法によるデ
ータの６ビットへの圧縮により情報が極端に離散化して
しまったことに起因する。

【００４５】しかし、この色相Ｈ′を３×３平均値フィ
ルタ３１１にかけることにより得られるヒストグラム分
布は、各図の（ｅ−１）, （ｅ−２）に示されるよう
に、従来手法による分布に十分対応するものになってい
る。色相データの計算値はＲＧＢデータの小さな雑音に
よって容易に変化する不安定な値であり、また、色相の
画像には非常に大きなノイズがある。このため、本手法
のように、色相変換の計算値結果について何等かの平滑
化を行うことは妥当な処理であり、この平滑化を行うこ
とにより特徴量を６ビットに圧縮して処理しても何等問
題は生じないことが理解される。なお、色相の計算値は
雑音によって容易に変化する不安定な値であるからこ
そ、色相Ｈ′のデータを平均値フィルタに通すことによ
り、従来手法によるヒストグラム分布と同様な分布が得
られた。

【００４６】このように、ＲＯＭ３０５〜３０７をルッ
クアップテーブルとして用いてＩ，Ｓ，Ｈの各特徴量を
予め変換処理することにより、従来のように処理が必要
とされる度毎に各画像メモリにＣＰＵがアクセスして演
算する必要は無くなる。この結果、本実施例によるデー
タ変換の際の演算処理速度はビデオレートで高速に実行
することが可能となり、処理速度が向上する。また、上
述のＲ，Ｇ，ＢデータからＩ，Ｓ，Ｈデータへの変換式
が変わっても、同一のハードウエアによって対処するこ
とが可能である。つまり、この変換式の変更が与える影
響は、ＲＯＭ３０５〜３０７の記憶内容の変化だけであ
る。このため、ハードウエアは変換式の変更によっては
変化しない。また、Ｒ，Ｇ，Ｂの各画素値を６ビットに
圧縮したため、ハードウエアの量を小さくすることが可
能になる。さらに、ルックアップテーブルから色相Ｈを
読み出す際に３×３平均値フィルタ３１１を通すことに
より、データを６ビットに圧縮したことによる悪影響、
例えば、ヒストグラムの離散化等を防ぐことができる。

【００４７】次に、「繰返しきい値処理における特徴量
ヒストグラムの形状に基づくしきい値設定手段」につい
て説明する。この手段は走行路領域を抽出するカラー画
像処理の前処理として行われる。第８図はこの処理過程
の概略を示すフローチャートであり、走行車両に設置さ
れたカラーカメラから得られた原画像データのコントラ
ストが低い場合における処理を示す。

【００４８】まず、カメラから得られた原画像のＲＧＢ
デジタル画像データを基にして色の特徴量（明度または
彩度）に対する頻度を表すヒストグラムを作成する。こ
のヒストグラムの横軸は色の特徴量（明度または彩
度），縦軸は特徴量の頻度に設定する。このヒストグラ
ムは原画像のコントラストが低いため、ヒストグラムの
原点側に偏って分布する。また、コントラストの低い画
像はモードが単峰形になり易く、明確な谷が発生しな
い。このため、一般的には各画素値について所定の演算
を行って画像強調を行った後にヒストグラムを作成する
のであるが、本手法の場合には、ヒストグラムのデータ
上でこのヒストグラムを横軸方向に単に引き伸ばすこと
により、画像強調を行う（ステップ８０１）。

【００４９】そして、強調されたヒストグラムの左端処
理（ステップ８０２）、および右端処理（ステップ８０
３）を実行する。次に、ヒストグラムの頻度の分布状態
から特徴量に対する頻度の大きい仮の頂上（ピーク）、
および特徴量に対する頻度の小さい仮の谷をピーク・谷
テーブル上に設定する（ステップ８０４）。求まった仮
の谷の頻度に基づいて谷の評価をこのテーブル上で行う
（ステップ８０５）。さらに、この谷に隣接するピーク
に基づいて再度谷の評価をテーブル上で行う（ステップ
８０６）。最後に、評価されたピーク・谷テーブルの平
滑化を行い、ピークと谷の相対関係から領域区分の対象
領域とこの背景領域との区分に有効な谷を抽出する（ス
テップ８０７）。

【００５０】一方、上記の処理に並行してステップ８０
１で作成されたヒストグラムに対して大津の判別分析法
を適用し、この判別分析法による領域区分しきい値を得
る。そして、得られたしきい値とステップ８０７で抽出
された谷の位置とを比較し、しきい値の近傍に位置する
谷の頻度を真のしきい値とし、大津の判別分析法による
しきい値を補正する。

【００５１】次に、各処理の詳細について以下に説明す
る。ステップ８０４における仮のピークおよび仮の谷の
設定は次のように行われる。つまり、特徴量に対する頻
度の分布状態を基にして仮のピークおよび谷を判断す
る。具体的には、ヒストグラム上の着目点の左右の隣接
点の頻度により、ピークおよび谷の状態は第９図（ａ）
〜（ｆ）に図示される６通りの状態に分けられる。ここ
で、ヒストグラム上の着目点をｈi （添字のｉはヒスト
グラムの横軸に添ってＮ個の点を均等に割り振った時の
任意の１点を意味し、０〜Ｎ−１の値とする）、着目点
ｈi より特徴量が小さい隣接点をｈi-1 、着目点ｈi よ
り特徴量が大きい隣接点をｈi+1 とする。また、着目点
ｈi と隣接点ｈi-1 との各頻度の差をピッチｐi1（ｐi1
＝ｈi −ｈi-1 ）、隣接点ｈi+1 と着目点ｈi との各頻
度の差をピッチｐi2（ｐi2＝ｈi+1 −ｈi ）とする。

【００５２】ｉ＝１〜Ｎ−２の範囲（ヒストグラムの両
端点は除く）において、ピーク・谷テーブル値ｐｋｔi
を以下のように設定する。すなわち、ｐi1の符号とｐi2
の符号が異なる時、 （１）ｐi1≧０、かつ、ｐi2≦０ならば、 テーブル値ｐｋｔi ＝１ （２）ｐi1≦０、かつ、ｐi2≧０ならば、 テーブル値ｐｋｔi ＝−１ 第９図（ａ）は、ｐi1＞０、かつ、ｐi2＝０の状態であ
り、従ってテーブル値ｐｋｔi ＝１である。 同図
（ｂ）は、ｐi1＞０、かつ、ｐi2＜０の状態であり、従
ってテーブル値ｐｋｔi ＝１である。同図（ｃ）は、ｐ
i1＝０、かつ、ｐi2＜０の状態であり、従ってテーブル
値ｐｋｔi ＝１である。同図（ｄ）は、ｐi1＜０、か
つ、ｐi2＝０の状態であり、従ってテーブル値ｐｋｔi
＝−１である。同図（ｅ）は、ｐi1＜０、かつ、ｐi2＞
０の状態であり、従ってテーブル値ｐｋｔi ＝−１であ
る。同図（ｆ）は、ｐi1＝０、かつ、ｐi2＞０の状態で
あり、従ってテーブル値ｐｋｔi ＝−１である。

【００５３】このようにして隣接する各点の相対的な各
頻度の関係から、同図（ａ），（ｂ），（ｃ）の状態は
ｐｋｔi ＝１であると演算され、着目点ｈi は仮のピー
クと判断される。同図（ｄ），（ｅ），（ｆ）の状態は
ｐｋｔi ＝−１であると演算され、着目点ｈi は仮の谷
と判断される。

【００５４】また、ステッブ８０５における頻度による
谷の評価処理は次のように行われる。つまり、ｉ＝１〜
Ｎ−２において着目点ｈi が仮のピークであるとき（ｐ
ｋｔi ＝１）、 (1) 隣接点ｈj と着目点ｈi との比が０．１より小さ
い（ｈj ／ｈi ＜０．１）隣接点ｈj が着目点ｈi の左
側にあるならば、隣接点ｈj に対応するテーブル値ｐｋ
ｔj を−１にする（ｐｋｔj ＝−１）。 (2) 隣接点ｈm と着目点ｈi との比が０．１より小さ
い（ｈm ／ｈi ＜０．１）隣接点ｈm が着目点ｈi の右
側にあるならば、隣接点ｈm に対応するテーブル値ｐｋ
ｔm を−１にする（ｐｋｔm ＝−１）。

【００５５】また、ステップ８０６における隣接ピーク
に基づく谷の評価処理は次のように行われる。ｉ＝０〜
Ｎ−１において、 (1) 着目点ｈi が仮の谷の時（ｐｋｔi ＝−１）、 谷の左側の仮のピーク（隣接点ｈk ，テーブル値ｐｋ
ｔk ＝１）をｔｏｐＬと呼ぶことにする。 谷の右側の仮のピーク（隣接点ｈj ，テーブル値ｐｋ
ｔj ＝１）をｔｏｐＲと呼ぶことにする。

【００５６】(2) 着目点ｈi にｔｏｐＬおよびｔｏｐ
Ｒが共に存在する時、 着目点ｈi とｔｏｐＬとの比ｌ（ｌ＝ｈi ／ｔｏｐ
Ｌ）が着目点ｈi とｔｏｐＲとの比ｒ（ｒ＝ｈi ／ｔｏ
ｐＲ）より小さければ（ｌ＜ｒ）、テーブル値ｐｋｔj
に１を加算する。 比ｌ（ｈi ／ｔｏｐＬ）が比ｒ（ｈi ／ｔｏｐＲ）よ
り大きければ（ｌ≧ｒ）、テーブル値ｐｋｔk に１を加
算する。 (3) 着目点ｈi にｔｏｐＬおよびｔｏｐＲが共に存在
し、かつ、比ｌ＜０．５、または比ｒ＜０．５ならば、
着目点ｈi に対応するテーブル値ｐｋｔi から１を減じ
る。 (4) 上記の（３）以外の場合には、テーブル値ｐｋｔ
i を−４に書き替える。

【００５７】(5) 谷の右側にのみ仮のピークｔｏｐＲ
が存在する時、比ｒ＜０．５ならば、テーブル値ｐｋｔ
i から１を減じる。 (6) 谷の左側にのみ仮のピークｔｏｐＬが存在する
時、比ｌ＜０．５ならば、隣接点ｈj に対応するテーブ
ル値ｐｋｔj から１を減じる。

【００５８】また、ステッブ８０７におけるピーク・谷
テーブルの平滑化処理、つまり、ピーク・谷テーブルｐ
ｋｔにおいて、求まった谷どうしの距離が十分に近い場
合には平滑化処理が次のように行われる。

【００５９】ｉ＝１〜Ｎ−１において、着目点ｈi に対
応するテーブル値ｐｋｔi が−２であり、この谷の右側
に位置する谷のテーブル値ｐｋｔj も−２であり、しか
も、これら谷どうしの距離（ｊ−ｉ）が所定のしきい値
よりも小さい時、 (1) 着目点ｈi の頻度の方が隣接点ｈj の頻度よりも
大きければ（ｈi ＞ｈj ）、テーブル値ｐｋｔi を０に
する（ｐｋｔi ＝０）。 (2) 着目点ｈi の頻度の方が隣接点ｈj の頻度よりも
小さければ（ｈi ≦ｈj ）、右側に位置する谷のテーブ
ル値ｐｋｔj を０にする（ｐｋｔj ＝０）。

【００６０】次に、上記方法を用いた具体的な例につい
て以下に説明する。例えば、第１０図（ａ）に示される
特徴量ヒストグラムが得られた場合を想定する。同図の
横軸は明度または彩度の色の特徴量であり、縦軸はその
特徴量の画像における頻度である。このヒストグラムに
ついて第８図に示された処理を行うと、同図（ｂ）に示
されるピーク・谷テーブルｐｋｔのテーブル値は、同図
（ｂ）の一番左側の列に記された１〜８の番号に沿って
以下のように推移する。この推移の結果、再下段に示さ
れた数値が最終のテーブル値として求まる。なお、同図
（ｂ）の各テーブル値が記載されている位置は、同図
（ａ）のヒストグラムの各特徴量Ａ〜Ｌに対応してい
る。つまり、記載された各テーブル値は、点線で示され
るように、その記載された位置の上方の特徴量に対応し
ている。

【００６１】まず、特徴量ヒストグラムの左端処理およ
び右端処理を実行し（ステップ８０２，８０３）、引き
続いて仮ピークおよび仮の谷を設定する（ステップ８０
４）。この設定は前述のステップ８０４の処理に従って
行われ、この結果得られる各テーブル値は番号１のテー
ブルに示されるものとなる。次に、頻度による谷の評価
（ステップ８０５）および隣接ピークに基づく谷の評価
（ステップ８０６）を、前述の処理に従って行う。

【００６２】特徴量がＡの谷の場合には谷の右側にｔｏ
ｐＲのみが存在し、また、特徴量Ａにおける頻度と谷の
右側の仮のピークの頻度との比ｒは０．５以下である
（ｈi／ｔｏｐＲ＜０．５）。このため、特徴量Ａに対
応するテーブル値から１を減じ、この結果、テーブル値
は−２になってテーブルは番号２に示されるテーブルに
推移する。

【００６３】また、特徴量がＤの谷の場合には、この谷
の両側にｔｏｐＬおよびｔｏｐＲが共に存在する。しか
も、この谷の頻度と左側の仮のピークの頻度との比ｌは
０．５以下である（ｈi ／ｔｏｐＬ＜０．５）。従っ
て、特徴量Ｄに対応するテーブル値ｐｋｔi から１を減
じ、この結果、テーブル値は−２になる。また、特徴量
がＤの谷の両側の仮の各ピーク値の頻度と谷の頻度との
各比ｌおよび比ｒは、比ｒの方が大きい（ｌ＜ｒ）。従
って、谷の右側に位置する仮のピーク（特徴量Ｅ）のテ
ーブル値ｐｋｔj に１を加算することにより、テーブル
値は２になる。この結果、ピーク・谷テーブルは番号３
に示されるテーブルになる。

【００６４】また、特徴量がＦの谷の両側には共にｔｏ
ｐＬおよびｔｏｐＲが存在し、比ｌまたは比ｒの一方は
０．５より小さい（ｌ，ｒ＜０．５）。従って、特徴量
Ｆに対応するテーブル値ｐｋｔi から１を減じ、テーブ
ル値を−２にする。また、比ｌは比ｒより大きい（ｌ≧
ｒ）。従って、谷の左側に位置する仮のピーク（特徴量
Ｅ）のテーブル値ｐｋｔk に１を加算し、テーブル値を
３にする。この結果、テーブルは番号４に示されるテー
ブルに推移する。

【００６５】また、特徴量がＨの谷の両側には共にｔｏ
ｐＬおよびｔｏｐＲが存在し、比ｌまたは比ｒの一方が
０．５より大きい（ｌ，ｒ≧０．５）。従って、特徴量
Ｈに対応するテーブル値ｐｋｔi を−４に書き替える。
また、比ｌは比ｒよりも小さい（ｌ＜ｒ）。従って、谷
の右側の仮のピーク（特徴量Ｉ）に対応するテーブル値
ｐｋｔj に１を加える。この結果、特徴量Ｉに対応する
テーブル値は２になり、テーブルは番号５に示されるテ
ーブルに推移する。

【００６６】また、特徴量Ｊの谷の両側には共にｔｏｐ
ＬおよびｔｏｐＲが存在し、比ｒは０．５より小さい
（ｒ＜０．５）。従って、この谷に対応するテーブル値
ｐｋｔi から１を減じる。また、比ｌは比ｒより大きい
（ｌ≧ｒ）。従って、谷の左側に位置する仮のピーク
（特徴量Ｉ）に対応するテーブル値ｐｋｔk に１を加算
し、テーブル値を３にする。この結果、テーブルは番号
６に示されるテーブルに推移する。

【００６７】また、特徴量Ｌの谷は谷の左側にｔｏｐＬ
のみが存在し、比ｌは０．５より小さい（ｌ＜０．
５）。従って、この谷に対応するテーブル値ｐｋｔi か
ら１を減じる。この結果、テーブル値は−２になり、テ
ーブルは番号７に示されるテーブルに推移する。

【００６８】次に、このようにして得られた番号７のピ
ーク・谷テーブルｐｋｔについてデータの平滑化を前述
のように行う（ステップ８０７）。つまり、特徴量Ｄの
谷ｈi とこの右側に位置する特徴量Ｆの谷ｈj との距離
は所定のしきい値より小さく、かつ、各谷のテーブル値
は−２である。さらに、特徴量Ｆの谷の頻度は特徴量Ｄ
の谷の頻度より大きい（ｈi ≦ｈj ）。従って、特徴量
Ｆの谷に対応するテーブル値ｐｋｔj を０にする。この
結果、テーブルは最終的に第１０図（ｂ）の最下段に示
されるテーブルになる。

【００６９】この最終的なテーブルのうち、特徴量Ａ，
Ｄ，Ｈ，Ｊ，Ｌに対応するヒストグラム上の各点が谷と
して求まるが、ヒストグラムの両端にある谷Ａ，Ｌは対
象にはならず、また、テーブル値が−４の谷（特徴量
Ｈ）も対象にはならない。すなわち、データ画像を対象
領域と背景領域とに区分するのに有効な谷は、テーブル
値−２が二重丸で囲まれた特徴量ＤおよびＪに対応する
谷である。これら谷のうち、第１０図（ａ）のヒストグ
ラムに大津の判別分析法を適用して得られた領域区分し
きい値に近い谷の頻度が真の領域区分しきい値になる。
このように大津の判別分析法のあいまいな結果が補正さ
れることにより、誤差が少なく確度の高い走行路判別を
行うことが可能になる。

【００７０】次に、「テンプレート画像を用いた繰返し
きい値処理による走行コースの抽出手法」について説明
する。なお、以下の説明では、自律走行車が草や土等で
区切られたコースを走行することを前提にし、走行路領
域を抽出する場合について述べることにする。

【００７１】第１１図は走行路認識のアルゴリズムの概
要を表すフローチャートである。

【００７２】まず、走行車に搭載されたカラ−ＣＣＤカ
メラにより、走行路の情景を撮像する（ステップ１１０
１）。そして、撮像されたＲＧＢのカラー画像信号をカ
ラーカメラ入力装置に取り込み、取り込んだＲＧＢ原画
像データを前述のようにＩＳＨデータに変換する（ステ
ップ１１０２）。ＩＳＨデータに変換された特徴量画像
に基づき、前述のように各特徴量とその画素数との特性
を表すヒストグラムをカラー画像処理装置で作成する
（ステップ１１０３）。

【００７３】次に、作成したヒストグラムに基づき、し
きい値処理を繰り返し適用して走行路を２値化画像とし
て抽出する。このように抽出された画像はノイズや細か
く分断された領域を有するので、次の処理を実行する。
つまり、後に詳述するラベリング装置によって各領域に
ラベルを付ける（ステップ１１０４）。そして、ラベル
付けされた各領域の面積と重心とを計測し、カメラの取
り付け位置から計算される地平線位置より重心が上の領
域、および面積が小さい領域を除去する（ステップ１１
０５）。

【００７４】次に、カラー画像処理装置において最初に
抽出された走行路画像に基づいて、走行路領域より明る
さが暗い領域および明るい領域を求め、これらの領域を
併合し、また、各領域どうしの関係を記述する（ステッ
プ１１０６）。この領域併合および領域関係の記述を基
にして走行可能範囲、つまり、道路端を検出し、画像取
り込み時刻をこの走行可能範囲情報に付与する。そし
て、走行可能範囲情報を画像処理装置を構成するデータ
管理部へ伝送する（ステップ１１０７）。この後、ステ
ップ１１０２に戻って以上の処理を繰り返す。

【００７５】第１２図は走行路領域を抽出する処理の詳
細を表すブロック図である。まず、撮像された原画像の
ＲＧＢデータから明度データＩおよび彩度データＳを求
め、各データを特徴量画像として画像メモリに記憶する
（ブ口ック１２０１）。次に、画像メモリに記憶された
明度データＩを基にして明度を特徴量とするヒストグラ
ムを作成する（ブロック１２０２）。このヒストグラム
の横軸となる特徴量の分割数は４０ポイントであり、こ
のポイント数は大局的に走行路の抽出を行うのには十分
な大きさである。次に、作成したヒストグラムを正規化
する（ブロック１２０３）。そして、正規化されたヒス
トグラムについて周知の大津の判別分析法を適用し、走
行路領域と背景領域とを区分するためのしきい値を計算
する（ブロック１２０４）。

【００７６】一方、作成したヒストグラムの形状に基づ
いて特徴量の画素数が多いピーク、および特徴量の画素
数が少ない谷を前述のように求め、ピークと谷の一覧表
であるピーク・谷テーブルを作成する（ブロック１２０
５）。各ピークおよび谷における各特徴量の値をしきい
値処理のための候補値とする。

【００７７】ブロック１２０４で求めた大津の判別分析
法によるしきい値には誤差が含まれる場合があるため、
ブロック１２０５で求めたしきい値処理のための候補値
により、大津の判別分析法によるしきい値を補正する。
つまり、ブロック１２０４で求めたしきい値とブロック
１２０５で求めた候補値とを比較し、ブロック１２０４
のしきい値に最も近いブロック１２０５の候補値を走行
路領域と背景領域とを区分するためのしきい値とする
（ブロック１２０６）。次に、このしきい値により明度
画像を２値化する（ブロック１２０７）。

【００７８】明度画像は５１２×５１２個の画素によっ
て構成されており、Ｉ（ｉ，ｊ）として表現される。こ
こで、ｉ，ｊは条件式０≦ｉ，ｊ≦５１１を満足する整
数である。また、ブロック１２０６で求まったしきい値
をＸ１，領域分割の対象となる特徴量範囲の最少の特徴
量の値をしきい値Ｘ０，最大の特徴量の値をしきい値Ｘ
２とする。なお、しきい値Ｘ０およびＸ２の各初期値は
０およびＦＦ（ｈｅｘ）である。ここで、明度画像Ｉ
（ｉ，ｊ）が次の条件式を満足する場合には、メモリＭ
１（ｉ，ｊ）にＦＦ（ｈｅｘ）を書き込む（ブロック１
２０８）。 Ｘ０≦Ｉ（ｉ，ｊ）＜Ｘ１ また、明度画像Ｉ（ｉ，ｊ）が次の条件式を満足する場
合には、メモリＭ２（ｉ，ｊ）にＦＦ（ｈｅｘ）を書き
込む（ブロック１２０９）。 Ｘ１≦Ｉ（ｉ，ｊ）＜Ｘ２ 次に、ＲＯＭに記憶されたテンプレート画像を読み出す
（ブロック１２１０）。このテンプレー卜画像内には最
も安定した走行路情報が得られるようにテンプレート領
域が設定されている。この領域設定は自律走行車に取り
付けられたカラーカメラの俯角，画角，焦点距離を基に
して行われ、テンプレート領域に対応するメモリにはＦ
Ｆ（ｈｅｘ）が記憶されている。次に、読み出したテン
プレート画像とメモリＭ１およびメモリＭ２との重複度
を計算する（ブロック１２１１）。つまり、テンプレー
ト画像とメモリＭ１およびメモリＭ２との各論理積を取
り、論理積結果が「１」の画素数を各メモリＭ１および
メモリＭ２毎に累計する。

【００７９】次に、各メモリ毎に累計された画素数が、
テンプレート領域内にある画素数に占める比率を求め
る。この比率が５０％以上になるメモリ情報には走行路
領域が含まれているものとし、さらに、比率が５０％以
上のメモリＭ１またはＭ２に記憶された画像ついて、以
下のように繰り返して領域分割を行う。また、この比率
に基づくメモリの選択により、しきい値Ｘ１によって画
像が領域分割されたことになり、また、ビストグラム上
においても分割が行われたことになる。

【００８０】つまり、特徴量がＸ０〜Ｘ１の範囲内にあ
るメモリＭ１に記憶された領域と、特徴量がＸ１〜Ｘ２
の範囲内にあるメモリＭ２に記憶された領域とに分割さ
れたことになる。また、各メモリＭ１およびＭ２とテン
プレート画像との重複度がいずれも５０％を越えない時
には、メモリＭ１とメモリＭ２との和が記憶されたメモ
リＭ３が選択され（ブロック１２１２）、メモリＭ３に
基づいた領域分割が次に行われる。

【００８１】例えば、メモリＭ１とテンプレート画像と
の重複度が高かった場合には、しきい値Ｘ０からＸ１内
の特徴量によって構成された領域を道路候補領域にする
（ブロック１２１３）。そして、この道路候補領域をさ
らに繰り返して領域分割する。この繰り返し領域分割の
ためのしきい値Ｘ１′は、ブロック１２０５で求めた谷
の候補値のうち、しきい値Ｘ０〜Ｘ１の範囲内にあるも
のとなる（ブロック１２１４）。また、もし、この範囲
内に谷の候補値が無い場合には、繰り返し分割処理は行
われない。

【００８２】繰り返し領域分割の対象となる特徴量範囲
の最小値Ｘ０′は前回の領域分割と変わらないしきい値
Ｘ０になり、最大値Ｘ２′はしきい値Ｘ１になる。この
範囲内の特徴量により構成される領域についてブロック
１２０７で再度２値化を行い、その後前回の領域分割と
同様な処理を実行することにより、繰り返し領域分割が
行われる。この繰り返しは、分割する道路候補領域の特
徴量の範囲内にブロック１２０５で求めた谷の候補値が
なくなるまで行う。このようにして処理を繰り返して実
行することにより、最終的に最初の道路画像領域が得ら
れる。

【００８３】得られた道路画像領域の明度より暗い影の
領域、および明るい高輝度の領域がある場合には、これ
らの各領域を求めるためのしきい値を後述のように設定
する（ブロック１２１５）。そして、このしきい値に基
づき、各領域について前述と同様にして領域分割し、影
の領域および高輝度の領域を求める。また、同時に行わ
れる彩度画像に基づく処理結果により、求めた影の領域
の彩度と道路画像領域の彩度とが似ている場合には、各
々の論理積をとり、１つの領域として最終的な低輝度領
域とする。また、同様に、求めた高輝度領域の彩度と道
路画像領域の彩度とが似ている場合には、各々の論理積
をとり、１つの領域として最終的な高輝度領域とする。
さらに、道路画像領域と低輝度領域との接続関係を調
べ、併合できる関係にある場合には併合処理を行う。ま
た、同様に、道路画像領域と高輝度領域との接続関係を
調べる。

【００８４】このように併合できる関係にある場合には
併合処理を行う。この結果、走行路に影がある場合また
は自己の位置が影内で走行路の遠方に直射日光が照射さ
れて高輝度部分がある場合には、この併合処理を行うこ
とによって現実の走行路に即した形状の走行路領域が得
られることになる。

【００８５】以上の処理は明度画像に対するものであっ
たが、彩度画像に対しても同様な処理を行う。但し、ブ
ロック１２１５の処理は明度画像に対する特有なもので
あるため、この処理は実行しない。この彩度画像による
処理結果において、各領域のＲ，Ｇ，Ｂが似た値になる
同系色の場合には、各領域のヒストグラム分布は同様な
形状になる。これは、前述のＲＧＢデータから彩度Ｓデ
ータへの変換式（Ｓ＝１−ｍｉｎ（ｒ，ｇ，ｂ）／３）
から理解される。

【００８６】従って、Ｒ，Ｇ，Ｂの各値が似た値になる
曇天時の空や一般舗装路では、彩度に基づいて各領域を
区別することは困難である。しかし、色差があって各領
域のＲ，Ｇ，Ｂ値が似ていない場合には、各領域の明度
に差がなくても各領域を区別することが可能である。こ
のため、道路画像領域をいかなる情景の下でも正確に抽
出するために、明度および彩度の２つの特徴量を用い
る。そして、明度画像および彩度画像から抽出した２種
類の道路画像の論理積を取ることにより、確度の高い走
行路領域情報を得ることが出来る。

【００８７】第１３図は、道路画像領域の抽出処理にお
ける道路候補領域の抽出過程を示す。 まず、明度の特
徴量画像１３０１から特徴量ヒストグラム１３０２を作
成する。このヒストグラム１３０２の横軸は明度を示
し、この明度は０〜ＦＦ（ｈｅｘ）の数値によって表現
されている。また、縦軸は各明度における原画像中の画
素数を示す。大津の判別分析法をこのヒストグラム１３
０２に適用し、道路領域と背景領域とを区別するための
しきい値ｃを求める。また、ヒストグラム１３０２の形
状に基づき、ヒストグラムのピークおよび谷を求め、ピ
ーク・谷テーブルを作成する。そして、求めた谷を繰返
しきい値処理のためのしきい値の候補値とする。このヒ
ストグラム１３０２では特徴量ａ，ｂ，ｄ，ｅ，ｆが候
補値になっている。

【００８８】大津の判別分析法によって求めたしきい値
ｃを、ピーク・谷テーブルから求めた候補値によって補
正する。つまり、しきい値ｃに最も近い候捕値ｂを補正
したしきい値とする。そして、このしきい値ｂによって
特徴量画像１３０１を２値化する。この結果、特徴量が
００（ｈｅｘ）〜ｂの分割画像１３０３と、特徴量がｂ
〜ＦＦ（ｈｅｘ）の分割画像１３０４とが得られる。こ
の時点では分割された各画像１３０３，１３０４のう
ち、どちらの画像に走行路領域が含まれているのかが分
からない。

【００８９】このため、道路位置を想定したテンプレー
ト画像１３０５と各画像１３０３，１３０４との論理積
を取り、各画像との重複度を計算する。テンプレート画
像１３０５の下部には台形のテンプレー卜領域が図示の
ように設定されている。このテンプレート領域に対応す
るメモリ素子には前述したようにＦＦ（ｈｅｘ）が記憶
されており、また、テンプレート領域の背景領域に対応
するメモリ素子には００（ｈｅｘ）が記憶されている。
本例の場合には、画像１３０４にテンプレート画像１３
０５との重なり部分が最も多く存在する。このため、重
複度の計算結果により、特徴量がｂ〜ＦＦ（ｈｅｘ）の
画像１３０４に走行路領域が含まれているものと判断さ
れ、画像１３０４に対応した道路候補領域画像１３０６
が得られる。

【００９０】ｂ〜ＦＦ（ｈｅｘ）の特徴量の間にはまだ
他の候捕値が残っているので、次に、さらにこの道路候
補領域画像１３０６について領域分割を行う。つまり、
道路候補領域画像１３０６をしきい値ｄで２値化する。
この２値化により、特徴量がｂ〜ｄの分割画像１３０７
と、特徴量がｄ〜ＦＦ（ｈｅｘ）の分割画像１３０８と
が得られる。次に、得られた各画像１３０７，１３０８
について、前述と同様にしてテンプレート画像１３０５
との重複度を計算する。本例の場合には、画像１３０８
の方がテンプレート画像１３０５との重複度が高いた
め、特徴量がｄ〜ＦＦ（ｈｅｘ）の画像１３０８に走行
路領域が含まれているものと判断され、画像１３０８に
対応した道路候補領域画像１３０９が得られる。

【００９１】ｄ〜ＦＦ（ｈｅｘ）の特徴量の間にはまだ
他の候補値ｅが残っているため、道路候補領域画像１３
０９をこのしきい値ｅで２値化する。この２値化によ
り、特徴量がｄ〜ｅの分割画像１３１０と、特徴量がｅ
〜ＦＦ（ｈｅｘ）の分割画像１３１１とが得られる。そ
して、前述と同様にして各画像１３１０，１３１１とテ
ンプレート画像１３０５との重複度を計算する。本例の
場合には、画像１３１０の方がテンプレート画像１３０
５との重複度が高いため、特徴量がｄ〜ｅの画像１３１
０に走行路領域が含まれているものと判断され、画像１
３１０に対応した道路候補領域１３１２が得られる。

【００９２】ｄ〜ｅの特徴量の間にはもう他の候補値が
残っていないので、この道路候補領域１３１２が最終的
な道路領域の２値画像になる。以上の処理は明度画像に
対して行ったが、彩度画像に対しても同様な処理を行
う。その後、明度画像から抽出された走行路領域と彩度
画像から抽出された走行路領域との論理積を取り、最終
的な走行路領域を得る。

【００９３】しきい値を用いて画像を２値化し、画像の
領域分割をする手法は一般的である。しかし、本実施例
のように、走行路の位置を考慮したテンプレー卜画像を
用いて分割画像との重複度を計算することにより、ヒス
トグラム上において行われる次の領域分割のためのしき
い値を決定する処理は高速にかつ簡素に行える。この結
果、現実の走行路に即した走行路領域が高速にかつ容易
にかつ低コストで得られる。

【００９４】また、次のようにカメラに撮像される情景
の明暗が変化する場合がある。例えば、自車の進行方向
がカーブによって変更したために明るさが変化した場合
や、天候が晴れたり曇ったりするために明暗が変わる場
合などがある。このような場合には、特徴量ヒストグラ
ムは常に一定の形状を示さないため、固定されたしきい
値による領域分割では正しい走行路領域が得られない。
しかし、本手法では、入力された画像の状態、つまり、
明るさが時々刻々と変化しても常に正確な走行路領域の
抽出を行うことが可能である。これは、本手法では、テ
ンプレート画像との重複度が最も高い特徴量分布を見つ
け、時々刻々と変化する画像についてその時の特徴量に
応じた最適なしきい値をその都度設定するからである。

【００９５】従来、領域分割を行う画像処理にあって
は、原画像を複数の領域に分割し、分割した画像につい
て識別処理を行って道路の妥当性を検証していた。しか
し、上述した本手法にあっては、目的とする対象物（道
路）を抽出するために、しきい値処理による領域分割を
行っている。このように、従来の手法では処理結果から
対象物を検証したが、本手法では処理の当初から対象物
を目的としている点で処理のアプローチが逆になってい
る。このため、道路領域を効率良く抽出することが可能
になっている。

【００９６】次に、「明るさの違いに注目した走行コー
スからの影や高輝度部分の抽出手法」について説明す
る。本手法は上述した「テンプレート画像を用いた繰返
しきい値処理による走行コースの抽出手法」の説明にお
いて既に簡単に説明したものであり、以下にこの手法を
詳述する。

【００９７】明度画像について、上述した「テンプレー
ト画像を用いた繰返しきい値処理による走行コースの抽
出手法」，および「繰返しきい値処理における特徴量ヒ
ストグラムの形状に基づくしきい値設定手法」を適用す
ることにより、走行コースの特徴量の分布するヒストグ
ラムが求められた。本手法は、このヒストグラムを基に
して道路領域より暗い領域および道路領域より明るい領
域を求めるものである。また、本手法はカラー画像処理
装置内で処理されるものである。

【００９８】第１４図は、種々の入力画像が撮像された
各ケースについて、本手法を適用した場合の処理の概要
を示す。ケース１は、一様な路面状況の走行コースのみ
が入力画像として撮像された場合である。この場合、自
車は、右側にカーブする道路のカーブ手前に位置してい
る。このケース１において抽出される道路候補領域は、
入力画像と同様な形状になる。これは入力画像が一様な
走行コースのみだからであり、従って、本手法により低
輝度領域および高輝度領域は抽出されない。

【００９９】また、ケース２は、走行コースの路面上に
部分的に影ができ、しかも、走行コースの遠方に反射光
などによる高輝度部分ができている入力画像が撮像され
た場合である。この場合の例では、道路は右側にカーブ
し、この右側カーブの手前に左側にカーブする分岐路を
有している。自車はこれらカーブの手前に位置してい
る。このケース２において抽出される道路候補領域は、
影ができている暗い領域および高輝度領域である明るい
領域が除外された形状になる。また、道路の手前側にで
きている影の部分は本手法による低輝度領域の抽出によ
り、個別に取り出すことができる。また、道路の遠方に
できている反射光による高輝度領域は高輝度領域の抽出
により、個別に取り出すことができる。

【０１００】ケース３は、陽射しが強い天候の時に、樹
木による影が走行コースの路面上にできている入力画像
が撮像された場合であり、路面上に木洩れ日がさしてい
る場合である。この場合の例では、自車は、左側にカー
ブする道路のカーブ手前に位置している。このケース３
において抽出される道路候補領域は、木洩れ日によって
できる影と同じ形状である。これは、強い陽射しのため
に影の部分がテンプレート画像との重複度が高くなるた
めである。従って、本手法により低輝度の領域は抽出さ
れない。また、遠方の道路領域および木洩れ日がさして
いる部分は強い陽射しのために高輝度の領域として抽出
される。

【０１０１】ケース４は、道路の側帯に沿って帯状に変
色部分ができている場合であり、例えば、舗装路の工事
等によって道路が変色した場合である。この場合の例で
は、自車は、直線状に進む道路にできた変色部分を右手
にみて走行する位置にある。このケース４において抽出
される道路候補領域は、この変色部分が除外された形状
になる。また、この変色部分は道路領域より明度が高い
ため、本手法により高輝度領域として抽出される。ま
た、道路の路面上には影などがないため、低輝度領域は
抽出されない。

【０１０２】次に、上述したケース２を例として、本手
法の詳細を以下に説明する。第１５図は、ケース２にお
いて撮像された入力画像を基にして作成されたヒストグ
ラムである。このヒストグラムの特徴量は明度であり、
横軸にこの明度が示されている。また、縦軸は、各明度
における画素数である。

【０１０３】図のＡ部分の特徴量範囲は走行路領域が含
まれる範囲であり、前述した「テンブレート画像を用い
た繰返しきい値処理による走行コースの抽出手法」にお
いて最も走行コースに相当する画素が含まれる範囲とさ
れる部分である。また、範囲Ａは特徴量がｔ１からｔ２
までの範囲であり、各特徴量ｔ１およびｔ２をしきい値
として領域分割される。また、特徴量ｔ１より左側にあ
るＢ部分は谷と谷とに挟まれた１つの山を形成し、Ａ部
分より明度の低い暗い範囲の特徴量分布である。このＢ
部分の特徴量範囲はｔ３からｔ１までであり、各特徴量
ｔ３およびｔ１は領域分割のためのしきい値になる。ま
た、特徴量ｔ２より右側にあるＣ部分は、Ａ部分より明
度の高い明るい範囲の特徴量分布であり、Ｂ部分と同様
に谷と谷とに挟まれた１つの山を形成している。このＣ
部分の特徴量範囲はｔ２からｔ４までであり、各特徴量
ｔ２およびｔ４は領域分割のためのしきい値になる。

【０１０４】なお、図に示されるＢ部分やＣ部分は１つ
の山を形成しているが、このように１つの山を形成しな
い特徴量分布は、画像上において領域分割のために有意
義な領域を形成する分布とは認められない。このため、
このような特徴量分布は優位な分布ではないものとして
領域抽出の対象として選定しない。図示の本例の場合に
はＢ部分およびＣ部分の双方ともに優位な分布になって
いるが、一方のみが優位な分布であっても本手法は適用
される。

【０１０５】Ａ部分の特徴量分布は第１４図に示された
ケース２の道路候補領域に相当する。また、Ｂ部分の特
徴量分布はこの道路候補領域より明度の低い影の領域に
相当し、Ｃ部分の特徴量分布は道路候補領域よりも明度
の高い高輝度部分に相当するものである。本手法は、Ａ
部分に隣接するＢ部分およびＣ部分の各特徴量分布に相
当する各領域を抽出するものである。

【０１０６】まず、ヒストグラムのＢ部分に相当する領
域を抽出するため、しきい値ｔ３およびｔ１によって明
度を特徴量とする入力画像を２値化する。また、前述し
た「テンプレート画像を用いた繰返しきい値処理による
走行コースの抽出手法」において、彩度を特徴量とする
入力画像に基づいて道路領域画像が求められていた。こ
の道路領域画像は、原画像が最初に領域分割されること
により得られたものであり、影などの暗い領域や高輝度
領域が道路領域に含まれた状態の画像である。この道路
領域に相当するメモリ素子には１が記憶されており、そ
の他の背景領域に相当するメモリ素子には０が記憶され
ている。また、上記の２値化画像において、明度がｔ３
からｔ１の画素領域に相当するメモリ素子には１が記憶
されており、その他の領域に相当するメモリ素子には０
が記憶されている。このため、道路領域画像と２値化画
像との論理積をとることにより、走行路領域上にある例
えば影の部分などの暗い領域のみが個別に抽出される。

【０１０７】また、Ｃ部分に相当する領域を抽出するた
め、上記の暗い領域を求めるのと同様に、しきい値ｔ２
およびｔ４によって明度画像を２値化する。そして、彩
度画像から抽出された道路領域画像とこの２値化画像と
の論理積を上記のＢ部分の抽出の場合と同様にとること
により、高輝度領域が個別に抽出される。

【０１０８】次に、Ｂ部分およびＣ部分を領域分割する
際に必要とされるしきい値ｔ３およびｔ４を求める方法
について説明する。前述した「繰返しきい値処理におけ
る特徴量ヒストグラムの形状に基づくしきい値設定手
段」により、第１０図（ｂ）に示されるピーク・谷テー
ブルを求めたが、第１５図に示されるヒストグラムにつ
いてもこれと同様にして図示しないピーク・谷テーブル
を求める。このピーク・谷テーブルにおける各テーブル
値は、第１０図（ｂ）と同様に、ｐｋｔi として表現す
る。添字のｉは、グラフの原点側から各テーブル値に対
応して順にｉ＝０，１，２,・・・Ｎ，Ｎ−１と変化するも
のとする。

【０１０９】第１５図のヒストグラムにおいて、しきい
値ｔ１に相当するテーブル値をｐｋｔj とする。そし
て、ピーク・谷テーブルにおいてこのテーブル値ｐｋｔ
i から左側へ各テーブル値を見て行き、ｐｋｔ0 のとこ
ろまでにテーブル値が負となるｐｋｔk （ｐｋｔk ＜
０）があるか否かを判断する。テーブル値が負になる特
徴点は谷の底に相当する点である。ｐｋｔ0 までに負と
なるｐｋｔk が有り、しかも、ｐｋｔj の特徴点からｐ
ｋｔj の特徴点までの距離がしきい値より小さい場合
（ｐｋｔj −ｐｋｔk ＜しきい値）、このテーブル値ｐ
ｋｔk に相当する特徴量をしきい値ｔ３とする。また、
ｐｋｔ0 までに負となるｐｋｔk が無い場合、または距
離がしきい値を越える場合には、道路領域より暗い優位
な領域は無いものとする。

【０１１０】ヒストグラム上のしきい値ｔ４に相当する
特徴量は、しきい値ｔ３に相当する特徴量を求める方法
と同様にして求めることができる。つまり、しきい値ｔ
２に相当するピーク・谷テーブル値をｐｋｔm とする
と、このｐｋｔm から右側へ各テーブル値を見て行き、
ｐｋｔN-1 までに負となるｐｋｔn （ｐｋｔn ＜０）が
有るか否かを判断する。ｐｋｔN-1 までに負となるｐｋ
ｔn が有り、しかも、ｐｋｔn の特徴点からｐｋｔm の
特徴点までの距離がしきい値より小さい場合（ｐｋｔn
−ｐｋｔm ＜しきい値）、このテーブル値ｐｋｔn に相
当する特徴量をしきい値ｔ４とする。また、ｐｋｔN-1
までに負となるｐｋｔn が無い場合、または、距離がし
きい位置を超える場合には、道路領域より明るい優位な
領域は無いものとする。

【０１１１】以上のように、本手法は、「繰返しきい値
処理における特徴量ヒストグラムの形状に基づくしきい
値設定手段」で求められたピーク・谷テーブルを利用す
ることにより、天候の変化や舗装路の工事等によって道
路の路面状況が変化しても、影や高輝度部分および変色
部分を個別に抽出することができる。

【０１１２】次に、「ラベリング装置」について以下に
詳述する。「テンプレート画像を用いた繰返しきい値処
理による走行コースの抽出方法」において抽出された画
像は、ノイズた細かく分断された領域を有する。このた
め、ラベリング装置により抽出画像の各領域にラベル付
けをし、ラベル付けされた各領域の有効性を判断する。
このラベリング処理の結果に基づき、地平線位置より重
心が上の領域や、ノイズ等によって発生した不要な小領
域を除去する。

【０１１３】第１６図はこのラベリング装置の概略構成
を示すブロック図であり、第１７図はこのラベリング処
理の概略を示すゼネラルフローチャートである。まず、
カラー処理装置において抽出された画像を画像バス（Ｎ
Ｅ ＢＵＳ）を介して入力メモリ１６０１に取り組む
（ステップ１７０１）。この画像情報は５１２×５１２
×８ビットの情報であり、これを多値の原画像入力とす
る。次に、後述するランを用いた仮ラベル付け方式を用
いて１次ラベリングを行う（ステップ１７０２）。この
１次ラベリングは、ラベリングプロセッサ（ＫＬＰ）１
６０２，ラインバッファメモリ（ＬＢＭ）１６０３およ
びラベルマッチングメモリ（ＬＭＭ）１６０４等におい
て主として実行される。

【０１１４】この１次ラベリングの後、ラベルマッチン
グメモリＬＭＭ１６０４のデータ配置を整理するために
前処理を行う（ステップ１７０３）。この前処理の後に
２次ラベリングを行うと同時に各領域の面積や重心など
の特徴量を抽出する（ステップ１７０４）。ステップ１
７０３およびステップ１７０４の処理は主として特徴抽
出プロセッサＫＬＣ１６０５において実行される。この
２次ラベリングにより、各アドレスに位置する画素に付
けられたラベルをラベルメモリ（ＬＡＢＥＬＭ）１６０
６に記憶する。また、同時に、抽出された各領域の面積
や重心を特徴メモリ１６０７に記憶する。この後、ＬＡ
ＢＥＬＭ１６０６に記憶されたラベル画像情報をＮＥ
ＢＵＳに出力する（ステップ１７０５）。

【０１１５】ラベル生成のためのＫＬＰ１６０２の使用
個数は１個であり、ラン処理用のラインレジスタである
ＬＢＭ１６０３は後述するラベルメモリＫＬＭを４個使
用して構成する。また、ＬＭＭ１６０４は仮ラベルの最
大数が１０２３の時にはＫＬＭを８個使用して構成す
る。仮ラベルの最大数が４０９５の時にはＫＬＭを３２
個使用してＬＭＭ１６０４を構成する。

【０１１６】従来のラベリングは入力画像が２値画像の
場合についてだけ行っていたが、本手法によるラベリン
グはＫＬＰ１６０２を使用することにより、多値画像に
ついてもラベリングを行うことが可能になっている。つ
まり、数種類の画像を一度にラベリングをすることが可
能である。例えば、第１８図に示されるように、３種類
の２値入力画像１８０１，１８０２，１８０３が入力さ
れた場合を想定する。これら２値画像は足し合わされて
５１２×５１２×８ビットの多値画像１８０４に変換さ
れる。この変換処理はラベリング処理の前処理として行
われる。ラインレジスタ１８０５（ＬＢＭ１６０３）と
ラベルマッチングメモリ１８０６（ＬＭＭ１６０４）と
を使用したラベリングプロセッサ１８０７（ＫＬＰ１６
０２）の制御により、多値入力画像１８０４はラベリン
グされる。このラベリングにおいて各領域のラベル付け
を整理し、最終的に５１２×５１２×１２ビットのラベ
ル画像１８０８として出力する。このラベリングプロセ
ッサ１８０７（ＫＬＰ１６０２）を使用することによ
り、多値画像に対してのラベリング処理、ランを用いた
仮ラベル数の削減および１スキャンラベリングが可能に
なる。

【０１１７】多値入力画像の各画素には、各画素値に応
じたラベル付けがＫＬＰ１６０２の制御によって行われ
る。そして、同一のラベル値を持つ各画素間の結合関係
に基づいて領域区分が行われ、また、この結合関係に基
づいて新しいラベルが生成される。例えば、従来、入力
画像に第１９図（ａ）に示される階段状画素からなる領
域が形成されている場合には、ラスタ走査の順番に沿っ
て各画素に仮ラベル付けを行い、再度各画素について走
査を行うことによりラベル生成が実行されていた。この
結果、仮ラベル付けの際には、図示のごとく１〜３の３
種類の仮ラベルを必要としていた。

【０１１８】しかし、本方式によるランを用いたラベリ
ング方式によれば、第１９図（ａ）と同様な階段状画素
からなる同図（ｂ）に示される入力画像が有っても、ラ
ンを用いることにより仮ラベル数を削減することが出来
る。つまり、同図（ｃ）に示されるように各画素をラス
タ走査に沿ったランという１つの行毎に区分けする。図
示の場合には、２つのラン１およびラン２に区分けされ
る。ラベリングプロセッサＫＬＰはランの走査が最後の
画素に至るまではラインバッファメモリＬＢＭにフライ
ングを書き込み、仮ラベルの判定を行い、その行の最後
の画素でそのランの全画素に各画素間の結合関係を考慮
した仮ラベルを書き込む。

【０１１９】同図（ｃ）に示されるラン１について走査
して上記の処理を施した結果、ラン１に対応する画素に
は同図（ｄ）に示される仮ラベル付けが行われる。この
仮ラベル「１」のラベル付けは、各画素の同時に行われ
る。これは、メモリには後に詳述するラベリングメモリ
ＫＬＭが使用されているためである。引き続いてラン２
について走査することにより、同図（ｅ）に示される仮
ラベル付けが行われる。ラン２はラン１の仮ラベル
「１」に接続されているので、ラン２の最後の画素を走
査する時点でラン２の各画素には仮ラベル「１」が同時
に書き込まれる。このようにランを用いたラベリングに
より、同図（ｂ）に示される階段状画素へのラベル付け
は、１種類のラベル「１」によって行うことが出来、仮
ラベル数は削減される。つまり、画素をランという１つ
のまとまりにまとめ、ラン単位で処理を行うことによ
り、ラベリング回路の規模を削減することが出来る。

【０１２０】次に、ラベリングプロセッサＫＬＰによる
ラベリング処理の詳細について説明する。ラベリングは
第２０図に示されるウインドが各ランに沿って各画素を
走査することにより行われる。このウインドを各ランに
沿って走査することにより、Ｔ（ターゲット）部には注
目する画素が現れ、ａ部にはＴ部の上に位置する画素が
現れ、ｂ部にはＴ部の右側の隣に位置する画素が現れ
る。以下、Ｔ，ａ，ｂは各部に現れる入力画像のラベル
値を示すことにする。なお、ランの途中をウインドが走
査している時には、出力ラベルとしてフラグの値がライ
ンバッファメモリＬＢＭに出力され、ウインドがランの
最後の画素に達した時に、フラグの立っている全ての画
素にラベルが書き込まれる。

【０１２１】ＫＬＰの内部構成は第２１図のブロック構
成図に示される。ＫＬＰは、セレクタ２１０１，仮ラベ
ルレジスタＴｍｌ２１０２，カウンタＣｎｔ２１０３，
第１の比較回路２１０４および第２の比較回路２１０５
により構成されている。第１の比較回路２１０４にはラ
ベル値Ｔ，ａ，ｂが与えられ、入力画像の多値比較が行
われる。この比較結果はセレクタ２１０１のセレクト端
子ｓｅｌ１に与えられる。第２の比較回路２１０５に
は、ラベル値ａのラベルマッチングメモリＬＭＭの値Ｍ
ａｔ（ａ），仮ラベルレジスタＴｍｌ２１０２の値およ
びカウンタＣｎｔ２１０３の値が与えられ、同時に各値
はセレクタ２１０１の端子Ａ，Ｂ，Ｃに与えられる。こ
のＴｍｌ２１０２の値は、セレクタ２１０１からの出力
信号によって決定される。また、セレクタ２１０１の端
子ＤにはラインバッファメモリＬＢＭに記憶されるフラ
グＦＬＡＧの値が与えられる。

【０１２２】第２の比較回路２１０５は与えられたこれ
らの各値を比較する。この比較結果により各ラベル間の
連結関係が判断され、比較結果はセレクタ２１０１のセ
レクト端子ｓｅｌ０に出力される。セレクタ２１０１は
与えられた各値に基づき、マッチングアドレスＭＡＴ
ＡＤＤＲおよびマッチングデータＭＡＴ ＤＡＴＡを出
力し、ラベルマッチングメモリＬＭＭの記憶内容の変更
を行う。また、これと共に、セレクタ２１０１は仮ラベ
ルの値および出力ラベルの値（ＬＡＢＥＬ）を出力す
る。

【０１２３】第２２図〜第２７図はウインド処理のフロ
ーチャートを示す。第２２図は、第１の比較回路２１０
４における各値Ｔ，ａ，ｂの比較判断処理をする際のフ
ローチャートを示す。まず、着目画素のラベル値Ｔが０
に等しいか否かを判断する（ステップ２２０１）。Ｔが
０の場合には後述する処理１を実行する（ステップ２２
０２）。Ｔが０でない場合には、ラベル値Ｔとラベル値
ｂとを比較する（ステップ２２０３）。ラベル値Ｔとラ
ベル値ｂとが等しい場合には、ラベル値Ｔとラベル値ａ
とを比較する（ステップ２２０４）。ラベル値Ｔとラベ
ル値ａとが等しい場合には処理２を実行する（ステップ
２２０５）。つまり、処理２は各値Ｔ，ａ，ｂが等しい
場合に実行される処理である。この場合、各ラベル値を
○と表現すると、ウインドウ状態はステップ２２０５の
図示の処理ボックスに隣接して描かれた状態になる。

【０１２４】ラベル値Ｔとラベル値ａとが等しくない場
合には処理３を実行する（ステップ２２０６）。つま
り、処理３はラベル値Ｔとラベル値ｂとが等しく、ラベ
ル値Ｔとラベル値ａとが異なる場合に実行される処理で
ある。この場合、ラベル値Ｔとラベル値ｂを○と表現
し、ラベル値ａを×と表現すると、ウインドウ状態はス
テップ２２０６の図示の処理ボックスに隣接して描かれ
た状態になる。そして、ステップ２２０５またはステッ
プ２２０６の処理後に、ラインバッファメモリＬＢＭ１
６０３のウインドＴの位置にフラグを立てる（ステップ
２２０７）。

【０１２５】また、ステップ２２０３において、ラベル
値Ｔとラベル値ｂとが等しくない場合にも、ラベル値Ｔ
とラベル値ａとを比較する（ステップ２２０８）。ラベ
ル値Ｔとラベル値ａとが等しい場合には処理４を実行す
る（ステップ２２０９）。つまり、処理４はラベル値Ｔ
とラベル値ａとが等しく、ラベル値Ｔとラベル値ｂとが
異なる場合に実行される処理である。この場合、ラベル
値Ｔとラベル値ａを○と表現し、ラベル値ｂを×と表現
すると、ウインドウ状態はステップ２２０９の図示の処
理ボックスに隣接して描かれた状態になる。

【０１２６】ラベル値Ｔとラベル値ａとが等しくない場
合には処理５を実行する（ステップ２２１０）。つま
り、処理５はラベル値Ｔとラベル値ａとが異なり、しか
も、ラベル値Ｔとラベル値ｂとが異なる場合に実行され
る処理である。この場合、ラベル値Ｔを○と表現し、ラ
ベル値ａとラベル値ｂを×と表現すると、ウインドウ状
態はステップ２２１０の図示の処理ボックスに隣接して
描かれた状態になる。そして、ステップ２２０９または
ステップ２２１０の処理後にＫＬＰ内の仮ラベルレジス
タＴｍｌをクリアする（ステップ２２１１）。このＴｍ
ｌは、現在のウインド位置に達する直前のＴ部に有った
画素に対するラベルが記憶されているものである。

【０１２７】以下に説明する第２３図から第２７図のフ
ローチャートは、処理１から処理５までの比較判断処理
のフローチャートを示す。第２３図は上述の処理１のフ
ローチャートを示す。処理１は何も実行せずに終了す
る。第２４図は上述の処理２のフローチャートを示す。
まず、仮ラベルレジスタＴｍｌに記憶された前回の画素
のラベル値と０とを比較する（ステップ２４０１）。Ｔ
ｍｌのラベル値が０に等しい場合には、ラベル値ａのラ
ベルマッチングメモリ（ＬＭＭ）１６０４の値Ｍａｔ
（ａ）を仮ラベルレジスタＴｍｌ２１０２に書き込む
（ステップ２４０２）。Ｔｍｌのラベル値が０と等しく
ない場合には、Ｔｍｌのラベル値とカウンタＣｎｔ２１
０３のカウンタ値とを比較する（ステップ２４０３）。
カウンタ２１０３には最も新しいラベルの値が記憶され
ている。

【０１２８】仮ラベルレジスタＴｍｌのラベル値とカウ
ンタＣｎｔのカウンタ値とが等しい場合には、ラベル値
ａのラベルマッチングメモリ（ＬＭＭ）の値Ｍａｔ
（ａ）をＴｍｌに書き込む（ステップ２４０４）。ま
た、Ｔｍｌの値とカウンタＣｎｔの値とが等しくない場
合には、ＬＭＭの値Ｍａｔ（ａ）とＴｍｌの値とを比較
する（ステップ２４０５）。ＬＭＭの値Ｍａｔ（ａ）と
Ｔｍｌの値とが等しい場合には何も実行されない（ステ
ップ２４０６）。ＬＭＭの値Ｍａｔ（ａ）とＴｍｌの値
とが等しくない場合には、Ｔｍｌの値とＬＭＭの値Ｍａ
ｔ（ａ）とのうちの小さい方の値｛Ｍｉｎ（Ｔｍｌ，Ｍ
ａｔ（ａ））｝をＴｍｌに書き込む。さらに、両者のう
ちの小さい方の値｛Ｍｉｎ（Ｔｍｌ，Ｍａｔ（ａ））｝
を、両者のうちの大きい方の値に等しいラベル値のラベ
ルマッチングメモリ［Ｍａｔ｛Ｍｉｎ（Ｔｍｌ，Ｍａｔ
（ａ））｝］に書き込む（ステップ２４０７）。仮ラベ
ルレジスタＴｍｌの値と０とを比較する（ステップ２５
０１）。Ｔｍｌの値が０に等しい場合には、カウンタ２
１０３のカウンタ値をＴｍｌに書き込む（ステップ２５
０２）。また、Ｔｍｌの値が０に等しくない場合には、
何も実行されない（ステップ２５０３）。

【０１２９】第２６図は前述の処理４のフローチャート
を示す図である。まず、Ｔｍｌの値と０とを比較する
（ステップ２６０１）。Ｔｍｌの値が０に等しい場合に
は、ラベル値ａのＬＭＭの値Ｍａｔ（ａ）をターゲット
エリアのラベル値として、Ｔ部とフラグが立っている全
てのレジスタにこのＭａｔ（ａ）を書き込む（ステップ
２６０２）。この時、ＬＢＭのフラグは全てクリアされ
る。また、ステップ２６０１でＴｍｌの値が０に等しく
ない場合には、Ｔｍｌの値とＣｎｔの値とを比較する
（ステップ２６０３）。Ｔｍｌの値とＣｎｔの値とが等
しい場合には、ラベル値ａのＬＭＭの値Ｍａｔ（ａ）を
ターゲットエリアのラベル値として、Ｔ部とフラグが立
っている全てのレジスタにこのＭａｔ（ａ）を書き込む
（ステップ２６０４）。この時、ＬＢＭのフラグは全て
クリアされる。

【０１３０】また、Ｔｍｌの値とＣｎｔの値とが等しく
ない場合には、Ｔｍｌの値とＭａｔ（ａ）の値とを比較
する（ステップ２６０５）。そして、Ｔｍｌの値とＭａ
ｔ（ａ）の値とが等しい場合には、ラベル値ａのＬＭＭ
の値Ｍａｔ（ａ）をターゲットエリアのラベル値とし
て、Ｔ部とフラグが立っている全てのレジスタにこのＭ
ａｔ（ａ）を書き込む（ステップ２６０６）。この時、
ＬＢＭのフラグは全てクリアされる。また、Ｔｍｌの値
とＭａｔ（ａ）の値とが等しくない場合には、Ｔｍｌの
値とラベル値ａのＬＭＭの値Ｍａｔ（ａ）との小さい方
の値｛Ｍｉｎ（Ｔｍｌ，Ｍａｔ（ａ））} をターゲット
エリアのラベル値として、Ｔ部とフラグが立っている全
てのレジスタに書き込む。この時、ＬＢＭのフラグは全
てクリアされる。さらに、Ｔｍｌの値とＬＭＭの値Ｍａ
ｔ（ａ）とのうちの小さい方の値｛Ｍｉｎ（Ｔｍｌ，Ｍ
ａｔ（ａ））｝を、これら両者のうちの大きい方の値に
等しいラベル値のラベルマッチングメモリ［Ｍａｔ｛Ｍ
ｉｎ（Ｔｍｌ，Ｍａｔ（ａ））｝］に書き込む（ステッ
プ２６０７）。

【０１３１】第２７図は前述の処理５のフローチャート
を示す図である。まず、仮ラベルレジスタＴｍｌの値と
０とを比較する（ステップ２７０１）。Ｔｍｌの値が０
に等しい場合には、Ｃｎｔの値をターゲットエリアのラ
ベル値として、Ｔ部とフラグが立っている全てのレジス
タにこのＣｎｔの値を書き込む。この時、ＬＢＭのフラ
グは全てクリアされる。さらに、Ｃｎｔの値を、Ｃｎｔ
の値に等しいラベル値のＭａｔ（Ｃｎｔ）に書き込み、
Ｃｎｔの値を１つカウントアップする（ステップ２７０
２）。

【０１３２】また、Ｔｍｌの値が０に等しくない場合に
は、Ｔｍｌの値をターゲットエリアのラベル値として、
Ｔ部とフラグが立っている全てのレジスタにＴｍｌの値
を書き込む（ステップ２７０３）。この時、ＬＢＭの全
てのフラグはクリアされる。次に、Ｔｍｌの値とＣｎｔ
の値とを比較する（ステップ２７０４）。Ｔｍｌの値と
Ｃｎｔの値とが等しい場合には、Ｃｎｔの値を、Ｃｎｔ
の値に等しいラベル値のＭａｔ（Ｃｎｔ）に書き込む。
さらに、Ｃｎｔの値を１つカウントアップする（ステッ
プ２７０５）。また、Ｔｍｌの値とＣｎｔの値とが等し
くない場合には、何も実行しない（ステップ２７０
６）。

【０１３３】次に、ラインバッファメモリＬＢＭやラベ
ルマッチングメモリＬＭＭに使用されるラベリングメモ
リＫＬＭについて説明する。今までのメモリは、１回の
アドレス指定により１個の内部レジスタにしかデータが
書き込めなかった。しかし、以下に説明するＫＬＭを使
用することにより、複数個の内部レジスタに１度にデー
タを書き込むことが出来る。このため、本ラベリングメ
モリＫＬＭは、ラン処理用のラインレジスタ（ＬＢ
Ｍ），ラベル統合不要のラベルマッチングメモリ（ＬＭ
Ｍ），１スキャン用のラベル画像メモリ（ＬＡＢＥＬ
Ｍ）およびラベル整合を行えるラベルマッチングメモリ
に使用することが出来る。

【０１３４】ＫＬＭは複数のレジスタにより構成されて
いるが、第２８図はこれらレジスタの中の１個のレジス
タのブロック構成を示している。このブロックはＫＬＭ
の構成の１単位になっている。各レジスタ２８０１には
コンパレータ２８０２が対になって接続されている。こ
のコンパレータ２８０２には、レジスタ２８０１からの
出力データＤＡＴＡおよびこの出力データに比較される
べき情報ＣＯＭが与えられる。コンパレータ２８０２は
与えられたデータを比較し、その比較結果をアンド回路
２８０３に出力する。アンド回路２８０３にはこの他に
アドレスデコーダ回路２８０４の出力が与えられてい
る。アンド回路２８０３は、コンパレータ２８０２また
はデコーダ回路２８０４のいずれか一方が信号を出力し
ていれば、オア回路２８０５に信号を出力する。

【０１３５】オア回路２８０５にはＣＰＵからのライト
信号ＷＲが与えられており、このライト信号ＷＲに同期
してレジスタ２８０１にイネーブル信号が与えられる。
つまり、アドレスデコーダ回路２８０４によってセレク
トされるか、コンパレータ回路２８０２での比較結果が
一致した場合に、ライト信号ＷＲに同期してレジスタ２
８０１にデータが書き込まれる。各デコーダ回路２８０
４へのアドレシングおよび各コンパレータ回路２８０２
での比較判断は全て同時に実行される。このため、１回
のアドレシングまたは１回のデータの比較判断により、
ＫＬＭを構成する複数個のレジスタの内容を同時に書き
替えることが可能である。

【０１３６】前述したランを用いたラベリング処理によ
って得られた仮ラベルは、ラベル統合を行うと不連続な
値になる。この時のラベルマッチングメモリＬＭＭの内
容は第２９図（ａ）に示される。各アドレス１〜１０の
画素に対応してラベル１，３，６がデータとして記憶さ
れている。このラベル値は不連続な値になっているた
め、同図（ｂ）に示され後に詳述する特徴抽出プロセッ
サＫＬＣにより、同図（ｃ）に示される連続な値を持つ
ラベルに変換する。すなわち、ＫＬＭによって構成され
たラベルマッチングメモリＬＭＭに記憶されるラベル値
は、１，２，３と連続した値になる。

【０１３７】より詳細には、ラベリングプロセッサＫＬ
ＣはＬＭＭのアドレスを発生し、該当アドレスの示すデ
ータを取り込む。引き続いて取り込んだデータとアドレ
スとを比較し、各値が同じならば新しいデータをＬＭＭ
に出力してラベル値を書き替える。また、各値が異なる
場合には、ＬＭＭへ次のアドレスを出力して次のアドレ
スとデータとを比較する。以後、この処理を繰り返して
実行することにより、第２９図（ａ）に示される不連続
なラベル値は同図（ｃ）に示される連続なラベル値に変
換される。

【０１３８】具体的には、同図（ａ）のアドレス１のデ
ータ（１）はアドレスと同じであるため、ＫＬＣは新し
いデータとして１を出力し、アドレス１のデータと同じ
データ（１）を持つアドレス２，４，５，７のデータを
新しいデータ１に書き替える。図示の場合には、古いデ
ータと新しいデータとがたまたま同じ１になっているた
め、同図（ａ）と同図（ｃ）との該当アドレスのデータ
に変化は無い。次に、アドレス２のデータ（１）とアド
レスとを比較する。アドレスとデータとは異なるため、
次のアドレス３を発生する。そして、アドレス３のデー
タ（３）とアドレスとを比較する。アドレスとデータと
は同じであるため、新しいデータとして２を出力する。
ＬＭＭはＫＬＭによって構成されていたため、アドレス
３のデータと同じデータ（３）を持つアドレス９，１０
のデータは同図（ｃ）に示されるように全て同時に２に
書き替えられる。次に、ＫＬＣは新たなアドレス４を発
生する。アドレスとデータとは異なるためにさらに次に
アドレス５を発生し、以後、上記と同様な処理を繰り返
す。この結果、不連続値は連続値に変換される。

【０１３９】第３０図はこの特徴抽出ブロセッサＫＬＣ
の内部構成を示すブロック図である。このＫＬＣを使用
することにより、１次ラベリングによって発生する仮ラ
ベルの前処理が行われる。また、２次ラベリングの時、
ラベリングと同時に、同一ラベル領域の面積の演算，同
一ラベル領域のＸ方向アドレスの合計の演算および同一
ラベル領域のＹ方向アドレスの合計の演算がこのＫＬＣ
によって実行される。

【０１４０】ＫＬＣは、＋１加算器３００１と、２つの
加算器３００２，３００３と、比較器３００４および２
つのカウンタ３００５，３００６とから構成されてい
る。＋１加算器３００１は、同一ラベル値を持つ画素入
力が有った場合にそのカウント数を１つづつカウントア
ップし、同一ラベル領域の面積を演算してこれをＳｉｚ
ｅとして出力する。加算器３００２，３００３にはＸ方
向アドレス値，Ｙ方向アドレス値が入力されている。そ
して、同一ラベル値の画素入力が有った場合に、各方向
ごとにアドレス値を加算していき、各アドレス方向ごと
に同一ラベル領域のアドレス値の合計を演算する。各合
計値はＸ ＡＤＤＲおよびＹ ＡＤＤＲとして出力され
る。各方向のアドレスの合計値を同一ラベル領域の面積
で割ることにより、各方向の重心を求めることが出来
る。そして、各同一ラベル領域の重心を求め、地平線よ
りも上に重心がある領域は、道路候補領域の抽出に有効
な領域ではないものとして除去する。

【０１４１】比較器３００４およびカウンタ３００５，
３００６は、１次ラベリングの時に発生する仮ラベルの
前処理、つまり、不連続なラベル値を連続なラベル値に
変換する処理に使用される。カウンタ３００５，３００
６にはクロック信号ＣＬＫが入力され、カウンタ３００
５の出力はラベルマッチングメモリＬＭＭへ出力される
マッチングアドレスＭＡＴ ＡＤＤＲになる。このアド
レスは比較器３００４にも同時に与えられる。また、カ
ウンタ３００６の出力はラベルマッチングメモリＬＭＭ
へ出力されるデータＭＡＴ ＤＡＴＡになる。比較器３
００４は与えられたアドレスおよびデータを前述のよう
にして比較し、アドレスとデータの各値が一致する場合
にはカウンタ３００６に信号を出力する。カウンタ３０
０６はこの信号を入力した場合にはＭａｔ ＤＡＴＡに
現在のカウンタの値を出力し、値を１つカウントアップ
する。

【０１４２】以上説明してきたラベリング処理の処理時
間は、各ランに沿って行われる２スキャンのラスタ走査
時間と、ラベル統合時間との和の時間を必要とした。し
かし、第１６図に示されるラベルメモリＬＡＢＥＬＭ１
６０６に前述したラベリングメモリＫＬＭを使用して構
成することにより、１スキャンでラベリング処理を実行
することが出来る。すなわち、第３１図に示されるよう
に、多値の入力画像３１０１が取り込まれた場合に、ラ
ベリングプロセッサＫＬＰ３１０２はラインレジスタ３
１０３およびラベルマッチングメモリ３１０４を使用し
て前述と同様にラベリング処理を実行する。そして、こ
のラベリングによって得られた各画素のラベル値は、各
ランの最終の画素の走査時点でラベル画像メモリ３１０
５にそのまま書き込まれる。なお、ラベル統合は行われ
ないため、各ラベルの値は不連続な値のままに記憶され
る。

【０１４３】ラベリングメモリＫＬＭは、前述したよう
に、各内部レジスタにコンパレータが対になって接続さ
れており、コンパレータでの比較結果が一致したレジス
タおよびアドレスセレクトされたレジスタに、一度に新
しいデータが書き込まれるものである。このＫＬＭの特
徴によって１スキャンラベリングが可能になっている。
また、ラベリングプロセッサＫＬＰは、本方式のアルゴ
リズムがハードウエア化されたものであり、高速ラベリ
ングを可能にするものである。

【０１４４】この１スキャンラベリング方式により、ラ
ベリング処理時間を今までの１／２以下に短縮すること
が可能になる。例えば、装置が８ＭＨｚのクロック信号
で動作している場合には、今までのラベリング処理時間
には、ウインドウを２スキャンするための６６ｍｓｅｃ
と、ラベル統合に必要とされる時間とを必要とした。し
かし、この１スキャン方式によれば、１／２以下の３３
ｍｓｅｃでラベリング処理を行うことが出来る。

【０１４５】また、通常の画素の走査は入力画像の画面
左上から右下に行うが、道路領域を抽出する画像処理に
おいては、目的とする画像は画像の下方に位置する。従
って、目的とする画像を走査する際に仮ラベルを記憶す
るメモリがオーバーフローする事態が発生する可能性が
ある。このため、走査を画面の右下から左上に行い、目
的とする画像を初めに走査することにより、目的とする
画像を常に取得できるようにする。つまり、目的とする
画像を最初に取得すれば、メモリのオーバーフローが発
生してもそのオーバーフローの時の画像走査は不要な画
像部分についての走査になり、目的とする画像を常に取
得することができる。

【０１４６】次に、画像分割されて得られた「複数の領
域の併合手法」について説明する。「テンプレート画像
を用いた繰返しきい値処理による走行コースの抽出手
法」により道路候補領域が求められ、「明るさの違いに
注目した走行コース上の影や高輝度部分の抽出手段」に
より低輝度領域である影や高輝度領域が求められた。こ
の道路候補領域を基準にし、道路候補領域と強く繋がっ
ている低輝度領域や高輝度領域を道路候補領域に併合
し、一つの領域として扱い、これを走行コースとみな
す。このためには、各領域に隣接している共通境界長と
各領域の周囲長とを求め、繋がっている各領域どうしの
関係を記述する。この各領域どうしの関係の記述により
併合関係が表され、従来のようにラベルの付け替え操作
を行わなくても、領域と領域の併合処理をしたのと同じ
結果が得られる。なお、共通境界長は各領域に隣接して
いる画素の辺の長さに基づいて求まり、周囲長は各領域
の最外部の画素の辺の長さに基づいて求まる。

【０１４７】以下に本手法のアルゴリズムを示す。本手
法は二通りあり、第１に、逆Ｌ字のマスクを走査させる
逆Ｌ字マスク走査式手法があり、この手法は簡単なアル
ゴリズムでハードウエア化に適している。第２に、領域
の境界を局所的に探査する領域境界探査式手法があり、
この手法は必要な領域の境界のみを探査するため、少な
いメモリで処理できて有効である。

【０１４８】第１の手法である逆Ｌ字マスク走査式手法
は、第３２図に示される逆Ｌ字マスクをラベル画像の左
から右へ、上から下へ走査することにより実行される。
図示のマスクに現れるｘ画素は着目する画素であり、ａ
画素は着目画素ｘの上に位置する画素、ｂ画素は着目画
素ｘの左隣に位置する画素である。例えば、第３３図に
示される画素領域を想定する。同図に示される口は１つ
の画素を表しており、この口の中の数値はその画素のラ
ベル値を表している。本例の場合には、ラベル値１の領
域とラベル値４の領域とが隣接している。なお、図には
示されていないが、背景領域はラベル値が０になってい
る。

【０１４９】各領域の周囲長ｏｂは、逆Ｌ字マスクを各
領域の行に沿って、つまり、ランに沿って走査すること
により求まる。具体的には、ラベル値１の領域の周囲長
ｏｂ１は次のように求まる。まず、逆Ｌ字マスクのｘ画
素を最上段のランの左端に位置する画素に合わせる。こ
の場合、ａ画素およびｂ画素は背景領域にあり、ラベル
値は０になっているため、この画素の２辺はラベル値１
の領域の周囲に位置していることが分かる。従って、周
囲長ｏｂ１をカウントするカウンタに２を加える。次
に、逆Ｌ字マスクを右に走査し、ｘ画素を右隣の画素に
合わせる。この場合、ａ画素は背景領域にあり、ｂ画素
は前回マスクを合わせたラベル値１の本領域内の画素に
ある。従って、この画素の１辺がラベル値１の本領域の
周囲に位置していることが分かり、カウンタにさらに１
を加える。このように逆Ｌ字マスクをランに沿ってラベ
ル値１の領域について走査することにより、周囲長ｏｂ
１は１８になる。なお、周囲長ｏｂの単位は画素の辺の
数である。

【０１５０】ラベル値４の領域の周囲長ｏｂ４も上記の
周囲長ｏｂ１と同様にして求められ、その値は２０にな
る。また、ラベル値１の領域とラベル値４の領域との共
通境界長ｃｂは次のようにして求めることが出来る。こ
の共通境界長ｃｂは、ラベル値１の領域から見たラベル
値４の領域との共通境界長ｃｂ１４と、ラベル値４の領
域から見たラベル値１の領域との共通境界長ｃｂ４１と
で異なる場合がある。つまり、マスクが逆Ｌ字の形状を
しており、各画素の２近傍の画素しか考慮しないために
共通境界長に差が生じるのであるが、複数の領域の併合
処理に際しては何等問題とならない。なお、走査するマ
スクを着目画素の４近傍を見る十字形状にすれば、共通
境界長に差がでることはない。

【０１５１】ラベル値１の領域から見たラベル値４との
共通境界長ｃｂ１４は、周囲長ｏｂｌを求める際のマス
ク走査によって求められる。この共通境界長ｃｂ１４は
０になる。すなわち、ラベル値１の領域の各ランについ
て逆Ｌ字マスクを走査しても、ａ画素およびｂ画素には
ラベル値４の画素が現れないからである。

【０１５２】ラベル値４の領域から見たラベル値１の領
域との共通境界長ｃｂ４１は、周囲長ｏｂ４を求める際
のマスク走査によって求めることが出来る。この共通境
界長ｃｂ４１は３になる。すなわち、ラベル値４の領域
の２段目および３段目のランの先頭画素にマスクが位置
する場合、ｂ画素にはラベル値１の画素が現れる。この
ため、３段目までのランについてのマスク走査により、
共通境界長ｃｂ４１をカウントするカウンタの値は２に
なる。さらに、４段目のランの先頭位置にマスクが位置
する際には、マスクのａ画素にはラベル値１の画素が現
れる。このため、カウンタに１が加えられてカウンタの
積算値は３になり、共通境界長ｃｂ４１は３になる。な
お、共通境界長ｃｂの単位は画素の辺の数である。

【０１５３】次に、このように求めた各領域間の共通境
界長および各領域の周囲長は、第３４図に示されるラベ
ル間境界長マトリクスにその値が記憶される。同マトリ
クスの各列に付された数字０，１，２，…，ｊ，…，
ｋ、および各行に付された数字０，１，２，…，ｉ，…
ｌはラベル値を示す。各列および各行の数値によって指
定される場所に記憶される数値ｍijは、ラベル値ｉの領
域から見たラベル値ｊの領域との共通境界長である。ま
た、ｋ＋１番目の列に記憶される数値ｔi は、ラベル値
ｉの領域の周囲長である。

【０１５４】第３３図に示された画素領域を例とする
と、ラベル値１の領域から見たラベル値４の領域との共
通境界長ｃｂ１４の値は０であるため、同マトリクスの
１行４列に位置するメモリには０が記憶される。また、
ラベル値４の領域から見たラベル値１の領域との共通境
界長ｃｂ４１の値は３であるため、同マトリクスの４行
１列に位置するメモリには３が記憶される。

【０１５５】各領域の周囲長および各領域間の共通境界
長を求めてマトリクスを作成した後、各領域間の接続度
を計算する。この接続度は共通境界長と周囲長とに基づ
く次式により求まる。 接続度＝Ｘ／ｍｉｎ（Ａ，Ｂ） ここで、Ａはラベル値ｉの領域の周囲長、Ｂはラベル値
ｊの領域の周囲長であり、ｍｉｎ（Ａ，Ｂ）はＡ，Ｂの
各数値の内の小さい方の数値を表す。また、Ｘは次式で
表される各領域間の共通境界長の平均値である。 Ｘ＝（Ｘ１＋Ｘ２）／２ Ｘ１はラベル値ｉの領域から見たラベル値ｊの領域との
共通境界長、Ｘ２はラベル値ｊの領域から見たラベル値
ｉの領域との共通境界長である。上記のＸを示す式は、
Ｘ１およびＸ２共に０でない（Ｘ１≠０，Ｘ２≠０）場
合に有効である。Ｘ２が０（Ｘ２＝０）の場合にはＸは
次式に示される。 Ｘ＝Ｘ１ Ｘ１が０（Ｘ１＝０）の場合にはＸは次式に示される。 Ｘ＝Ｘ２ 計算した接続度が所定のしきい値以上であれば、ラベル
値ｉの領域とラベル値ｊの領域との繋がりは強く、各領
域は併合すべき関係にある。また、接続度が所定のしき
い値以下であれば、ラベル値ｉの領域とラベル値ｊの領
域との繋がりは薄く、各領域は併合すべき関係にはな
い。この併合関係は、第３５図に示される特徴量リスト
の接続ラベル欄に記述される。

【０１５６】同リストのラベルＮｏ．はラベル値であ
り、面積，重心はそのラベル値の領域の面積および重心
である。この面積および重心は前述のラベリング処理の
時に得られる。外接長方形とは、そのラベル値の領域内
の全ての画素を囲む長方形である。外接長方形は、辺と
辺との交点である４つの頂点の内、左上の頂点の座標ｔ
Ｌ（ｘ，ｙ）と、右下の頂点の座標ｂＲ（ｘ，ｙ）とに
よって特定される。各座標は上述の境界の探査過程処理
の時に求められる。また、接続ラベル欄に記載されたラ
ベルＮｏ．は、そのラベル値の領域と併合すべき関係に
ある領域のラベル値を示している。この欄に記載された
領域とさらに併合すべき領域がある場合には、図示のよ
うに、接続ラベルがさらにポインタにより繋げられる。

【０１５７】また、同リストに記述された各特徴量は第
３６図に示される各領域のものである。各領域にはラベ
ル値ｌ１〜ｌ４が付され、また、Ｇ１〜Ｇ４は各領域の
重心位置を示している。また、各領域には外接長方形が
描かれている。この長方形の上の１辺と領域との接点は
座標ｓｔ（ｘ，ｙ）として表され、領域開始点ｔＬ
（ｘ，ｙ）から水平操作することにより求まる。座標ｓ
ｔは後述する手法において利用される。

【０１５８】ラベル値ｌ１の領域とラベル値ｌ２の領域
とは併合すべき関係にあるため、特徴量リストのラベル
ＮＯ．ｌ１の行の接続ラベル欄にはラベル値ｌ２が記述
される。さらに、ラベル値ｌ１の領域は、ラベル値ｌ３
の領域およびラベル値ｌ４の領域とも併合すべき関係に
あるため、ラベル値ｌ３およびｌ４の接続ラベルがポイ
ンタにより繋げられる。また、ラベルＮｏ．ｌ２〜ｌ４
の各行の接続ラベル欄にも同様な考え方で各領域間の接
続関係が記述される。

【０１５９】次に、領域境界探査式手法について説明す
る。まず、対象とする領域に外接する長方形を描き、こ
の外接長方形と領域とが接する座標ｓｔ（ｘ，ｙ）に位
置する探索開始画素を求める。そして、この探索開始画
素の８近傍に位置する画素について調査する。８近傍に
位置する各参照画素には、第３７図に示されるように位
置Ｎｏ．を付す。つまり、着目画素の上に位置するＮ
ｏ．を０とし、時計回りに順に番号を付す。探索開始画
素の次に探索すべき画素の座標は、第３８図（ａ），
（ｂ）に表された画素参照テーブルを用いて決定する。
同図（ａ）に示されるテーブルは画素の探索を時計回り
（右回り）に実行する際に参照されるテーブルであり、
同図（ｂ）に示されるテーブルは画素の探索を反時計回
り（左回り）に実行する際に参照されるテーブルであ
る。テーブルの括弧｛｝に挾まれた０〜７の数値は、第
３７図の参照画素の位置Ｎｏ．に対応するものである。

【０１６０】次に探査すべき画素は、前回の画素位置に
対する今回の画素位置に対応する参照画素位置Ｎｏ．を
求め、この位置Ｎｏ．に一致するテーブルの行Ｎｏ．の
列Ｎｏ．を参照することにより決定される。画素参照テ
ーブルを用いた探索画素の決定方式について以下に具体
的に説明する。画素領域の境界部が第３９図のように形
成されている場合を想定する。同図の斜線が付された口
はラベル値が０ではない画素を示している。前回探索し
た画素を記号△で示し、現在探索する画素を記号○で示
し、次に探索すべき画素を記号◎で示す。

【０１６１】前回の画素位置△に対する今回の画素位置
○は、第３７図の参照画素位置Ｎｏ．では１に対応す
る。領域の境界付近の画素を右回りに探索することにす
ると、画素参照テーブルは第３８図（ａ）のテーブルを
参照することになる。参照画素位置Ｎｏ．は１であるた
め、行Ｎｏ．が１の列Ｎｏ．｛７，０，１，２，３，
４，５，６｝を参照する。なお、行Ｎｏ．は最上段の行
が０であり、順に１〜７となっている。また、列Ｎｏ．
には参照すべき画素のＮｏ．が全て記されており、画素
の８近傍の参照をこの順番に従って行うことにより、通
常のアドレス計算におけるモジュロ計算を避けることが
出来る。

【０１６２】すなわち、列Ｎｏ．は７から始まっている
ため、次に探査すべき画素は現在位置○の斜め左上に位
置する画素◎になる。画素◎は背景領域であり、ラベル
値は０であるため、列Ｎｏ．に従って次の画素を探索す
る。つまり、次の参照画素位置Ｎｏ．は０であるため、
現在位置○の上に位置する画素を探索する。この画素も
背景領域にあるため、さらに、列Ｎｏ．に従って参照画
素位置Ｎｏ．が１の画素を探索する。この画素はラベル
値を持っており、０ではないため、次に探索する画素の
基準をこの位置Ｎｏ．１の画素におき、この８近傍につ
いて上記と同様に探索する。そして、領域の境界に沿っ
た各画素について上記の処理を行い、探索開始画素に戻
るまで同様の処理を各画素について繰り返す。

【０１６３】また、この探索の処理において、次の規則
に従った処理を行うことにより、ラベル値ｉの自身の領
域の周囲長ｏｂi およびラベル値ｊの隣接する領域との
共通境界長ｃｂijを求めることが出来る。つまり、現在
位置の上下左右の４近傍に隣接する領域にラベル値ｊが
存在すれば、共通境界長ｃｂijをカウントするカウンタ
に１を加算する。同時に、自己の周囲長ｏｂi をカウン
トするカウンタに１を加算する。また、現在位置の４近
傍に自身のラベル値ｉと同一のラベル値の画素が存在し
ない場合には、自己の周囲長のカウンタに１を加算す
る。

【０１６４】次に、求めた周囲長および共通境界長に基
づき、逆Ｌ字マスク操作式手法における計算と同様にし
て各領域間の接続度を求める。これと同時に前述と同様
にして特徴量リストを作成する。この特徴量リストの接
続ラベルには各領域間の接続関係が記述され、複数の領
域の併合関係が判断される。つまり、本手法によって
も、各領域のラベルの付け替え操作を行わなくとも各領
域の併合関係が判明する。なお、上記の境界探査は右回
りに行ったが、境界探査を左回りに実行する場合には、
第３８図（ｂ）に示される左回り用の画素参照テーブル
を用いることにより、右回りと同様にして処理を行うこ
とが可能である。

【０１６５】このように画素参照テーブルを用いること
により、速い境界探査が可能になる。つまり、探索の基
準となる画素の８近傍の全ての画素について調査する必
要は無い。また、領域の境界部付近の画素のみを探索す
れば良く、領域内の全ての画素について探索する必要が
無くなる。従って、処理時間は短縮される。

【０１６６】以上説明した各手法によれば、従来のよう
にラベルの付け替え走査を行わずに各分割領域間の併合
関係を判断することが出来る。つまり、「テンプレート
画像を用いた繰返しきい値処理による走行コースの抽出
手法」で得られた道路候補領域と、「明るさの違いに注
目した走行コース上の影や高輝度部分の抽出手段」で得
られた低輝度および高輝度領域とが併合され、現実に即
した走行コース領域を得ることが出来る。

【０１６７】次に、「走行可能範囲を求める手段」につ
いて説明する。本手段は、「テンプレート画像を用いた
繰返しきい値処理による走行コースの抽出手法」，「繰
返しきい値処理における特徴量ヒストグラムの形状に基
づくしきい値設定手段」，「明るさの違いに注目した走
行コース上の影や高輝度部分の抽出手段」によって求め
られた走行コース画像から最終的な走行可能範囲、すな
わち、道路端座標を求めるものである。

【０１６８】第４０図は本手法による走行コース認識シ
ステムの処理全体の流れを示すフローチャートである。
まず、カラーカメラ入力装置によって走行コースの画像
情報を取り込み、取り込まれたＲ，Ｇ，Ｂ画像を前途の
ようにして明度Ｉ，彩度Ｓの各画像に変換する。変換さ
れた各画像に基づき、カラー処理装置において明度Ｉを
特徴量とするヒストグラムおよび彩度Ｓを特徴量とする
ヒストグラムを前途のように作成する（ステップ４００
１）。次に、作成した各ヒストグラムに基づき、「テン
プレート画像を用いた繰返しきい値処理による走行コー
スの抽出手法」により道路候補領域を抽出し、小領域を
除去する（ステップ４００２）。

【０１６９】次に、本手法により、抽出した道路候補領
域の道路端の点列を評価する（ステップ４００３）。そ
して、この道路端の点列の評価結果に基づき、抽出した
道路候補領域は単調路か否かを判断する（ステップ４０
０４）。道路らしい単調路である場合には、さらに、求
まった複数の各点列間の関係を比較し、評価する（ステ
ップ４００５）。そして、この評価結果を最終的に出力
する（ステップ４００６）。この後、今回入力された画
像に対する点列は求められたものとし、次の画像に対す
る処理を実行する。

【０１７０】また、ステップ４００４での判断結果が道
路らしさが低くて単調路でない場合には、「明るさの違
いに注目した走行コース上の影や高輝度部分の抽出手
段」により、低輝度領域が有ればこれを抽出する（ステ
ップ４００７）。そして、求められた低輝度領域と道路
候補領域とを併合し、本手法により道路端の点列を評価
する（ステップ４００８）。この道路端の点列の評価結
果に基づき、排出した道路候補領域は単調路か否かを判
断する（ステップ４００９）。単調路である場合には、
ステップ４００５以降の処理を実行し、次の画像に対す
る処理に移行する。

【０１７１】また、単調路でない場合には、次に、「明
るさの違いに注目した走行コース上の影や高輝度部分の
抽出手段」により、高輝度領域が有ればこれを抽出する
（ステップ４０１０）。そして、求めた高輝度領域と道
路候補領域とを併合し、本手法により道路端の点列を評
価する（ステップ４０１１）。この道路端の点列の評価
結果に基づき、抽出した道路候補領域は単調路か否かを
判断する（ステップ４０１２）。単調路である場合に
は、ステップ４００５以降の処理を実行し、次の画像に
対する処理に移行する。単調路でない場合には、低輝度
領域および高輝度領域を道路候補領域に併合し、３領域
を併合した領域から得られる道路端の点列を評価する
（ステップ４０１３）。この後ステップ４００５以降の
処理を実行し、次の画像に対する処理に移行する。

【０１７２】次に、上記の道路候補領域の道路端の点列
座標を求める手法について以下に説明する。例えば、第
４１図に示される画像領域が得られた場合を想定する。
図の左上を原点とし、ｘ座標は水平方向を右に向かって
正とし、ｙ座標は垂直方向を下に向かって正とする。こ
の画像に示された道路領域には切れ込みが存在し、ま
た、ノイズ等により画像情報が得られなかった個所が散
在する。同図に示される画像の各画素にラベリング処理
が行われ、この処理結果、得られる画素領域が第４２図
のように示されたものとする。同図の斜線部はラベル値
が０ではなく、あるラベル値を持った画素とする。な
お、斜線のない画素はラベル値が０の背景領域に位置す
る画素である。また、３×３個の画素を囲む枠４２０１
はウィンドウＷであり、ウィンドウＷの中に存在する斜
線画素（０でない画素値を有する画素）の数はヒストグ
ラムの値になる。図示に位置する場合のウィンドウＷに
よるヒストグラムの値は５である。また、図示のウィン
ドウＷは３×３のウィンドウになっているが、５×５等
の他の大きさのウィンドウであっても良い。

【０１７３】まず、ウィンドウＷを画像の中央部から左
に向けて水平に走査する。なお、画像の中央部からウィ
ンドウＷ走査するのは、処理の開始時だけである。移動
しながら各位置におけるウィンドウＷのヒストグラム値
を求める。このヒストグラム値を監視しながらウィンド
ウＷを移動し、所定のしきい値以下のヒストグラム値が
連続して得られた場合、つまり、ウィンドウＷ内の斜線
画素の密度が低くなった場合、ウィンドウＷは道路領域
から外れたものと判断する。そして、ヒストグラム値が
所定のしきい値以下になった最初のウィンドウＷの位置
を左側の道路端の点列座標ＸＬとする。次に、ウィンド
ウＷを右側へ向けて水平走査し、ウィンドウＷ内のヒス
トグラム値が連続して所定のしきい値以下になった場
合、このヒストグラム値の変化する最初のウィンドウＷ
の位置を右側の道路端の点列座標ＸＲとする。

【０１７４】次に、ウィンドウＷの位置するＹ座標を１
つ減らし、ウィンドウＷを画像の上方へ移動して水平走
査位置をずらす。そして、上記の最初の水平走査により
得られた道路端座標ＸＬ，ＸＲから道路領域の中央位置
を式（ＸＲ−ＸＬ）／２の計算をすることにより求め
る。この中央位置をウィンドウＷの走査開始位置とし、
ウィンドウＷを左右に走査する。この走査においても上
記と同様にしてウィンドウＷ内のヒストグラム値を監視
し、ヒストグラム値の変化する位置を道路端の座標とす
る。以下、水平走査位置のＹ座標が地平線位置になるま
で同様の処理を繰り返すことにより、左右の道路端の一
連の点列座標を得ることが出来る。

【０１７５】また、このウィンドウＷの走査において、
走査開始位置のウィンドウＷから得られるヒストグラム
値が最初から所定のしきい値以下であり、しかも、ウィ
ンドウＷを左側へ走査して得られるヒストグラム値が連
続して所定のしきい値以下の場合には、中央位置が道路
端座標になってしまう。しかし、この場合にはウィンド
ウＷの走査方向を逆の右側に変える。そして、所定のし
きい値以上のヒストグラム値が連続して得られた場合に
は、最初に所定のしきい値以上のヒストグラム値が得ら
れたウィンドウＷの位置を左側の道路端の座標とする。
右側の道路端の座標は、ウィンドウＷをさらに右側に走
査し、ヒストグラム値の変化する位置を求めることによ
り判明する。

【０１７６】次に、このように求めた道路端の点列座標
は領域の境界付近に存在するため、各点を繋ぐことによ
り得られる境界線は一様に滑らかなのもではない。この
ため、ある１点の前後に位置する各点とこの１点とがな
す角度を点列の全点について計算し、この分散値を滑ら
かさの基準とする。また、得られた角度が鋭角のときは
その点は除去して計算する。このように左右の道路端の
各点列座標を平滑化した後、これら点列座標を実空間へ
射影変換する。この射影変換は自律走行車に取り付けた
カラーカメラの俯角，高さ，焦点距離に基づいて行われ
る。

【０１７７】さらに、この射影変換後の点列において、
左右の点列を一組として左右の各点列間の距離、つま
り、道路幅を求める。そして、この道路幅が走行車の車
体幅より狭くなる点の数を数え、点列の全点数に対する
この狭い幅の点数を計算する。全点数に対する狭い幅の
点数の比率が小さい場合には、狭い幅の点は道路端の点
としてはふさわしくないため、これら各点は除去する。

【０１７８】また、この道路端の点列の評価に際して、
最初に求めた一組の左右端によって定まる道路幅と差の
少ない左右の組を数える。差の少ない左右の組が全部の
組に対して占める比率が大きい場合、つまり、左右の道
路端列がある程度平行している場合には、道路らしさと
しての評価は最も高くなり、単調路として判断される。
このように単調路として判断される場合には、第４０図
に示されたフローチャートのステップ４００３，４００
８，４０１１の処理をしなくても道路端を得ることが出
来る。

【０１７９】次に、自律走行車が道路端に極端に近付き
過ぎた場合における、道路左右端の点列の補正手段につ
いて説明する。第４３図（ａ）〜（ｄ）は自律走行車が
道路端に近付く過程を示している。同図（ａ）は自律走
行車が曲率のきついカーブ手前に位置している場合を示
している。この場合には、自律走行車に取り付けられた
カラーカメラには、左側の道路端Ｌおよび右側の道路端
Ｒが視野内に捕らえられている。道路のカーブの曲率が
きつい場合、同図（ａ）に位置していた自律走行車は同
図（ｂ）に示される位置に移動する。この場合、右側の
道路端Ｒはカメラの視野から消える。

【０１８０】さらに、自律走行車は同図（ｃ）に示され
る位置に移動し、テンプレートに占める道路外領域の比
率は段々高くなる。図示の斜線部は道路外領域を示して
いる。さらに、自律走行車は同図（ｄ）に示される位置
に移動する。この場合、カメラの視野には左側の道路端
および道路外領域の左側の境界部が捕らえられている。
また、テンプレート画像に占める道路外領域の占める比
率は高くなり、道路外領域が走行路コースと誤認され
る。この結果、左側の道路端は右側の道路端Ｒとして誤
認され、道路外領域の左側の境界は左側の道路端Ｌと誤
認される。

【０１８１】しかし、順次撮像される画像情報から得ら
れる道路端の点列は、前回画像における右側の点列が今
回画像において極端に左側に位置する点列になることは
ない。また、逆に、前回画像における左側の点列が今回
画像において極端に右側に位置する点列になることはな
い。従って、１処理サイクル前の画像情報から得た点列
情報を記憶保持しておき、今回の画像情報から得た点列
とこの前回の画像情報から得た点列との距離を後述する
ように計算する。そして、例えば、前回求めた右側の道
路端の点列と今回求めた右側の道路端の点列との距離が
離れており、前回の右側点列が今回の左側点列に近い場
合には、左右の道路端の位置が逆転したものと判断す
る。そして、今回得た道路端の右側と左側とを入れ替え
る。

【０１８２】これを第４３図に示される画像を用いて説
明する。同図（ｃ）の画像を前回得られた画像とし、左
側の道路端の点列をＬi-1 と表現する。同図（ｄ）の画
像を今回求めた画像とし、誤認している左側の道路端の
点列をＬi 、誤認している右側の道路端の点列をＲi と
表現する。左右の道路端の点列が逆転しているか否かの
判断は、前回の点列Ｌi-1 が今回の点列Ｌi ，Ｒi のう
ちどちらに近いかを判断することにより行う。前回の点
列Ｌi-1 が今回の点列Ｒi に近い場合には、左右の道路
端の点列は逆転したものと判断する。

【０１８３】一般的に、この点列の近さの判断は次のよ
うに行う。つまり、今回の画像から得た左側の点列を１
グループ、右側の点列をもう１つのグループとし、前回
の左側または右側の点列がこれら各グループのうちのど
ちらのグループに近いかを判断することにより行う。こ
のどちらのグループに近いかの判断は、以下に詳述する
マハラノビスの汎距離によって決定する。第４４図はこ
のマハラノビスの汎距離を説明するための図である。

【０１８４】前回の画像情報による左側点列Ｌi-1 （ま
たは右側点列Ｒi-1 ）の点を（ｘ，ｙ）、今回の画像情
報による左側点列Ｌi の点を（ｘ1j，ｙ1j）、今回の画
像情報による右側点列Ｒi の点を（ｘ2j，ｙ2j）とす
る。前回の点列の点（ｘ，ｙ）が今回の点列Ｌi とＲi
とのうちのどちらに近いかは、マハラノビスの汎距離を
点列Ｌi-1 （または点列Ｒi-1 ）の全点に対して以下の
ように計算し、距離の短い点が多く属すほうの点列に近
いものとする。また、今回の画像により求まった点列が
直線の時には、この直線までの距離を計算する。

【０１８５】まず、点列Ｌi 上の各点について、ｘ方向
成分の平均値μ11，ｙ方向成分の平均値μ12，ｘ方向成
分の分散値σ11，ｙ方向成分の分散値σ12，ｘ，ｙ各方
向の共分散値σ112 および相関係数ρ1 を求める。ここ
で、ｎi は点列Ｌi 上に位置する点の数である。なお、
点列Ｒi 上の各点についても以下の式と同様な式により
求めることが出来る。 μ11＝Σｘ1j／ｎ1 ，μ12＝Σｙ1j／ｎ1 σ11^２ ＝Σ（ｘ1j−μ11）^２ ／（ｎ1 −１） σ12^２ ＝Σ（ｙ1j−μ12）^２ ／（ｎ1 −１） σ112 ＝Σ（ｘ1j−μ11）（ｙ1j−μ12）／（ｎ1 −
１） ｐ1 ＝σ112 ／σ11×σ12 これら各数値に基づいて、前回の点列の点（ｘ，ｙ）と
今回の点列Ｌi の点（ｘ1j，ｙ1j）との間のマハラノビ
スの汎距離Ｄ1 ^２ を次式により求めることが出来る。 Ｄ1 ^２ ＝｛［（ｘ−μ11）／σ11］^２ ＋［（ｙ−μ
12）／σ12］^２ −２ρ1 ［（ｘ−μ11）／σ11］×
［（ｙ−μ12）／σ11］｝／（１−ρ1 ）^２ また、同様に前回の点列の点（ｘ，ｙ）と今回の点列Ｒ
i の点（ｘ2j，ｙ2j）との間のマハラノビスの汎距離Ｄ
2 ^２ を次式により求めることが出来る。 Ｄ2 ^２ ＝｛［（ｘ−μ21）／σ21］^２ ＋［（ｙ−μ
22）／σ22］^２ −２ρ2 ［（ｘ−μ21）／σ21］×
［（ｙ−μ22）／σ22］｝／（１−ρ2 ）^２ 上記の各式に基づいて各汎距離を計算した結果、Ｄ1
^２ ＞Ｄ2 ^２ が成立する場合には、前回の点（ｘ，
ｙ）は今回の右側の道路端の点列Ｒi に近いことにな
る。また、Ｄ1 ^２ ＞Ｄ2 ^２ が成立しない場合には、
逆に、前回の点（ｘ，ｙ）は今回の左側の道路端の点列
Ｌi に近いことになる。

【０１８６】以上のように画像分割処理の結果得られた
道路候補領域が、ノイズなどによって不明瞭な輪郭の領
域になっても、本手法による前記のウインドウのヒスト
グラム値の変化に基づけば、道路の端点を確実に得るこ
とが出来る。これは、本手法が領域を基にしてその端点
を探索しているためであり、本手法によれば領域の左右
端を明確に区別することが出来る。

【０１８７】また、「明るさの違いに注目した走行コー
ス上の影や高輝度領域の抽出手段」で求められた低輝度
領域は、走行コースが全体的に暗い場合には、道路外に
位置する場合もある。このような場合に道路外の低輝度
領域と道路領域とが併合される場合があり、道路候補領
域の輪郭の形状が複雑化する。しかし、本手法により、
得られた道路端の点列データを平滑化することにより、
複雑な輪郭の領域は大局的に評価され、上記のような低
輝度領域は無視され、自動車が走行する上で何等支障の
無い道路端の情報を得ることが出来る。

【０１８８】また、「テンプレート画像を用いた繰返し
きい値処理による走行コースの抽出手法」によれば、自
律走行車が曲率のきつい道路の左または右に極端に近付
いた場合、テンプレートが道路外に出てしまってそこを
道路とみなしてしまう場合がある。この場合には道路端
の左右の認識を誤ってしまう。しかし、上述の本手法に
よれば、道路の左右端のデータを誤って認識しても、直
ぐにこの認識は補正され、常に信頼性の高い道路端の情
報を得ることが出来る。

【０１８９】次に、「多様な形状の走行コースの内部表
現手法」、つまり、得られた道路端の多様な点列を構造
化して表現する手法について説明する。

【０１９０】本手法は、「テンプレート画像を用いた繰
返しきい値処理による走行コースの抽出手段」で得られ
た走行コースの画像と、「明るさの違いに注目した走行
コースからの影や高輝度部分の抽出手段」で得られた画
像と、「複数の領域の併合手段」で求めた特徴量リスト
に基づき、画像のラベル変位箇所を検知しながら領域の
境界点のストラクチャを作成し、前後方向のリンクを付
け、境界の属性を付与することによって、走行コースを
コンピュータ内部に表現し、走行のための有効な点列群
を求めるものである。「複数の領域を併合する手段」に
おいて作成された領域と領域との記述を表した特徴量リ
ストを利用して、高速に領域の端点が得られ、道路端，
路肩端，分岐路および合流路は計算機の内部に構造化さ
れたリストによって表現される。

【０１９１】第４５図は道路の構造化処理の概略を示す
フローチャートである。

【０１９２】まず、カラーカメラ入力装置などの各ハー
ドウエアの初期設定時に領域境界点ストラクチャのｙ方
向のリストを作成する（ステップ４５０１）。次に、各
領域に付けられたラベル値のｘ方向の変化箇所を検出し
てｘ方向のリストを作成し、各境界点のｘ方向について
リンクする（ステップ４５０２）。そして各領域の特徴
量リストの接続ラベルを考慮して領域の左端および右端
にその属性を付与し、各領域の左右端を区分する（ステ
ップ４５０３）。次に、後述する穴などの属性を各境界
点に付与しながら、画面の前後方向（ｙ方向）の各境界
点の関連付けを行い、各境界点のｙ方向についてリンク
する（ステップ４５０４）。また、道路領域が分岐した
り、合流したりする場合が有り、これら各場合に各領域
の境界の連続性を判断し、各境界点に付与された属性の
付け替えを行う（ステップ４５０５）。この後、各領域
の境界点の点列の開始位置を選択し、有効点列を検出す
る（ステップ４５０６）。

【０１９３】以上の各処理について以下に詳述する。ス
テップ４５０１の処理について、第４６図を参照して説
明する。同図（ａ）は、実空間上における道路面（水平
面と仮定する）を画像上に射影変換する際の原理を示す
図である。道路面４６０１は等間隔（ｌ）に区分され、
道路領域および道路上の各区分線は遠方の１点に向けて
画像４６０２上に射影され、カラーカメラのビューポー
トが得られる。同図（ｂ）はこのようにして得られた画
像の詳細を示す図である。画像上には道路領域の境界線
４６０３および区分線４６０４が射影変換されている。
実空間上における区分線は間隔ｌの等間隔であったが、
画像上においては道路領域の遠方に行くに従ってその間
隔が詰まっている。この各区分線４６０４が位置するｙ
座標を求め、同図（ｃ）に示されるｙ方向の領域境界点
ストラクチャ４６０５を作成する。

【０１９４】この領域境界点ストラクチャ４６０５の各
枠は、道路領域の境界線４６０３のうちの左端の境界線
と区分線４６０４との交点に位置する各境界点に対応し
ている。各枠は、図示の矢印に示されるポインタによっ
て相互の連結関係が表現されている。これらの各枠内に
は各境界点の特徴が、同図（ｄ）に示されるリスト４６
０６として記述されている。まず、求めたｙ座標の各値
がリスト４６０６に記述され、ｙ方向のリストが作成さ
れる。このリスト４６０６には、上記のｙ座標の他に各
境界点が有する後述する各特徴が記述される。

【０１９５】つまり、ｘ座標，点列開始点ｉD を表す属
性１，実空間における隣接点間距離を表す属性２，着目
する境界点と右隣の境界点との連結関係を表す右隣への
ポインタ，左隣の境界点との連結関係を表す左隣へのポ
インタ，ｙ方向における画面手前の境界点との連結関係
を表す手前へのポインタおよび画面後方の次の境界点と
の連結関係を表す次ヘのポインタが記述される。

【０１９６】次にステップ４５０２の処理について、第
４７図を参照して説明する。同図（ａ）に示される画像
４７０１は撮像された画像についてラベリング処理が実
行された画像である。このラベリング処理により、道路
領域を構成する各領域のそれぞれにはラベル値が付けら
れる。各区分線と領域の境界との交点のうち、〇印が付
された交点は、ラベル値が変化するラベル変位箇所であ
る。まず、ステップ４５０１の処理で求めたリストの各
ｙ座標位置において水平方向、つまり、ｘ方向に画像を
走査する。この走査において、ラベル値が０である背景
領域からラベル値が０ではない道路領域に移動した場
合、または、ラベル値が０ではない道路領域からラベル
値が０である背景領域に移動した場合、新しい領域境界
点ストラクチャを作成する。

【０１９７】この領域境界点ストラクチャは同図（ｂ）
に示される。図示のように、各領域の境界と区分線との
交点に位置する各境界点に対応して、新たにｘ方向に枠
が設けられる。この新たな各枠は、既に前述のステップ
で作成されたｙ方向の領域境界点ストラクチャの各枠と
連結される。この連結関係は図示の矢印に表されるポイ
ンタにより表現され、このポインタにより各枠は水平方
向にリンクされている。

【０１９８】次に、ステップ４５０３の処理について、
第４８図を参照して説明する。ステップ４５０２の処理
で作成された領域境界点ストラクチャの水平方向の各点
の組が同一領域に存在するか否かを判断する。同一領域
であるか否かの判断は、前述の「複数の領域の併合手
法」において求めた特徴量リストに基づいて行われる。
隣接する各点が同一領域に存在する場合、左側に位置す
る境界点は左エッジ、右側に位置する境界点は右エッジ
とし、この属性を各リストに記述する。この属性によ
り、領域の左右端を区別することが出来る。また、この
左エッジから右エッジまでの実空間における距離を演算
し、同様に各リストに記述する。この距離演算には、前
述の射影変換と逆の処理である逆射影変換処理を実行
し、画像から現実の道路領域を求める必要がある。

【０１９９】第４８図（ａ）に示される画像について、
エッジの識別方法を具体的に説明する。道路領域４８０
１は３つの領域Ａ，Ｂ，Ｃが併合されて表現されてい
る。ここで、前述の特徴量リストの接続ラベルは同図
（ｂ）のように示されている。つまり、領域Ａの接続ラ
ベル欄には領域Ｃが記述されており、領域Ｂの接続ラベ
ル欄には何も記述されておらず、領域Ｃの接続ラベル欄
には領域Ａが記述されている。このため、領域Ａと領域
Ｃとは併合すべき同一領域であることが判別され、ま
た、領域Ｂは領域Ａと領域Ｂとで形成される領域とは異
なる領域であることが判別する。

【０２００】従って、各境界点を区分線４８０２に沿っ
て水平方向に画像走査した場合、○印の付された境界点
ａ，ｂ，ｃ，ｄがラベル変位箇所として求まる。従っ
て、境界点ａと境界点ｂとは同一領域上の点として存在
しており、境界点ａは左エッジ，境界点ｂは右エッジと
いう属性が付与され、領域境界点ストラクチャのリスト
に記述される。また、境界点ｃと境界点ｄはそのラベル
値が同じであるために同一領域に存在しており、境界点
ｃは左エッジ，境界点ｄは右エッジという属性が付与さ
れ、領域境界点ストラクチャのリストに記述される。

【０２０１】次に、ステップ４５０４の処理について、
第４９図および第５０図を参照して説明する。第４９図
（ａ）に示される画像において、左側の境界線と各区分
線との交点に位置する各境界点をａi ，ａi+1 、右側の
境界線と各区分線との交点に位置する各境界点をｂi ，
ｂi+1 とする。ここで、領域境界点ストラクチャのｙ方
向でｉ番目とｉ＋１番目の各境界点が同一領域に存在す
るか否かを判断し、同一領域ならば前後のリンクを行
う。つまり、境界点ａi とａi+1 とが同一領域に有るか
否か、また、境界点ｂi とｂi+1 とが同一領域に有るか
否かを判断する。図示の場合には、各境界点は同一領域
に有るため、同図（ｂ）に示される領域境界点ストラク
チャにおいて、太い線で示されるポインタにより画面の
前後に位置する各境界点がリンクされる。

【０２０２】また、左エッジと右エッジとの間に存在す
る内部点が有るならば、第５０図に示されるように、領
域の境界を追跡する。同図（ａ）は、処理の対象とする
道路領域５００１の中央部に車線区分線である白線５０
０２が描かれている画像である。この白線５００２のラ
ベル値は０である。ここで、各区分線に沿って水平方向
に画像を走査すると、白線５００２部において、同図
（ｂ）に示される内部点Ｅ1i，Ｅ1i+1，Ｅ2i，Ｅ2i+1が
得られる。従って、領域の境界を追跡して各内部点の関
係を探査する。内部点Ｅ1iから白線５００２の境界線に
沿ってこの境界を追跡すると内部点Ｅ1i+1に達する。ま
た、内部点Ｅ2iから境界を追跡すると内部点Ｅ２i+1 に
達する。このように隣接する内部点Ｅ1i，Ｅ2iが、より
上に位置する区分線上の次の内部点Ｅ1i+1，Ｅ2i+1に連
続している時、左側に位置する内部点Ｅ1iを内部点左エ
ッジ，右側に位置する内部点Ｅ2iを内部点右エッジとい
う属性を付ける。

【０２０３】また、境界を追跡して内部点がより上の区
分線上の内部点に連続せずに隣接する内部点に達する時
は、隣接する各内部点に穴という属性を付与する。つま
り、内部点Ｅ1i+1から境界を追跡すると、隣接する内部
点Ｅ2i+1に達する。この場合、各内部点Ｅ1i+1，Ｅ2i+1
に穴という属性を付与する。以上の処理をリストの各ｙ
座標に沿ってこのｙ座標が地平線位置５００３に達する
まで行う。また、この際、内部点左エッジから内部点右
エッジまでの実空間上における距離Ｌを演算する。この
演算は、実空間上における右エッジ点のｘ座標値から実
空間上における左エッジ点のｘ座標値を引き算すること
により求まる。

【０２０４】次に、ステップ４５０５の処理について、
第５１図を参照して説明する。以上の各ステップの処理
による属性の付与の方法では、道路がＹ字状に分岐した
り、道路が合流する場合には正しい属性が付与されな
い。つまり、各境界点の前後方向の関連付けが正しく行
われない場合がある。このため、このような場合に本ス
テップにおいて、境界を追跡して境界の評価を修正す
る。

【０２０５】例えば、ここまでの各ステップの処理によ
り、第５１図（ａ）に示される画像が得られたとする。
この画像における道路領域５１０１はＹ字状に分岐して
おり、本道５１０２と分岐路５１０３とに分かれてい
る。画面の下側から上側に向かって各区分線（ｉ，ｉ＋
１，ｉ＋２，…）は画像走査され、また、各区分線にお
いて画面左側から右側ヘ画像走査される。この走査によ
り、左端の境界線と各区分線との交点に位置する境界点
にはａという符号が付けられ、左端の境界線からーつ右
に位置する境界線と区分線との交点に位置する境界点に
はｂという符号が付けられ、左端の境界線から二つ右に
位置する境界線と区分線との交点に位置する境界点には
ｃという符号が付けられる。この結果、同図（ｂ）に示
される領域境界点ストラクチャが得られる。

【０２０６】この領域境界点ストラクチャによる各境界
点の関連付けは図から理解されるように現実の道路の境
界に合致しておらず、各境界点には正しい属性が付与さ
れていない。このため、内部点から領域の境界を追跡
し、次の点が左または右の領域端に存在する境界点であ
れば、この内部点と次の点とは連結しているものと判断
し、これら各点のリンクの付け替えを行う。同図の場合
にあっては、内部点ｃi+4 から領域の境界を追跡する。
追跡すると次の点はａi+5 であり、この点は左の領域端
であるため、リンクの付け替えを行う。つまり、ａi+5
以降の各境界点に付けられた属性を内部点ｃi+4 と同じ
ｃの属性とする。このリンクの付け替え処理により、同
図（ｃ）に示される領域境界点ストラクチャが得られ
る。このストラクチャは現実の道路の境界に合致したも
のとなっている。

【０２０７】同図（ｄ）および（ｅ）は、このリンクの
付け替え処理の前および後の領域境界の状態をベクトル
表現によって示した図である。つまり、同図（ｄ）はリ
ンクの付け替え前のベクトル状態であり、同図（ｂ）の
領域境界点ストラクチャに基づいて各境界線の連結関係
をベクトルにより表現したものである。属性ａが付けら
れたベクトルおよび属性ｃが付けられたベクトルは現実
の道路の境界に対応したものとなっていない。同図
（ｅ）はリンクの付け替え処理を実行した後のベクトル
状態であり、同図（ｃ）の修正された領域境界点ストラ
クチャに基づいて各境界線の連結関係をベクトルにより
表現したものである。属性ａが付けられたベクトルの終
端部分は上述のように修正され、属性ｃに付け替えられ
ている。このため、各べク卜ルａ，ｂ，ｃによって表現
される道路領域の境界は現実のものに即した形状になっ
ている。

【０２０８】同図（ｆ）および（ｇ）は、道路が合流す
る場合の領域境界の状態を上記と同様にしてベクトルに
より表現した図である。同図（ｆ）はリンクの付け替え
前の領域境界をベクトルによって表現したものである。
属性ｄが付けられたベクトルは、属性ｅおよびｆが付け
られたベクトルが形成する合流路の入り口を塞いでい
る。同図（ｇ）は、前述と同様なリンクの付け替え処理
後の領域境界をベクトルによって表現したものである。
属性ｄが付けられたベクトルの始端部分はリンクの付け
替え処理により、属性ｆに修正され、領域境界は現実の
合流路に合致したものとなっている。

【０２０９】次に、ステップ４５０６の処理について、
第５２図を参照して説明する。例えば、同図（ａ）に示
される道路画像を想定する。この道路画像には道路領域
５２０１があり、道路領域５２０１の左側には白線５２
０２で区切られた路肩５２０３がある。この道路画像の
各領域の境界線と区分線との交点には境界点が付けら
れ、同図（ｂ）に示される道路端および路肩端の点列が
得られる。なお、画像の縁に掛かる点は点列から除いて
ある。以上の各ステップの操作により得られたｙ方向の
各領域境界点ストラクチャのリンクを画像下部に相当す
るところから上部へ辿る。そして、領域境界点ストラク
チャのリンクが所定個数以上ある場合には、この領域境
界点ストラクチャのリンクの画像下部に相当するところ
に点列の開始点という属性を付ける。図示の点列の開始
点は△印で示されている。

【０２１０】開始点という属性が付いているストラクチ
ャのうち、領域境界の左エッジから右エッジまでの実空
間における距離が走行車の車幅以上のストラクチャの組
を道路端とする。同図（ｂ）の場合には、点列５２０４
および点列５２０５に相当するストラクチャの組が道路
端となる。また、道路端の隣にストラクチャの組があ
り、このストラクチャ群と道路端との間の距離が道路端
を表すストラクチャ群の幅より狭く、かつ、ストラクチ
ャ群と他方の道路端との間の距離が車幅より広く、しか
も、ストラクチャ群の相互の実距離が２０ｃｍ前後で連
続する場合には、このストラクチャ群は白線を形成する
ものとする。そして、ストラクチャ群と一方の道路端と
に挾まれたところは白線で区分された路肩とみなす。

【０２１１】同図（ｂ）の点列においては、点列５２０
６および点列５２０７に相当するストラクチャの組によ
り白線が形成され、この白線と道路端５２０４との間が
路肩とみなされる。

【０２１２】ところで、前述した「走行可能範囲を求め
る手段」は領域を主体として走行コースを認識するもの
であり、画像処理の結果得られる道路領域が１つの領域
となることが前提である。同手段によれば、単調路や分
岐路の道路端を識別することは可能である。しかし、白
線によって分断された領域、特に、道路と路肩とに分断
された場合には、それらを区別して取り扱うことは困難
である。これは、同手段が領域の内部からウインドウを
走査して領域境界を探査するため、同時に道路端と路肩
端とを識別できないからである。

【０２１３】しかし、以上のように、ラベル画像を画像
の下部から上部まで水平に走査し、局所的な領域の境界
追跡を行って各領域のラベル値の変位箇所を求めること
により、領域の境界を知ることが出来る。これと共に、
領域間の関係をストラクチャにおいて更新し、領域の境
界点を構造化することにより、道路領域は計算機内部に
構造化して表現される。従って、この「多様な形状の走
行コースの内部表現手法」によれば、路肩や走行車線等
の複数の領域の境界端座標が得られ、領域境界を容易に
検出することが出来、「走行可能範囲を求める手段」の
ように対象とする領域が単一領域に限定されない。さら
に、上記の白線によって分断された路肩等をも識別する
ことが出来る。

【０２１４】また、従来の領域境界手法に較べてメモり
容量は少なくて済み、自律走行車が自動走行するのに十
分な走行コースの走行可能範囲を、遂次的な境界探査や
多角形近似を行って評価するといった処理をすることな
く得ることが出来る。さらに、走行コースが単調路で無
く、道路が分岐していたり、合流していたりする場合に
おいても、これら分岐路や合流路の形状を統一的に表現
することができ、走行コースの境界を正確に識別するこ
とが可能である。

【０２１５】以上説明したように「多様な形状の走行コ
ースの内部表現手法」によれば、リストに記述された属
性により、各領域の境界点の連結関係が構造化されたス
トラクチャにおいて表現され、このストラクチャから対
象領域の境界が識別される。このため、従来のように求
まる点列群の数が多いため、対象領域の境界を多角形で
近似し、余分な点を間引く処理が無くなる。また、従来
のように各領域の全ての境界画素を遂次的に一つ一つ追
跡する必要は無くなり、所定の境界画素のみについて処
理することにより、対象領域が識別される。従って、処
理時間は短縮され、自律走行車の自動走行に適した領域
識別方法が提供される。

【０２１６】

【発明の効果】以上説明したように、本発明によれば、
カラー画像から道路画像領域を安価、高速かつ正確に抽
出することができるようになる。

【図面の簡単な説明】

【図１】 本発明の一実施例によるカラー画像処理装置
全体の概略構成を示すブロック図である。

【図２】 本実施例の概略処理の流れを示すフローチャ
ートである。

【図３】 「ＲＯＭテーブルを用いたカラー画像のＩＳ
Ｈ変換処理」におけるＩＳＨ変換処理のアルゴリズムを
示すブロック図である。

【図４】 ＩＳＨ変換処理の処理例を従来の処理例と比
較して説明するための図である。

【図５】 ＩＳＨ変換処理の処理例を従来の処理例と比
較して説明するための図である。

【図６】 ＩＳＨ変換処理の処理例を従来の処理例と比
較して説明するための図である。

【図７】 ＩＳＨ変換処理の処理例を従来の処理例と比
較して説明するための図である。

【図８】 「繰返しきい値処理における特徴量ヒストグ
ラムの形状に基づくしきい値設定手段」におけるカラー
画像の前処理の概略を示すフローチャートである。

【図９】 この前処理におけるピーク・谷の状態を説明
するための図である。

【図１０】 この前処理におけるテーブル値の推移を説
明するための図である。

【図１１】 走行路の認識処理の概要を示すフローチャ
ートである。

【図１２】 「テンプレート画像を用いた繰返しきい値
処理による走行コースの抽出手段」における走行路抽出
の処理の詳細を示すフローチャートである。

【図１３】 この道路候補領域の抽出処理における各過
程を説明するための図である。

【図１４】 「明るさの違いに注目した走行コースから
の影や高輝度部分の抽出手段」における種々の入力画像
に対する処理の概要を説明するための図である。

【図１５】 この手段における影や高輝度部分の説明を
するための明度ヒストグラムの一例を示すグラフであ
る。

【図１６】 「ラベリング処理装置」のラベリングボー
ド構成図である。

【図１７】 ラベリング処理のゼネラルフローチャート
である。

【図１８】 多値入力ラベリング方式を説明するための
図である。

【図１９】 ランを用いたラベリング方式を説明するた
めの図である。

【図２０】 ラベリング処理の画像走査で使用されるウ
ィンドウを示す図である。

【図２１】 ラベリングプロセッサＫＬＰの構成図であ
る。

【図２２】 ラベリング処理の画像走査で行われるウィ
ンドウ処理を示すフローチャートである。

【図２３】 ラベリング処理の画像走査で行われるウィ
ンドウ処理を示すフローチャートである。

【図２４】 ラベリング処理の画像走査で行われるウィ
ンドウ処理を示すフローチャートである。

【図２５】 ラベリング処理の画像走査で行われるウィ
ンドウ処理を示すフローチャートである。

【図２６】 ラベリング処理の画像走査で行われるウィ
ンドウ処理を示すフローチャートである。

【図２７】 ラベリング処理の画像走査で行われるウィ
ンドウ処理を示すフローチャートである。

【図２８】 ラベリングメモリＫＬＭの構成図である。

【図２９】 最終的に付与されるラベル値を整合する処
理を説明するための図である。

【図３０】 特徴抽出プロセッサＫＬＣの構成図であ
る。

【図３１】 １スキャンラベリング方式を説明するため
の図である。

【図３２】 「複数の領域の併合手段」においてラベル
領域を探査するために使用される逆Ｌ字マスクを示す図
である。

【図３３】 第３２図に示された逆Ｌ字マスクを用いた
領域境界探査を説明する際に使用される分割領域の一例
を示す図である。

【図３４】 逆Ｌ字マスク走査式手法により求まったラ
ベル領域間境界長および領域の周囲長が記憶されるラベ
ル間境界長マトリスクを示す図である。

【図３５】 各領域間の接続関係および各ラベル領域の
有する特徴量が記述される特徴量リストを示す図であ
る。

【図３６】 第３５図に示された特徴量リストに記述さ
れた各特徴量を有するラベル領域の一例である。

【図３７】 境界探査式手法において着目される画素画
の近傍に付される参照画素位置Ｎｏ．を示す図である。

【図３８】 境界探査式手法において使用される画素参
照テーブルを示す図である。

【図３９】 第３８図に示された画素参照テーブル使用
方法を説明する際に用いられる画素領域の一例を示す図
である。

【図４０】 「走行可能範囲を求める手段」における走
行コース認識システムの処理の流れを示すフローチャー
トである。

【図４１】 この手段の説明において使用される取り込
み画像でのウィンドウの移動を示す図である。

【図４２】 対象領域におけるウィンドウおよびヒスト
グラムの値を説明するための図である。

【図４３】 曲率のきついカーブで走行車が道路端に近
付き過ぎた場合に生じる道路端の識別の逆転を説明する
ための図である。

【図４４】 第４３図に示された道路端の認識の逆転を
防止するために求めた点列群の関係をマハラノビスの汎
距離を用いて補正する手法を説明するための図である。

【図４５】 「多様な形状の走行コースの内部表現手
法」における道路領域の構造化処理の概略を示すフロー
チャートである。

【図４６】 ｙ方向リストと領域境界点ストラクチャと
を説明するための図である。

【図４７】 ラベル変位箇所と領域境界点ストラクチャ
とを説明するための図である。

【図４８】 領域境界の属性を説明するための図であ
る。

【図４９】 領域境界点の前後方向のリンク処理を説明
するための図である。

【図５０】 内部点エッジおよび穴という属性を説明す
るための図である。

【図５１】 一旦付与された属性の付け替え処理を説明
するための図である。

【図５２】 道路端および路肩端の検出を説明するため
の図である。 １０１・・・ カラーカメラ、１０２・・・ ＩＳＨ変換部、１
０３・・・ カラー処理部、１０４・・・ ラベリングハード、
１０５・・・ ＣＰＵ処理部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菅原 卓 埼玉県和光市中央一丁目４番１号 株式 会社 本田技術研究所内 審査官 脇岡 剛 (56)参考文献 特開 昭62−266018（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 G08G 1/00 - 9/02 B60R 21/00

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 撮像された原画像データが記憶される原
   画像メモリと、該原画像データに含まれるＲＧＢデータ
   のうちのＲデータを記憶するＲ画像メモリと、前記ＲＧ
   ＢデータのうちのＧデータを記憶するＧ画像メモリと、
   前記ＲＧＢデータのうちのＢデータを記憶するＢ画像メ
   モリと、 前記Ｒ画像メモリ，前記Ｇ画像メモリおよび前記Ｂ画像
   メモリに記憶されたＲＧＢデータを下位ビットを切り捨
   てて読み出し、該読み出されたＲＧＢデータから変換さ
   れた明度画像データが記憶される第１の記憶素子と、該
   読み出されたＲＧＢデータから変換された彩度画像デー
   タが記憶される第２の記憶素子と、前記明度画像データおよび彩度画像データのそれぞれ
   を、走行路領域と背景領域とに区分するしきい値により
   ２値化する２値化手段と、 該２値化手段により得られた前記明度画像または彩度画
   像に係るデータと、安定した走行路情報が得られるよう
   に設定されたテンプレート領域との論理積により道路画
   像領域を判別する道路画像領域判別手段 とを備えたこと
   を特徴とする車両自律走行の走行路画像処理装置。
2. 【請求項２】 請求項１に記載の車両自律走行の走行路
   画像処理装置において、 前記道路画像領域判別手段により得られた明度画像およ
   び彩度画像に係る道路画像データの論理積を取り、走行
   路領域情報を得るようにしたことを特徴とする車両自律
   走行の走行路画像処理装置。