JP2966084B2 - 画像処理における局所的領域分割方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は画像処理において画像内に含まれている個々
の対象物に応じた領域を抽出する居所的領域分割方法に
関するものである。

〔従来の技術〕 従来、この種の局所的領域分割方法は、例えば、自動
車の自律走行における画像処理に使用されている。この
局所的領域分割方法においては、入力画像を部分矩形画
像であるセクタに区分することで特徴空間でのクラスタ
検出をやり易くしている。このような局所的領域分割方
法としては、画像分割法、ローカルヒストグラム法があ
る。画像分割法は、セクタ内でクラスタリング検出を行
い、セクタ外の領域でセクタ境界を除去するものであ
る。この画像分割法によれば詳細な領域を抽出すること
が可能である。また、ローカルヒストグラム法は、セク
タ内でクラスタリング検出を行い、セクタ外の領域でセ
クタ境界の除去、小領域除去、領域成長を行うものであ
る。このローカルヒストグラム法によっても詳細な領域
を抽出することが可能である。第10図にこのローカルヒ
ストグラム法のブロックフローチャートを示す。

ローカルヒストグラム法は、平滑化等の前処理、
セクタ単位の領域形成、全画面の領域形成、RGBの
各分割結果の統合、領域成長の５段階からなる。ま
ず、自律走行車に設置されたカメラから走行路画像を入
力し（ブロック1001）、Ｒ画像,G画像,B画像に区分する
（ブロック1002）。次に、各画像毎にエッジ保存平滑化
とダイナミックレンジの変換処理を実行する（ブロック
1003）。そして、各セクタ毎に１次元ヒストグラムを作
成し、クラスタ検出、ラベリング処理を実行する（ブロ
ック1004）。この後、着目セクタの４近傍のセクタと通
信し（ブロック1005）、重要なピークを伝播する（ブロ
ック1006）。そして、各セクタ間に形成されるセクタ境
界を除去し（ブロック1007）、小領域を除去する（ブロ
ック1008）。ここまでの処理により、RGBの各分割画像
が得られる（ブロック1009）。これら各分割画像を基に
して分割結果を統合し（ブロック1010）、領域成長を行
う（ブロック1011）。

上記の分割結果の統合処理は、各分割領域の色差を評
価関係として表現し、この評価関数に基づいて統合する
ことにより実行される。また、この統合の順序は、評価
関係の値が最も小さい組から順に行われる。または、単
にラベル番号の小さいものから調べていき、統合基準を
満たす組がみつかった時に即座に統合を行う。

〔発明が解決しようとする課題〕

しかしながら、上記従来の画像分割法は、処理途中の
クラスタリング結果によって画面の分割結果が変動す
る。また、セクタ内の処理は直列的に実行され、他のセ
クタ内処理との間に並列性が無い。このため、画像分割
処理に時間がかかり、高速性が要求される自動車の自律
走行に適さない。また、上記従来のローカルヒストグラ
ム法は、画面の分割は固定しており、また、セクタ内処
理にはほぼ並列性がある。しかし、特徴量のヒストグラ
ム形状によっては必要なクラスタに対応するピークが隠
れてしまう場合があり、それを補うために処理の途中で
セクタ間の通信を行う必要がある。このため、ローカル
ヒストグラム法においても処理の十分な高速性が確保さ
れない。

また、分割領域の統合に際して評価関数の値の小さい
組から順に統合すると、ソートに時間がかかってしま
う。また、統合基準を満たす組がみつかった時に即座に
統合すると、真にまとめたい領域がまとまらず、性能的
に劣ってしまう。

本発明は、画像内に含まれている個々の対象物に応じ
た領域を詳細かつ高速に抽出することを目的とする。

〔課題を解決するための手段〕

本発明は、画像を入力し、画像を構成する画素のうち
明度が所定のしきい値以下の画素を分類し、入力画像を
所定数のセクタに区分し、セクタ毎に単純クラスタリン
グ処理を行ってセクタ内の画素をグループ分けしてクラ
ス画像をセクタ毎に並列に作成し、クラス画像のうち同
一クラスに属する連結画素に対して１つのラベルを与え
るラベリング処理を行ってラベル画像をセクタ毎に並列
に作成し、ラベル画像において小領域を隣接する大きな
領域に併合して小領域をセクタ毎に並列に除去し、ラベ
ル画像における各領域の画像平面上の位置の連結性およ
び各領域の有する特徴の類似性に基づいて各領域をセク
タ毎に並列に統合して領域成長し、セクタ毎に成長され
た各領域を入力画像の全画面を対象にして各領域の有す
る特徴の類似性に基づいて統合して領域成長するもので
ある。

また、セクタ毎に並列に実行される領域の統合は、各
領域の有する特徴の類似性を統合基準のしきい値に基づ
いて判断し、しきい値を所定数のステップに分割し、各
ステップに区分された統合基準の各しきい値と各領域間
の特徴の類似性とを比較して統合処理を行うものであ
る。

〔作用〕

セクタ単位で領域成長が行われ、セクタ間の通信は分
割処理終了時点まで行われない。また、領域統合はしき
い値の各ステップ毎に行われ、従来の、評価関数の値の
小さい組から順に統合する領域統合と、統合基準を満た
す組がみつかった時に即座に統合する領域統合との中間
的な性質を有する。

〔実施例〕

次に、本発明を、自律走行車の走行路領域の抽出処理
に適用した場合について説明する。第１図は、本発明の
一実施例による局所的領域分割方法のアルゴリズムの概
略を示すブロックフローチャートである。

この処理は、平滑化等の前処理、セクタ単位の領
域形成、全画面の領域成長の３段階からなる。従来の
第10図に示されたローカルヒストグラム法に比較し、小
領域除去処理と領域成長処理とをの処理に含んでいる
点が大きく異なっている。まず、領域分割の対象となる
画像を撮像し、これを入力する（ブロック101）。次
に、入力画像をカラーメディアンフィルタに通して平滑
化する（ブロック102）。平滑化された入力画像を構成
する画素のうち、所定のしきい値以下の暗い画素を分類
する。そして、入力画像を複数のセクタに区分する（ブ
ロック103）。第２図はこのセクタを示す図であり、斜
線部分の画像分割された部分矩形画像が１つのセクタで
ある。本実施例の場合には、512×512ドットの入力画像
を64×64ドットの大きさのセクタに区分してある。

次に、各セクタ毎に単純クラスタリング処理を実行
し、各画素の色に基づいて画素のグループ分けを行う
（ブロック104）。そして、グループ分けされた各領域
についてラベル付けをするラベリング処理を行う（ブロ
ック105）。このラベリングにより得られたラベル領域
のうち、小領域のラベル領域を隣接する最大面積の領域
にマージ、つまり、併合する小領域除去処理を実行する
（ブロック106）。この後、セクタ内の各領域につい
て、位置の連結性および各領域の色の特徴の類似性を利
用してセクタ内において領域成長を行う（ブロック10
7）。

以上のブロック104からブロック107の各処理は、各セ
クタ毎に並列に実行される。そして、最後に、各セクタ
毎に成長された領域について、全画面を対象にして領域
内平均色によるマージ処理を行い、全画面において領域
成長を行う（ブロック108）。

次に、以上の各処理の詳細について以下に説明する。

ブロック102におけるカラーメディアンフィルタは、
画像の平滑化のためのものであり、本実施例の場合には
CMU（アメリカのカーネギー・メロン・ユニバーシテ
ィ）の提案によるカラーメディアンフィルタ（参考文
献;Fujimori ＆ Kanade,“Knowledge−,Base Interpret
ations of out door Road Scenes",1987 Year End Repo
rt for Road Following at Carnegie Mellon,pp45−9
0）を用いる。このフィルタはエッジの保存性が良く、
平滑化の効果も高い。

ブロック103における暗い画素の分類処理は、まず、
平滑画像の中から暗い画素を分類し、残りの各画素につ
いてＬ^＊ａ^＊ｂ^＊系と呼ばれる表色系を使用して色差を
定義する。この定義付けは、後に行われる画素値のクラ
スター化の際に、その方法に因らずに必要とされる。な
お、色差を表色系におけるユークリッド距離で定義する
場合は、使用する表色系によって領域分割の結果はもち
ろん異なる。以下に、各表色系の性質と領域分割におけ
る問題について説明する。

通常のビデオ信号であるNTSCのRGB表色系は、２つの
色を表す座標点のユークリッド距離が、人間の感じる色
差ときちんと対応しないという性質を持っている。この
表色系を領域成長に使用すると、１つの対象物が求まる
前に別の場所で過統合が起こり易いという問題が生じ
る。また、1976L^＊ａ^＊ｂ^＊表色系においては、２つの
色を表す座標点のユークリッド距離が、人間の感じる色
差とほぼ比例する。しかし、暗い色どうしの色距離は、
相対的に非常に大きな計算値となってしまう。この表色
系を領域分割に使用すると、人間の目で見て自然な領域
が形成される。しかし、画像内の暗いエリアがいたずら
に細分され過ぎてしまう。

一方、本実施例での暗い画素の分類処理を併用したＬ
^＊ａ^＊ｂ^＊表色系においては、明度が所定のしきい値以
下の色については処理の最初の段階で暗い色として分類
してしまう性質を有している。しかし、この表色系を領
域分割に使用すると、暗い部分は１つにまとめることが
でき、全体として自然な処理結果が得られる。

次に、入力画面のセクタへの分割処理は、ブロック10
3の暗い画素の分類処理のあとで実行されるが、本実施
例では前述したように、512×512ドットの画像を縦横各
８分割して64×64ドットの大きさのセクタに分割する。
本実施例における画像処理の対象である道路画像では、
画像を縦横各４分割してセクタサイズを128×128ドット
とするとセクタのローカル性が薄れてしまう。また、画
像を縦横各16分割してセクタサイズを32×32ドットとす
ると、セクタ単位で可能なだけ処理を進めても全画面に
戻ってからの処理が多いため、処理の高速性が活かせな
い。

次に、第１図のブロック104における単純クラスタリ
ング処理について説明する。

一般的に、特徴空間における画素のクラスタリングを
行う場合、全画面の射影に基づくクラスタリングと一部
分のみの局所的な射影に基づくクラスタリングとが考え
られる。これらを比較すると、局所的な射影の方がクラ
スタリングが容易な場合が多い。例えば、走行路の遠方
に存在する白線などの小さな対象物を１つのセクタの特
徴空間に射影すると、第３図（ａ）に示されるヒストグ
ラムが得られる。同図の横軸は特徴量を示し、縦軸はそ
の頻度を示している。白線に相当する特徴量ヒストグラ
ム301は他のセクタにおける特徴量ヒストグラム302から
分離し、遠方に白線があることが把握される。しかし、
全画面の特徴空間に射影すると、他のセクタに同じよう
な色がある場合には同図（ｂ）に示されるヒストグラム
になる。つまり、白線に相当する特徴量ヒストグラム30
1は他のセクタの特徴量ヒストグラム303に隠れてしま
う。

また、シェーディングのある画像の場合においては、
１つのセクタの特徴空間への射影法によると同図（ｃ）
に示される特徴量ヒストグラムが得られ、各ヒストグラ
ム304,305は分離している。しかし、全画面の特徴空間
への射影法によると、同図（ｃ）に示される各ヒストグ
ラムがシフトして多数重なったヒストグラム306が得ら
れる。このため、各セクタの小さな特徴が把握できな
い。

なお、ヒストグラムを用いて濃淡画像を２値化する従
来のローカルヒストグラム法も、画素の明度という１次
元の特徴空間において画素を２つのクラスタに分類する
問題と考えられ、やはり局所的な射影が有効である。

このため、本実施例は局所的な射影法を使用し、セク
タ内の画素の値をＬ^＊ａ^＊ｂ^＊空間に射影し、ユークリ
ッド距離が半径５以内の色をまとめていく。例えば、入
力画像の１セクタが第４図（ａ）に示される場合を想定
する。このセクタには、道路領域401とこの道路領域401
上に描かれた白線402および背景領域403が存在する。各
画素はその色に基づいてＬ^＊ａ^＊ｂ^＊空間においてグル
ープ分けされ、同図（ｂ）に示される○印のグループ40
4,△印のグループ405,×印のグループ406に区分され
る。○印のグループ404の画素は同図（ｂ）において斜
線が付された背景領域403に相当し、△印のグループ405
の画素は斜線が付された白線402に相当し、×印のグル
ープは斜線が付された道路領域401に相当する。

Ｌ^＊ａ^＊ｂ^＊空間において色差５というのは非常に近
い色であり、結果として得られる画像は過分割される。
単純クラスタリング処理を領域成長の前処理と考えてい
るため、過分割されても構わない。この単純クラスタリ
ング処理の手順について、第５図に示されるフローチャ
ートに従って第６図に示される３次元座標を参照しつつ
以下に説明する。

まず、各セクタ内においてＬ^＊ａ^＊ｂ^＊を特徴量とす
る３次元ヒストグラムを作成する（ステップ501）。た
だし、第７図（ａ）に示される４つのセクタ701〜704に
わたって白線のような細い領域が存在し、セクタ701,70
3に僅かな領域しか存在しない場合がある。このような
場合には、セクタ701,703における画素数は少ないた
め、ヒストグラム上では無視されてしまう。このため、
64×64ビットのセクタサイズよりやや広めに拡張した領
域でヒストグラムを作成し、もとの64×64ビットエリア
のみをこの拡張した領域に基づいて分割するようにす
る。例えば、拡張する領域を同図（ｂ）に示されるやや
広めの80×80ビットのエリア705とする。このように広
めのエリア705に基づいてもとのセクタ701内の画素を判
断すれば、僅かな画素も無視されることは無い。

セクタ内の３次元ヒストグラムを作成した後、このヒ
ストグラムに基づき、入力画像に使われている色のうち
ヒストグラム最大の色をクラス０の代表色とする（ステ
ップ502）。例えば、第６図（ａ）に示される３次元座
標では図示の記号×がヒストグラム最大の色であるとす
る。次に、クラス０の代表色との色差が0thresh以下の
色、現在のインプリメントでは５以下の色はクラス０と
して分類する（ステップ503）。例えば、第６図（ｂ）
ではグループ601がクラス０として分類された色にな
る。次に、クラス０として分類された色以外でヒストグ
ラム最大の色をクラス１の代表色とする（ステップ50
4）。例えば、第６図（ｃ）では図示の記号△がクラス
０以外でヒストグラム最大の色であり、クラス１の代表
色になる。次に、クラス１の代表色との色差が0thresh
以下の色、現在のインプリメントでは５以下の色はクラ
ス１として分類する（ステップ505）。例えば、第６図
（ｄ）ではグループ602がクラス１として分類された色
になる。

以下、上述した処理を繰り返し、例えば、第６図
（ｅ）に示されるグループ603がクラス２として分類さ
れたものとする。同図（ｅ）に示されるグループ602,60
3のように、新しいクラスの代表色が既存のクラスの代
表色と10以下の距離にある場合にはクラスの重なりを生
じる。この場合には、この重なり部分はより距離の近い
方に分類する（ステップ506）。さらに、同様の処理を
繰り返し、未分類の色のヒストグラム最大値がLowPeak
以下、現在のインプリメントでは５以下になるまでクラ
ス分類をする。ヒストグラム最大値がLowPeak以下、つ
まり５以下になったときはそれ以上クラスを作らない。
この未分類の色は既存のクラスのうち最も距離の近い代
表色のクラスに分類する（ステップ507）。各出現色に
対するクラスが決まったら、入力RGB画像からクラス画
像（画素の値がその所属するクラスの番号になっている
画像）を作成する（ステップ508）。

次に、第１図のステップ105におけるラベリング処理
について説明する。このラベリング処理は、Ｌ^＊ａ^＊ｂ
^＊空間における画素のクラスタリング結果を表すクラス
画像を入力し、同一クラスに属する連結画素に対して１
つのラベルを与えた画像を出力するものである。なお、
画素の連結関係の判断に際しては、着目する画素の上下
左右に位置する４近傍の画素を考慮して行う。また、ラ
ベリングの方法は色々あるが、本実施例ではＬ字型のマ
スクをラスタスキャン順に走らせて２スキャンでラベリ
ングを行う。従って、ラベルの順番はラスタスキャン順
で、もとのクラスの順番とは無関係である。

例えば、第８図（ａ）に示される画像が入力されたと
する。ただし、本実施例の１セクタは64ビット平方であ
るが、この入力画像は４ドット平方で１セクタが構成さ
れているものと仮定する。セクタ内の各画素に与えられ
た番号は、上述したように、各画素が所属するクラスの
番号に等しくなっている。この入力画像についてＬ字型
のマスクを画像の左上から行方向に右側へ走査する。そ
して、画像の上方から下方にこの走査を繰り返して実行
し、各画素の値をこのラスタスキャン順に付け替えてい
く。この結果、同図（ａ）の入力画像は同図（ｂ）に示
される出力画像に変換される。

次に、第１図のステップ106における小領域除去処理
について説明する。各画素は、ラベリング処理により付
されたラベル値に応じて領域を構成する。つまり、同一
のラベル値が付された各画素は１つの領域を構成する。
小領域除去処理は、このように構成された領域の中で小
さい領域を、大きな領域に併合するマージ処理を行うも
のである。

例えば、ラベリング処理により、第９図（ａ）に示さ
れるセクタ区分されたラベル画像が得られたとする。こ
こで、このラベル画像のラベル数をＮとする。このラベ
ル画像において、面積がしきい値以下のラベルのみを取
り出し、取り出したラベル値をＮ＋１に書き替える。図
示の例では、ラベル数Ｎが７であり、面積のしきい値を
２とすると、しきい値以下の面積を構成するラベル値は
3,4,6,7である。このため、しきい値以下の面積を構成
するラベルの値をＮ＋１、つまり、８に書き替えると、
同図（ｂ）に示されるラベル画像に変換される。

こうして得られた画像を新たなクラス画像と考え、さ
らに、ラベリング処理を実行する。すなわち、前述した
ようにＬ字型のマスクをラスタスキャン順に走査する。
この結果、同図（ｃ）に示される画像が得られ、もとの
ラベル画像の小面積ラベルが統合された画像が得られ
る。この出力画像において残っている面積小ラベルの隣
接ラベルは全て面積大ラベルである。また、この処理に
よってまとめられた面積小ラベルはテクスチャー領域に
対応すると考えることが出来る。次に、小面積のラベル
を隣接ラベルのうち最も面積の大きなラベルに書き替え
る。この結果、小領域が隣接する最大面積の領域にマー
ジされる。

次に、第１図のステップ107におけるセクタ内の領域
成長処理について説明する。領域成長とは、一般的に、
画像を一旦小領域（最少単位は画素）に分離しておき、
隣接した小領域間の類似度を計算し、似た小領域を順次
統合していって領域を形成する方法である（参考文献;B
rice ＆ Phenenma,“Scene analysis using region",A
l.vol.1,No3,pp205−226,1970）。統合して得られた領
域について特徴量および隣接領域との類似度の計算が必
要で、従来の領域成長方法では、初期の小領域数が多い
場合には非常に処理時間がかかる。しかし、本実施例の
処理では、画像平面上の各ラベル領域の位置の連結性を
利用して特徴の類似した隣接領域の統合を繰り返す領域
成長の手法を用いているため、処理時間が短縮してい
る。また、特徴の類似性の尺度としては様々なものが提
案されている。本実施例ではラベル内平均色のＬ^＊ａ^＊
ｂ^＊空間における色差のみを評価関数として用いてい
る。色差なのでこの評価関数は各領域間の非類似性を示
す関数である。

本実施例における各領域の統合処理は次のように行わ
れる。つまり、与えられた統合基準の所定のしきい値Ｘ
をＫステップに分割する。そして、このＫステップに分
割されたしきい値X/Kと評価関数の値とを比較し、評価
関数の値がこの分割されたしきい値X/Kより小さい（評
価関数＜X/K）組みを次々に統合する。この後、分割し
たしきい値のステップを上げ、しきい値2X/Kと評価関数
の値とを比較し、評価関数の値がしきい値2X/Kより小さ
い（評価関数＜2X/K）組みを統合する。以下、順にしき
い値の分割ステップを上げて行き、上記の同様な処理を
繰り返し行い、領域成長をする。

次に、第１図の最終ステップ108における領域成長に
ついて説明する。ここまでの各ステップにより、各セク
タ内において領域成長処理が行われ、各セクタ毎に領域
が統合されている。この最終ステップにおける領域成長
は、セクタ毎に統合された各領域を全画面を対象として
行うものである。この領域成長においても、上記のセク
タ毎の領域成長と同様に領域内平均色に基づいてマージ
が行われる。セクタ分割による人工的な領域境界線はこ
の処理により除去される。

以上のように本実施例における局所的領域成長は、上
述のように、セクタ単位で初期領域形成および領域成長
を行い、各セクタ間で完全に並列に行うため、処理時間
が短縮されている。また、一般的に、クラスタリング部
分は過分割になるように行っているため、従来のローカ
ルヒストグラム法のようなセクタ間の通信処理を行うと
時間がかかるが、本手法の場合にこのセクタ間の通信は
不要になっており、時間が大幅に短縮される。また、領
域形成時に画素の位置情報、つまり、細かく分割された
状態の初期領域のどれとどれとが隣接しているという情
報を利用しているため、セクタ内の分割結果が良い。ま
た、本実施例の領域成長時の領域統合順序によれば、従
来の領域統合の性能を落とさずにソートに要する時間を
短縮することができる。

従って、道路の状況を画像理解により詳細に調べるた
めの前処理として、画像内に含まれている個々の対象物
に応じた領域を高速に抽出することが可能である。な
お、領域抽出の対象物としては、道路の他に、白線、黄
線、道路標識、道路表示、壁、ガードレール等がある。

〔発明の効果〕

以上説明したように本発明によれば、セクタ単位で領
域成長が行われ、セクタ間の通信は分割処理終了時点ま
で行われない。このため、各セクタの処理は完全に並列
に実行可能であり、並列に実行されれば処理時間が短縮
される。

また、領域統合はしきい値の各ステップ毎に行われ、
従来の、評価関数の値の小さい組から順に統合する領域
統合と、統合基準を満たす組がみつかった時に即座に統
合する領域統合との中間的な性質を有する。このため、
領域統合の性能を低下させずに処理に要する時間を短縮
することができる。

【図面の簡単な説明】

第１図は本発明の一実施例による局所的領域分割処理の
概略を示すフローチャート、第２図は画面内で区分され
たセクタを示す図、第３図は画素のクラスタリングの際
に全画面の射影と一部分のみの局所的な射影との違いを
説明するための特徴空間における分布を示す図、第４図
はクラスタリング処理の概要を説明するための図、第５
図はこのクラスタリング処理の手順を示すフローチャー
ト、第６図は第５図に示されたクラスタリング処理の各
過程で得られるクラスタ・グループを説明するための
図、第７図はセクタより拡大したエリアから得られるヒ
ストグラムに基づいてセクタ判断を行うことを説明する
ための図、第８図はラベリング処理を説明するための
図、第９図は小領域を除去する際に再度行われるラベリ
ングを説明するための図、第10図は従来の局所的領域分
割処理の概略を示すフローチャートである。

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】画像を入力し、該画像を構成する画素のう
   ち明度が所定のしきい値以下の画素を分類し、前記入力
   画素を所定数のセクタに区分し、該セクタ毎に単純クラ
   スタリング処理を行って前記セクタ内の画素をグループ
   分けしてクラス画像を前記セクタ毎に並列に作成し、該
   クラス画像のうち同一クラスに属する連結画素に対して
   １つのラベルを与えるラベリング処理を行ってラベル画
   像を前記セクタ毎に並列に作成し、該ラベル画像におい
   て小領域を隣接する大きな領域に併合して該小領域を前
   記セクタ毎に並列に除去し、前記ラベル画像における各
   領域の画像平面上の位置の連結性および該各領域の有す
   る特徴の類似性に基づいて該各領域を前記セクタ毎に並
   列に統合して領域成長し、前記セクタ毎に成長された該
   各領域を前記入力画像の全画面を対象にして該各領域の
   有する特徴の類似性に基づいて統合して領域成長するこ
   とを特徴とする画像処理における局所的領域分割方法。
2. 【請求項２】セクタ毎に並列に実行される領域の統合
   は、各領域の有する特徴の類似性を統合基準のしきい値
   Ｘに基づいて判断し、該しきい値Ｘを所定数Ｋに対する
   複数段階nX/K（ｎ＝１、２、…Ｋ）に分割し、該複数段
   階に区分された統合基準の各しきい値と各領域間の特徴
   の類似性とを比較して統合処理を行うことを特徴とする
   請求項１記載の画像処理における局所的領域成長方法。