JPH1049689A

JPH1049689A - 画像処理装置

Info

Publication number: JPH1049689A
Application number: JP8219345A
Authority: JP
Inventors: Toshiaki Kakinami; 俊明柿並; Yoshikatsu Kimura; 祥勝木村; Akira Inoue; 亮井上
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 1996-07-31
Filing date: 1996-07-31
Publication date: 1998-02-20
Anticipated expiration: 2016-07-31
Also published as: JP3993259B2; US6205234B1

Abstract

(57)【要約】【課題】種々の検出対象に対し、少ないメモリ容量で
適切にウィンドウを設定し得る画像処理装置を提供す
る。【解決手段】画像検出手段ＣＳに画像情報を入力し少
くとも濃淡を表す画像データを検出し、これを画像メモ
リ手段ＤＭに格納する。一方、走査テーブルメモリ手段
ＴＭにて、横又は縦の走査線に応じてアドレスを設定す
ると共に、アドレス毎に画像データの縦又は横の位置情
報を設定し、この位置情報に基づき且つ検出対象に応じ
たウィンドウを設定してテーブルメモリに格納する。こ
のように設定したウィンドウと格納画像データの論理積
（ＡＮＤ）に基づき、画像処理手段ＤＰにて所望の画像
を形成する。この所望の画像に基づき、走査テーブルメ
モリ手段ＴＭにて、次回の画像におけるウィンドウを設
定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置に関
し、特に自動車の前方の、運転者の視界と一致する可視
領域の画像情報に基づき、検出対象に対する所望の表示
画像を形成する画像処理装置に係る。

【０００２】

【従来の技術】近時、自動車の前方の可視領域の画像情
報を処理し種々の用途に供する画像処理装置が提案され
ている。例えば、特開平６−２１５１３７号の公報に
は、画像中の特徴点の情報を高速で検出しうる画像処理
装置を提供することを課題とし、走査テーブルメモリ手
段上に書き込まれる走査線情報（走査開始座標、走査終
了座標）の組合せによって走査領域が決定されるように
構成されている。

【０００３】具体的には、進行方向に向かう白線（車
線）の輪郭を検出する場合、白線が存在する領域は、通
常はある狭い範囲内に限定されるので、その狭い範囲の
画像データだけを検出対象として走査し、特徴検出を実
施すればよいが、検出対象領域が複雑な形状になるの
で、従来装置ではこのような走査ができなかった。この
ため、同公報に記載の装置においては、走査領域（ウィ
ンドウという）は、走査テーブルメモリ手段上に書き込
まれる走査線情報（走査開始座標、走査終了座標）の組
合せによって決定することとしており、走査領域（ウィ
ンドウ）の形状の制限はないので、必要最少限の領域だ
けを走査して、短時間で検出を完了することができる。

【０００４】

【発明が解決しようとする課題】上記公報に記載の画像
処理装置は例えば自動車に搭載され、道路を走行中に運
転者の視界にある道路の境界、即ちレーンの白線の識別
に供される。このとき、白線を囲繞するように設定され
るウィンドウによって、画像情報の濃淡を表すエッジの
検出処理速度を速くすることができると共に、検出対象
である白線以外の路面の汚れや物体等によるノイズエッ
ジの混入を防止し、検出精度を向上させることができ
る。尚、エッジとは、画像中のステップ状の濃淡変化で
あり、明るさが急激に変化している場所で、通常、物体
の輪郭上に表れる。

【０００５】上記エッジの検出処理速度を速くするため
には、上記ウィンドウを、検出対象の形状に応じたパタ
ーンに設定することが望ましい。例えば、上述の例では
レーンの白線のみを囲繞するようにウィンドウを出来る
限り細幅に設定することが望ましい。然し乍ら、画像上
に表れるレーンは多様であり、これら全てを網羅するた
めには膨大な数のウィンドウパターンを用意しておき、
これらの中から適切なパターンのウィンドウを選択する
ように構成する必要がある。従って、大きなメモリ容量
を必要とするだけでなく、選択に時間を要し、却って処
理時間が長くなるおそれもある。

【０００６】更に、検出対象が変化する場合、例えば自
動車の前方の可視領域にあるレーンを検出対象とし、そ
のレーンがカーブしている場合には、正確に曲線と認識
し迅速に処理するため予め種々のパターンのウィンドウ
を設定しておく必要があり、大きなメモリ容量が必要と
なる。

【０００７】そこで、本発明は、画像処理装置におい
て、種々の検出対象に対し、少ないメモリ容量で適切に
ウィンドウを設定し得る画像処理装置を提供することを
課題とする。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
め、本発明は、請求項１に記載し図１に示したように、
画像情報を入力し少くとも濃淡を表す画像データを検出
する画像検出手段ＣＳと、画像検出手段ＣＳが検出した
画像データを格納する画像メモリ手段ＤＭと、横又は縦
の走査線に応じてアドレスを設定すると共に、このアド
レス毎に前記画像データの縦又は横の位置情報を設定
し、この位置情報に基づき且つ前記検出対象に応じたウ
ィンドウを設定してテーブルメモリに格納する走査テー
ブルメモリ手段ＴＭと、走査テーブルメモリ手段ＴＭが
格納したウィンドウと画像メモリ手段ＤＭが格納した画
像データの論理積（ＡＮＤ）に基づき所望の画像を形成
する画像処理手段ＤＰとを備えたものとし、走査テーブ
ルメモリ手段ＴＭが、画像処理手段ＤＰにより形成され
た前記所望の画像に基づき、次回の画像におけるウィン
ドウを設定するように構成することとしたものである。
尚、図１においてａ乃至ｄは、各部分における画面の状
態を模式的に示したものである。

【０００９】上記画像処理装置において、請求項２に記
載のように、走査テーブルメモリ手段ＴＭは、前記所望
の画像を形成した画像データに基づき、アドレス毎に少
くとも一つの基準点のｘ座標又はｙ座標を設定すると共
に、各基準点に対し所定の幅を設定してウィンドウを設
定してテーブルメモリに格納するウィンドウ設定手段Ｗ
Ｍを備えたものとするとよい。

【００１０】図２は、前記ウィンドウ設定手段で用いる
テーブルメモリの一例を示すもので、図２の右側に示す
画面の横又は縦（図２の例では横のｘ軸方向）の走査線
４８０本に対応する０番地から４７９番地のアドレスが
設定される。このアドレス毎に少くとも一つの基準点の
ｘ座標又はｙ座標（図２の例ではｘ座標のX0乃至X479）
を設定すると共に、各基準点に対し所定の幅（図２の例
ではW0乃至W479）が設定されて格納される。尚、図２の
画面の左上角部の座標は（０，０）であり、右下角部の
座標は（６３９，４７９）である。また、テーブルメモ
リが１６ビットである場合には、ウィンドウのｘ座標設
定用に１０ビットが用いられ、幅の設定用に６ビットが
用いられるように構成されるが、３２ビットのメモリで
あれば、幅も略画面一杯に設定することができる。

【００１１】また、請求項３に記載のように、画像検出
手段ＤＤは、画像情報の濃淡に基づきエッジを検出し画
像データとして出力するエッジ検出手段ＥＤを備えたも
のとし、画像メモリ手段ＤＭは、エッジを格納するエッ
ジメモリ手段ＥＭを備えたものとするとよい。

【００１２】更に、請求項４に記載のように、検出対象
を含む可視領域を撮像する撮像手段ＣＳを備えたものと
し、撮像手段ＣＳが撮像した画像情報をエッジ検出手段
ＥＤに入力し、エッジを検出するように構成してもよ
い。

【００１３】尚、請求項５に記載のように、走査テーブ
ルメモリ手段ＴＭを、テーブルメモリ一個に検出対象の
一つを検出するためのウィンドウを設定するように構成
することができる。

【００１４】更に、請求項６に記載のように、画像処理
手段ＤＰを、ウィンドウと画像データの論理積を３次元
平面に換算して検出対象を含む所望の画像を形成すると
共に、３次元平面の画像を更に２次元平面に換算し、走
査テーブルメモリ手段ＴＭが、その換算結果に基づき次
回の画像における前記ウィンドウを設定するように構成
することもでき、自動車の前方視界のモニタ等に好適で
ある。

【００１５】

【発明の実施の形態】以下、本発明の画像処理装置の実
施形態について図面を参照しながら説明する。本実施形
態は、自動車の運転者の視界と一致する前方の可視領域
内に存在する検出対象に対し、所望の画像を形成する画
像処理装置に係り、検出対象を確実に検出し画像表示し
得るように構成されている。図３は画像処理装置の全体
構成を示すもので、例えば固体撮像素子のＣＣＤを用い
たＣＣＤカメラ１が、例えば自動車（図示せず）内の運
転者の視点近傍に配置され前方の可視領域が撮像され
る。このＣＣＤカメラ１で撮像されるアナログ信号の画
像信号はエッジ検出部１０のＡＤコンバータ１１に供給
され、濃度に応じたデジタル信号に変換される。

【００１６】エッジ検出部１０において、ＡＤコンバー
タ１１の出力信号は二本のラインバッファ１２を介して
検出回路１３内のSobel のエッジ抽出オペレータ１４に
供給され、ｘ方向及びｙ方向のエッジが検出されるよう
に構成されている。また、ＣＣＤカメラ１の出力信号が
同期信号としてｘ−ｙアドレス変換部１５に供給され
る。このとき、エッジのｘ座標として１０ビットが割り
当てられ、ｙ座標には９ビットが割り当てられ、最大値
用に８ビットが割り当てられ、更に、正負の符号用に１
ビットが割り当てられる。更に、検出回路１３は後述す
るウィンドウゲート１６を有し、検出対象判定部２０に
接続されている。尚、このエッジ検出部１０は、ゲート
アレーで構成することができる。

【００１７】検出対象判定部２０はマイクロコンピュー
タで構成され、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、
出力用のシリアルポート２４、割込カウンタ２５、タイ
マ２６等を有し、これらがアドレスバス及びデータ／コ
ントロールバスを介して接続されている。尚、２７は電
源部である。ＲＡＭ２３はウィンドウメモリ２３ｗとエ
ッジメモリ２３ｅを有し、前者のウィンドウデータがウ
ィンドウゲート１６に供給されると共に、エッジ抽出オ
ペレータ１４の抽出データがウィンドウゲート１６に供
給され、ウィンドウゲート１６内でこれらの論理積（Ａ
ＮＤ）が演算され、その演算結果がエッジメモリ２３ｅ
に供給されて格納される。

【００１８】図４はエッジ検出に係る機能ブロック図
で、同期信号Ｓが夫々水平カウンタ１７及び垂直カウン
タ１８を介して、２本のラインバッファ１２、３×３マ
トリクスレジスタ１９、Sobel のエッジ抽出オペレータ
１４ex，１４ey、ピーク検出部１４px, １４pyに供給さ
れる。而して、２本のラインバッファ１２を介して走査
線３本の画像データが３×３マトリクスレジスタ１９に
供給され、エッジ抽出オペレータ１４ex，１４eyにおい
て、２次元画面のｘ方向及びｙ方向のエッジが検出さ
れ、更にピーク検出部１４px, １４pyにて求められた夫
々のピーク値がエッジメモリ２３ｅに供給される。尚、
ｙ方向のピーク値を求めるためピーク値検出用のメモリ
２３ｐが設けられている。一方、ウィンドウゲート１６
にてピーク判定されたときのピーク値検出用メモリ２３
ｐの内容とウィンドウメモリ２３ｗのメモリ値との論理
積（ＡＮＤ）が求められ、ウィンドウの位置及び幅がエ
ッジメモリ２３ｅに供給される。このエッジメモリ２３
ｅは、ｘ方向及びｙ方向の濃度メモリ２３gx，２３gyと
ｘ方向及びｙ方向の座標メモリ２３px，２３pyを有し、
夫々にエッジのピーク値が格納される。

【００１９】上記の構成になる本実施形態の画像処理装
置においては、図５及び図６のフローチャートに従って
画像処理が行なわれる。先ず図５のステップ１０１にお
いて、ＣＣＤカメラ１の全ての出力画像信号がＡＤコン
バータ１１及びラインバッファ１２を介して検出回路１
３に供給され、画像情報が取り込まれる。次に、ステッ
プ１０２にてエッジが検出される。本実施形態ではこの
エッジに基づき図７に示すように特徴点が設定され、こ
の特徴点のｘ座標及びｙ座標が特定される。また、ステ
ップ１０３において今回の画像処理時の検出対象ウィン
ドウが設定される。尚、この処理については図６を参照
して後述する。

【００２０】図７は上記の特徴点の抽出状況を示すもの
で、先ず画像濃度を表す信号が微分され、微分値（ピー
ク値）が所定のしきい値によって二値化され所定幅の特
徴領域Ｚ１，Ｚ２が形成される。更に、細線化処理が行
なわれ、特徴領域Ｚ１，Ｚ２の中央部分の位置が特徴点
Ｐ１，Ｐ２とされ、輪郭を表す基準とされる。このよう
に、本実施形態では輪郭を表す指標として一般的なエッ
ジのほかに特徴点が設定されるが、エッジをそのまま用
いることとしてもよい。

【００２１】続いて、ステップ１０４において、ステッ
プ１０２にてエッジに基づいて設定された特徴点と、ス
テップ１０３で設定された検出対象ウィンドウの論理積
（ＡＮＤ）がとられ、このウィンドウ内の特徴点が抽出
される。そして、ステップ１０５に進むが、ステップ１
０５以降は検出対象が曲線又は直線状の場合に特有の処
理であり、具体的には本実施形態が対象とする自動車走
行用のレーンにおける、一定幅の直線または断続線であ
って一般的に白色の車線（以下、白線という）の特定に
好適な処理である。

【００２２】ステップ１０５においては、図８及び図９
に示すように、ステップ１０４で抽出された画面上の特
徴点が路面上に存在するように、特徴点の位置が３次元
平面上の位置に変換される。尚、前述の２次元平面の座
標軸ｘ，ｙに対し、３次元平面の座標軸をＸ，Ｙ，Ｚで
表す。上記のように３次元平面上の位置に変換された特
徴点によって、ステップ１０６にてレーンのセグメント
が特定される。続いて、ステップ１０７にてセグメント
の配列に対し数学モデルが当てはめられ、更にステップ
１０８に進み、合致する数学モデルによってレーン形状
を表すパラメータ（曲率半径、レーンの幅等）が計測さ
れる。更に、ステップ１０９に進み、レーン形状を表す
パラメータが２次元平面座標に換算され、次回の検出対
象ウィンドウの設定に供される。

【００２３】次に、図６を参照して、ステップ１０３に
おいて実行される検出対象ウィンドウの設定について説
明する。ステップ２０１において検出対象ウィンドウ
（以下、単にウィンドウという）の縦軸（ｙ軸）の上端
及び下端を設定する値が、夫々所定値ｙｂ，ｙｔに設定
され（本実施形態では、ｙｂ≧０，ｙｔ≦４７９）、縦
軸（ｙ軸）上の位置ｙの値が画面の最下端（ｙ＝４７
９）に設定される。

【００２４】続いて、ステップ２０３においてウィンド
ウの左側設定用のメモリ（ｙ）及び右側設定用のメモリ
（ｙ）が夫々キャンセル（無効）され、ステップ２０４
においてｙ軸上の位置ｙの値がディクリメント（−１）
された後、ステップ２０５にて所定値ｙｂと比較され、
所定値ｙｂ以下となるまでステップ２０３及び２０４が
繰り返される。ｙ軸上の位置ｙの値が所定値ｙｂ以下と
なると、ステップ２０６に進み、所定値ｙｂとされる。
このようにして画面の下端が設定され、画面の下方の位
置ｙｂからステップ２０７以降の処理が開始する。

【００２５】ステップ２０７においては、ウィンドウの
幅がｗ(y) に設定される。ウィンドウの幅ｗ(y) は、図
１０に示すように一定（ｗ(y) ＝Ｋｙ，但しＫｙは定
数）としてもよいし、図１１に示すように３次元平面上
でウィンドウの幅が一定になるように設定してもよい。
あるいは、図１２に示すように遠方でウィンドウの幅が
拡大するように設定してもよい。そして、ステップ２０
８にてウィンドウの左側設定用のメモリ（ｙ）の始点
が、ｆｌ(y) −ｗ(y)/２に設定される。ここで、ｆｌ
(y) は２次元画面上での左側の白線形状の中心線を表
し、前回の値である。

【００２６】また、ステップ２０９にてウィンドウの左
側設定用のメモリ（ｙ）の幅が、ｗ(y) に設定される。
同様に、ステップ２１０にてウィンドウの右側設定用の
メモリ（ｙ）の始点が、ｆｒ(y) −ｗ(y)/２に設定さ
れ、ステップ２１１にてウィンドウの右側設定用のメモ
リ（ｙ）の幅が、ｗ(y) に設定される。尚、ｆｒ(y) は
２次元画面上での右側の白線形状の中心線を表し、前回
の値である。このように、本実施形態ではウィンドウの
形状は基準点（始点）と幅によって規定されるが、始点
と終点を設定することとしてもよい。

【００２７】次に、ステップ２１２においてｙ軸上の位
置ｙの値がディクリメント（−１）された後、ステップ
２１３にて画面の上端を表す所定値ｙｔと比較され、所
定値ｙｔを下回るまでステップ２０７乃至２１２が繰り
返される。ｙ軸上の位置ｙの値が所定値ｙｔを下回る
と、ステップ２１４に進む。

【００２８】而して、画面に予め設定した上端を超える
ことになるので、ステップ２１４においてウィンドウの
左側設定用のメモリ（ｙ）及び右側設定用のメモリ
（ｙ）がキャンセルされ、ステップ２１５においてｙ軸
上の位置ｙの値がディクリメント（−１）された後、ス
テップ２１６にて０と比較され、ｙ軸上の位置ｙの値が
０を下回るまでステップ２１４及び２１５が繰り返さ
れ、ｙ軸上の位置ｙの値が０を下回ると図５のルーチン
に戻る。

【００２９】以上のように、ウィンドウ形状は基準点と
幅、もしくは始点と終点の組合せによって曲線や矩形等
の任意の形状に設定することができる。従って、曲線の
レーンに対しても適切な画像を形成することができる。

【００３０】

【発明の効果】本発明は前述のように構成されているの
で以下に記載の効果を奏する。即ち、請求項１に係る画
像処理装置は、走査テーブルメモリ手段が格納したウィ
ンドウと画像メモリ手段が格納した画像データの論理積
に基づき所望の画像を形成し、この所望の画像に基づき
次回の画像におけるウィンドウを設定するように構成さ
れているので、種々の検出対象に対し、少ないメモリ容
量で一層適切にウィンドウを設定することができる。

【００３１】更に、請求項２に記載の画像処理装置にお
いては、走査テーブルメモリ手段が、所望の画像を形成
した画像データに基づき、アドレス毎に少くとも一つの
基準点のｘ座標又はｙ座標を設定すると共に、各基準点
に対し所定の幅を設定してウィンドウを設定するように
構成されているので、少ないメモリ容量で所定の画像処
理を行なうことができる。

【００３２】請求項３に記載の画像処理装置において
は、画像検出手段が、画像情報の濃淡に基づきエッジを
検出し画像データとして出力すると共に、画像メモリ手
段が、エッジを格納するように構成されており、また請
求項４に記載の画像処理装置においては、検出対象を含
む可視領域を撮像した画像情報をエッジ検出手段に入力
し、エッジを検出するように構成されているので、容易
に所定の画像処理を行なうことができる。

【００３３】更に、請求項５に記載の画像処理装置にお
いては、走査テーブルメモリ手段が、テーブルメモリ一
個に検出対象一つを検出するためのウィンドウを設定す
るように構成されているので、検出対象が変化しても、
正確且つ迅速にウィンドウを設定して画像処理を行なう
ことができる。

【００３４】そして、請求項６に記載の画像処理装置に
おいては、画像処理手段が、ウィンドウと画像データの
論理積を３次元平面に換算して検出対象を含む所望の画
像を形成すると共に、３次元平面の画像を更に２次元平
面に換算し、走査テーブルメモリ手段が、その換算結果
に基づき次回の画像におけるウィンドウを設定するよう
に構成されているので、種々の検出対象に対し、少ない
メモリ容量で一層適切にウィンドウを設定することがで
きる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の構成の概要を示すブロ
ック図である。

【図２】本発明の一実施形態におけるウィンドウ設定メ
モリを示す構成図である。

【図３】本発明の一実施形態の画像処理装置の全体構成
を示すブロック図である。

【図４】本発明の一実施形態の画像処理装置におけるエ
ッジ検出部の構成を示すブロック図である。

【図５】本発明の一実施形態における画像処理を示すフ
ローチャートである。

【図６】本発明の一実施形態における検出対象ウィンド
ウ設定の処理を示すフローチャートである。

【図７】本発明の一実施形態における特徴点の検出状況
を示すグラフである。

【図８】本発明の一実施形態において特徴点の位置を３
次元平面上の位置に変換する状況を示す図ある。

【図９】本発明の一実施形態において特徴点の位置を３
次元平面上の位置に変換する状況を示す図である。

【図１０】本発明の一実施形態における検出対象ウィン
ドウの設定例を示す正面図である。

【図１１】本発明の一実施形態における検出対象ウィン
ドウの設定例を示す正面図である。

【図１２】本発明の一実施形態における検出対象ウィン
ドウの設定例を示す正面図である。

【符号の説明】

１ＣＣＤカメラ１０エッジ検出部１１ＡＤコンバータ１２ラインバッファ１３検出回路１４エッジ抽出オペレータ１５ｘ−ｙアドレス変換部１６ウィンドウゲート２０検出対象判定部２３ｗウィンドウメモリ２３ｅエッジメモリ

Claims

【特許請求の範囲】

【請求項１】画像情報を入力し少くとも濃淡を表す画
像データを検出する画像検出手段と、該画像検出手段が
検出した画像データを格納する画像メモリ手段と、横又
は縦の走査線に応じてアドレスを設定すると共に、該ア
ドレス毎に前記画像データの縦又は横の位置情報を設定
し、該位置情報に基づき且つ前記検出対象に応じたウィ
ンドウを設定してテーブルメモリに格納する走査テーブ
ルメモリ手段と、該走査テーブルメモリ手段が格納した
ウィンドウと前記画像メモリ手段が格納した画像データ
の論理積に基づき所望の画像を形成する画像処理手段と
を備え、前記走査テーブルメモリ手段が、前記画像処理
手段により形成された前記所望の画像に基づき、次回の
画像における前記ウィンドウを設定するように構成した
ことを特徴とする画像処理装置。
【請求項２】前記走査テーブルメモリ手段が、前記所
望の画像を形成した画像データに基づき、前記アドレス
毎に少くとも一つの基準点のｘ座標又はｙ座標を設定す
ると共に、各基準点に対し所定の幅を設定して前記ウィ
ンドウを設定して前記テーブルメモリに格納するウィン
ドウ設定手段を備えたことを特徴とする請求項１記載の
画像処理装置。
【請求項３】前記画像検出手段が、前記画像情報の濃
淡に基づきエッジを検出し前記画像データとして出力す
るエッジ検出手段を備え、前記画像メモリ手段が、前記
エッジを格納するエッジメモリ手段を備えたことを特徴
とする請求項１記載の画像処理装置。
【請求項４】検出対象を含む可視領域を撮像する撮像
手段を備え、該撮像手段が撮像した画像情報を前記エッ
ジ検出手段に入力し、前記エッジを検出するように構成
したことを特徴とする請求項１記載の画像処理装置。
【請求項５】前記走査テーブルメモリ手段が、前記テ
ーブルメモリ一個に前記検出対象の一つを検出するため
のウィンドウを設定するように構成したことを特徴とす
る請求項１記載の画像処理装置。
【請求項６】前記画像処理手段が、前記ウィンドウと
前記画像データの論理積を３次元平面に換算して前記検
出対象を含む前記所望の画像を形成すると共に、前記３
次元平面の画像を更に２次元平面に換算し、前記走査テ
ーブルメモリ手段が、その換算結果に基づき次回の画像
における前記ウィンドウを設定するように構成したこと
を特徴とする請求項１記載の画像処理装置。