WO2006068223A1

WO2006068223A1 - 画像処理装置

Info

Publication number: WO2006068223A1
Application number: PCT/JP2005/023595
Authority: WO
Inventors: Tomoharu Nagao; Wataru Yokoi; Genya Ogawa; Katsuyuki Kise; Tsuyoshi Torii
Original assignee: National University Corporation Yokohama National University; Fuji Jukogyo Kabushiki Kaisha
Priority date: 2004-12-24
Filing date: 2005-12-22
Publication date: 2006-06-29
Also published as: US20080069399A1; EP1830320A4; EP1830320A1

Abstract

　撮像装置（２１）により撮像された画像に画像処理を施して画像中から特定の対象を抽出する画像処理装置（１）において、画像フィルタ（Ｆ）を木構造状に組み合わせた処理プログラムに基づいて、撮像装置（２１）により撮像された複数種類の入力画像（ｔ、ｔ－１、…、ｔ－ｋ）に画像処理を施し、特定の対象が抽出された出力画像（Ｏ）を形成するための画像処理部（３）を備えるようにした。

Description

明細書

画像処理装置

技術分野

[0001] 本発明は、画像処理装置に係り、特に、画像中から特定対象を抽出可能な画像処理装置に関する。

背景技術

[0002] 近年、 TVカメラや CCDカメラ等の画像入力手段で被写体や風景等を撮像し、得られた動画像に画像処理を施して、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出するための画像処理装置や画像処理方法の研究が盛んに行われている（例えば、特許文献：!〜 5等参照）。

[0003] このような画像処理装置は、例えば、自動車等の分野においては、車両に取り付けた CCDカメラ等で前方風景を撮像し、その動画像から歩行者や他の車両を抽出して、それらとの衝突等の事故回避に応用されたり（特許文献 1〜3参照）、或いは、人工知能型ロボット等の分野では、ロボットが、搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりすることに用いられる（特許文献 4参照）など、種々の分野で研究や実用化が図られている。

[0004] 動画像中から特定の対象を抽出するために、このような画像処理装置では、例えば、水平方向に離間した 2台の CCDカメラ等により得られた入力画像に画像処理を施して特定対象の輪郭部分を抽出したり、入力画像からオプティカルフローを算出して特定対象を抽出したり、或いはパターンマッチング処理によりデータベースに登録されてレ、るモデルと照合して特定対象を推定する等の画像処理方法が採られてレ、る。

[0005] しかし、これらの方法は、通常、処理プログラムの構築に非常に手間力かかる上、目的とする特定対象ごとに処理プログラムを構築しなければならなレ、。そのため、従来から、処理プログラムを容易に構築可能であり、汎用性の高い処理プログラムを得ることができる画像処理方法や画像処理装置が望まれていた。

[0006] 一方、静止画像に対する画像処理の分野では、近年、各種画像フィルタ Fを図 41 に示すような木構造状に組み合わせた処理プログラムに基づいて入力画像 Iに画像処理を施す画像処理技術 (ACTIT)が提案されてレ、る（非特許文献 1参照）。

[0007] 具体的には、例えば、印刷文字と手書きの文字とよりなる文書の入力画像 Iに図 41 に示したような処理プログラムにより画像処理を施し、印刷文字のみが抽出された出力画像 oを出力させたり、複数の角膜内皮細胞が連なった状態の顕微鏡画像から細胞同士の境界部分の網目模様のみを抽出して出力画像 oを得る等の画像処理を行う画像処理技術である。

[0008] 非特許文献 1では、さらに、この各種画像フィルタ Fの組み合わせを自動的に最適化するために遺伝的プログラミング（Genetic Programming₀ GPと略される。）の技法を取り入れることが提案されている。以下、この画像変換の自動構築法を ACTIT (Au tomatic Construction or free-structural Image I ransformationsノとレヽつ。

特許文献 1 :特開平 5— 265547号公報

特許文献 2：特開平 10— 11585号公報

特許文献 3 :特開 2002— 83297号公報

特許文献 4：特開 2001— 84383号公報

特許文献 5：特開平 9 271014号公報

非特許文献 1：青木紳也、外 1名、「木構造状画像変換の自動構築法 ACTIT」、映像情報メディア学会誌、社団法人映像情報メディア学会、 1999年、第 53卷、第 6号、 p . 888〜894

発明の開示

発明が解決しょうとする課題

[0009] そこで、前述した動画像中から移動する物体等の特定の対象を抽出するような課題に、非特許文献 1に記載された画像処理技術が応用されることが期待される。

[0010] し力しながら、この画像処理技術は、前述したように、静止画像に対して画像処理を行うものであり、具体的に言えば、図 41に示した処理プログラムの「入力画像 I」には同一の静止画像が繰り返し入力されることが前提とされている。そのため、 ACTITの手法を動画像にも適用できるように修正しなければならない。

[0011] また、 ACTITの手法に、画像中から移動物体上の各点の移動方向や移動距離を抽出できるオプティカルフローの手法を組み込むことができれば、特に動画像中から画像中を移動する物体を抽出するような場合には、オプティカルフローの手法が効果的に作用することが予想され、抽出の精度が向上することが期待される。

[0012] そこで、本発明の目的は、この画像処理技術 ACTITを拡張して動画像にも同様の画像処理技術を適用できるようにし、各種画像フィルタを木構造状に組み合わせた処理プログラムに基づいて動画像中から特定の対象を抽出可能であり、特に時間的な変化や変位を伴う特定対象の抽出を行うことが可能な画像処理装置を提供することである。本発明は、このような処理プログラムを容易に得ることができる汎用性の高い画像処理装置の提供をも目的とする。

[0013] また、本発明は、各種画像フィルタを木構造状に組み合わせた処理プログラムを遺伝的プログラミングにより自動的に最適化できる ACTITの手法に、オプティカルフロ一の手法を取り入れて動画像中から移動物体を精度良く抽出可能な画像処理装置を提供することをも目的とする。

課題を解決するための手段

[0014] 前記の問題を解決するために、請求の範囲第 1項に記載の発明は、

画像処理装置は、

撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、

画像フィルタを木構造状に組み合わせた処理プログラムに基づレ、て、前記撮像装置により撮像された複数種類の画像に画像処理を施し、前記特定の対象が抽出された出力画像を形成するための画像処理部を備え、

前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の動画像を構成する複数種類の画像であることを特徴とする。

[0015] 請求の範囲第 1項に記載の発明によれば、画像処理装置の画像処理部が有する木構造の処理プログラムの構成を、従来のように終端記号として同一の静止画像のみを有する構成とするのではなぐ複数種類の画像を終端記号とする木構造の処理プログラムとする。

[0016] また、前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像を用いた遺伝的プログラミングにより処理プログラムを形成するように構成されていることが好ましい。

[0017] また、前記重み画像は、その抽出領域の重みと非抽出領域の重みとの比が、前記抽出領域および前記非抽出領域の面積比の逆数の比となるように設定されることが好ましい。

[0018] また、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像よりなる学習セットを複数セット用いて処理プログラムを形成することが好ましい。

[0019] また、前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおけるノード数が大きいほど小さい値をとるように算出されることが好ましい。

[0020] また、前記ノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることが好ましい。

[0021] また、前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が

、前記処理プログラムにおける 2入力画像フィルタのノード数が大きいほど大きな値をとるように算出されることが好ましい。

[0022] また、前記 2入力画像フィルタのノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることが好ましい。

[0023] また、前記処理プログラムは、複数の処理プログラムが組み合わされて形成されてレ、ることが好ましい。

[0024] また、前記複数の処理プログラムによる処理の非線形の重ね合わせにより出力画像が形成されるように構成されてレ、ることが好ましレ、。

[0025] また、前記画像フィルタには、マスクフィルタが含まれることが好ましい。

[0026] また、画像を表示するための表示部を備え、前記処理プログラムに基づいて形成した出力画像を前記表示部に表示されている前記入力画像に重ね合わせて表示するように構成されてレ、ることが好ましレ、。

[0027] また、前記画像処理部は、画像フィルタを木構造状に組み合わせた処理プログラムに基づいて、前記撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施すことが好ましい。

[0028] また、前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数の画像、オプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより最適化された処理プログラムを出力するように構成されてレ、ることが好ましレ、。

[0029] また、前記画像処理部は、前記撮像装置により撮像された前記複数の画像を擬似的に上空から見た状態の画像にそれぞれ変換するように構成されていることが好ましレ、。

[0030] また、前記画像処理部は、前記変換した複数の画像および前記変換した複数の画像に基づいて生成したオプティカルフロー画像を前記処理プログラムに入力するように構成されていることが好ましい。

[0031] また、前記処理プログラム形成部は、前記変換された複数の画像、前記変換された複数の画像に基づいて生成されたオプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより学習を行い、最適化された処理プログラムを出力するように構成されてレ、ることが好ましレ、。

[0032] また、前記オプティカルフロー画像は、算出したフローの大きさの情報を階調値に表した画像であることが好ましレ、。

[0033] また、前記オプティカルフロー画像は、算出したフローの向きの情報を階調値に表した画像であることが好ましレ、。

[0034] また、前記オプティカルフロー画像における前記フローは、前記撮像装置の移動状態に基づいて換算された前記撮像装置の移動平面に対するフローであることが好ましい。

[0035] また、前記オプティカルフロー画像は、算出したフローの信頼性が低い画素部分の階調値が 0とされてレ、ることが好ましレ、。

[0036] また、前記撮像装置により撮像された前記複数の画像に対して、視点位置を上方に移動させた状態にそれぞれの画像を変換するように構成されていることが好ましい発明の効果

[0037] 請求の範囲第 1項に記載の発明によれば、画像処理装置の画像処理部が有する木構造の処理プログラムの構成を、従来のように終端記号として同一の静止画像のみを有する構成とするのではなぐ複数種類の画像を終端記号とする木構造の処理プログラムとする。そのため、従来の ACTIT (前記非特許文献 1参照）の画像処理技術を拡張して、フレームごとに画像が異なる動画像にも ACTITの技術が適用できるようになる。

[0038] また、同時に、入力される各画像を比較して差分処理を行ったり論理積処理を行つたりすることにより、各画像間の特定対象の位置のずれ等の要素を加味した画像処理が可能となり、画像中の時間的な変化や空間的な変位を伴う特定対象の抽出を行うことが可能となる。

[0039] また、画像処理装置に、各種画像フィルタを木構造状に組み合わせた処理プログラムに従って、撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施し、特定の対象が抽出された出力画像を形成するための画像処理部を備えるように構成すると、同一の静止画像を木構造状の処理プログラムに入力して画像中から特定の対象を効果的に抽出することができる前記 ACTITの手法を、画像中の全体的な構成はほぼ同様であるが被写体の位置関係がフレームごとに若干異なる複数の画像と、それらの複数の画像から生成されるオプティカルフロー画像とを木構造状の処理プログラムに入力して動画像を構成する画像中から特定の対象を抽出するように拡張することが可能となる。

[0040] 特に、処理プログラムに入力される画像として、動画像を構成する複数の画像から生成したオプティカルフロー画像を入力するように構成したことで、動画像中で特異なフローを示す移動対象に対応する画像上の領域を処理プログラムに明確に指摘すること力 Sできるようになる。そのため、本発明の画像処理装置は、動画像中から抽出する特定対象が移動物体である場合に特に的確に精度良く移動対象を抽出することが可能となる。

図面の簡単な説明 [図 1]第 1の実施形態の画像処理装置の構成を示すブロック図である。

[図 2]第 1の実施形態の処理プログラムの構造を説明した図である。

[図 3A]連続する 4フレーム分の入力画像が処理プログラムに入力される入力画像の選択方法を説明した図である。

[図 3B]3フレームごとの 4フレーム分の入力画像が処理プログラムに入力される入力画像の選択方法を説明した図である。

[図 4A]連続する 4フレーム分の入力画像の入力画像 tを説明した図である。

[図 4B]連続する 4フレーム分の入力画像の入力画像 t_ 3を説明した図である。

[図 5]図 4Aおよび図 4Bの入力画像に基づく出力画像を説明した図である。

[図 6]図 4Aの入力画像と図 5の出力画像を重ね合わせて表示した状態を示す図である。

[図 7A]第 1の実施形態で用いられるマスクフィルタの例を示す図である。

[図 7B]第 1の実施形態で用いられるマスクフィルタの例を示す図である。

[図 7C]第 1の実施形態で用いられるマスクフィルタの例を示す図である。

[図 7D]第 1の実施形態で用いられるマスクフィルタの例を示す図である。

[図 7E]第 1の実施形態で用いられるマスクフィルタの例を示す図である。

[図 7F]第 1の実施形態で用いられるマスクフィルタの例を示す図である。

[図 8]第 1の実施形態の処理プログラム形成部の構成を示すブロック図である。

[図 9]適応度評価手段で用いられる目標画像を説明した図である。

[図 10]適応度評価手段で用いられる重み画像を説明した図である。

[図 11]第 1の実施形態で用レ、られる 3つの学習セットを説明した図である。

[図 12A]図 11の第 2学習セットで用いられる入力画像を示す図である。

[図 12B]図 11の第 3学習セットで用いられる入力画像を示す図である。

[図 13]交叉手段における処理プログラムの交叉を説明した図である。

[図 14]処理プログラムを組み合わせて形成される大規模な処理プログラムを説明した図である。

[図 15]マスクフィルタを用いて画像を分割して表示する大規模な処理プログラムを説明した図である。 [図 16]遺伝的プログラミングにより形成された処理プログラムの一例を示す図である。園 17A]学習セットに用いなかった入力画像の中から人物を抽出した状態を示す図である。

園 17B]学習セットに用いなかった入力画像の中から人物を抽出した状態を示す図である。

園 18]第 2の実施形態に係る画像処理装置の構成を示すブロック図である。

園 19]撮像装置により撮像された入力画像を例示する図である。

園 20]第 2の実施形態における処理プログラムの構造を説明する図である。

[図 21]第 2の実施形態の処理プログラムに入力される入力画像の選択方法を説明する図である。

[図 22]マッチング処理を説明する図である。

[図 23]オプティカルフロー画像を示す図である。

[図 24]処理プログラムによる出力画像を示す図である。

[図 25]入力画像と出力画像とを重ね合わせて表示した画像を示す図である。

[図 26]適応度評価手段で用いられる目標画像を説明する図である。

[図 27]適応度評価手段で用いられる重み画像を説明する図である。

[図 28]遺伝的プログラミングにより形成された処理プログラムの一例を示す図である。園 29]未学習の動画像に処理プログラムを適用した結果を示す図である。

[図 30]処理プログラムの入力画像としてオプティカルフロー画像を用いる場合と用いなレ、場合との世代数に対する適応度の変化の違レ、を示すグラフである。

園 31]第 3の実施形態において入力画像を擬似的に上空から見た状態の画像に変換する原理を説明する図である。

[図 32]図 19の入力画像から変換されて形成された変換画像を示す図である。

[図 33]変換画像から生成されたオプティカルフロー画像を示す図である。

園 34]第 3の実施形態において出力された画像を逆変換して得られた出力画像を示す図である。

園 35]出力画像と元の入力画像とを重ね合わせて表示した画像を示す図である。園 36]第 3の実施形態で用レ、られる目標画像を説明する図である。 [図 37]第 3の実施形態で用いられる重み画像を説明する図である。

[図 38]第 3の実施形態で形成された処理プログラムを未学習の動画像に適用した結果を示す図である。

[図 39]処理プログラムの進化過程における適応度の推移を示すグラフである。

[図 40A]静止物体についての自車両の走行状態に基づくフローによるフローべクトノレの換算を説明する図である。

[図 40B]移動物体についての自車両の走行状態に基づくフローによるフローべクトノレの換算を説明する図である。

[図 41]従来の処理プログラムの構造を説明した図である。

発明を実施するための最良の形態

[0042] 以下、本発明の画像処理装置に係る実施の形態について、図面を参照して説明する。

[0043] [第 1の実施の形態]

本実施形態では、画像処理装置が自動車車両に搭載され、車両前方の風景画像の中から歩行者を抽出する画像処理装置について述べる。

[0044] 図 1は、本実施形態の画像処理装置の構成を示すブロック図であり、画像処理装置 1は、画像入力部 2と、画像処理部 3と、表示部 4と、メモリ 5と、処理プログラム形成部 6と、入力部 7とを備えている。本実施形態では、画像処理装置 1としては、 CPUや RAM, ROM、入出力インターフェース等が BUSにより接続されて構成されたコンビユータを用いることができる。

[0045] 画像入力部 2は、撮像した画像を電気信号に変換可能な撮像装置 21を備えており、撮像装置 21としては、例えば、電荷結合素子 (CCD)等の固体撮像素子を用いた CCDカメラが用いられる。本実施形態では、画像入力部 2の撮像装置 21は、図示しない自動車車両のルームミラー付近のフロントガラス内側に前方を撮像可能な状態に取り付けられており、通常のテレビ画像と同様に 1/30秒ごとに車両前方を撮像してその入力画像を画像処理部 3に送信するようになっている。

[0046] なお、本実施形態では、この一定の時間間隔ごとに送信されてくる入力画像の単位を 1フレームという。つまり、本実施形態では、画像処理部 3には、 1秒間に 30フレームの入力画像が画像入力部 2から送信されるようになっている。

[0047] 画像処理部 3には、モニタを備えた表示部 4およびメモリ 5が接続されており、画像処理部 3は、画像入力部 2から送信されてきた入力画像を表示部 4に送信してモニタに表示させると同時に、入力画像を順次メモリ 5に一時保存するように構成されてレヽる。

[0048] また、画像処理部 3には、各種画像フィルタが木構造状に組み合わされた処理プログラムが記憶されており、画像処理部 3は、この処理プログラムに従って画像処理を行って出力画像を形成するように構成されている。

[0049] ここで、処理プログラムの構造について説明する。処理プログラムは、図 2に示すように、下記表 1に例示される各種画像フィルタ Fを木構造状に組み合わせたプロダラムであり、入力された複数種類の入力画像 t、 t_ l、 ·■·、 t_k (kは 1以上の整数）、すなわち、 k+ 1個の互いに異なる入力画像 t、 t- 1 ,■· - , t_kに対して各画像フィルタ Fによる画像処理を施し、出力画像〇を形成するように構成されている。

[0050] [表 1]

記

フィ名処理内容

平均 fiiフィ U^ ― 3 X 3画素の平均値を求める

最小値フィ, m 3 3画素の最小値を求める

値フィゾ^ M 3 X 3画素の値を求める

ソベルフィルタ d 3 3画素のソベ !^求める

ラブランアンフィ Z 3 X 3画素のラプテンアンを求める

広領 S グ；！プ化後広領域グプのます

狭領域フイソ!^ 5 グ;! プ化後狭領域グプの Wす

高 ¾«¾7ィ)1^ P グ《ΙΙ^·プ化後の高いグ^" ¾残す

低フイ P グ Jl^"プ化後の低いク !^プを残す

正方形度フ R U~プ化後正方形度の高い残す

長方形度フイ r グ^"プ化後正方形度の低いク ""プを残す

円形度フイ C グ;^ "プ化後円形度の高い ^"プを残す

非円形度フィ ^ c グプ化後円形度の低いク/ "プを残す

対称性フ Q グノ Ι ~プ化後対称度の高いグ ~プを残す

非対称性フィ; q グノ^"プ化後対称度の低し力 H残す

反転フィルタ i 輝度転

線形変換フィ ^ H 細鰣形変換

ガンィ G 綱直のガンマ補正

2値化フィルタ N 赚により 2値化

膨張フィ > 2値化麵長処理

収 H^l^ < 2値化後縮/ j顿

白い画素抽出フィ T 閾直より小さし、細ま。、大きし、輝度はそので変換する黒い画素抽出フィ t ,直より大きい輝度は M、さい輝度はそので変換する白ェ、ジ抽出フィルタ E ラプテンアンフィゾ^により正のェ、ジのみを抽出する

E ジ抽出フィルタ e ラプテンアンフィ ^により負のェ'ジのみ ¾4出する

塗りつぶしフィ; 1 h 画像全 ί枝ある輝度値にする

論理和フィリ^ (2入力）し 2画像の論理和を求める

論理積フイ k?(2入力） 1 2画像の論理積を求める

代数和フィリ^ (2入力） A 2画像の代数和を求める

代数積フィ ^ (2入力） a 2画像の代数積を求める

限^ αフィ 11^(2入力） B 2画像の限^ Wを求める

限^ ¾フィ k>(2入力） b 2画像の限！ ^を求める

激烈和フィ ^ (2入力） U 2画像の激烈和を求める

翻積フィルタ (2入力） u 2画像の激烈積を求める

差分フィルタ (2入力） D 2画像の差の絶対値を求める本実施形態では、入力画像 t、 t 1、 · · ·、 t kとして、現在の時刻 tの入力画像およびそれ以前の Mフレームごとの入力画像 t、 t 1、 · · ·、 t kが処理プログラムに入力されるようになっており、 k= 3、 M= lに設定されている。すなわち、図 3Aに示すように、現在の時亥 ijtの入力画像 tとそれ以前の 1フレームごと、すなわち、現在の時刻 t 力さかのぼって 1/30秒の時間間隔をおいて撮像された連続する 4フレーム分の入力画像 t、 t—l、 t— 2、 t— 3がメモリ 5から読み出され、処理プログラムに入力されるようになっている。

[0052] なお、 kおよび Mの値は適宜設定することが可能であり、例えば、 k = 2、 M = 3と設定すれば、図 3Bに示すように、現在の時刻 tおよびそれ以前の 3フレームごとの入力画像 t、 t_ l、 t_ 2の計 3枚の画像が読み出されて処理プログラムに入力されるようになる。また、他の選択方法により相異なる複数種類の入力画像を選択して処理プログラムに入力するように構成することも可能である。

[0053] また、本実施形態の処理プログラムには、計算速度を向上させるために、表 1に示したような一般的な画像フィルタ Fが用いられるが、目的に応じて機能が特化された画像フィルタを追加することも可能である。

[0054] 本実施形態の画像処理装置 1は、前述したように、車両前方の風景画像の中から特定の対象としての歩行者を抽出するものであり、処理プログラムも入力画像 tの中力歩行者を抽出するように構成されている。すなわち、前述した連続する 4フレーム分の入力画像 t、 t— 1、 t— 2、 t— 3 (図 4Aおよび図 4B参照。ただし、図 4Aには入力画像 tを、図 4Bには入力画像 t 3を示す。）が処理プログラムに入力されると、処理プログラムは各画像フィルタ Fで画像処理を行い、図 5に示すような歩行者を含む特定の対象を抽出した出力画像 Oを形成するようになっている。なお、図 5の出力画像 Oにおいて、斜線部分の画素の輝度値は 0である。

[0055] さらに、本実施形態では、このようにして形成された出力画像 Oが表示部 4のモニタに表示されている入力画像 tに重ね合わせて表示されるように構成されている。すなわち、前述したように、画像処理部 3から送信されてきた入力画像 tが表示部 4のモニタに表示され、さらに、図 6に示すように、その入力画像 tに処理プログラムにより形成された出力画像 Oが重ね合わされて表示されるように構成されている。また、その際、入力画像 tは白黒画像として表示され、出力画像〇のうち正の輝度値を持つ画素部分（図中の斜線部分）が赤色で着色されて表示されるようになってレ、る。

[0056] その際、処理プログラムの出力画像 Oに対して、図 7A〜図 7Fに示すようなマスクフィルタによる画像処理を行うように構成することも可能であり、例えば、図 6の車両フロント部の赤色の着色部分 Fや画像上方の木の着色部分 Vは不必要な着色部分であるから、マスクフィルタを用いて画像処理を行レ、、それらの部分の着色を表示しないように構成することも可能である。

[0057] ところで、処理プログラムは、人為的に構築されて画像処理部 3に与えられることも可能である。図 2に示したような木構造の処理プログラムにおいて、例えば、表 1に示したような 1入力或いは 2入力の画像フィルタ Fを最大 40個の範囲で任意に組み合わせ、それに入力画像 t、 t_ l、 t_ 2、 t_ 3を任意に組み合わせたすべての木構造の処理プログラムについて全探索を行うことも可能である。

[0058] 本実施形態では、画像処理部 3に接続された処理プログラム形成部 6で遺伝的プログラミングの手法を用いて自動的に形成するように構成されている。図 8は、処理プログラム形成部の構成を示すブロック図であり、処理プログラム形成部 6は、初期個体生成手段 61と、適応度評価手段 62、 66と、親選択手段 63と、交叉手段 64と、突然変異手段 65と、終了判定手段 67とを備えている。

[0059] 初期個体生成手段 61は、キーボードやマウス等よりなる入力部 7 (図 1参照）からの処理プログラム形成指示に応じて、図 2に示したような木構造の処理プログラムを、設定された前記 kおよび Mの値の範囲内でランダムに一定数 q (本実施形態の場合は 1 00個体）生成させるように構成されてレ、る。

[0060] 処理プログラムをランダムに生成する規則として、本実施形態では、初期個体のみならず最適化された処理プログラム BPが得られるまでの進化過程において木構造の処理プログラムを構成するノードのうち画像フィルタ F (すなわち非終端記号）の数が最大でも 40を超えないように設定されている。なお、画像フィルタ Fは、表 1に示した画像フィルタの中からランダムに選択されるようになっている。また、選択される画像フィルタ Fには、表 1に示した各種画像フィルタのほ力、、図 7A〜図 7Fに示したようなマスクフィルタを含めることも可能である。

[0061] また、前述したように、本実施形態では、 k= 3、 M= lと設定されており、一定の時刻 tからさかのぼって 1Z30秒の時間間隔をおいて撮像された連続する 4フレーム分の入力画像 t、 t_ l、 t_ 2、 t_ 3の中から処理プログラムに入力すべき入力画像が任意に選択されるようになっている。すなわち、入力画像 t、 t— 1、 t— 2、 t— 3の 4種類を処理プログラムの入力画像としてすベて用いる必要はなぐ初期個体の中には、例えば、入力画像 tと入力画像 t 2の 2種類、或いは入力画像 t 3だけしか用いなレ、ような処理プログラムが含まれることも許容される。

[0062] 初期個体生成手段 61には、適応度評価手段 62が接続されており、初期個体生成手段 61で生成された各処理プログラムの初期個体が適応度評価手段 62に送信されるようになっている。

[0063] 適応度評価手段 62では、各処理プログラムについて入力画像 t〜t_ 3を入力して出力画像 Oを得るシミュレーションがそれぞれ実行され、シミュレーションにより得られた出力画像 Oと目標画像 Tとが比較されて各処理プログラムの適応度 Eが下記（1)式に基づレ、てそれぞれ算出されるように構成されてレ、る。

[0064] [数 1]

w :学習セット数

o ：出力画像

Γ :目標画像

：重み画像

[0065] ここで、目標画像 Tとは、最適化された処理プログラム BPが出力すべき画像をいう。

本実施形態では、処理プログラムの目的が車両前方の風景画像の中からの歩行者の抽出であることから、入力画像 t (例えば、図 4A参照）の中から歩行者のみを白抜きの抽出領域 EX (輝度値 255)とし、それ以外の部分を非抽出領域 NE (輝度値 0)とした画像（図 9参照）が目標画像 Tとして適応度評価手段 62に送信される。

[0066] また、重み画像 Wとは、出力画像〇と目標画像 Tとの距離 |〇_T |を画素ごとに重み付けするための重み wが画素ごとに定義された画像をレ、い、画素ごとの重み w は、構築すべき処理プログラムの目的により適宜決められる。通常、出力画像 Οが目標画像 Τと一致することが強く求められる画素領域では大きな値が設定され、出力画像 oと目標画像 Tとの一致が強く要求されない画素領域では小さな値が設定される。

[0067] 本実施形態では、歩行者を抽出し、その他のものは抽出しないようにすることが目的であるため、出力画像 Οは、目標画像 Τの抽出領域 ΕΧにおいても非抽出領域 ΝΕ においてもともに目標画像 Τとの一致が強く要求される。しかし、重み wを全画像において同じ値に設定すると、出力画像 Οにおける歩行者の占める画素領域 (すなわち抽出領域 ΕΧ)の面積割合がその他の画素領域 (すなわち非抽出領域 ΝΕ)の面積割合よりも小さく（面積比で 12： 256)、適応度評価における非抽出領域での一致度の寄与が大きくなりすぎる可能性がある。

[0068] そのため、本実施形態では、重み画像 Wは、図 10に示すように目標画像 Τ (図 9参照）と同様の画像となり、抽出領域の重み wと非抽出領域の重み wとの比がそれぞれの面積比の逆数の比になるように重み wが抽出領域 ΕΧおよび非抽出領域 ΝΕでそれぞれ 1Z12および 1Z256の値となるように設定されている。重み画像 Wは、目標画像 Τやメモリ 5から読み出された入力画像 t、 t 1、 t 2、 t 3とともに適応度評価手段 62に送信される。

[0069] 適応度評価手段 62では、以上のような複数種類の入力画像 t、 t 1、 t 2、 t 3、目標画像 Tおよび重み画像 Wを用いて各処理プログラムの適応度 Eを計算するが、本実施形態では、さらに、入力画像 t、 t 1、 t 2、 t 3、目標画像 Tおよび重み画像 Wを組み合わせてなるセット S (以下、学習セット Sという。）を 1セットだけでなく複数セット用いられて処理プログラムのシミュレーションが行われるように構成されている。

[0070] すなわち、例えば、図 11に示すように、時刻 tにおける複数種類の入力画像 t、 t- 1、 t 2、 t 3とそれに対応する目標画像 Tおよび重み画像 Wよりなる第 1学習セット S1とともに、時刻 t以前の時刻 taにおける入力画像 ta (図 12A参照）等の同様の第 2 学習セット S2と、時亥 l」t以降の時刻 tbにおける入力画像 tb (図 12B参照）等の同様の第 3学習セット S3の計 3セット（この場合は（1)式において N = 3となる。）が適応度評価手段 62に送られ、各処理プログラムごとに 1セットずつ計 3回シミュレーションを行レ、、それぞれの学習セット Sについて（1)式中の∑W' I O-T I Z∑W' 256を計算して（1)式に基づいて適応度 Eを得るようになつている。

[0071] 適応度評価手段 62には、親選択手段 63が接続されており、適応度評価手段 62で適応度 Eが計算された各処理プログラムが親選択手段 63に送信されるようになっている。

[0072] 親選択手段 63は、各処理プログラムの中力適応度 Eに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき 100 個体の処理プログラムの選択およびそれらの処理プログラムの増殖を行うように構成されている。また、本実施形態では、トーナメント選択により 100個体を選択するとともに、適応度 Eが最大の処理プログラムのエリート保存を同時に行うようになっている。

[0073] 親選択手段 63で選択、増殖された 100個体の処理プログラムは、次の交叉手段 6 4に送信されるようになっている。

[0074] 交叉手段 64では、図 13に示すように、親選択手段 63から送られてきた処理プログラムを 2個体ずつ対にして (親プログラム 1、 2という。）、それぞれの個体対ごとにランダムに選ばれた交叉部分（図 13の親プログラム 1、 2の点線でそれぞれ囲まれた部分 )を所定の割合で互いに交叉させて、子プログラム 1、 2を生成させるように構成されている。その際、 2つの子プログラムの中に非終端記号の数力 ¾0を超えるものが生成される場合には、その交叉は取り消され、再度、元の親プログラム 1、 2で交叉部分がランダムに選ばれて交叉が行われるようになつている。

[0075] 本実施形態では、交叉手段 64においては、図 13に示したような 1点交叉が行われるように構成されているが、この他にも、例えば、多点交叉や一様交叉等の方法で交叉させるように構成することも可能である。

[0076] 交叉手段 64で生成された 100個体の子プログラムである処理プログラムは、次の突然変異手段 65に送られるようになつている。

[0077] 突然変異手段 65では、処理プログラムごとに所定の割合でノードの変異、揷入、欠失等を発生させるように構成されている。その際、ノードの揷入により処理プログラム中の非終端記号の数が 40を超える場合には、その挿入は行われず、また、終端記号 (すなわち、入力画像 t等）と非終端記号 (すなわち、画像フィルタ F)との変異は禁止されている。この他にも、例えば、転座や重複等の突然変異を行うように構成することも可能であり、その際、適宜適切な制限が加えられる。

[0078] 突然変異手段 65には、適応度評価手段 66が接続されており、突然変異手段 65で生成された 100個体の処理プログラムは適応度評価手段 66に送られるようになっている。適応度評価手段 66では、前述した適応度評価手段 62と同様の処理が行われ、適応度評価手段 62で用いたものと同じ第 1〜第 3学習セットが用いられて各処理プログラムについてシミュレーションが行われ、前記（1)式に基づいてそれぞれ適応度 Eが計算されるように構成されてレ、る。

[0079] 適応度評価手段 66には、終了判定手段 67が接続されており、適応度評価手段 66 で適応度 Eが計算された各処理プログラムと前記親選択手段 63でエリート保存された前世代の適応度が最大の処理プログラムとが終了判定手段 67に送られ、処理プログラム形成部 6における処理プログラム形成を終了するか否かの判定を受けるようになっている。

[0080] 本実施形態では、終了判定手段 67は、進化過程の世代数があらかじめ設定された終了世代数 Geに達したかどうかを判定し、終了世代数 Geに到達したと判定した場合にはその時点で適応度 Eが最大の処理プログラム BPを解として画像処理部 3に出力して、プログラム形成を終了させるように構成されている。また、終了判定手段 67 は、世代数が終了世代数 Geに到達していないと判定すると、各処理プログラムを前記親選択手段 63に送り、前述した処理手順を繰り返すようになつている。

[0081] 終了判定手段 67では、この他にも、例えば、各処理プログラムの中に適応度があらかじめ設定した目標適応度 Eqに達した処理プログラムがあるか否かを判定し、目標適応度 Eqに達した処理プログラムがあればその処理プログラムを解として画像処理部 3に出力するように構成されてもよい。また、終了判定手段 67が各処理プログラムの適応度の最大値を記憶するように構成し、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合にはその世代で前記手順を終了し、その最大の適応度を有する処理プログラムを解として画像処理部 3に出力するように構成することも可能である。

[0082] 処理プログラム形成部 6では、以上の進化過程に基づいて最適化された処理プログラム BPが形成される力得られた処理プログラム BPには、いわゆる過学習と呼ばれる現象が見られることがある。つまり、本実施形態の場合で言えば、歩行者一般を抽出するのではなぐさらに限定された、例えば、白っぽい服を着た歩行者は抽出せず、濃い色の服を着た歩行者のみを抽出してしまうような処理プログラム BPが得られる場合がある。

[0083] このような過学習の発生を避けるため、本実施形態では、前記適応度評価手段 62 、 66での適応度評価において、前記（1)式で算出された適応度 Eからさらに下記（2 )式に基づいて過学習制限を考慮した適応度 E'を算出するように構成されている。従って、本実施形態では、親選択手段 63や終了判定手段 67においては、この過学習制限を考慮した適応度 E'が比較され、参照される。

[0084] [数 2]

E' = E - a - n(node) + b · m(2input_noae)

Ε·：過学習制限を考慮 Ifc適応度

E : (1)式に基づいて算出し纏応度

a,b：係数

n(nod )：ノード数

m^linput—ηοάέ) : 2入カフイノレタのノー擞

[0085] ここで、係数 a、bはともに正の値をとる。（2)式によれば、過学習制限を考慮した適応度 ΕΊま、処理プログラムにおけるノード数 n (Node)が大きいほど小さい値をとるように算出され、また、 2入力画像フィルタのノード数 m (2input-node)が大きいほど大きな値をとるように算出される。

[0086] 過学習制限を考慮した適応度 ΕΓが前記（2)式のように構成される理由は、処理プログラムの木構造のノード数が大きいほど抽出する対象がより限定されて過学習の状態になり易ぐノード数が小さいほどより一般的な対象 (本実施形態では歩行者全般) を抽出できるようになり、汎用性が向上するためである。

[0087] また、このようにノード数が大きいほど適応度 E'が小さくなるように構成されると、今度は、処理プログラムの木構造における 2入力画像フィルタの割合が小さくなり、例えば、本実施形態のように入力画像として 4種類の入力画像 (すなわち、入力画像 t、 t _ 1、 t_ 2、 t_ 3)の入力を許しても、実際にはより少ない種類の入力画像しか入力しない処理プログラムが得られる傾向が強くなるため、 2入力画像フィルタのノード数が大きレ、ほど適応度 E'が大きな値をとるように構成されてレ、る。

[0088] なお、係数 a、 bはそれぞれノード数の適応度 E'に対する割合および 2入力画像フィルタのノード数の適応度 ΕΊこ対する割合を表す力この係数 a、 bを前記処理プログラム形成部 6における遺伝的プログラミングの進化過程の世代数に応じて変化するように構成することも可能である。

[0089] 例えば、世代数が小さい段階では係数 a、 bがともに大きな値をとり世代とともに小さな値をとるようにすれば、ノード数が大きな処理プログラムが淘汰され易くなり（aの効果）、 2入力画像フィルタを多く含む処理プログラムが生き残る可能性が高くなる（bの効果)。また、逆に、係数 a、 bを世代とともに大きくするようにすれば、進化初期に得られた学習セット Sに特化した処理を進化の後半でよりシンプノレな形にしていくことが可能となる。

[0090] さらに、進化が進んで適応度の最大値の停滞が生じたときに、人為的に係数 a、 bの値を変化させることで、より最適化された処理プログラム BPが得られる可能性が高くなる。

[0091] 処理プログラム形成部 6で以上のようにして形成された処理プログラム BPは、前述したように、画像処理部 3に送られるようになつている。さらに、本実施形態では、図 1 4に示すように、形成された複数の処理プログラム ΒΡ1〜ΒΡηを組み合わせ、 1つのより大規模な処理プログラムを形成して用いるように構成されている。

[0092] 組み合わせの方法としては、例えば、各処理プログラム ΒΡ1〜ΒΡηでそれぞれ得られた n個の出力画像〇の対応する画素ごとに論理和を求め、 2値化された画像を大規模な処理プログラムの出力画像〇とするように構成することも可能である。また、図 7Aおよび図 7Bに示したマスクフィルタを用いて、図 15に示すような大規模な処理プログラムを構成し、出力画像の下半分および上半分に処理プログラム BP1および処理プログラム BP2による画像処理の結果を表示して 1つの出力画像〇とするように構成することも可能である。

[0093] 本実施形態では、前記処理プログラム形成部 6での遺伝的プログラミングで得られた 6個の処理プログラム BPを組み合わせて大規模な処理プログラムを構築するように構成されている。この大規模な処理プログラムでは、出力画像 Oからノイズを除去し、出力画像 Oの画素のうち多くの処理プログラム BPによって画像が抽出されている画素ではより強く赤色を表示するために、出力画像〇のある画素における i番目の処理プログラム BPiの出力結果を diとして、下記（3)式に示す非線形の重ね合わせに基づいて出力画像〇の各画素における出力輝度値 Dが決定されるようになっている。

[0094] [数 3]

[0095] ここで、本実施形態の場合、 n= 6であり、 pは 2に設定されている。また、閾値 Kは定数であり、本実施形態では 127に設定されている。 pおよび Kの値は任意に設定可能であり、 pの値を大きくすれば画像が抽出されている画素をより強調して表示することが可能となる。

[0096] 次に、本実施形態の画像処理装置 1の作用について説明する。

[0097] 自動車車両のフロントガラス内側に取り付けられた画像処理装置 1の撮像装置 2 ( 図 1参照）は車両の前方風景を撮像し、その画像（図 4A参照）を入力画像 tとして画像処理部 3に送信する。撮像装置 2は、この動作を 1/30秒ごとに繰り返す。

[0098] 画像処理部 3は、撮像装置 2からの入力画像 tを受信すると、表示部 4に送信してモニタに表示させるとともに、入力画像 tを順次メモリ 5に一時保存させる。また、同時に、メモリ 5に保存されている入力画像 t—l、 t 2、 t 3を読み出し、入力画像 t、 t- 1 、 t 2、 t 3を画像フィルタ Fを木構造状に組み合わせた処理プログラムに入力して出力画像 Oを形成し、表示部 4のモニタに白黒画像として表示されている入力画像 t に赤色に着色した出力画像 Oを重ね合わせて表示する。

[0099] ここで、処理プログラムは、前述したように、人為的に構築されたものでもよいが、処理プログラム形成部 6における遺伝的プログラミングによりあらかじめ形成しておくことも可能である。

[0100] 処理プログラム形成部 6における処理プログラム形成の手順は前述したとおりであり、ここでは、図 16に、処理プログラム形成部 6における遺伝的プログラミングによって形成された解としての処理プログラム BPの一例を示す。この場合、非終端記号、すなわち、画像フィルタ Fの数は 40、終端記号のうち入力画像 t、 t- 1 , t 2、 t 3の数は 15、出力画像〇の数は 1になっている。

[0101] また、図 16に示した処理プログラム BPとそれと同様にして得られた処理プログラムとを前記（3)式に基づレ、て組み合わせて、大規模な処理プログラムを形成することができる。この大規模な処理プログラムに、例えば、前記入力画像 t、 t_ l、 t_ 2、 t- 3 (図 4Aおよび図 4B参照）を入力すると、図 5に示した歩行者を含む特定の対象を抽出した出力画像 Oが得られ、表示部 4のモニタに白黒画像として表示されている入力画像 tに赤色に着色した出力画像 Oを重ね合わせて表示すると、図 6に示したような画像が得られる。

[0102] なお、前記処理プログラム形成部 6において形成された処理プログラム BPを見ると、入力画像 t、 t_ l、 t_ 2、 t_ 3に対する画像フィルタ Fの処理の早い段階で、差分フィルタによる処理が行われるように形成されていることが観察されることが多レ、。これは、本実施形態における処理プログラムの目的が、移動中の車両から前方風景を撮像してその画像の中力移動中の或いは停止している歩行者を抽出することであり、歩行者の位置が僅かながら徐々に変化する時系列的な複数の入力画像 t、 t 1、 t 2、 t 3の中から歩行者を抽出するためであると考えられる。

[0103] そのため、入力画像 t、 t 1、 t 2、 t 3として、図 4Aおよび図 4Bに示したような画像の全画像入力を行うかわりに、撮像装置により時間間隔をおいて撮像された複数枚の画像のフレーム間差分画像 (すなわち、時間微分データ）を入力するように構成することも可能である。また、各入力画像 t、 t 1、 t 2、 t 3のそれぞれにおけるエッジ抽出画像 (すなわち、各画像内の空間微分データ）を入力するように構成することも可能である。

[0104] 以上のように、本実施形態の画像処理装置 1によれば、画像フィルタ Fを木構造状に組み合わせた処理プログラムに、時間間隔をおいて撮像された車両の前方風景の複数種類の入力画像 t、 t- 1,■· - , t_kを入力可能とすることにより、処理プログラムに動画像の複数のフレームを入力可能となり、動画像を画像処理することができるようになる。

[0105] また、木構造の処理プログラムを構成する差分フィルタ等の各種画像フィルタ Fにより動画像 (例えば、車両の前方風景）の各フレームが比較されて差分等の画像処理を受けることにより、動画像の中力時間な変化や変位を伴う特定の対象 (本実施形態の場合は歩行者）が抽出された出力画像〇を効果的に形成することが可能となる。

[0106] さらに、処理プログラム形成部 6において遺伝的プログラミングにより処理プログラム BPを自動形成させることにより、処理プログラム BPを容易に得ることができる。また、目標画像 Tおよび重み画像 Wを変更することにより、抽出すべき特定対象を容易に変更することができる。すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築することなぐ目標画像 Tと重み画像 Wとを変更するだけで、前述した遺伝的プログラミングを用いた方法をそのまま使って同じ手順で処理プログラム BPを容易に構築することができる。

[0107] その際、処理プログラム BPの形成において、例えば、図 4Aおよび図 4Bの入力画像 t、 t_ l、 ·■·、 t_k、図 9の目標画像 Tおよび図 10の重み画像 Wを組み合わせてなる学習セット Sを 1セットのみ用いて学習を行った場合、例えば、図 6の重ね合わせ画像で主に画像左側の人物のみを抽出するようになってしまう現象が生じることがある。このような現象が生じると、この処理プログラム BPに、例えば、図 12Bのような画像を入力しても画像左側の人物のみを抽出し、画像右側の歩行者を抽出できなくなつてしまう。

[0108] しかし、本実施形態のように、処理プログラム BPの形成において、入力画像 t、 t 1、 · ' ·、ΐ k、目標画像 Tおよび重み画像 Wを組み合わせてなる学習セット Sを複数セット用いることにより、このような現象が生じることを回避することが可能となる。さらには、図 17Aや図 17Bに示すように、遺伝的プログラミングにおける学習セット Sには用いなかった風景の中力ももより的確に人物を抽出できるようになり、動画像中から的確に人物のみを抽出する汎用性の高い処理プログラムを得ることが可能となる。

[0109] また、このようにして得られた処理プログラムを複数組み合わせて大規模な処理プログラムとすることにより、このような効果をさらに効果的に発揮させることが可能となる

[0110] さらに、処理プログラムを遺伝的プログラミングで求める場合、通常、処理プログラム BPを構成する画像フィルタ F (非終端記号）の数が増えるに従って解プログラムの探索空間がいわば指数関数的に増大し、膨大な探索が必要となる。しかし、本実施形態のように、異なる学習セット Sを用いて形成された処理プログラム BPを複数組み合わせることにより、より容易にかつ的確に特定対象を抽出可能な汎用性の高い処理プログラム BPを得ることが可能となる。

[0111] なお、本実施形態では、移動中の車両から前方風景を撮像してその画像の中から歩行者を抽出することを目的としたが、この他にも、例えば、前方風景の中から車両を抽出したり、車両や歩行者等の一般的な移動物を抽出したり、或いは、車道と歩道の境界を抽出するように構成することも可能である。また、それらを組み合わせて、車道と歩道の境界を抽出してその間の車道上を移動する車両や歩行者を抽出するように構成することもできる。

[0112] また、本実施形態では、入力画像 tに出力画像 Oを重ね合わせて表示する場合について述べたが、本実施形態の画像処理装置 1と他の装置を組み合わせることにより、本実施形態の画像処理装置 1で抽出した特定の対象を他の装置に送って監視したり、他の装置でその対象との距離を測定したりすることに用いることも可能である。

[0113] 例えば、本実施形態の画像処理装置 1と距離測定装置とを組み合わせることにより、本実施形態の画像処理装置 1で歩行者を特定し、距離測定装置で歩行者との距離を測定することにより、接近の際の自動警報を発したり、走行制御によって衝突を回避したりすることが可能となる。また、距離測定装置についても車両前方全域の対象物との距離を測定する必要がなくなり負担が軽減される。

[0114] さらに、本実施形態の画像処理装置 1は、車両に搭載するだけでなぐ例えば、人ェ知能型ロボット等に搭載することも可能であり、例えば、ロボットが、搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定したりするために用いることができる。

[0115] [第 2の実施の形態]

以下、本発明の画像処理装置に係る第 2の実施の形態について、図面を参照して説明する。なお、第 2および第 3の実施形態では、自動車車両に搭載され、車両前方の風景画像の中から対向車両を抽出する画像処理装置について述べるが、本発明はそれらに限定されない。

[0116] 図 18は、第 2の実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置 11は、画像入力部 12と、画像処理部 13と、表示部 14と、メモリ 15と、処理プログラム形成部 16と、入力部 17とを備えている。本実施形態では、画像処理装置 11としては、 CPUや RAM、 R〇M、入出力インターフェース等から構成されたコンピュータを用いることができる。

[0117] 画像入力部 12の構成は、第 1の実施形態の画像入力部 2と同様であり、説明を省略する。なお、撮像装置 121から出力された画像信号は、通常のコンピュータ画像処理と同様に、図示しない AZDコンバータにおける A/D変換により例えば 256階調のデジタルの階調値に変換され、輝度補正やノイズ除去、ァフィン変換等の幾何学的な補正等の処理が施されるようになつている。これは第 1の実施形態についても同様である。

[0118] 画像処理部 13は、撮像装置 121により撮像されて順次送信されてくる図 19に示すような入力画像 tに画像処理を施して、特定の対象、例えば、本実施形態では図 19 中右側に撮像されているトラックのような対向車両が抽出された出力画像〇を形成するようになっている。

[0119] すなわち、画像処理部 13は、画像処理部 13に接続されているメモリ 15から処理プログラム形成部 16で形成されメモリ 15に記憶されている各種画像フィルタ Fを木構造状に組み合わせた処理プログラム BPを読み出して RAMに展開し、図 19に示されたような現在の時刻の入力画像 tとそれ以前に撮像された入力画像から後述するォプティカルフロー画像 OFを生成し、それらの画像を処理プログラム BPに入力して画像処理を行い、対向車両が抽出された出力画像 Oを形成するように構成されている。

[0120] また、画像処理部 13は、前記画像処理を行うと同時に、画像入力部 12から送信されてきた前記複数の入力画像をメモリ 15に送信し順次記憶させるようになつている。さらに、本実施形態では、画像処理部 13には、モニタ等を備えた表示部 14やキーボードゃマウス等を備えた入力部 17が接続されてレ、る。

[0121] ここで、処理プログラムの構造について説明する。処理プログラムは、図 20に例示されるように、各種画像フィルタ Fを木構造状に組み合わせたプログラムであり、動画像を構成する複数のフレームの画像 t、 t_ l、 ·■·、 t_k (kは 1以上の整数）およびこれらの画像から生成されたオプティカルフロー画像〇Fに対して順次各画像フィルタ Fによる画像処理を施し、出力画像〇を形成するように構成されている。

[0122] 画像フィルタ Fは、本実施形態では、下記の表 2および表 3に例示されている単数または 2個の画像データを入力する画像フィルタ Fの中から選択されて用いられるようになっている。なお、表 2に示す単数の画像を入力する画像フィルタ Fは 1入力画像フイノレタであり、表 3に示す 2個の画像を入力する画像フィルタ Fは 2入力画像フィルタである。

[0123] [表 2]

フィ < /レタ名処理内容

最小値フィルタ ― 3 x 3画素の平均値を求める

平均値フィルタ m 3 X 3画素の最小値を求める

最大値フィルタ M 3 X 3画素の最大値を求める

ソベルフィルタ d 3 X 3画素のソベルを求める

ラプラシアンフィルタ（タイプ 1 ) Z 3 3画素のラプラシアンの絶対値を求める

ラプラシアンフィ■(レタ（タイプ 2) g 3 X 3画素のラプラシアンを求め、 0以下の値を 0にする

3 3メディアンフィルタ V 3 3画素の中間値を求める

広領域フィルタ S グループ化後広領域グループのみ残す

狭領域フィルタ s グループ化後狭領域グループのみ残す

高充填率フィルタ P グループ化後充填率の高いグループを残す

低充填率フィルタ P グループ化後充填率の低いグループを残す

正方形度フィルタ R グループ化後正方形度の高いグループを残す長方形度フィルタ r グル一プ化後正方形度の低いグループを残す円形度フィルタ C グループ化後円形度の高いグループを残す

非円形度フィルタ c グループ化後円形度の低いグループを残す

対称性フィルタ Q グループ化後対称度の高いグループを残す

非対称性フィルタ q グループ化後対称度の低いグループを残す

反転フィルタ i 輝度値反転

線形変換フィルタ H 輝度値線形変換

ガンマフイレタ G 輝度値のガンマ補正

2値化フィルタ N 閾値により 2値化

膨張フィルタ X 2値化後膨張処理

収縮フィルタ y 2値化後縮小処理

膨張フィルタ (タイプ 2) X 上記 Xと同じ。 2値化の際の閾値が異なる

収縮フィルタ (タイプ 2) Y 上記 yと同じ。 2値化の際の閾値が異なる

白い画素抽出フィルタ T 閾値より小さい輝度は 0、大きい輝度はそのままで変換する黒い画素抽出フィルタ t 閾値より大きい輝度は 0、小さい輝度はそのままで変換する白エッジ抽出フィルタ E ラプラシアンフィルタにより正のエッジのみを抽出する黒エッジ抽出フィルタ e ラプラシアンフィルタにより負のエッジのみを抽出する塗りつぶしフィルタ h 画像全体をある輝度値にする 3] フィルタ名記号処理内容

論理和フィルタし 2画像の論理和を求める

論理積フィルタ 1 2画像の論理積を求める

代数和フィルタ A 2画像の代数和を求める

代数積フィルタ a 2画像の代数積を求める

限界和フィルタ B 2画像の限界和を求める

限界積フィルタ b 2画像の限界積を求める

激烈和フィルタ U 2画像の激烈和を求める

激烈積フィルタ u 2画像の激烈積を求める

差分フィルタ D 2画像の差の絶対値を求める

[0125] 本実施形態の処理プログラムにおいても、第 1の実施形態の図 3Aや図 3Bに示した入力画像の選択方法と同様に、入力画像 t、 t_ l、■·■、 t_kとして、現在の時刻 t の入力画像 tおよびそれ以前の Mフレームごとの入力画像 t_ l、 ·■·、 t_kが処理プログラムに入力されるようになっており、 kおよび Mの値は、あらかじめ任意に指定されるようになっている。本実施形態では、図 21に示すように、 k= 2、 M = lに設定されている。

[0126] なお、他の選択方法により相異なる複数の入力画像を選択して処理プログラムに入力するように構成することも可能である。また、本実施形態の処理プログラムには、計算速度を向上させるために、表 2や表 3に示したような一般的な画像フィルタ Fが用いられる力目的に応じて機能が特化された画像フィルタを追加することも可能である。

[0127] 画像処理部 13は、前述した複数の入力画像 t、 t 1、 t 2のほかに、これらの複数の画像からオプティカルフロー画像 OFを生成してそのオプティカルフロー画像 OFも処理プログラムに入力するようになっている。本実施形態では、画像処理部 13は、入力画像 tおよび入力画像 t_ lからブロックマッチング処理によりオプティカルフロー画像 OFを生成するようになっている。

[0128] ブロックマッチング処理では、基準となる現在の時亥の入力画像 tを、例えば 4 X 4 画素の画素ブロックに分割し、各画素ブロックについて入力画像 t_ lとのマッチング処理が行われる。マッチング処理の方法としては、 SAD法、 SSD法、正規化相関法等の種々の方法が知られており、いずれの方法を採ることも可能である。 [0129] 本実施形態で採用されている SAD法について簡単に説明すれば、図 22に示すように、入力画像 t上の画素ブロックにおける左上端の画素を原点とし、横方向に i軸、縦方向に j軸をとると、画素ブロック内の画素 P の座標はそれぞれ (0, 0)、（1 , 0)、 ■· -、（3, 3)と表される。ここで、この入力画像 t上の画素 p の輝度値をのように表す。

[0130] また、マッチング処理の対象とされる入力画像 t_ 1上に座標（k， 1)を原点とする 4

X 4画素のブロックをとり、前記と同様に iおよび jをとると、そのブロック上の画素の座標は（k + i， 1+j)と表される。

[0131] このように定義した場合、入力画像 t上の画素ブロック内の画素の輝度値と、入力画像 t一 1上のブロック内の対応する画素の輝度値 — ¹ との差の絶対値の総和

k+i，l+j

、すなわちシティブロック距離 C は下記 (4)式で表される。

k,l

[0132] [数 4] c =∑k ',Γ ^Α '^ )\ ---(4)

[0133] SAD法では、 1画素ずつずらしながら入力画像 t 1上をラスタ走査し、シティブ口ック距離 C が最小となるブロックを入力画像 t上の画素ブロックに対応するブロックと

k，l

する。そして、それらの画素ブロックおよびブロックを同一画像上に置いた場合の入力画像 t 1上のブロックから入力画像 t上の画素ブロックへのフローベクトル Fを、その入力画像 t上の画素ブロックにおけるオプティカルフローと定めるようになつている。以上の作業を入力画像 tのすベての画素ブロックについて行うことで、画素ブロックごとにオプティカルフローが算出されたオプティカルフロー画像〇Fが生成される。

[0134] なお、本実施形態では、シティブロック距離 C の演算時間を短縮するため、前記ラ

k,l

スタ走查を入力画像 t一 1の全域に亘つて行う代わりに入力画像 t一 1上に投影された入力画像 t上の画素ブロックを含む一定範囲の領域についてのみ行うように構成されている。

[0135] また、入力画像 t上の画素ブロックが、建物の壁や道路表面等が撮像されていて 16 個の画素間に輝度値の差が少なく特徴に乏しい画素ブロックである場合には、入力画像 t_ 1上に似たような輝度特性を有するブロックが多数存在するため、前記 (4)式に従って対応するブロックが見出されたとしてもマッチングを誤っている可能性が残る

[0136] そこで、本実施形態では、下記の 2条件を満たす場合のみ前記マッチング処理で算出されたフローべクトノレ Fに信頼性があり、そのフローべクトノレ Fを入力画像 t上の画素ブロックに対応するオプティカルフローとする。また、 2条件のいずれかを満たさない場合はフローの信頼性が低いとしてその画素ブロックのオプティカルフローを 0とするようになつている。

[0137] (条件 1)その画素ブロックの前記シティブロック値 C の最小値 C があら力、じめ設定

k,i min

された閾値 C以下である。

a

(条件 2)その画素ブロックを構成する 16個の画素の最大輝度値と最小輝度値との差力あらかじめ設定された閾値以上である。

[0138] 従って、本実施形態では、画像処理部 13は、まず、入力画像 tを画素ブロックに分割した後、画素ブロックが条件 2を満たすか否力を判断して、条件を満たさない場合にはその画素ブロックに関してはマッチング処理を行わず、その画素ブロックに大きさ 0のオプティカルフローを割り当てる。また、画像処理部 13は、条件 2を満たす画素ブロックであっても、条件 1を満たさない場合、すなわちシティブロック距離 C が閾値

k，l

Cより大きいである場合にはマッチングを誤っている可能性が高く信頼性が低いから a

その画素ブロックに大きさ 0のオプティカルフローを害 ijり当てるようになつている。

[0139] 本実施形態では、オプティカルフロー画像 OFは、このようにして画素ブロックごとに算出されたオプティカルフローの大きさ、すなわちフローベクトル Fの長さを各画素ブロックの階調値に変換した画像として生成されるようになっている。前述した大きさ 0 のオプティカルフローが割り当てられている画素ブロックは階調値が 0である。

[0140] 図 23は、図 19に示した入力画像 tおよび図示を省略した入力画像 t_ lに基づいて生成されたオプティカルフロー画像 OFを示す図である。図 23における斜線部分 C は階調値が 0の画素ブロック部分であり、白抜き部分 A、 Bは 0でない階調値を有する画素ブロック部分である。なお、白抜き部分 _A、 Bは画素ブロックごとにオプティカルフローの大きさに対応する階調値を有しており、実際のオプティカルフロー画像 OFでは濃淡が色分けされてレ、る。 [0141] 図 23を図 19と比較して分かるように、図中 Aで示された部分は対向車両のトラックの先頭部分に対応し、図中 Bで示された部分は榭木の葉の部分に対応している。また、図中 Cで示される部分は、主に道路表面であり、画素ブロックの階調値が 0とされている。

[0142] 前述したように、画像処理部 13は、このようにして生成したオプティカルフロー画像 OFと入力画像 t、 t一 1、 t一 2とを処理プログラムに入力して出力画像 Oを形成するようになつている。なお、処理プログラムへの入力の際、入力画像 t、 t_ l、 t_ 2とォプティカルフロー画像〇Fとの解像度をあわせるために、オプティカルフロー画像 OFの 1つの画素ブロックを同一の階調値を有する 16個の画素として処理するようにしてもよいが、本実施形態では、処理プログラムにおける演算速度を向上させるために入力画像 t、 t_ l、 t_ 2をそれぞれオプティカルフロー画像〇Fの解像度にあわせるように圧縮処理した画像を用いて処理を行うようになってレ、る。

[0143] 画像処理部 13における処理プログラムによる画像処理の結果、図 24に示すような出力画像 Oが形成される。なお、図 24の出力画像〇においては、白抜きで表示されている画素部分が対向車両として検出された部分であり、 0でない階調値を有する画素として示されている。また、斜線部分は対向車両が検出されない部分として輝度値 0で表示されている。

[0144] また、本実施形態では、図 25に示すように、前記出力画像〇が表示部 14のモニタに表示されている入力画像 tに重ね合わせて表示されるようになっている。その際、図 24の白抜きで示された検出部分が赤色（図中では斜線で示す）に着色されて表示されるようになつている。

[0145] なお、入力画像 tと出力画像〇との重ね合わせ表示の際、処理プログラムの出力画像 Oに対して、前述した図 7 A〜図 7Fに示したようなマスクフィルタによる画像処理を行うように構成することも可能であり、例えば、図 25の車両フロント部の着色部分や画像上方の木の着色部分は不必要な着色部分であるから、マスクフィルタを用いて画像処理を行い、それらの部分の着色を表示しないように構成することも可能である。

[0146] また、得られた出力画像〇の情報を、表示部 14のモニタ等に表示するとともにあるいは表示する代わりに自車両を制御する制御装置等に送信して、危険回避のための自動制御等に用いるように構成することも可能である。

[0147] 次に、本実施形態の画像処理装置 11の処理プログラム形成部 16について説明する。処理プログラムは、人為的に構築されて画像処理部 13における画像処理に用いられることも可能である。図 20に示したような木構造状の処理プログラムにおいて、例えば、表 2や表 3に示したような 1入力或いは 2入力の画像フィルタ Fを最大 40個の範囲で任意に組み合わせ、それに入力画像 t、 t_ l、 t_ 2およびオプティカルフロー画像 OFを任意の位置で入力する木構造状の処理プログラムについて全探索により、すなわち人為的にすべての組み合わせを生成して最善の結果が得られる処理プログラムを構築することも可能である。

[0148] 本実施形態では、画像処理部 13に接続された処理プログラム形成部 16において、遺伝的プログラミングの手法により処理プログラム BPが自動的に形成されるようになっている。なお、本実施形態では、処理プログラム BPは、撮像装置 21による撮像と同時並行的に画像処理部 13で行われる画像処理に先行して、あらかじめ処理プログラム形成部 16で形成し、メモリ 15に記憶させておくようになってレ、る。

[0149] 本実施形態の処理プログラム形成部 16は、第 1の実施形態の処理プログラム形成部 6と同じ構成であり、ここでは説明を省略する。ただし、本実施形態では、初期個体のみならず最適化された処理プログラムが得られるまでの進化過程において木構造状の処理プログラムを構成するノードのうち画像フィルタ Fは、表 2や表 3に示した画像フィルタの中からランダムに選択されるようになっており、また、終端記号、すなわち木構造状の処理プログラムに入力される画像のうちの少なくとも 1つはオプティカルフロー画像 OFであるという制限が設けられている。

[0150] また、突然変異手段では、終端記号の変異によりオプティカルフロー画像〇Fが入力画像 t、 t_ l、 t_ 2等に変異して処理プログラムの終端記号にオプティカルフロー画像 OFが含まれなくなる場合にもその変異が禁止されるようになっている。

[0151] さらに、入力画像 t、 t_ l、 t_ 2にはあら力めシミュレーション用に撮像された図 1 9に示したような入力画像が用いられ、オプティカルフロー画像〇Fには、前述した要領で入力画像 tおよび入力画像 t_ lから形成されたオプティカルフロー画像 OFが用レ、られる。また、本実施形態では、第 1の実施形態と同様の方法で作成され入力された図 26および図 27に示される目標画像 Tおよび重み画像 Wが用いられる。本実施形態においても、第 1の実施形態の図 11に示した 3つの学習セット S1〜S3が用いられる。

[0152] 本実施形態においても、終了判定手段は、進化過程の世代数があらかじめ設定された終了世代数 Geに達したかどうかを判定し、終了世代数 Geに到達したと判定した場合にはその時点で適応度 Eが最大の処理プログラム BPを解として画像処理部 13 に出力して、プログラム形成を終了させるように構成されている。

[0153] なお、過学習の発生の回避等については、第 1の実施形態と同様に行われるようになっている。

[0154] 処理プログラム形成部 16で形成された最適化された処理プログラム BPは、画像処理部 13に送信され、メモリ 15に記憶されるようになっている。また、処理プログラム形成部 16で形成された処理プログラム BPの一例を図 28に示す。この場合、非終端記号、すなわち、画像フィルタ Fの数は 40、終端記号のうち入力画像 t、 t 1、 t 2の数は 11、オプティカルフロー画像 OFの数は 3、出力画像〇の数は 1になっている。なお、図中、 OFはオプティカルフロー画像、 t、 t—l、 t— 2はそれぞれ入力画像 t、 t- l、t 2を表す。

[0155] 次に、本実施形態の画像処理装置 11の作用について説明する。

[0156] 画像処理装置 11では、まず、処理プログラム BPの形成が行われる。処理プロダラム BPの形成段階においては、処理プログラム形成の基礎となる自車両前方の風景画像を撮像装置 21で動画像、すなわち、 1/30秒ごとに撮像した複数のフレームとして撮像し、画像処理部 13を介してメモリ 15に記憶させる。本実施形態では、抽出対象が対向車両であるから、対向車両が撮像された動画像を記憶させておく。

[0157] 続いて、処理プログラムに入力する入力画像の数とフレーム間隔、すなわち前記 k および Mを設定する。そして、本実施形態のように k = 2、 M= lと設定した場合には、メモリ 15に記憶された各フレームの中から図 21に示したように入力画像 t、 t_ l、 t _ 2となるべき対向車両が撮像されている適当な 3つの連続するフレームを選択し、入力画像 t、 t_ l、 t_ 2として処理プログラム形成部 16に入力する。

[0158] また、図 19に示したような選択した入力画像 tに基づいて、図 26および図 27に示したような目標画像 Tおよび重み画像 Wを作成して処理プログラム形成部 16に入力する。本実施形態では、目標画像 Tおよぶ重み画像 Wの作成は、表示部 14のモニタ等に入力画像 tを表示させ、入力部 17のキーボードやマウス等を操作して手動で行う。また、画像処理部 13に入力画像 t、 t_ lを入力して図 23に示したようなオプティカルフロー画像〇Fを生成させ、処理プログラム形成部 16に入力する。オプティカルフロ一画像 OFを手動で生成してもよレ、。

[0159] また、本実施形態では、前述したように複数の学習セット S1〜S3を用いて最適化された処理プログラム BPを生成するようになっているから、図 33に示したように前記入力画像 tに対応する時亥 l」t以前の時刻 taにおける入力画像 ta等の同様の第 2学習セット S2、および時亥 l」t以降の時刻 tbにおける入力画像 tb等の同様の第 3学習セット S 3を形成して処理プログラム形成部 16に入力する。

[0160] そして、処理プログラム形成部 16に初期個体生成手段における初期個体数の設定値 qおよび終了判定手段 57における終了世代数 Geを入力する。処理プログラム形成部 16は、表 2や表 3に示した各種画像フィルタ Fを用いて処理プログラムの初期個体を生成し、前述した遺伝的プログラミングにおける進化過程で親選択や交叉、突然変異等を生じさせ、適応度評価を行う。このようにして図 28に示したような最適化された処理プログラム BPが形成される。処理プログラム形成部 16は、このようにして形成した最適化された処理プログラム BPを画像処理部 13を介してメモリ 15に記憶させる。

[0161] 処理プログラムを用いた画像処理の実行段階では、画像処理部 13は、まず、メモリ 15から処理プログラム BPを読み出して RAMに展開する。画像処理部 13は、撮像装置 21からの入力画像 tを受信すると、入力画像 tと入力画像 t_ lとからオプティカルフロー画像〇Fを生成し、オプティカルフロー画像 OFと入力画像 t、 t_ l、 t_ 2とを処理プログラム BPに入力する。

[0162] 画像処理部 13は、同時に、入力画像 tを表示部 14に送信してモニタ等に表示させるとともに、入力画像 tをメモリ 15に一時保存させる。処理プログラムが演算を終了し出力画像 Oを出力すると、画像処理部 13は、その結果を表示部 14に送信し、図 25 に示したように、表示部 14のモニタに白黒画像として表示されている入力画像 tに赤色に着色した出力画像〇を重ね合わせて表示させる。

[0163] 以上のように、本実施形態の画像処理装置 11によれば、第 1の実施形態と同様に、画像フィルタ Fを木構造状に組み合わせた処理プログラムに時間間隔をおレ、て撮像された動画像中の複数の入力画像 t、 t_ l、 ·■·、 t_kを入力することで、木構造状の処理プログラムを構成する差分フィルタ等の各種画像フィルタ Fの機能が有効に発揮され、動画像中力特定の対象を効果的に抽出することができる。

[0164] このように、従来同一の静止画像を入力するように構成されてきた木構造状の処理プログラムを用いた ACTITの手法力動画像を用いた場合にも適用可能であることが本発明により判明され、 ACTITの手法を動画像からの特定対象の抽出にも拡張することが可能となった。

[0165] この他にも、本実施形態の画像処理装置 11によれば、第 1の実施形態の画像処理装置 1が奏する効果をすベて発揮することができる。

[0166] また、入力画像として、撮像装置により撮像された複数の風景画像のほかに、それらの画像から生成したオプティカルフロー画像 OFを入力するように構成することで、動画像中で特異なフローを示す移動対象に対応する画像上の領域をより明確化した状態で処理プログラムに与えることができる。そのため、動画像中から抽出する特定対象が移動物体である場合に特に的確に精度良く特定対象を抽出する処理プログラムを形成することが可能となる。

[0167] 図 29に、車両前方風景を撮像した未学習の動画像に本実施形態で学習した最適化された処理プログラムを適用した結果を示す。このように、本実施形態の画像処理装置 11によれば、処理プログラムの形成に用いられな力た未学習の動画像中からも移動物体を的確に抽出することが可能となる。

[0168] さらに、処理プログラム形成部 16において遺伝的プログラミングにより処理プロダラム BPを自動形成させるように構成すれば、処理プログラム BPを容易に得ることができる。また、目標画像 Tおよび重み画像 Wを変更することにより、抽出すべき特定対象を容易に変更することができる。

[0169] すなわち、従来のように特定対象が変更されるごとにその抽出のための処理プログラムを手作業で構築する必要がなぐ目標画像 Tと重み画像 Wとを変更して処理プログラム形成部 16に入力し、オプティカルフロー画像 OFを生成して入力するだけで、前述した遺伝的プログラミングを用いた方法をそのまま使って同じ手順で処理プログラム BPを構築することができる。そのため、処理プログラム BPを容易に得ることができると同時に非常に汎用性が高い画像処理装置となる。

[0170] また、処理プログラムの入力画像としてオプティカルフロー画像〇Fを入力するように構築することで、図 30に示すように、入力画像としてオプティカルフロー画像〇Fを用いない場合、すなわち入力画像 t、 t一 1、■·■、 t一 kのみを入力する場合（図中下側のグラフ）と比較して、遺伝的プログラミングにおける処理プログラム BPの適応度 Eが世代数 Gの増加に伴ってより迅速に向上するという副次的な効果があることが確認された。これも、前述したように動画像中で特異なフローを示す移動対象に対応する領域をより明確化したオプティカルフロー画像 OFを処理プログラムに入力することで、処理プログラムが抽出領域を有する目標画像 Tに近似した出力画像 Oを形成し易くなるためと考えられる。

[0171] なお、本実施形態のように動画像中から対向車両を抽出する処理プログラムと、例えば先行車両を抽出する処理プログラムや第 1の実施形態のように歩行者を抽出する処理プログラム等の他の目的を処理するために形成された処理プログラムとを組み合わせることで、より広範な目的を達成できる大規模な処理プログラムを得ることができる。

[0172] [第 3の実施の形態]

第 3の実施形態では、処理プログラムに入力する入力画像 t、 t 1、 · · ·、 t kとして、前記第 2の実施形態で述べたように撮像装置 21で撮像した自車両の前方風景の撮像画像をそのままあるいは圧縮処理した画像を入力する代わりに、変換処理を行つた後の画像を入力するように構成されている点で第 2の実施形態と異なる。

[0173] そのため、本実施形態では、オプティカルフロー画像も変換処理後の入力画像 t、 t _ 1に基づいて生成され、処理プログラムに入力されるようになる。また、処理プログラム形成部 16で遺伝的プログラミングの手法を用いて最適化された処理プログラム B Pを形成する際に用レ、られる目標画像 Tおよび重み画像 Wも変換処理後の入力画像 t、 t_ lに対応した画像が用いられる。 [0174] なお、本実施形態では、変換処理後の入力画像を変換画像とレ、う。また、本実施形態に係る画像処理装置 11や処理プログラム形成部 16、木構造状の処理プログラムの構成は図 18、図 20に示した第 2の実施形態における構成と同様であり、画像処理装置 11における処理内容および処理プログラム形成部 16における遺伝的プログラミングの処理内容も同様であるので説明を省略し、記号や符号についても第 2の実施形態と同一のものを用いて説明する。

[0175] また、本実施形態においても、主に k= 2、 M= lの場合、すなわち、図 21に示したように現在の時亥 l」tの入力画像 tとその直前の連続する 2フレーム分の入力画像 t_ l 、 t_ 2とを変換画像 t'、 t_ l'、 t_ 2'として処理プログラムに入力する場合について Mベる。

[0176] 本実施形態では、画像処理装置 11の画像処理部 13は、撮像装置 121から送信されてきた入力画像 t、 t一 1、 t一 2を擬似的に上空から見た状態の画像にそれぞれ変換するよう、すなわち、視点位置を上方に設定するよう画像変換を行うよう構成されている。以下、変換の原理について説明する。

[0177] 図 31は、撮像装置における画像の撮像原理について説明する図である。図 19に示したような入力画像 tは、図 31に示す撮像原理に基づいて撮像される。すなわち、撮像装置 121の焦点距離を f、撮像装置 121の取付高さを Hとし、水平な道路面上の点 Rまでの距離を Dとする。また、入力画像 tにおける消失点の j座標を s、入力画像 tに撮像された前記点 Rの j座標を Yとする。 gは画素間の距離と実際の距離との換算比である。

[0178] このとき、下記（5)式が成り立つ。

H/D = g (Y_s) /f - - - (5)

また、（5)式を変形すると、

D = Hf/g (Y_s) —(6)

が得られる。

[0179] つまり、入力画像 tを変換の基礎画像として、入力画像 tにおける点 Rの j座標 Yから前記（6)式に基づいて Dを求めることにより、実際の道路面上の点 Rまでの距離 Dを求めることができる。また、距離 D方向、すなわち自車両から見た場合の前後方向の距離 Dのみならず、自車両から見た場合の左右方向の距離 (以下、距離 dという。）についても同様に変換することができる。

[0180] そして、入力画像 tにおける点 Rを表す画素の階調値を、左上端を原点とし横軸を左右方向の距離 d、縦軸を前後方向の距離 Dとした変換後の d— D平面上に表すことにより、擬似的に上空から見た状態に各画素に階調値を有する変換画像 t'を得ることができる。

[0181] なお、この場合の変換は、道路面が水平であり、かつ、入力画像 tに映っている画像は実際には高さを有するものであるがすべて道路面上にあると仮定して行われる。このように変換にはかなり粗い仮定が含まれており、本発明ではその意味で「擬似的」という表現を用いている。

[0182] しかし、このような擬似的に上空から見た状態の変換画像を処理した結果を、前記（6)式の逆変換である

の関係に従って変換し直すことで、図 19に示した入力画像 tのように自車両の前方を撮像した状態に完全に復元することができる。

[0183] 図 32は、図 19の入力画像 tを擬似的に上空から見た状態に変換されて形成された変換画像を示す図である。図 19と比較して分かるように、変換画像 ΐΊま、道路を上空から見たような画像になる。しかし、前述したように高さのある物体も道路面上に張り付いているものとして変換するため、図 32右側の対向車両のトラックや同図左側の自転車や人物、家屋等が長く引き伸ばされたような画像になっている。なお、図 32の右下隅および左下隅の部分は入力画像 tから変換されない部分である。

[0184] このような変換画像 t'と図示しない変換画像 t—Γとから第 2の実施形態と同様にしてオプティカルフロー画像 OF'を生成すると、オプティカルフロー画像〇F'は図 33 に示すような画像になる。なお、図 23におけるオプティカルフロー画像 OFと同様に、図 33に示したオプティカルフロー画像〇F'においても白抜きで示された 0でない階調値を有する画素ブロック部分は、実際にはオプティカルフローの大きさに対応する階調値で濃淡に色分けされている。

[0185] 画像処理部 13における処理プログラムの実行段階では、画像処理部 13は、撮像装置 21から送信されてきた入力画像 tを変換画像こ変換し、変換画像とすでに変換されている変換画像 t Γと力オプティカルフロー画像 Ο を生成し、変換画像、 t- l t— 2'およびオプティカルフロー画像 OF'を処理プログラムに入力する

[0186] そして、処理プログラムからの出力画像 ΟΊこ対して前記（6)式の逆変換、すなわち、前記（5)式を変形した

Y=s + Hf/gD - - - (7)

により変換することで、図 19に示した元の入力画像 tに対応した出力画像 Oを形成するようになっている。図 34は、このようにして得られた出力画像〇を示す図であり、図 3 5は、この出力画像〇と元の入力画像 tとを重ね合わせて表示したモニタ上の画像を示す図である。

[0187] また、処理プログラム BPの形成段階においては、図 32に示した変換画像 t'を基礎に図 36のような目標画像^ Tおよび図 37のような重み画像 W'が作成され、処理プログラム形成部 16に入力される。また同時に変換画像、 t Γ、 t 2'およびォプティカルフロー画像〇F'が入力される。そして、第 2の実施形態と同様に遺伝的プログラミングにより最適化された処理プログラム BPが形成される。

[0188] このようにして形成された最適化された処理プログラム BPによる処理の結果は図 3 4および図 35に示したとおりであり、車両前方風景を撮像した未学習の動画像に対して適用すると、図 38に示すような結果が得られる。また、処理プログラム形成部 16 での処理プログラムの進化過程における世代数 Gの増加に伴う適応度 Eの変化は図 39に示すような推移をたどる。

[0189] すなわち、処理プログラムの入力画像として変換画像 t'、 t_ l'、■·■、 t_k'とォプティカルフロー画像〇F'を入力するように構築することで、図 39に示すように、第 1の実施形態のように入力画像としてオプティカルフロー画像を用いなレ、場合（図中最も下側のグラフ）や第 2の実施形態のように入力画像 t、 t- 1,■· - , t_kとオプティカルフロー画像〇Fを入力する場合（図中下から 2番目のグラフ）と比較して、遺伝的プログラミングにおける処理プログラム BPの適応度 Eが世代数 Gの増加に伴ってより迅速に向上するという副次的な効果があることが確認された。 [0190] 以上のように、本実施形態の画像処理装置 11によれば、前記第 2の実施形態と同様の効果を得ることができる。

[0191] また、図 39に示したように、本実施形態に係る画像処理装置 11の処理プログラム形成部 16における遺伝的プログラミングでは、処理プログラムの適応度 Eが第 2の実施形態の場合や第 1の実施形態のようにオプティカルフロー画像を用いない場合と比較して非常に速やかに向上する。そのため、本実施形態や第 2の実施形態のように、処理プログラム形成部 16での遺伝的プログラミングを、終了世代数を指定して行う代わりに目標適応度を設定して行うように構成した場合には、より迅速に目標適応度に達するようになり、最適化された処理プログラム BPの形成をより短時間で行うことが可能となる。

[0192] さらに、第 2の実施形態で形成された最適化された処理プログラム BPを未学習の動画像に適用して得られた図 29と、本実施形態の未学習の動画像への適用結果である図 38とを比較して分かるように、本実施形態で形成された最適化された処理プログラム BPでは、対向車両以外を抽出するいわゆる誤抽出が減り、良好な抽出結果が得られている。

[0193] これは、処理プログラムにおける対向車両の抽出において、擬似的に上空から見た状態に変換された変換画像、 t Γ、 t 2'および変換画像 ΐΊこ基づくォプティカルフロー画像〇F'が用いられているため、オプティカルフロー画像〇F こおけるフロ一ベクトルによる移動物体の動きの切り出しが非常に明確に行われているためであると考えられる。

[0194] すなわち、第 2の実施形態のように前方の風景を撮像した入力画像 t、 t 1から生成されるオプティカルフロー画像〇Fと比較して、本実施形態のように擬似的に上空力見た状態の変換画像 t'、t_ l'から生成されるオプティカルフロー画像〇F'では、自車両の走行状態に起因するフローと撮像装置前方の空間内を移動する物体の動きに起因するフローとを明確に区別でき、オプティカルフロー画像 OF'における移動物体の切り出しが明確に行われるようになる。そのため、本実施形態は、特に動画像中力移動物体を抽出するという課題に対して有効かつ精度良く抽出を行うことが可能となる。 [0195] そこで、本実施形態の変形例として、オプティカルフロー画像 OF'における移動物体と静止物体とのフローの差をより明確にするために、オプティカルフロー画像生成において形成される各画素ブロックについて算出されたフローベクトル F (図 22参照）を、さらに撮像装置 21の移動平面、すなわち本実施形態では道路面に対するフローに換算してオプティカルフロー画像〇F'を生成することも可能である。

[0196] 具体的に言えば、本実施形態では、入力画像 tを前述したように擬似的に上空から見た状態の変換画像 t'に変換する。その際、変換画像 t'力生成されたォプティカルフロー画像〇F'の各画素ブロックのフローベクトル Fには、撮像装置 121の移動状態、すなわち本実施形態では撮像装置 121が搭載された自車両の走行状態に基づく道路面に対するフローが加算されてレ、る。

[0197] 例えば、自車両が前進してレ、る状態で前方風景が撮像されれば、オプティカルフロ一画像 OF'にはほぼ一様な大きさの下向きのフローが加算された状態でフローべクトル Fが算出されている。また、例えば、自車両が左旋回している状態で撮像されれば、オプティカルフロー画像 OF'には右向きのフローが加算された状態でフローべクトル Fが算出されている。

[0198] 従って、車速センサゃョーレートセンサ等で自車両の速度ゃョーレートを測定して、その測定値に基づいて自車両の走行状態に基づくフローを算出し、図 40Aに示す静止物体の場合や図 40Bに示す移動物体の場合のように、すでに算出されたフローベクトル Fから自車両の走行状態に基づくフロー Frを減じることでオプティカルフロー画像 OF,の各画素ブロックのフローベクトル Fを移動平面に対するフローベクトル Fc に換算することができる。

[0199] このようにして各画素ブロックについてすでに算出されたフローベクトル Fをフローベクトル Fcに換算することで、移動物体と静止物体とを明確に区別することが可能となり、修正したオプティカルフロー画像〇F'が移動物体を的確に認識可能な画像となる。そのため、このようなオプティカルフロー画像〇F'を用いることで、動画像中からの移動物体の抽出をより精度良く行うことが可能となる。

[0200] また、本実施形態のさらなる変形例として、本実施形態のように算出したフローべクトル Fあるいは換算したフローベクトル Fcの大きさに対応する階調値で各画素ブロックを濃淡で色分けしてオプティカルフロー画像〇を生成する代わりに、算出したフローベクトル Fあるいは換算したフローベクトル Fcの向きの情報に対応してォプティカルフロー画像〇 ^を生成することも可能である。

[0201] 例えば、変換画像 t'、 t_ l'から算出されたフローベクトル Fまたは換算されたフロ一ベクトル Fcの j成分、すなわちオプティカルフロー画像〇F'における縦方向成分に着目し、 j成分が 0以下である場合、すなわち自車両から遠ざかる向きである場合にはその画素ブロックの階調値を 0とし、 j成分が正の値である場合、すなわち自車両に向力向きである場合にはその j成分に対応した階調値を画素ブロックに割り当てることにより、対向車両を抽出することに適したオプティカルフロー画像〇F'を得ることができる。

[0202] 特に、前述した道路面に対するフローに換算したフローベクトル Fcの j成分に着目すれば、より明確に対向車両を抽出できるようになる。

[0203] また、例えば、オプティカルフロー画像 OF'が、換算したフローベクトル Fcの j成分が負の値である場合にのみ階調値を有するようにすれば、先行車両等の抽出に適したものとなる。また、フローベクトル F、 Fcの i成分、すなわちオプティカルフロー画像 OF こおける横方向成分に着目してオプティカルフロー画像 O を生成すれば、道路を横断する歩行者等の抽出に適したオプティカルフロー画像〇^を得ることが可能となる。

[0204] なお、これらの変形例を第 2の実施形態に係る画像処理装置 11に適用することも可能である。

[0205] なお、 2004年 12月 24日に提出された特願 2004— 373452号の全開示内容および 2005年 3月 31日に提出された特願 2005— 101273号の全開示内容は、すべて本願に組み込まれる。

産業上の利用可能性

[0206] 以上のように、本発明に係る画像処理装置は、乗用車、バス、トラック、トレーラ一等の各種車両や人工知能型ロボット、カメラ付き監視装置等に搭載する画像処理装置として有用であり、特に、車両において画像中から特定対象を抽出して衝突を回避する等の運転における安全性を確保し、ロボットが搭載したカメラで環境を観察しながら他の移動物体を発見し、計測し、それに対するロボットの行動を決定し、或いはカメラ付き監視装置が移動物体を発見して監視したり、警報を発したりするのに適している。

符号の説明

1, 11 画像処理装置

21、 121 撮像装置

3、 13 画像処理部

4、 14 表示部

6、 16 処理プログラム形成部

BP 処理プログラム

F 画像フィルタ

t-1, ···, t-k 入力画像

t t-l ···, t-k' 変換画像

O 出力画像

τ 目標画像

w 重み画像

OF、 OF' オプティカルフロー画像

F フローべクトノレ

EX 抽出領域

NE 非抽出領域

S 学習セット

E 適応度

G 世代数

Claims

請求の範囲

[1] 撮像装置により撮像された画像に画像処理を施して前記画像中から特定の対象を抽出する画像処理装置において、

前記複数種類の画像は、前記撮像装置により時間間隔をおいて撮像された複数枚の動画像を構成する複数種類の画像であることを特徴とする画像処理装置。

[2] 前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像を用いた遺伝的プログラミングにより処理プログラムを形成するように構成されていることを特徴とする請求の範囲第 1項に記載の画像処理装置。

[3] 前記重み画像は、その抽出領域の重みと非抽出領域の重みとの比が、前記抽出領域および前記非抽出領域の面積比の逆数の比となるように設定されることを特徴とする請求の範囲第 2項に記載の画像処理装置。

[4] 前記処理プログラム形成部は、前記複数種類の画像、目標画像および重み画像よりなる学習セットを複数セット用いて処理プログラムを形成することを特徴とする請求の範囲第 2項または第 3項に記載の画像処理装置。

[5] 前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおけるノード数が大きいほど小さい値をとるように算出されることを特徴とする請求の範囲第 2項から第 4項のいずれか一項に記載の画像処理装置。

[6] 前記ノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする請求の範囲第 5項に記載の画像処理装置。

[7] 前記処理プログラム形成部での遺伝的プログラミングに用いられる適応度が、前記処理プログラムにおける 2入力画像フィルタのノード数が大きいほど大きな値をとるように算出されることを特徴とする請求の範囲第 2項力第 6項のいずれか一項に記載の画像処理装置。

[8] 前記 2入力画像フィルタのノード数の適応度に対する割合が、遺伝的プログラミングにおける進化過程の世代数に応じて変化するように構成されていることを特徴とする請求の範囲第 7項に記載の画像処理装置。

[9] 前記処理プログラムは、複数の処理プログラムが組み合わされて形成されていることを特徴とする請求の範囲第 1項から第 8項のいずれか一項に記載の画像処理装置

[10] 前記複数の処理プログラムによる処理の非線形の重ね合わせにより出力画像が形成されるように構成されていることを特徴とする請求の範囲第 9項に記載の画像処理装置。

[11] 前記画像フィルタには、マスクフィルタが含まれることを特徴とする請求の範囲第 1 項から第 10項のいずれか一項に記載の画像処理装置。

[12] 画像を表示するための表示部を備え、前記処理プログラムに基づいて形成した出力画像を前記表示部に表示されている前記入力画像に重ね合わせて表示するように構成されていることを特徴とする請求の範囲第 1項から第 11項のいずれか一項に記載の画像処理装置。

[13] 前記画像処理部は、画像フィルタを木構造状に組み合わせた処理プログラムに基づいて、前記撮像装置により撮像された動画像を構成する複数の画像およびそれらの画像から生成したオプティカルフロー画像に対して画像処理を施すことを特徴とする請求の範囲第 1項に記載の画像処理装置。

[14] 前記処理プログラムを形成するための処理プログラム形成部を備え、前記処理プログラム形成部は、前記複数の画像、オプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより最適化された処理プログラムを出力するように構成されていることを特徴とする請求の範囲第 13項に記載の画像処理装置。

[15] 前記画像処理部は、前記撮像装置により撮像された前記複数の画像を擬似的に上空から見た状態の画像にそれぞれ変換するように構成されていることを特徴とする請求の範囲第 13項に記載の画像処理装置。

[16] 前記画像処理部は、前記変換した複数の画像および前記変換した複数の画像に基づいて生成したオプティカルフロー画像を前記処理プログラムに入力するように構成されていることを特徴とする請求の範囲第 15項に記載の画像処理装置。

[17] 前記処理プログラム形成部は、前記変換された複数の画像、前記変換された複数の画像に基づいて生成されたオプティカルフロー画像、目標画像および重み画像を用いて遺伝的プログラミングにより学習を行い、最適化された処理プログラムを出力するように構成されていることを特徴とする請求の範囲第 15項に記載の画像処理装置。

[18] 前記オプティカルフロー画像は、算出したフローの大きさの情報を階調値に表した画像であることを特徴とする請求の範囲第 13項に記載の画像処理装置。

[19] 前記オプティカルフロー画像は、算出したフローの向きの情報を階調値に表した画像であることを特徴とする請求の範囲第 13項に記載の画像処理装置。

[20] 前記オプティカルフロー画像における前記フローは、前記撮像装置の移動状態に基づいて換算された前記撮像装置の移動平面に対するフローであることを特徴とする請求の範囲第 18項に記載の画像処理装置。

[21] 前記オプティカルフロー画像は、算出したフローの信頼性が低い画素部分の階調値が 0とされていることを特徴とする請求の範囲第 13項に記載の画像処理装置。

[22] 前記画像処理部は、前記撮像装置により撮像された前記複数の画像に対して、視点位置を上方に移動させた状態にそれぞれの画像を変換するように構成されていることを特徴とする請求の範囲第 13項に記載の画像処理装置。