JP4910090B2 - 画像処理システム - Google Patents

Description

本発明は、画像処理の際の目標となる教師データを自動的に作成する画像処理システムに関する。

近年、カメラ等からの画像データを処理し、その画像の中から特定の対象、例えば、環境内を移動する物体やその動き等を抽出する画像認識技術において、非特許文献１に提案されているような、各種画像フィルタを木構造状に組み合わせた木構造状画像フィルタを用いる技術が開示されている（木構造状画像変換の自動構築法；ＡＣＴＩＴ）。このＡＣＴＩＴの技術は、木構造状画像フィルタを遺伝的プログラミングにより自動的に最適化するものであり、より複雑な画像認識が可能となる。

また、特許文献１には、動画像中から特定の対象、特に時間的な変化や変位を伴う特定対象の抽出を可能とするため、ＡＣＴＩＴを拡張した技術が開示されている。特許文献１の技術では、教師情報を与えることで遺伝的プログラミングにより木構造画像フィルタの処理構造を自動的に獲得でき、車載カメラ等による動画像処理の自動構築などが可能となる。
特開２００６−１７８８５７号公報 青木紳也、外１名、「木構造状画像変換の自動構築法ＡＣＴＩＴ」、映像情報メディア学会誌、社団法人映像情報メディア学会、１９９９年、第５３巻、第６号、ｐ．８８８〜８９４

しかしながら、上述した従来の技術では、行いたい処理の目標となる教師情報が必要であり、この教師情報を開発者等が人為的に作成しなければならない。このため、より高精度の画像処理を実現するために学習量を十分に取ろうとすると、多大な労力と時間を要し、開発コストの上昇を招いてしまう。

また、事前にある程度十分な学習をさせたとしても、実際の装置に組み込んでのオンラインの稼働状態では、外界の天候や環境など多様な条件に対応しなければならず、特に、車載カメラによる車外環境認識等においては、天候等の環境変化、歩行者、車、路上の構造物等、多様な条件に対応する必要があり、それらの多様な環境・対象を一つの認識構造で対応することは困難である。

本発明は上記事情に鑑みてなされたもので、人為的な作業を要することなくオンラインで教師データを作成して自律的な学習体系を構築し、高精度且つロバストな画像処理を可能とすることのできる画像処理システムを提供することを目的としている。

上記目的を達成するため、本発明による画像処理システムは、移動体の外部に存在する物体を検出した画像データを処理し、環境認識を可能とする画像処理システムであって、上記画像データを複数の認識器で処理し、上記画像データの中から特定の対象を抽出する認識処理部と、上記移動体を操縦する人の運転操作データから障害物回避行動を認識し、認識した回避時の画像データから求めた距離情報を用いて目標となる教師データをオンラインで作成する教師データ作成部と、上記複数の認識器を、予めオフラインの事前学習で作成して保持する教師データとオンラインで作成した上記教師データとを用いて評価し、その評価結果に基づいて現在使用している認識器とストックしている認識とを入れ替えることにより、上記複数の認識器を適応的に学習更新する学習更新部とを備えることを特徴とする。

本発明による画像処理システムは、人為的な作業を要することなくオンラインで教師データを作成して自律的な学習体系を構築し、高精度且つロバストな画像処理を可能とすることができる。

以下、図面を参照して本発明の実施の形態を説明する。図１〜１１は本発明の実施の一形態に係り、図１は画像処理システムの基本構成図、図２は歩行者抽出の処理例を示す説明図、図３は木構造状画像フィルタを示す説明図、図４はオンライン学習部の構成を示す説明図、図５はハンドル角データを示す説明図、図６はハンドル角データとパターン系列と判定結果とを示す説明図、図７は距離変換の説明図、図８は疑似距離画像の例を示す説明図、図９は歩行者判定前のオブジェクト抽出例を示す説明図、図１０は歩行者の判定結果を示す説明図、図１１は木構造状画像フィルタの入れ替え処理を示す説明図である。

本発明の画像処理システムは、自動車等の移動体に搭載され、移動体の外部に存在する物体を検出した画像データを認識器で処理しながら、処理の目標となる教師データをオンラインで自動生成するものであり、追加学習や認識処理の適応的統合を行い、多様な環境、対象に対してより高精度でロバストなシステムを構築することができる。

尚、ここでの画像データとは、カメラ等のイメージセンサで撮像した視覚情報データのみならず、レーザ・レーダ等により物体の２次元的な分布を検出した疑似画像形態のデータも含むものとする。

本形態においては、画像処理システムを自動車等の車両に適用して動画像認識処理を自動構築し、車載カメラの画像を処理して歩行者を抽出する例について説明する。

図１に示すように、本形態における画像処理システム１は、撮像部２、画像入力部３、認識処理部４、オンライン学習部５を基本構成として備えている。認識処理部４は、複数の認識器４Ａ，…と、複数の認識器４Ａ，…の出力結果を統合して統合画像を出力する統合部４Ｂとを備えている。

オンライン学習部５は、ＣＡＮ（Controller Area Network）等の車内ネットワーク５０を介して他の制御装置に接続され、ドライバの操作情報に基づいて教師画像（教師データ）を作成する教師画像作成部１０、追加学習を行う追加学習部２０、学習結果に応じて認識器４Ａの入れ替えを行う更新統合部３０を備えている。尚、教師画像作成部１０が本発明の教師データ作成部に相当し、追加学習部２０及び更新統合部３０が本発明の学習更新部に相当する。

また、オンライン学習部５は、予めオフラインで事前学習された認識器及び後述する追加学習により順次追加される認識器を保持する認識器データベースＤＢ１と、事前に作成された教師データ及び新たにオンラインで作成された教師データを保存する教師データベースＤＢ２とを備えている。

撮像部２は、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラ（本形態においては、単眼視の１台のカメラ）で構成され、例えば、自動車の車室内のルームミラー付近のフロントガラス内側に配設されている。この撮像部２としてのカメラにより、所定の時間周期（例えば、１／３０ｓｅｃ）毎に車両前方が撮像され、動画像を形成する時系列画像が画像入力部３に送信される。

画像入力部３は、撮像部２からの撮像画像に対して、ノイズ除去、ゲイン調整、γ補正等のビデオプロセス処理を行い、このビデオプロセス処理されたアナログ撮像画像を、所定の階調（例えば２５６階調のグレースケール）のデジタル画像に変換する。画像入力部３で処理された画像は、一旦、メモリにストアされて収集され、認識処理部４、オンライン学習部５に送信される。

尚、認識処理部４、オンライン学習部５には、現在の時刻ｔ及びそれ以前の時刻（ｔ−ｋ）の画像がＭフレーム毎にメモリから読み出されて入力される。ｋ及びＭの値は適宜設定可能であり、また、他の選択方法により相異なる複数種類の入力画像を選択して入力するように構成することも可能である。

認識処理部４は、複数の認識器４Ａで入力画像を並列に認識処理し、統合部４Ｂで各認識器４Ａから出力される処理画像を足し合わせた統合画像を、出力目標画像として出力する。本形態では、処理目的が車両前方の風景画像の中からの歩行者の抽出であることから、例えば、図２に示すように、入力画像Ｑ１の中から歩行者のみを白抜きの抽出領域（輝度値２５５）とし、それ以外の部分を非抽出領域（輝度値０）とした画像ＱＲ２を出力目標画像とする。この出力目標画像は、入力画像と重ね合わせる等して図示しない表示装置で表示される。

また、認識器４Ａとして、本形態においては、図３に示すように、複数の画像フィルタＦ１，Ｆ２，…，Ｆｎ（図においては、ｎ＝８）を木構造状に組み合わせた木構造状画像フィルタを採用している。この木構造の各ノードとなる画像フィルタとしては、既存の各種画像フィルタ（例えば、平均値フィルタ、ソベルフィルタ、２値化フィルタ等）や目的に応じて機能が特化された画像フィルタが用いられ、これらの画像フィルタの最適な組合わせと総数が、遺伝的アルゴリズム（GA;GeneticAlgorithm）の遺伝子型を構造的な表現（木構造やグラフ構造等）が扱えるように拡張した遺伝的プログラミング（GP;GeneticProgramming）によって学習的に獲得される。

尚、認識器４Ａとしては、木構造状画像フィルタの他、ニューラルネットワーク、サポートベクタマシン、ファジー等による認識器、ステレオ画像をマッチング処理する認識器、レーザ・レーダによるスキャン画像を処理する認識器等を用いることも可能である。

本形態で採用する木構造状画像フィルタによる画像処理の詳細については、本出願人による特開２００６−１７８８５７号公報に詳述されている。ここでは、その概要について説明する。

本形態における木構造状画像フィルタでは、以下の適応度評価、選択、交叉、突然変異、適応度評価、終了判定の過程を経て木構造の最適化が行われ、ＧＰによって自動的に生成される処理プログラムにより、原画像から目標画像までの最適な変換プロセスが実現される。

［適応度評価］
木構造状画像フィルタを個体として、ランダムの生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の（１）式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値（例えば４０）を超えないように制限される。
Ｋ＝１．０−(１／Ｒ)・Σ_f（Σ_pＷ・│Ｏ−Ｔ│／Σ_pＷ・Ｖ）…（１）
但し、Σ_f：フレーム数ｆについての総和
Σ_p：１フレーム中のピクセルについての総和
Ｋ：適応度
Ｒ：学習セット数（入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数）
Ｏ：出力画像
Ｔ：目標画像（最適化された処理で出力すべき画像
Ｗ：重み画像（目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像）
Ｖ：最大階調度

［選 択］
個体の複製のために親集団を選択する過程であり、適応度Ｋに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Ｋが最大の個体のエリート保存を同時に行う。

［交叉、突然変異］
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。

［適応度評価、終了判定］
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か（目的とする個体が得られたか否か）等によって判定される。

世代数が終了世代数に到達していないときには、親選択に戻り、以上の処理過程を繰り返す。一方、世代数が終了世代数に到達したとき、或いは、適応度の最大値が所定の世代数経過してもその間変化しない場合、すなわち、適応度の最大値が停滞した場合には、その世代で最適化を打切り、最大の適応度を有する個体を解として出力する。

以上の進化過程による木構造の最適化は、各種シーンに対応するため、オフラインでの事前学習によって実行される。事前学習された複数の木構造状画像フィルタは、一部が認識処理部４に常時使用する認識器としてセットされ、一部が典型的なシーン、例えば、昼、夜、天候、環境（高速道路、幹線道路、市街地等）に特化した認識器として認識器データベースＤＢ１にストックされる。

本形態の画像処理システム１は、以上の木構造状画像フィルタに、オンラインで学習可能な枠組を導入するものであり、オンライン学習の枠組は、ドライバの操作情報に基づく教師情報の自動生成、追加学習、複数本の木構造状画像フィルタの適応的統合によって構築される。以下では、木構造状画像フィルタを、適宜、「木構造フィルタ列」、或いは単に「木」と記載する。

具体的には、オンライン学習部５における処理は、基本的に、以下の（１）〜（５Ｂ）をループさせる処理である。（１）〜（３）が教師画像作成部１０の処理に該当し、（４），（５Ａ）が更新統合部３０の処理に該当し、（５Ｂ）が追加学習部２０の処理に該当する。

（１）ドライバの操作データから障害物回避行動を認識する。
（２）回避時の画像から擬似距離画像を作成する。
（３）擬似距離画像から教師画像及び重み画像を作成する。
（４）作成した教師画像を用いて現在使っている木構造フィルタ列、及びストックしている木構造フィルタ列を評価する。
（５Ａ）評価値の比較結果に応じて、現在使っている木構造フィルタ列とストックしている木構造フィルタ列とを入れ替える。
（５Ｂ）評価値の比較結果に応じて、追加学習を行う。

詳細には、図４に示すように、教師画像作成部１０は、危険回避行動認識部１１，移動ステレオ処理部１２，距離画像作成部１３，教師画像作成部１４，信頼度評価部１５を備えて構成され、危険回避行動認識部１１，移動ステレオ処理部１２，距離画像作成部１３に、車内ネットワーク５０を介してドライバの操作データや車両制御データが入力される。また、追加学習部２０は、木構造学習部２１を備えて構成され、更新統合部３０は、評価部３１，入替選択部３２を備えて構成されている。

教師画像作成部１０は、木構造の画像処理で用いる情報以外に、ドライバ操作データ、距離画像情報を用いて教師画像を作成する。教師情報としては、実際に歩行者が居て、ドライバが歩行者を回避する等、危険であったシーンを対象とし、そのシーンの判定については、ドライバの操作データを用いる。

次に、教師情報の対象シーンと判定した画像を移動ステレオ処理し、距離画像を作成する。本形態における移動ステレオ処理は、単眼のカメラを用いて撮像した時系列画像から画像内の各点の動きベクトル（フローベクトル）を求め、このフローベクトルの分布（オプティカルフロー）から距離情報を求める処理であり、対象が動いていないことを仮定していることから、作成される距離画像は擬似的な距離画像である。

すなわち、対象が動いており、近付いている場合には、本形態のオプティカルフローによる擬似距離画像では、実際の距離より近く算出されるが、ここでは高精度の距離を求める必要はないため、この影響は無視することができる。そして、擬似距離画像から回避した対象（距離が近いもの）を抽出処理することにより、教師画像を作成する。

以下、教師画像作成部１０の各部の処理について、詳細に説明する。

危険回避行動認識部１１は、ドライバの操作データから回避行動を判定し、処理対象とするシーンを判定する。歩行者を回避するドライバの操作行動は、避ける、減速（止まる）など複数存在するが、他の操作行動との区別がつきやすいことから、ここでは避ける（左側の歩行者を避ける場合はハンドルを右に切って回避後、左に切り車線に復帰する）行動を抽出する。このドライバの回避行動の判定は、車内ネットワーク５０を介して時系列のハンドル角情報を取得し、このハンドル角情報を用いて行う。

図５は、ドライバ操作データとして、例えば３０Ｈｚでサンプリングされた操舵角（ハンドル角）データのグラフを示し、横軸は時間、縦軸はハンドル角である。この時系列のハンドル角データは、ドライバが左側の歩行者を回避するためにハンドルを右に切って回避後、左に切り車線に復帰した例を示している。

ここで、実際の回避行動においては、ハンドル角の大きさや回避時間にばらつきがある。従って、これらの影響を排除するため、以下の（ｉ），（ｉｉ）に示すような処理でデータの離散化を行い、ハンドル角及び時間間隔に対してロバストなデータとする。そして、離散化したデータを、予め設定してある回避パターンとマッチングすることで、ドライバの回避行動をパターン化して抽出する。

（ｉ）ハンドル角は７段階に離散化する。但し、境界付近ではデータがハンチングする恐れがあるため、ヒステリシスを入れることで対処する。
（ｉｉ）同じ段階の連続データは、ひとまとめにする。但し、同一段階が１秒以上経過した場合は分離する。

例えば、図５に示すハンドル角データを離散化し、３，４，５，４，３，２，１，２，３，…の段階のデータが時系列的に得られた場合、図６に示すように、細線で示すハンドル角データに対して太線で示す回避パターンが抽出され、ドライバの回避操作が破線で示す結果として判定される（パルス状のＯＮで危険回避パターンを判定）。これにより、ドライバの危険回避行動が認識され、対応するシーンの時系列的な画像が移動ステレオ処理部１２に取り込まれる。

移動ステレオ処理部１２は、対象とするシーンの時系列画像を移動ステレオ処理する。この移動ステレオ処理は、本形態においては、時系列画像をブロックマッチング処理して処理対象のフローベクトルを求めるようにしており、マッチングに際しては、周知のＳＡＤ法を用いて画像間の相関を評価する。

すなわち、基準画像となる現時刻の入力画像を所定の大きさのブロックに分割し、比較画像となる過去の時刻の入力画像のブロックとの相関をＳＡＤ法により評価し、マッチング処理を行う。尚、マッチング処理の方法としては、その他、ＳＳＤ法、正規化相関法等の種々の方法が知られており、いずれの方法を採ることも可能である。

本形態で採用するＳＡＤ法では、基準画像のブロックと比較画像のブロックとの間のピクセル値（一般的に、各画素の輝度値）の差分の絶対値の総和（SAD;Sum of Absolute Difference）を演算し、画像間の相関を評価する。このＳＡＤによる評価関数の値は、シティブロック距離と称されるものであり、ブロック間の相関が高い程（類似している程）、値が小さくなる。

シティブロック距離Ｃは、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（２）式に示すように、基準画像の探索ブロックｍａｉｎ(i,j)と比較画像の探索ブロックｓｕｂ(i,j)とのＳＡＤ値を、ｉ軸上を所定のシフト値ずつずらしながら演算することにより得られる。
Ｃ＝Σ│ｍａｉｎ(i,j)−ｓｕｂ(i,j)│…（２）

本形態では、基準画像となる現在の時刻の入力画像を、例えば４×４画素のブロックに分割し、比較画像となる過去の時刻の入力画像上を１画素ずつずらしながら走査し、シティブロック距離Ｃが最小となるブロックを、現入力画像上の画素ブロックに対応するブロックとする。そして、対応する画素ブロック間のフローベクトルＦｖを求める処理を探索範囲の各画素ブロックについて行うことで、現入力画像のオプティカルフローを求めることができる。

尚、本形態では、シティブロック距離Ｃの演算時間を短縮し、計算コストの低減を図るため、マッチングの走査方向を画像上の消失点方向に限定する。

また、本形態では、精度向上のため、ブロックマッチングに際して、以下の（ａ），（ｂ）の処理を加えている。

（ａ）マッチング処理する比較画像を、車速に応じて変更する。通常は、現在の時刻ｔの画像と１フレーム前の画像を用いるが、低速の場合は２フレーム前の画像を用いる。これは、車速が遅い場合はフローベクトルが小さく、距離精度が低下するためである。
（ｂ）ステアリングを切っている場合、オプティカルフローには左右方向にオフセット分が乗るため、ステアリング角（及び車速を用いたヨー角角速度）により、オフセット分の補正を行う。

また、現入力画像上の画素ブロックが、建物の壁や道路表面等が撮像されていて１６個の画素間に輝度値の差が少なく特徴に乏しい画素ブロックである場合には、過去の入力画像上に似たような輝度特性を有するブロックが多数存在するため、（２）式に従って対応するブロックが見出されたとしてもマッチングを誤っている可能性が残る。

そこで、本形態では、下記の（Ｊ１），（Ｊ２）の２つの条件を満たす場合のみ、上述のマッチング処理で算出されたフローベクトルＦｖに信頼性がある判断し、そのフローベクトルＦｖを現入力画像上の画素ブロックに対応するフローベクトルとする。また、２つの条件のいずれかを満たさない場合はフローの信頼性が低いとして、その画素ブロックのフローベクトルＦｖを０とする。

（Ｊ１）その画素ブロックのシティブロック距離Ｃの最小値Ｃminが予め設定された閾値Ｃａ以下である。
（Ｊ２）その画素ブロックを構成する１６個の画素の最大輝度値と最小輝度値との差が予め設定された閾値Ａｔ以上である。

従って、本実施形態では、移動ステレオ処理部１２は、先ず、現入力画像を画素ブロックに分割した後、画素ブロックが条件Ｊ２を満たすか否かを判断して、条件を満たさない場合にはその画素ブロックに関してはマッチング処理を行わず、その画素ブロックに大きさ０のフローベクトルＦｖを割り当てる。

また、移動ステレオ処理部１２は、条件Ｊ２を満たす画素ブロックであっても、条件Ｊ１を満たさない場合、すなわちシティブロック距離Ｃが閾値Ｃａより大きいである場合にはマッチングを誤っている可能性が高く信頼性が低いからその画素ブロックに大きさ０のフローベクトルＦｖを割り当てる。

このようにして入力画像の画素ブロック毎に算出されたフローベクトルＦｖは、その大きさが各画素ブロックの階調値に変換され、オプティカルフロー画像が生成される。例えば、前述した大きさ０のフローベクトルが割り当てられている画素ブロックは階調値が０である。

次に、距離画像作成部１３は、得られたオプティカルフローと車速情報から距離への変換を行い、疑似距離画像を作成する。前述したように、本形態においては、距離算出時に対象に動きがないことを仮定しているため、自車に近づく物体は実際より距離が大きく算出されるが、ここでは正確な距離を求める必要はないので、この影響は無視する。

具体的には、図７に示すように、カメラの焦点距離Ｆ、画像中心からの横方向距離をＸ、自車（カメラ位置）から奥行き方向の距離をＺとするとき、３次元空間と２次元画像平面との間の透視変換により、過去の画像位置ｉ（画像中心からの位置）、車速に基づく移動量ＶｔだけＺ方向に進んた現時刻での画像位置ｉ’から、以下の（３），（４）式を得ることができる。
Ｚ／Ｆ＝Ｘ／λｉ …（３）
（Ｚ＋Ｖｔ）／Ｆ＝Ｘ／λｉ’ …（４）
但し、λ：対象の画像上のずれ距離ｄを与える係数（ｄ＝λ（ｉ’−ｉ））

従って、（３），（４）式を用いて、以下の（５）式に示すように、画像位置ｉ，ｉ’及び移動量Ｖｔから距離Ｚを算出することができる。
Ｚ＝ｉ’Ｖｔ／（ｉ−ｉ’） …（５）

以上の処理で得られた距離情報は、画像座標系の対応する位置の輝度値に置き換えられて階調表現の距離画像として生成される。図８は、距離画像の例を示すものであり、同図において、下側が距離画像、上側の画像は元画像に上書きしたものである。尚、図２、図８、及び後述する図９，図１０においては、視認の関係上、精細な階調表現を省略しているが、実際の距離画像上では、近い部分程白く、遠い部分程黒く表現される。

次に、教師画像作成部１４は、距離画像を画像処理することで、教師画像を作成する。具体的には、前処理として、濃淡で表現されたレベル画像（距離画像）を、３×３の最大値フィルタや最小値フィルタを用いて拡大縮小し、階調度（距離）等のデータが類似している領域をグループ化した後、このグループ化したオブジェクトの特徴量を用いて歩行者を判定する。図９は、グループ化によるオブジェクトの抽出例を示し、画像左側の歩行者と右側のトラックとがオブジェクトとして抽出されている。

歩行者の判定は、オブジェクトの大きさ、形、外接する矩形に占める割合（充填率）、３次元距離、画像上の位置等の特徴量を用いて行い、信頼度評価部１５で評価した信頼度が一定以上のグループのみを抽出し、抽出したグループの中から最終的に歩行者が判定される。本形態においては、各要素に重み付けをしたポイントを累積して信頼度とし、一定値以上のポイントとなったグループのみを抽出して最終的に歩行者を判定し、塗りつぶし（拡大縮小）や２値化を行い、図１０に示すように、歩行者のみを抽出した教師画像を作成する。作成された教師画像は、教師データベースＤＢ２にストックされる。

尚、グループ化したオブジェクトからの歩行者の判定については、上述以外の特徴量を用いることも可能であり、他のパターン認識手法による判定も可能である。

次に、以上の教師画像を用いた追加学習と木構造フィルタ列の入れ替えについて説明する。追加学習部２０における追加学習のアルゴリズム自体は、上述したＧＰによる進化的な自動獲得法と同様であるが、追加学習部２０の木構造学習部２１による追加学習では、対象の木構造フィルタ列を初期個体として扱い、追加学習を始める。

その際、作成した教師画像による学習セットのみでは、特定の対象に依存して過学習になり易いため、デフォルトの教師画像を数セット用意し、それらと共に追加学習を行う。追加学習のタイミングは、更新統合部３０での判定によって決定される。

追加学習された木構造フィルタ列は、認識器データベースＤＢ１に追加される。図１１に示すように、認識器データベースＤＢ１には、現在のシーンに適応的に対応するため、常時使用する木構造状フィルタ列の本数より充分多い本数が保持されている。前述したように、認識器データベースＤＢ１には、ストックメンバーとして、予めオフラインでの事前学習で典型的なシーンを学習した複数の木構造フィルタ列からなるデフォルトメンバーと、オンライン追加学習により順次追加される木構造フィルタ列からなる追加メンバーとがストックされており、条件の変化に対して適応的に現在使用している木構造フィルタ列（使用メンバ）を入れ替えることで、より高い精度の認識が可能となる。

更新統合部３０は、先ず、評価部３１において、作成した教師画像による現在使っている木構造フィルタ列、学習した結果の木構造フィルタ列、及び他に保持している木構造フィルタ列（ストックしている木構造フィルタ列）を評価し、使用する木構造フィルタ列の入れ替え判定を行うと共に、木構造学習部２１による追加学習を行うか否かを判定する（追加学習タイミングの判定）。

この場合、一枚の作成した教師画像だけでの評価では、木の入れ替えが安定しないため、教師データベースＤＢ２にストックされている教師画像を用いた過去の結果も踏まえて評価する。例えば、一回の処理での評価値をポイント付ける等して各教師画像での評価を累積する。

また、１回の評価で得られる評価値Ｘを０〜１の範囲の値とした場合、評価値の累積に際しては、１回の評価値Ｘを変換して−１〜＋１の範囲の値に拡張し、拡張した値を累積する。この評価値の変換は、単純には、以下の（６）式に示すような線形変換で行うことができるが、非線形な形にしても良い。
Ｘ‘＝（Ｘ−０．５）×２ …（６）
但し、Ｘ ：変換前の評価値
Ｘ’：変換後の評価値

そして、累積評価値が一定値或いは使用メンバの評価を上回ったときは、現在の木構造フィルタ列の入れ替えを行う。また、追加学習タイミングの判定は、累積評価値が一定値を下回ったとき、且つ、現在の教師画像で評価値が一定値以下であったときとする。

以上のように、本実施の形態の画像処理システムは、オンラインで入力される画像データから、人為的な作業を要することなく教師データを自動生成することができ、使用する認識器を多様な環境や対象に合わせて適応的に変化させ、自律的な学習体系を構築して高精度且つロバストな認識を可能とすることができる。

画像処理システムの基本構成図 歩行者抽出の処理例を示す説明図 木構造状画像フィルタを示す説明図 オンライン学習部の構成を示す説明図 ハンドル角データを示す説明図 ハンドル角データとパターン系列と判定結果とを示す説明図 距離変換の説明図 疑似距離画像の例を示す説明図 歩行者判定前のオブジェクト抽出例を示す説明図 歩行者の判定結果を示す説明図 木構造状画像フィルタの入れ替え処理を示す説明図

符号の説明

１ 画像処理システム
４ 認識処理部
４Ａ 認識器
１０ 教師画像作成部（教師データ作成部）
２０ 追加学習部（学習更新部）
３０ 更新統合部（学習更新部）
Ｆｎ 画像フィルタ
Ｆｖ フローベクトル（オプティカルフロー）

Claims (8)

1. 移動体の外部に存在する物体を検出した画像データを処理し、環境認識を可能とする画像処理システムであって、
   上記画像データを複数の認識器で処理し、上記画像データの中から特定の対象を抽出する認識処理部と、
   上記移動体を操縦する人の運転操作データから障害物回避行動を認識し、認識した回避時の画像データから求めた距離情報を用いて目標となる教師データをオンラインで作成する教師データ作成部と、
   上記複数の認識器を、予めオフラインの事前学習で作成して保持する教師データとオンラインで作成した上記教師データとを用いて評価し、その評価結果に基づいて現在使用している認識器とストックしている認識とを入れ替えることにより、上記複数の認識器を適応的に学習更新する学習更新部と
   を備えることを特徴とする画像処理システム。
2. 上記複数の認識器を木構造状画像フィルタにより構成し、該木構造状画像フィルタを遺伝的プログラミングの初期個体として適応的に学習更新することを特徴とする請求項１記載の画像処理システム。
3. 上記複数の認識器を、過去の結果を含めて累積的に評価し、累積した評価結果に基づいて上記複数の認識器を適応的に学習更新することを特徴とする請求項１又は２記載の画像処理システム。
4. 上記運転操作データから認識した危険回避シーンのオプティカルフローを算出し、該オプティカルフローに基づく距離情報を用いて上記教師データを作成することを特徴とする請求項１〜３の何れか一に記載の画像処理システム。
5. 上記オプティカルフローを、上記移動体の速度に応じて選択した時系列画像データのマッチング処理によって求めることを特徴とする請求項４記載の画像処理システム。
6. 上記オプティカルフローを、上記運転操作データにより補正することを特徴とする請求項４又は５記載の画像処理システム。
7. 上記運転操作データを、時系列の操舵角データとすることを特徴とする請求項１〜６の何れか一に記載の画像処理システム。
8. 上記操舵角データを、所定の時間間隔及び操舵角で離散化することを特徴とする請求項７記載の画像処理システム。

Images