JP6340228B2 - 物体検出装置 - Google Patents

Description

本発明は、物体検出装置に関し、さらに詳しくは、カメラにより撮影された撮影画像から対象物を検出する物体検出装置に関する。

カメラが撮影した画像などに検出対象が存在するか否かを判定する物体検出装置が存在する。物体検出装置は、たとえば、カメラとともに車両に搭載される。カメラは、自車両の進行方向を撮影して撮影画像を生成する。物体検出装置は、カメラにより撮影された撮影画像から、自車両の前を走行する他の車両を検出する。

カメラにより撮影された撮影画像から車両を検知する車両検知装置が、特許文献１に開示されている。特許文献１に開示された車両検知装置は、車両の前方の景色を撮影する単眼カメラにより撮影された画像から縦方向に延びるエッジ（縦エッジ）を検出する。撮影された画像に車両が存在するか否かが、検出された縦方向のエッジのペアの中心位置と幅に基づいて判断される。

また、カメラにより撮影された画像を用いて車両前方を監視する車両用外界認識装置（認識装置）が、特許文献２に開示されている。この認識装置は、カメラにより撮影された画像から複数の縦エッジを検出し、水平方向に並ぶ２本の縦エッジのペアの中心位置及び幅に基づいて、車両候補領域を特定する。認識装置は、特定された車両候補領域ごとに、車両らしさを示すＨＯＧ（Histograms of Oriented Gradients）特徴量及びＨＯＦ（Histograms of Flow）を算出する。これらの特徴量に基づいて、車両候補領域に車両が存在するか否かが判断される。

特開２００５−１５６１９９号公報 特開２０１３−２０５４１０号公報

上記特許文献１，２に開示されているように、従来の物体検出装置は、カメラにより撮影された画像（撮影画像）から抽出されたエッジ特徴量を用いて、車両が撮影画像内に存在するかを判断している。しかし、撮影画像は、車両の他に、電信柱、道路標識などの他の物体を含む。他の物体は、車両と同様に縦方向に延びるエッジで構成される場合がある。従来の車両検出装置は、縦方向に伸びる２本のエッジのペアが他の物体の形状を示しているにも関わらず、このエッジのペアに基づいて、撮影画像に車両が存在すると誤って判断する場合がある。

本発明は、上記問題点に鑑み、誤検出を抑制することができる物体検出装置を提供することを目的とする。

上記課題を解決するため、請求項１記載の発明は、カラーのフレーム画像に対して検出窓を設定する検出窓設定部と、前記検出窓に含まれる物体の形状を示す特徴量を前記フレーム画像から抽出して形状特徴データを生成する形状抽出部と、前記検出窓から所定の色成分を抽出して色特徴データを生成する色抽出部と、前記形状特徴データと前記色特徴データとから、前記検出窓が対象物を含むであろう尤度を算出する尤度算出部と、を備える。

請求項２記載の発明は、請求項１に記載の物体検出装置であって、さらに、前記形状特徴データと前記色特徴データとから、前記尤度の算出対象となる算出対象データを生成する生成部、を備え、前記尤度算出部は、前記生成部により生成された算出対象データから前記尤度を算出する。

請求項３記載の発明は、請求項２に記載の物体検出装置であって、前記形状特徴データは、前記検出窓のエッジを強調したエッジ画像であり、前記色特徴データは、前記検出窓が有する複数の色成分から前記所定の色成分を抽出した色成分画像であり、前記生成部は、前記エッジ画像と前記色成分画像とを合成して前記算出対象データを生成する。

請求項４記載の発明は、請求項３に記載の物体検出装置であって、前記生成部は、前記エッジ画像の各画素が有する画素値と、前記色成分画像の各画素が有する画素値の少なくとも一方を重み付けする。

請求項５記載の発明は、請求項２に記載の物体検出装置であって、前記形状特徴データは、前記フレーム画像のエッジを強調したエッジ画像であり、前記色特徴データは、前記フレーム画像が有する複数の色成分から前記所定の色成分を抽出した色成分画像であり、前記生成部は、前記エッジ画像の各画素が有する画素値を配列したデータ列と、前記色成分画像の各画素が有する画素値を配列したデータ列とを連結することにより、前記算出対象データを生成する。

請求項６記載の発明は、請求項５に記載の物体検出装置であって、前記生成部は、前記エッジ画像のサイズを変更し、サイズが変更されたエッジ画像の各画素が有する画素値を配列したデータ列と、前記色成分画像の各画素が有する画素値を配列したデータ列とを連結する。

請求項７記載の発明は、請求項５又は請求項６に記載の物体検出装置であって、前記生成部は、前記色成分画像のサイズを変更し、前記エッジ画像の各画素が有する画素値を配列したデータ列と、サイズが変更された色成分画像の各画素が有する画素値を配列したデータ列とを連結する。

請求項８記載の発明は、請求項１ないし請求項７のいずれかに記載の物体検出装置であって、前記形状抽出部は、対象物を含む学習画像から学習用の形状特徴データを生成し、前記色抽出部は、前記学習画像から前記学習用の色特徴データを生成し、前記物体検出装置は、前記学習用の形状特徴データ及び前記学習用の色特徴データを用いて、前記対象物のパターンデータを生成する学習部、を含み、前記尤度算出部は、前記パターンデータを用いて、前記尤度を算出する。

請求項９記載の発明は、物体検出装置に搭載されるコンピュータに、カラーのフレーム画像に対して検出窓を設定するステップと、前記検出窓に含まれる物体の形状を示す特徴量を前記フレーム画像から抽出して形状特徴データを生成するステップと、前記検出窓から所定の色成分を抽出して色特徴データを生成するステップと、前記形状特徴データと前記色特徴データとから、前記検出窓が対象物を含むであろう尤度を算出するステップと、を実行させるための物体検出プログラムである。

本発明に係る物体検出装置は、検出窓に含まれる物体の形状を示す特徴量を抽出して形状特徴データを生成し、検出窓に含まれる所定の色成分を抽出して色特徴データを生成する。物体検出装置は、形状特徴データ及び色特徴データを用いて、検出窓に対象物が存在する度合いを示す尤度を算出する。尤度の算出に形状特徴データだけでなく、色特徴データを用いることにより、誤検出の発生を抑制することができる。

本発明の第１の実施の形態に係る物体検出装置の構成を示す機能ブロック図である。 図１に示す物体検出装置により実行される学習処理のフローチャートである。 図２に示す学習処理における画像の変化を示す図である。 図１に示す物体検出処理により実行される車両検出処理のフローチャートである。 図１に示す物体検出装置に入力される撮影画像の一例を示す図である。 図４に示す車両検出処理における画像の遷移の一例を示す図である。 図４に示す車両検出処理における画像の遷移の他の例を示す図である。 本発明の第２の実施の形態に係る物体検出装置の構成を示す機能ブロック図である。 図８に示す物体検出装置により実行される学習処理のフローチャートである。 図９に示す学習処理における画像の遷移を示す図である。 図８に示す連結部により生成される連結学習データの構造を示す図である。 図８に示す物体検出装置により実行される車両検出処理のフローチャートである。 図１２に示す車両検出処理における画像の遷移の一例を示す図である。 図１２に示す車両検出処理における画像の遷移の他の例を示す図である。

以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。

［第１の実施の形態］
｛１．全体構成｝
図１は、本発明の第１の実施の形態に係る物体検出装置１の構成を示す機能ブロック図である。物体検出装置１は、カメラ１００が撮影した画像から、自動車を後方から見た画像を検出する。物体検出装置１は、カメラ１００とともに自動車などの車両に搭載される。

カメラ１００は、自動車のダッシュボード上に設置され、前方の景色を撮影して画像データ２０を生成する。画像データ２０は、複数のフレームにより構成される動画像であり、フレーム単位で物体検出装置１に入力される。各フレームは、ＲＧＢ色空間を有するカラー画像である。物体検出装置１は、１つのフレーム（以下、「撮影画像２１」と呼ぶ。）から、物体検出装置１が搭載された自動車（自車両）の前を走行する自動車を後方から見た画像（後面画像）を検出する。

図１に示すように、物体検出装置１は、検出窓設定部１１と、画像変換部１２と、形状抽出部１３と、色抽出部１４と、画像合成部１５と、尤度算出部１６と、判断部１７と、学習部１８と、記憶部１９とを備える。

検出窓設定部１１は、撮影画像２１に対して検出窓を設定する。検出窓は、撮影画像２１から後面画像を検出するための単位領域である。検出窓設定部１１は、撮影画像２１から検出窓を切り出して、窓画像２２を生成する。撮影画像２１がＲＧＢ色空間を有するため、窓画像２２もＲＧＢ色空間を有する。

画像変換部１２は、窓画像２２をグレースケールに変換することにより、グレースケール窓画像２３を生成する。形状抽出部１３は、グレースケール窓画像２３に対してエッジを強調する処理を実行することにより、エッジ窓画像２４を生成する。エッジ窓画像２４は、検出窓に含まれる物体の形状を示す特徴量を窓画像２２から抽出したデータである。

色抽出部１４は、ＲＧＢ色空間を有する窓画像２２からＲ（赤）成分を抽出することによりＲ成分窓画像２５を生成する。Ｒ成分窓画像２５は、検出窓が有する各画素のＲ成分を抽出したデータである。

画像合成部１５は、形状抽出部１３により生成されたエッジ窓画像２４と、色抽出部１４とにより生成されたＲ成分窓画像２５とを合成して、合成窓画像２６を生成する。合成窓画像２６は、尤度算出部１６において、車両尤度２７の算出に用いられるデータである。

尤度算出部１６は、ニューラルネットワークを用いて、検出窓に自動車の後面が存在するであろう尤度（車両尤度２７）を合成窓画像２６から算出する。１つの検出窓に対して、１つの車両尤度２７が算出される。尤度算出部１６は、車両尤度２７の算出の際に、自動車の後面のパターンが記録されたパターンデータ５０Ａを参照する。

判断部１７は、尤度算出部１６により算出された検出窓ごとの車両尤度２７に基づいて、撮影画像２１内に後面画像が存在するか否かを判断する。

学習部１８は、物体検出装置１に入力される学習画像から生成される合成学習画像３６を用いて、自動車の後面のパターンを学習する。学習部１８には、学習用のニューラルネットワークのアルゴリズムが実装される。学習部１８は、学習の結果として、パターンデータ５０Ａを生成する。合成学習画像３６の詳細については、後述する。

記憶部１９は、フラッシュメモリやハードディスク装置などであり、パターンデータ５０Ａを記憶する。

｛２．物体検出装置１の動作｝
物体検出装置１は、撮影画像２１から後面画像を検出する処理（車両検出処理）を開始する前に、パターンデータ５０Ａを生成する処理（学習処理）を実行する。以下、学習処理と車両検出処理とをそれぞれ説明する。

｛２．１．学習処理｝
図２は、物体検出装置１により実行される学習処理のフローチャートである。図３は、学習処理の際に用いられる画像の遷移を示す図である。図２及び図３を参照しながら、学習処理を実行する物体検出装置１の動作を説明する。

物体検出装置１は、パターンデータ５０Ａを生成するために、複数の学習画像３２を使用する。図２は、１つの学習画像３２に対して実行される処理を示している。物体検出装置１は、１つの学習画像３２が入力された場合、図２に示す処理を開始する。

学習画像３２は、検出対象である自動車の後面画像を含むカラー画像であり、ＲＧＢ色空間を有する。学習画像３２のサイズ（高さ及び幅）は、窓画像２２のサイズと同じである。このため、検出窓設定部１１は、学習処理に関与せず、学習画像３２に対して検出窓を設定しない。

物体検出装置１は、ステップＳ１１，Ｓ１２を実行することにより、学習画像３２に含まれる自動車の後面の形状を示す特徴量を、学習画像３２から抽出する。具体的には、画像変換部１２が、学習画像３２をグレースケールに変換して、グレースケール学習画像３３を生成する（ステップＳ１１）。

形状抽出部１３は、グレースケール学習画像３３に対して、エッジを強調する処理を実行して、エッジ学習画像３４を生成する（ステップＳ１２）。ステップＳ１２は、グレースケール学習画像３３から自動車の後面の形状を示す特徴量を抽出するために実行される。学習画像３２おいて、自動車の後面は、台形に近い形状をしている。このため、ステップＳ１２では、横方向に延びるエッジを強調する処理と、縦方向に延びるエッジを強調する処理とが実行される。各方向に伸びるエッジの強調処理には、例えば、Ｓｏｂｅｌフィルタが用いられる。

次に、形状抽出部１３は、エッジ学習画像３４に対して重み付けを行う（ステップＳ１３）。具体的には、形状抽出部１３は、エッジ学習画像３４が有する各画素の画素値に対して１よりも小さい係数を乗算する。以下、重み付けされたエッジ学習画像３４の画素値を、Ｅｗ（ｘ，ｙ）と記載する。図３では、重み付けされたエッジ学習画像３４の表示を省略している。ステップＳ１３を実行する理由については、後述する。

エッジ学習画像３４が有する画素の画素値の最大値は２５５であり、最小値は０である。図３に示すエッジ学習画像３４において、２５５に近い画素値を有する画素ほど黒く表示され、０に近い画素値を有する画素ほど白く表示される。後述するＲ成分学習画像３５及び合成学習画像３６の各画素も、図３において同様に表示される。

色抽出部１４は、学習画像３２が有する各画素からＲ成分を抽出し（ステップＳ１４）、Ｒ成分学習画像３５を生成する。具体的には、色抽出部１４は、下記式（１）を実行することにより、Ｒ成分学習画像３５が有する各画素の画素値を決定する。

図３に示すように、学習画像３２の左上頂点を原点とした場合において、右向きの軸をｘ軸、下向きの軸をｙ軸として定義する。式（１）において、Ｒ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する学習画像３２の画素が有するＲ成分値である。ＲＥＤ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置するＲ成分学習画像３５の画素の画素値である。

Ｒ（ｘ，ｙ）がしきい値Ｔｈ_ＲＥＤよりも大きい場合、色抽出部１４は、ＲＥＤ（ｘ，ｙ）をＲ（ｘ，ｙ）に設定する。Ｒ（ｘ，ｙ）がしきい値Ｔｈ_ＲＥＤ以下である場合、色抽出部１４は、ＲＥＤ（ｘ，ｙ）を０に設定する。つまり、色抽出部１４は、しきい値Ｔｈ_ＲＥＤよりも大きいＲ成分値を有する画素を学習画像３２から抽出することにより、Ｒ成分学習画像３５を生成する。Ｒ成分学習画像３５のサイズは、学習画像３２のサイズと同じである。

図３に示すように、Ｒ成分学習画像３５において、領域３５１，３５２が黒く表示されている。２つの領域３５１は、学習画像３２に含まれる自動車のテールランプに対応する。２つの領域３５２は、方向指示器に相当する。方向指示器の色は黄色であるため、領域３５２は、しきい値Ｔｈ_ＲＥＤよりも大きいＲ成分値を有するため、領域３５１と同様に黒く表示される。

なお、色抽出部１４は、ＲＥＤ（ｘ，ｙ）がしきい値Ｔｈ_ＲＥＤよりも大きいか否かの判断に加えて、他の条件が満たされているか否かを判断してもよい。例えば、色抽出部１４は、下記の２つの条件が両者ともに満たされているか否かを判断する。第１の条件は、学習画像３２が有する画素のＲ成分値とＧ成分値との差分絶対値が所定のしきい値（Ｔｈ_ＲＥＤと異なる）よりも大きいことである。第２の条件は、学習画像３２が有する画素のＲ成分値とＢ成分値との差分絶対値がＴｈ_ＲＥＤと異なる上記の所定のしきい値よりも大きいことである。これら２つの条件が満たされる場合、色抽出部１４は、座標（ｘ，ｙ）における学習画像３２の画素の表示色が赤であると判断し、この画素のＲ成分値をＲ成分学習画像３５が有する画素の画素値に設定する。これにより、赤以外の表示色がＲ成分学習画像３５に反映されることを防ぐことができる。あるいは、色抽出部１４は、ＲＥＤ（ｘ，ｙ）を設定する際に、第１の条件及び第２の条件のいずれか一方の条件を用いてもよい。第２の条件で用いられるしきい値は、第１の条件で用いられるしきい値と異なっていてもよい。

また、色抽出部１４は、ＲＥＤ（ｘ，ｙ）がしきい値Ｔｈ_ＲＥＤよりも大きいか否かの判断に加えて、下記式（２）及び式（３）が満たされているか否かを判断してもよい。

式（２）において、Ｇ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する学習画像３２の画素が有するＧ成分値であり、Ｃ_Ｇは、予め設定された係数である。式（３）において、Ｂ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する学習画像３２の画素が有するＢ成分値であり、Ｃ_Ｂは、予め設定された係数である。係数Ｃ_Ｇ，Ｃ_Ｂは、例えば、２に設定される。係数Ｃ_Ｇ，Ｃ_Ｂは、互いに異なる値であってもよい。色抽出部１４は、式（２）及び式（３）が満たされる場合、座標（ｘ，ｙ）における学習画像３２の画素の表示色が赤であると判断し、この画素のＲ成分値をＲ成分学習画像３５が有する画素の画素値に設定する。あるいは、色抽出部１４は、ＲＥＤ（ｘ，ｙ）を設定する際に、式（２）及び式（３）のいずれか一方のみを用いてもよい。

画像合成部１５は、形状抽出部１３により重み付けされたエッジ学習画像３４と、色抽出部１４により生成されたＲ成分学習画像３５とを合成して、合成学習画像３６を生成する（ステップＳ１５）。画像合成部１５は、Ｅｗ（ｘ，ｙ）をＲＥＤ（ｘ，ｙ）に加算する。画像合成部１５は、最大値が２５５となるように加算値を正規化することにより、合成学習画像３６が生成される。

この結果、合成学習画像３６は、学習画像３２から抽出された車両の形状を示す特徴と、学習画像３２におけるＲ成分の分布の特徴との両者を反映したデータとなる。画像合成部１５は、生成した合成学習画像３６を学習部１８に出力する。

学習部１８は、合成学習画像３６に含まれる自動車の後面のパターンを、ニューラルネットワークを用いて学習する（ステップＳ１６）。学習部１８は、学習の結果をパターンデータ５０Ａに反映させる。パターンデータ５０Ａには、検出対象である自動車の後面の形状だけでなく、自動車の後面における赤色部分（テールランプ及び方向指示器）のパターンの配置が反映される。

このように、物体検出装置１は、１つの学習画像３２に対して図２に示す処理を実行する。自動車の後面のパターン（車種、自動車までの距離など）が異なる様々な学習画像３２が、物体検出装置１に入力される。学習処理は、物体検出装置１に入力される学習画像３２の数に応じて繰り返される。これにより、パターンデータ５０Ａには、各々の学習画像３２に含まれる自動車の後面のパターンが反映される。

｛２．２．車両検出処理｝
図４は、物体検出装置１により実行される車両検出処理のフローチャートである。物体検出装置１は、カメラ１００から撮影画像２１が入力されるたびに、図４に示す処理を実行して、撮影画像２１内に後面画像が存在するか否かを判断する。

図５は、物体検出装置１に入力される撮影画像２１の一例を示す図である。上述するように、撮影画像２１は、ＲＧＢ空間を有するカラー画像であるが、図５では、撮影画像２１をグレースケールで表している。

図４及び図５を参照しながら、車両検出処理を実行する物体検出装置１の動作を説明する。検出窓設定部１１は、撮影画像２１に対して、後面画像を検出するための検出窓４０を１つ設定する（ステップＳ２１）。

ステップＳ２１〜Ｓ２８が繰り返されることにより、撮影画像２１に対して複数の検出窓４０が設定される。撮影画像２１の左上頂点に位置する検出窓４０が、最初に設定される。検出窓設定部１１は、撮影画像２１を左上から右下にかけてスキャンするように複数の検出窓を設定する。新たに検出窓４０が設定される場合、検出窓設定部１１は、既に設定された検出窓４０の一部と重複するように新しい検出窓４０を設定することが望ましい。

検出窓設定部１１は、撮影画像２１において、検出窓４０を設定する領域を限定してもよい。物体検出装置１が自車両よりも前を走行する自動車を検出する場合、撮影画像２１の上側の領域に、前を走行する自動車が存在する可能性は低い。検出窓設定部１１は、例えば、撮影画像２１の上方３分の１の領域を検出窓４０の設定範囲から除外してもよい。

物体検出装置１は、ステップＳ２２〜Ｓ２６に示す処理を実行して、窓画像２２から合成窓画像２６を生成する。合成窓画像２６は、学習部１８により学習される合成学習画像３６の生成手順と同じ手順で生成される。図４に示す処理のうち、ステップＳ２２〜Ｓ２６の処理は、図２に示すステップＳ１１〜Ｓ１５の処理と同じである。このため、ステップＳ２２〜Ｓ２６に関する説明を一部省略する。

図６は、車両検出処理を実行するときの画像の遷移の一例を示す図である。図６に示す窓画像４２は、図５に示す撮影画像２１と別の撮影画像２１に対して設定された検出窓４０から切り出された画像である。

画像変換部１２は、窓画像４２をグレースケールに変換することにより、グレースケール窓画像４３を生成する（ステップＳ２２）。形状抽出部１３は、グレースケール窓画像４３に対してエッジを強調する処理を実行して、エッジ窓画像４４を生成する（ステップＳ２３）。ステップＳ１２で用いられたＳｏｂｅｌフィルタが、エッジ窓画像４４の生成に用いられる。これにより、グレースケール窓画像４３に含まれる物体の形状を示す特徴量が、グレースケール窓画像４３から抽出される。形状抽出部１３は、エッジ窓画像４４が有する各画素の画素値に対して、ステップＳ１３で用いた係数を乗算する（ステップＳ２４）。図６において、重み付け処理が施されたエッジ窓画像４４の表示を省略している。

色抽出部１４は、上記式（１）を用いて、ＲＧＢ色空間を有する窓画像４２の各画素からＲ成分を抽出して、Ｒ成分窓画像４５を生成する（ステップＳ２５）。

画像合成部１５は、Ｒ成分窓画像４５と、重み付け処理が施されたエッジ窓画像４４とを合成して合成窓画像４６を生成する（ステップＳ２６）。これにより、合成窓画像４６は、窓画像４２に含まれる物体の形状を示す特徴量と、窓画像４２におけるＲ成分の分布とが反映されたデータとなる。

尤度算出部１６は、ニューラルネットワークを用いて、合成窓画像４６から車両尤度２７を算出する（ステップＳ２７）。車両尤度２７の算出の際には、パターンデータ５０Ａが参照される。車両尤度２７は、検出窓４０が後面画像を含む度合いを示し、０以上１以下の数値である。検出窓４０に後面画像が存在する可能性が高いほど、車両尤度２７は、１に近づく。検出窓４０に後面画像が存在する可能性が低いほど、車両尤度２７は、０に近づく。

物体検出装置１は、車両尤度２７の算出（ステップＳ２７）が終了した後に、撮影画像２１に対する検出窓４０の設定が終了したか否かを確認する（ステップＳ２８）。検出窓４０の設定が終了していない場合（ステップＳ２８においてＮｏ）、物体検出装置１は、新たな検出窓４０を設定するために、ステップＳ２１に戻る。一方、全ての検出窓４０の設定が終了した場合（ステップＳ２８においてＹｅｓ）、判断部１７は、検出窓４０ごとに算出された複数の車両尤度２７を用いて、撮影画像２１内に後面画像が存在するか否かを判断する（ステップＳ２９）。

判断部１７は、各検出窓４０の中心座標に基づいて、複数の車両尤度２７の空間的な分布図を作成する。判断部１７は、作成した分布図に基づいて、撮影画像２１が後面画像を含むか否かを判断する。後面画像が撮影画像２１から検出された場合、判断部１７は、分布図を用いて自動車の後面の大きさを特定し、特定した大きさに基づいて、撮影画像２１から検出された自動車までの距離を特定してもよい。

以下、学習処理及び車両検出処理において、重み付け処理（ステップＳ１３，Ｓ２４）が実行される理由を説明する。図３に示すように、学習画像３２において、しきい値Ｔｈ_ＲＥＤよりも大きいＲ成分値を有する画素の領域は、テールランプ及び方向指示器に対応する範囲である。このため、Ｒ成分学習画像３５は、エッジ学習画像３４に比べて単純な画像となる。

Ｒ成分学習画像３５では、テールランプ及び方向指示器に対応する以外の領域が白であるため、Ｒ成分が目立っている。しかし、合成学習画像３６では、テールランプ及び方向指示器に対応する領域以外の領域が、エッジにより黒く表されているため、合成学習画像３６では、Ｒ成分がエッジよりも目立たなくなる。Ｒ成分学習画像３５とエッジ学習画像３４とを単に合成して合成学習画像３６を生成した場合、合成学習画像３６において、Ｒ成分学習画像３５の画素値の寄与が、エッジ学習画像３４の画素値の寄与と同じとなる。しかし、Ｒ成分がエッジよりも目立たないため、学習部１８による合成学習画像３６の学習の際に、Ｒ成分のパターンの学習結果がパターンデータ５０Ａに反映されづらくなる。

この結果、車両検出処理において算出される車両尤度２７の精度が低下するおそれがある。具体的には、窓画像２２が自動車の後面を含まないにもかかわらず、窓画像２２の左右に赤色の領域が存在する場合、この窓画像２２から１に近い車両尤度２７が算出される可能性が高い。つまり、ステップＳ１３を実行しない場合、パターンデータ５０Ａにおいて、Ｒ成分学習画像３５のパターンの影響が、エッジ学習画像３４のパターンの影響よりも大きくなる。

このように、車両尤度２７の精度の低下を防ぐために、形状抽出部１３は、Ｒ成分学習画像３５に対して重み付け処理（ステップＳ１３）を実行することにより、パターンデータ５０Ａにおけるエッジ学習画像３４の影響を小さくする。ステップＳ２４も、同様の理由により実行される。

以下、窓画像２２から算出される車両尤度２７の具体例を説明する。図６に示すように、窓画像４２は、後面画像を含む。このため、窓画像４２から生成されるエッジ窓画像４４は、自動車の後面の形状に応じた幾何学的な形状（長方形、台形など）を有する。窓画像４２において、自動車の後面がテールランプ及び方向指示器を含むため、Ｒ成分窓画像４５の左右には、画素値の大きい領域が存在する。従って、合成窓画像４６は、パターンデータ５０Ａに記録された自動車の後面のパターンに類似するパターンを有する。尤度算出部１６は、窓画像４２に対応する検出窓４０の車両尤度２７として、後面画像が存在する可能性が高いことを示す値（０．９１）を算出する。

図７は、自動車の後面を含まない窓画像５２から合成窓画像５６が生成されるまでの画像の遷移を示す図である。

窓画像５２は、歩行者の画像を含み、後面画像を含まない。窓画像５２から生成されるエッジ窓画像５４は、自動車の後面の形状に似た幾何学的な形状を有しない。Ｒ成分窓画像５５において、下に位置する画素が黒く表示されている。これは、窓画像５２の下方に赤色の領域が存在することを示す。Ｒ成分窓画像５５における赤色の領域の配置パターンは、Ｒ成分学習画像３５における赤色の領域の配置パターンと大きく異なる。

エッジ窓画像５４とＲ成分窓画像５５とから生成される合成窓画像５６は、パターンデータ５０Ａに記録された自動車の後面のパターンを有しない。この結果、尤度算出部１６は、窓画像５２に対応する検出窓４０の車両尤度２７として、０に近い値（０．２３）を算出する。

以上説明したように、物体検出装置１は、窓画像２２に含まれる物体の形状を示す特徴量（エッジ）だけでなく、窓画像２２の色成分の情報を用いて、車両尤度２７を算出する。これにより、検出窓４０が、自動車の後面の形状に似た物体を含む場合であっても、この物体に対する車両尤度２７を０に近づけることができる。検出窓４０に対応する車両尤度２７の信頼性を向上させることができ、誤検出を抑制することができる。

［第２の実施の形態］
本発明に係る第２の実施の形態について説明する。図８は、本発明の第２の実施の形態に係る物体検出装置２の構成を示す機能ブロック図である。図８に示すように、物体検出装置２は、物体検出装置１が備える画像合成部１５に代えて、連結部７０を有する。

連結部７０は、エッジ窓画像２４のデータ列と、Ｒ成分窓画像２５のデータ列とを連結することにより、連結窓データ２８を生成する。尤度算出部１６は、連結窓データ２８を用いて、検出窓４０が後面画像を含むであろう車両尤度２７を算出する。また、連結部７０は、エッジ学習画像３４のデータ列とＲ成分学習画像３５のデータ列とを連結して、連結学習データ３８を生成する。

以下、上記実施の形態と異なる点を中心に、物体検出装置２の動作について説明する。

｛１．学習処理｝
図９は、学習処理を実行する物体検出装置２の動作を示すフローチャートである。図１０は、物体検出装置２において、学習画像３２から連結学習データ３８が生成されるまでの画像の遷移を示す図である。

図９に示すように、形状抽出部１３は、ステップＳ１１，Ｓ１２を実行して、学習画像３２からエッジ学習画像３４を生成する。しかし、形状抽出部１３は、エッジ学習画像３４に対して重み付け処理（ステップＳ１３）を実行しない。色抽出部１４は、ステップＳ１４を実行して、学習画像３２からＲ成分学習画像３５を生成する（ステップＳ１４）。色抽出部１４は、Ｒ成分学習画像３５に対して、重み付け処理（ステップＳ５１）を実行する。

色抽出部１４は、重み付け処理（ステップＳ５１）として、Ｒ成分学習画像３５のサイズを縮小する。これにより、縮小学習画像３５ａが、Ｒ成分学習画像３５から生成される。縮小率は、例えば、６０％であり、ステップＳ１４で用いられる重み付けの係数に相当する。エッジ学習画像３４のサイズは、変更されない。

連結部７０は、エッジ学習画像３４のデータ列と、縮小学習画像３５ａのデータ列とを連結して、連結学習データ３８を生成する（ステップＳ５２）。エッジ学習画像３４のデータ列は、エッジ学習画像３４をラスタスキャンすることにより生成される。同様に、縮小学習画像３５ａのデータ列は、縮小学習画像３５ａをラスタスキャンすることにより生成される。エッジ学習画像３４のデータ列の末尾に、縮小学習画像３５ａのデータ列の先頭が連結されることにより、連結学習データ３８が生成される。

図１１は、連結学習データ３８のデータ構造を示す図である。図１１に示すように、Ｅ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置するエッジ学習画像３４の画素の画素値であり、Ｄ（ｘ，ｙ）は、座標（ｘ，ｙ）に位置する縮小学習画像３５ａの画素の画素値である。連結学習データ３８は、エッジ学習画像３４が有する各画素の画素値と、縮小学習画像３５ａが有する各画素の画素値とにより構成される１次元の配列である。図１０に示す連結学習データ３８において、エッジ学習画像３４のサイズと縮小学習画像３５ａのサイズとの関係を示すために、縮小学習画像３５ａをエッジ学習画像３４の下に配置している。連結学習データ３８は、上述のように、画素値の１次元配列であり、エッジ学習画像３４と縮小学習画像３５ａとにより構成される１つの画像ではない。

学習部１８は、連結学習データ３８を用いて、自動車の後面の形状のパターンと、自動車の後面におけるＲ成分の分布のパターンとを学習し（ステップＳ５３）、学習の結果をパターンデータ５０Ａに反映させる。

ここで、Ｒ成分学習画像３５のサイズを縮小する処理（ステップＳ５１）が重み付け処理に相当する理由を説明する。

エッジ学習画像３４及びＲ成分学習画像３５は、それぞれ、１つの成分値（エッジ強度、Ｒ成分値）のみを含む画像である。また、各画像のサイズは同じである。従って、エッジ学習画像３４のデータ量は、Ｒ成分学習画像３５のデータ量と同じである。Ｒ成分学習画像３５のデータ列をエッジ学習画像３４に連結した場合、連結学習データ３８におけるエッジ学習画像３４とＲ成分学習画像３５との比は、１対１となる。しかし、Ｒ成分学習画像３５は、上述のように、エッジ学習画像３４に比べて単純な画像である。連結学習データ３８では、エッジ学習画像３４のデータと、Ｒ成分学習画像３５のデータとが区別されているため、学習部１８は、エッジ学習画像３４に含まれるエッジの複雑なパターンの特徴よりも、Ｒ成分学習画像３５に含まれる画素値の高い領域の単純なパターンの特徴を検出することが容易である。この結果、上記第１の実施の形態とは逆に、パターンデータ５０Ａにおいて、Ｒ成分学習画像３５のパターンの影響が、エッジ学習画像３４のパターンの影響よりも大きくなる。

縮小学習画像３５ａは、Ｒ成分学習画像３５のサイズ（高さ及び幅）を縮小することにより生成される。縮小学習画像３５ａのデータ量は、エッジ学習画像３４のデータ量よりも小さい。連結学習データ３８において縮小学習画像３５ａが占める比率は、縮小率が大きくなるにつれて低下する。連結学習データ３８における縮小学習画像３５ａの比率を小さくすることにより、パターンデータ５０ＡにおいてＲ成分学習画像３５の影響を小さくすることができる。従って、Ｒ成分学習画像３５のサイズを縮小する処理は、Ｒ成分学習画像３５が有する画素の画素値を重み付けする処理に相当する。

｛２．車両検出処理｝
図１２は、車両検出処理を実行する物体検出装置２の動作を示すフローチャートである。図１３は、物体検出装置２が車両検出処理を実行するときにおける画像の遷移の一例を示す図である。図１３に示す窓画像４２、グレースケール窓画像４３、エッジ窓画像４４、及びＲ成分窓画像４５は、図６に示す各画像と同じである。図１２及び図１３を参照しながら、車両検出処理を実行する物体検出装置２の動作を説明する。

図１２に示す車両検出処理において、図４に示すステップＳ２４及びＳ２６に代えて、サイズ変更による重み付け処理（ステップＳ６１）と連結処理（ステップＳ６２）が実行される。ステップＳ６１及びＳ６２は、ステップＳ５１及びＳ５２と同様の処理である。このため、ステップＳ６１及びＳ６２の詳細な説明を省略する。

色抽出部１４は、重み付け処理（ステップＳ６１）として、Ｒ成分窓画像４５のサイズを縮小する処理を実行する。これにより、縮小窓画像４５ａが、Ｒ成分窓画像４５から生成される。縮小率は、学習処理で用いられた縮小率と同じ（６０％）である。連結部７０は、エッジ窓画像４４のデータ列の末尾に、縮小窓画像４５ａのデータ列を連結して、連結窓データ４８を生成する（ステップＳ６２）。連結窓データ４８は、連結学習データ３８と同様に、エッジ窓画像４４が有する各画素の画素値と、縮小窓画像４５ａが有する各画素の画素値とにより構成される１次元の配列である。尤度算出部１６は、連結窓データ４８を用いて、窓画像４２に対応する検出窓４０の車両尤度２７を算出する（ステップＳ２７）。図１３に示すように、窓画像４２は、後面画像を含む。従って、窓画像４２から算出される車両尤度２７は、１に近い値（０．８９）を有する。

図１４は、物体検出装置２が車両検出処理を実行するときにおける画像の遷移の他の例を示す図である。図１４に示す窓画像５２、グレースケール窓画像５３、エッジ窓画像５４、及びＲ成分窓画像５５は、図７に示す各画像と同じである。色抽出部１４は、Ｒ成分窓画像５５を縮小して縮小窓画像５５ａを生成する。エッジ窓画像５４のデータ列に縮小窓画像５５ａのデータ列を連結することにより、連結窓データ５８が生成される。連結窓データ４８は、連結学習データ３８と同様に、エッジ窓画像４４が有する各画素の画素値と、縮小窓画像４５ａが有する各画素の画素値とにより構成される１次元の配列である。

図１４に示すように、窓画像５２は、後面画像を含まない。従って、窓画像５２から算出される車両尤度２７は、０に近い値（０．１３）を有する。

以上説明したように、物体検出装置２は、物体検出装置１と同様に、窓画像２２に含まれる物体の形状を示す特徴量（エッジ）だけでなく、窓画像２２の色成分の情報を用いて、車両尤度２７を算出する。これにより、誤検出を抑制することができる。

上記実施の形態において、物体検出装置１，２は、撮影画像２１から自動車の後面を検出する例を説明したが、これに限られない。検出対象は、自動車ではなく、道路標識などの他の物体であってもよい。

上記実施の形態において、エッジ学習画像及びＲ成分学習画像から合成学習画像を生成する例、エッジ学習画像及びＲ成分学習画像から連結学習データを生成する例を説明したが、これに限られない。学習部１８は、エッジ学習画像とＲ成分学習画像とを個別に学習してもよい。この場合、尤度算出部は、エッジ学習画像の学習により生成されたパターンデータを参照して、エッジ窓画像から第１の車両尤度を算出する。また、尤度算出部は、Ｒ成分学習画像の学習により生成されたパターンデータを参照して、Ｒ成分窓画像から第２の車両尤度を算出する。

また、上記実施の形態において、色抽出部１４は、学習画像３２からＲ成分を抽出する例を説明したが、これに限られない。色抽出部１４は、検出対象の物体に応じて、Ｇ成分あるいはＢ成分を学習画像３２から抽出してもよい。この場合、窓画像２２から抽出される色成分は、学習画像３２から抽出される色成分に応じて変化する。

また、上記実施の形態において、Ｒ成分窓画像２５及びＲ成分学習画像３５の各々の画素値に重み付けを行う例を説明したが、これに限られない。色抽出部１４は、Ｒ成分窓画像２５及びＲ成分学習画像３５に代えて、エッジ学習画像３４及びエッジ窓画像２４に対して重み付けを行ってもよい。

この場合、エッジ窓画像２４及びエッジ学習画像３４の各画素値に対して１以上の係数が乗算される。あるいは、エッジ窓画像２４及びエッジ学習画像３４が１００％よりも大きい倍率で拡大される。つまり、上記実施の形態に係る物体検出装置は、エッジ学習画像３４及びＲ成分学習画像３５の少なくとも一方を重み付けし、エッジ窓画像２４及びＲ成分窓画像２５の少なくとも一方を重み付けすればよい。

また、上記実施の形態において、物体検出装置１,２に入力される学習画像３２のサイズが窓画像２２のサイズと同じである例を説明したが、これに限られない。物体検出装置１,２に入力される学習画像３２のアスペクト比が窓画像２２のアスペクト比に一致していれば、物体検出装置１,２に入力される学習画像３２のサイズが窓画像２２のサイズと同じでなくてもよい。この場合、窓画像２２から尤度を算出する前、又は、窓画像２２に対して特徴量を抽出する処理を実行する前に、窓画像２２のサイズを学習画像のサイズに一致するように変更すればよい。

また、上記実施の形態において、尤度算出部１６及び学習部１８がニューラルネットワークを用いる例を説明したが、これに限られない。学習部１８は、ニューラルネットワーク以外のパターンマッチングのプログラム（例えば、サポートベクターマシン）を用いてもよい。尤度算出部１６に実装されるアルゴリズムは、学習部１８に実装されるアルゴリズムに応じて変更される。

上記実施の形態で説明した物体検出装置１，２において、各機能部は、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されてもよい。集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサーで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

また、上記実施の形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施の形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。

また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。

前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリを挙げることができる。

上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

１，２ 物体検出装置
１１ 検出窓設定部
１２ 画像変換部
１３ 形状抽出部
１４ 色抽出部
１５ 画像合成部
１６ 尤度算出部
１７ 判断部
１８ 学習部
７０ 連結部

Claims (4)

1. カラーのフレーム画像に対して検出窓を設定する検出窓設定部と、
   前記検出窓に含まれる物体の形状を示す特徴量を前記検出窓から抽出して形状特徴データを生成する形状抽出部と、
   前記検出窓から所定の色成分を抽出して色特徴データを生成する色抽出部と、
   前記形状特徴データと前記色特徴データとから、前記検出窓が対象物を含むであろう尤度の算出対象となる算出対象データを生成する生成部と、
   前記生成部により生成された算出対象データから、前記尤度を算出する尤度算出部と、
   を備え、
   前記形状特徴データは、前記検出窓のエッジを強調したエッジ画像であり、
   前記色特徴データは、前記検出窓が有する複数の色成分から前記所定の色成分を抽出した色成分画像であり、
   前記生成部は、前記エッジ画像と前記色成分画像とを合成して前記算出対象データを生成する、物体検出装置。
2. 請求項１に記載の物体検出装置であって、
   前記生成部は、前記エッジ画像の各画素が有する画素値と、前記色成分画像の各画素が有する画素値の少なくとも一方を重み付けする物体検出装置。
3. 請求項１または請求項２に記載の物体検出装置であって、
   前記形状抽出部は、対象物を含む学習画像から学習用の形状特徴データを生成し、
   前記色抽出部は、前記学習画像から前記学習用の色特徴データを生成し、
   前記物体検出装置は、
   前記学習用の形状特徴データ及び前記学習用の色特徴データを用いて、前記対象物のパターンデータを生成する学習部、
   を含み、
   前記尤度算出部は、前記パターンデータを用いて、前記尤度を算出する物体検出装置。
4. 物体検出装置に搭載されるコンピュータに、
   カラーのフレーム画像に対して検出窓を設定するステップと、
   前記検出窓に含まれる物体の形状を示す特徴量を前記検出窓から抽出して形状特徴データを生成するステップと、
   前記検出窓から所定の色成分を抽出して色特徴データを生成するステップと、
   前記形状特徴データと前記色特徴データとから、前記検出窓が対象物を含むであろう尤度の算出対象となる算出対象データを生成する生成ステップと、
   前記算出対象データから、前記尤度を算出するステップと、
   を実行させるためのプログラムであって、
   前記形状特徴データは、前記検出窓のエッジを強調したエッジ画像であり、
   前記色特徴データは、前記検出窓が有する複数の色成分から前記所定の色成分を抽出した色成分画像であり、
   前記生成ステップは、前記エッジ画像と前記色成分画像とを合成して前記算出対象データを生成する、物体検出プログラム。