JP4824729B2 - 物体検知の方法 - Google Patents

Description

本発明は、特に車両の様な運搬具に取り付けられた光学センサの視野範囲の環境内の、物体、特に道路上の物体、特に歩行者、を検知する方法に関する。

オンライン映像に基づく障害物検知システムにおいて、障害物分類に不可欠な前処理段階は、計算時間の点で効率がよい画像領域の検知から成り、その様な画像領域は関心対象の障害物を含んでいると想定されるので、計算の労力が全面的に軽減され、より強固なリアルタイム分類ソフトウェアが可能になる。

単一のグレースケール画像に関する障害物検知は、それが効率的に計算できるようにすると共に検知システムを有する車両の固有の運動、光の強さの変化などとは無関係であるという限りにおいて、好都合である。

障害物を検知するのに１次元又は２次元のプロファイルが作成されるアプリケーションは、様々なものが存在する。これらのアプリケーションは、障害物の輪郭を背景減算又はセンサの何れかによって曖昧さ無しに検知することのできる、赤外線センサを備えた監視システム又は障害物検知システムの何れかである。これらのアプリケーションの１次元又は２次元プロファイルは、検知された障害物を曖昧さ無しに描写することができる。対照的に、直接的な１次元又は２次元プロファイルは、画像場面の複雑性及び画素輝度の多様性のせいで、グレースケール画像では巧く働かない。

本発明の基本的な目的は、物体、特に道路上の物体、特に歩行者の検知にかかる計算労力を軽減できる可能性、及び／又はその様な検知の強固さを高めることができる可能性を示すことである。

この目的は、本発明に従って、特に車両の様な運搬具に取り付けられた光学センサの視野範囲の環境内の、物体、特に道路上の物体、特に歩行者、を検知することにより果たされ、この方法では、光学センサの視野範囲から、水平線より下に位置する関連空間領域が定められ、関連空間領域に対応する関連画像領域を含んでいるグレースケール画像が、光学センサによって作成され、可能性のある物体の探索は、水平線より下に位置する関連空間領域に対応する関連画像領域の中だけで、物体を検知するために行われる。

これに関連して、水平線より下の特定の狭い水平方向の帯が、グレースケール画像の関連画像領域として選択されるのが望ましい。
グレースケール画像の関連画像領域内で可能性のある物体を探索する際、探索は、少なくとも１つの垂直方向を表す特徴を求めて行われるのが好都合である。

この目的で、グレースケール画像の関連画像領域内の各画素の列毎にグレー値が加算又は積分されるのが望ましい。
次いで、列方向に積分されたグレー値信号の上側包絡線が便宜的に作成され、包絡線と列方向に積分されたグレー値信号の間の差異が、ローパスフィルタによって、グレースケール画像の関連画像領域内の垂直方向を表す１次元プロファイルを得るために、好適に形成される。

これに関連して、１次元プロファイルの値を閾値と比較し、閾値よりも上に位置している１次元プロファイルの各値を初期物体検知の指標として使用するのは、特に好都合である。

次いで、特に２進垂直方向エッジが、グレースケール画像の関連画像領域の中の初期物体検知毎に抽出される。次いで、抽出された垂直方向エッジに対して形態学的演算を実施して、事前設定可能に明白な垂直方向エッジを得るのが望ましい。

好都合に、各形態学的演算により得られた各垂直方向エッジの一番下の終点が突き止められ、この一番下の終点は、検知された、可能性のある物体の最下点として定義される。
次いで、最下点から始まり、物体の大きさに適合させた境界設定ボックスが、続いての物体分類に備えて定義される。

本発明の主題は、更に、コンピュータプログラムであって、コンピュータ又は相応の電算装置で実行されるときに、上で説明した方法を実行するためのプログラミングコード手段を備えている、コンピュータプログラムである。

更に、コンピュータプログラムがコンピュータ又は相応の電算装置で実行されるときに、上で説明した方法を実行するための、コンピュータ読取可能データ担体上に記憶されているプログラミングコード手段を有するコンピュータプログラム製品も、本発明の主題である。

これに関連して、コンピュータは、方法を実行することができるあらゆる所望のデータ処理装置として理解されている。これに関連して、その様なデータ処理装置としては、具体的には、本方法を全体的又は部分的に実行するのに使用できるデジタル信号プロセッサ及び／又はマイクロプロセッサが挙げられる。

最後に、特に車両の様な運搬具に取り付けられた光学センサの視野範囲の環境内で、物体、特に道路上の物体、特に歩行者、を検知するための装置であって、上で説明した方法を実行するために設計されているデータ処理装置を有している装置も、本発明の主題である。

最初に挙げた、１次元又は２次元プロファイルに基づく既知の抽出アルゴリズムとは異なり、１次元プロファイルは、何ら画像を前処理すること無く、グレースケール画像の関連画像領域から直接、本発明による解法に基づいて作成することができる。障害物が場面中に存在しているか否かの決定は、作成された１次元プロファイルを評価することにより行うことができる。

計算効率を改善するために、検知に使用される関連領域（関心対象領域）は、水平線より下の小さな水平方向の帯に固定することができる。帯の高さは、例えば、ＶＧＡ型のモノカメラ（６４０Ｘ４８０）では、合計３０画素になる。帯は、例えば、水平線より１０画素下に配置してもよい。帯は、例えば、水平線より１０画素下に固定されているので、関連検知領域は、地面領域に焦点が合わせられ、物体の探索はこの地面領域より上でのみ行われる。本発明によるこの解法の利点は、具体的には、定義された関連探索領域の視野内では、水平方向領域の中の複雑な背景の観察は起こらず、地面区域に近い単純な背景の中の物体又は歩行者だけが観察されることである。

探索は、物体候補又は歩行者候補を検知するために、明白な垂直方向の整列を表している物体又は歩行者の特徴を求めて、定義されている物体検知帯又は歩行者検知帯内で行われる。これまでの慣例的な検知アルゴリズムとは異なり、元のグレースケール画像に直接アクセスすることができる。物体検知帯又は歩行者検知帯の各列のグレー値を加算又は積分することができる。

次いで、列方向に積分された信号の上側包絡線を、ローパスフィルタにより作成することができ、これに基づいて、絶対減算を、包連線と列方向に積分された信号の間で実施することができる。

減算の結果、検知帯内のグレー画像の垂直方向を表している、物体検知帯又は歩行者検知帯の１次元プロファイルが得られる。次に、１次元プロファイルの値を閾値と比較して、閾値より上に位置している１次元プロファイルの各信号を初期検知として選択することができる。

具体的には、このとき、定義されている検知帯の２進垂直方向エッジを各初期検知から抽出することができる。具体的には、次に、２進垂直方向エッジには、明白な又は大きな垂直方向エッジだけを得るために、形態学的演算が実施される。

次に、形態学的演算の結果の一番下の終点を各関連領域内で突き止めることができ、突き止めた終点を、検知された物体候補又は歩行者候補の最下点として定義することができる。

次いで、突き止められた最下点から始めて、物体又は歩行者の大きさに適合させた境界設定ボックスを作成し、これを以降の処理のために分類器に入力することができる。
従来の歩行者候補検知のための処理とは異なり、本発明による解法では、この様に、狭い領域のグレースケールを直接処理することができ、その上、処理は実質的により速くなる。

以下、実施形態と図面を参照しながら、本発明を更に詳しく説明する。
図１から図６では、特に車両の様な運搬具に取り付けられた光学センサ１２の視野範囲の環境の中で、物体１０、特に道路上の物体、特に歩行者、を検知する方法の、純粋に代表的な実施形態を再現している。

これに関連して、光学センサ１２の視野範囲から、水平線１４より下に位置する関連空間領域１６が定められる（詳しくは図１参照）。グレースケール画像１８は、光学センサ１２によって作成され（詳しくは図１及び図４から図６参照）、関連空間領域１６に対応する関係画像領域２０を含んでいる（詳しくは図２参照）。次いで、可能性のある物体１０を求めて、水平線１４より下に位置する関連空間領域１６に対応するこの関連画像領域２０内に限って探索が行われ、物体１０が検出される。既に述べたように、問題の物体１０は、具体的には歩行者であってもよい。

図１は、物体検知又は歩行者検知が限定して行われる、可能性のある関連空間領域１６を概略図に示している。図２は、図１による関連空間領域１６に対応するグレースケール画像１８の関連画像領域２０を示している。詳しくはこの図２を参照すれば認識されるように、関連画像領域２０は、具体的には水平線１４より下の狭い水平方向の帯である（図１も参照）。

グレースケール画像１８の関連画像領域２０内で可能性のある物体１０を探索する際、探索は、垂直方向を表している少なくとも１つの特徴を求めて行われる。
これに関連して、グレースケール画像１８の関連画像領域２０内の画素の列毎にグレー値を、例えば、加算又は積分してもよい。次いで、列方向に積分されたグレー値信号２４の上側包絡線２２が作成され、上側包絡線２２と列方向に積分されたグレー値信号２４の間の差異２６が、例えばローパスフィルタによって、グレースケール画像１８の関連画像領域２０内の垂直方向を表している１次元プロファイルを得るために形成される。

図３は、列方向に積分されたグレー値信号２４の代表的な曲線と、その上側包絡線２２、及び、１次元プロファイルとなる、上側包絡線２２と列方向に積分されたグレー値信号２４の間の差異２６、を再現した図表を示している。

関心対象の検知領域は、従って、水平線より下の細い水平方向の帯である。帯の高さは、光学センサ１２を形成している、例えば、ＶＧＡ型のモノカメラ（６４０Ｘ４８０）では、例えば、合計３０画素としてもよい。帯は、例えば、水平線より１０画素下に配置してもよい。帯は、例えば、具体的には水平線より１０画素下に配置されているので、関連検知領域又は空間領域１６は、地面領域２８又は道路にのみ向けられる（詳しくは図１参照）。その様な関心対象探索領域とすれば、水平線領域の中の複雑な背景の観察は回避される。地面区域２８により確定された単純な背景に対して、物体１０又は歩行者を観察するだけでよい。

具体的には、図２及び図３の結果として、探索は、明白な垂直方向を表している少なくとも１つの特徴を求めて、定義されている物体検知帯又は歩行者検知帯内、即ち帯状の画像領域２０内で、可能性のある物体１０又は物体候補を検知するために行われる。これに関連して、元のグレー値画像が直接利用される。帯状の関連画像領域２０内の各列のグレー値は、次の数式に基づいて、例えば、加算又は積分される、

ここに、ｕは、関連画像領域２０の横座標、ｖは関連画像領域２０の縦座標である。
画像は２進法で作成されるのが望ましいので、画素輝度Ｉは、値０か値２５５の何れかを有している。

垂直方向を表している１次元プロファイルは、列方向に積分された元のグレー値信号２４とその上側包連線２２の間の絶対減算により、即ち関連差異２６で、得られる。
特に図４を参照すると認識頂けるように、１次元プロファイルの値、即ち差異２６は、閾値３０と比較することができる。このとき、閾値３０よりも上方に位置している１次元プロファイルの各値は、初期物体検知の指標として使用することができる。これは、各物体１０は、ここで、１次元プロファイルの各値が閾値３０よりも上に位置しているとき、初期検知物体と見なせる、ということを意味している。初期検知物体１０は、各々、図４で矩形の枠が付けられている。

先に述べた１次元プロファイルの検知結果は、物体候補又は歩行者候補の水平方向位置しか表していない。従って、検知物体の大きさ又は深さの情報は未だ何ら提示されていない。

そこで、検知された物体候補の正確な大きさを得るために、例えば、以下のように進むことができ、
１次元プロファイル上の各検知点から、検知点より下の小さい関連領域を定義し、この定義された関連領域内で、２進垂直方向エッジを抽出する。２進垂直方向エッジの画像に垂直方向の形態学的演算を実施して、それでもなお大きい垂直方向に向いているエッジだけを得る。

グレースケール画像１８の関連画像領域２０では、特に２進垂直方向エッジは、従って、各初期物体検知毎に抽出され、これに形態学的演算を施して、事前設定可能な明白な垂直方向エッジを得る。

図５は、検知された、可能性のある物体１０又は歩行者の最下点探索の概略図を示しており、一方、図６は、物体１０又は歩行者の大きさに適合させた境界設定ボックスの作成を概略的に示している。

この様にして、これで、１次元プロファイルの各初期検知点３２の形態学的演算の結果３４の一番下の終点（図５参照）が、それより下に位置している関連領域内で突き止められる（詳しくは再度図５参照）。突き止められて終点は、そこで、検知された物体候補又は歩行者候補の最下点３６として定義される。これで、突き止められた最下点３６から始めて、物体又は歩行者の大きさに適合させた境界設定ボックス（図５参照）を作成することができる。

例えば、各形態学的演算により得られた各垂直方向エッジの一番下の終点を突き止めることができ、この一番下の終点を、検知された、可能性のある物体又は歩行者の最下点３６として定義することができる。次いで、後に続く物体分類に備えて、最下点３６から始めて、物体１０又は歩行者の大きさに適合させた境界設定ボックスを定義することができる。

物体検知又は歩行者検知が限定して行われる、可能性のある関連空間領域の概略図である。 図１に基づく関連空間領域に対応するグレースケール画像の関連画像領域である。 列方向に積分されたグレー値信号の代表的な曲線と、その上側包絡線、及び、１次元プロファイルとなる、上側包絡線と列方向に積分されたグレー値信号の間の差異、を再現した図表である。 図４による１次元プロファイルであり、関係付けられている閾値、及び初期物体検知に関連して検知された、可能性のある物体又は歩行者を伴うプロファイルである。 感知された可能性のある物体又は歩行者の最下点探索の概略図である。 物体又は歩行者の大きさに適合させた境界設定ボックス作成の概略図である。

符号の説明

１０ 物体
１２ 光学センサ
１４ 水平線
１６ 関連空間領域
１８ グレースケール画像
２０ 関連画像領域
２２ 上側包絡線
２４ グレー値信号
２６ 差異
３０ 閾値
３６ 最下点

Claims (11)

1. 特に車両の様な運搬具に取り付けられた光学センサ（１２）の視野範囲の環境内の、物体（１０）、特に道路上の物体、特に歩行者、を検知するための方法において、
   関連空間領域（１６）が、前記光学センサ（１２）の視野範囲から、水平線（１４）より下に定められ、
   前記関連空間領域（１６）に対応する関連画像領域を含んでいるグレースケール画像（１８）が、前記光学センサ（１２）によって作成され、
   そこで、探索は、可能性のある物体（１０）を求めて、前記水平線（１４）より下に位置する前記関連空間領域（１６）に対応するこの関連画像領域（２０）の中だけで、物体（１０）を検知するために行われ、
   前記グレースケール画像（１８）の前記関連画像領域（２０）内の各画素の列毎にグレー値が加算又は積分され、
   列方向に積分されたグレー値信号（２４）の上側包絡線（２２）が作成され、前記包絡線（２２）と列方向に積分された前記グレー値信号（２４）の間の差異（２６）が、前記グレースケール画像（１８）の前記関連画像領域（２０）内の垂直方向を表す１次元プロファイルを得るために形成される、方法。
2. 特に、前記水平線（１４）より下の狭い水平方向の帯が、前記グレースケール画像（１８）の前記関連画像領域（２０）として選択されることを特徴とする、請求項１に記載の方法。
3. 前記グレースケール画像（１８）の前記関連画像領域（２０）内で可能性のある物体（１０）を探索する際、探索は、少なくとも１つの垂直方向を表す特徴を求めて行われることを特徴とする、請求項１又は２に記載の方法。
4. 望ましくはローパスフィルタによって、前記包絡線（２２）と列方向に積分された前記グレー値信号（２４）の間の差異（２６）が、前記グレースケール画像（１８）の前記関連画像領域（２０）内の垂直方向を表す１次元プロファイルを得るために形成されることを特徴とする、請求項１乃至３のいずれか一項に記載の方法。
5. 前記１次元プロファイルの値が閾値（３０）と比較され、前記閾値（３０）よりも上に位置している前記１次元プロファイルの各値が、初期物体検知の指標として使用されることを特徴とする、請求項４に記載の方法。
6. 特に２進垂直方向エッジが、前記グレースケール画像（１８）の前記関連画像領域（２０）の中の各初期物体検知毎に抽出され、前記抽出された垂直方向エッジに対して形態学的演算を実施して、事前設定可能な明白な垂直方向エッジを得ることを特徴とする、請求項５に記載の方法。
7. 各形態学的演算により得られた各垂直方向エッジの一番下の終点が突き止められ、この一番下の終点は、前記検知された、可能性のある物体（１０）の最下点（３６）として定義されることを特徴とする、請求項６に記載の方法。
8. 続いての物体分類に備えて、最下点（３６）から始まり、前記物体の大きさに適合させた境界設定ボックスが定義されることを特徴とする、請求項７に記載の方法。
9. コンピュータプログラムであって、コンピュータ又は相応の電算装置で実行されるときに、上記請求項１から８の何れかに記載の方法を実行するためのプログラムコード手段を備えているコンピュータプログラム。
10. 前記コンピュータプログラムがコンピュータ又は相応の電算装置上で実行されるときに
    、上記請求項１から８の何れかに記載の方法を実行するための、コンピュータ読取可能データ記憶担体上に記憶されているプログラムコード手段を有するコンピュータプログラム製品。
11. 特に車両の様な運搬具に取り付けられた光学センサの視野範囲の環境内の、物体、特に道路上の物体、特に歩行者を検知するための装置であって、上記請求項１から８の何れかに記載の方法を実行するために設計されているデータ処理装置を有している、装置。