JP6514086B2 - 静止物検出装置、及びプログラム - Google Patents

静止物検出装置、及びプログラム Download PDF

Info

Publication number
JP6514086B2
JP6514086B2 JP2015203726A JP2015203726A JP6514086B2 JP 6514086 B2 JP6514086 B2 JP 6514086B2 JP 2015203726 A JP2015203726 A JP 2015203726A JP 2015203726 A JP2015203726 A JP 2015203726A JP 6514086 B2 JP6514086 B2 JP 6514086B2
Authority
JP
Japan
Prior art keywords
edge
unit
specific
stationary object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015203726A
Other languages
English (en)
Other versions
JP2017076276A (ja
Inventor
下村 修
修 下村
直己 二反田
直己 二反田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015203726A priority Critical patent/JP6514086B2/ja
Publication of JP2017076276A publication Critical patent/JP2017076276A/ja
Application granted granted Critical
Publication of JP6514086B2 publication Critical patent/JP6514086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、路上に設置された静止物を検出する技術に関する。
自動車の運転支援に必要な車両周辺に存在する静止物を認識する認識装置であって、撮影部と画像処理部とを備えた認識装置が知られている(特許文献1参照)。
特許文献1に記載された認識装置の撮影部は、時間軸に沿って繰り返し画像を撮影する。画像処理部は、撮影部で撮影した画像及び車速信号に基づいて静止物のエッジを検出する。具体的に、画像処理部は、時間軸に沿って連続する画像のそれぞれから検出したエッジを静止物であるものと仮定する。そして、画像処理部は、その静止物であると仮定したエッジ(以下、仮静止物エッジと称す)の時間軸に沿って連続する画像間での移動速度が、車速信号に基づく閾値以下であれば、その仮静止物エッジを静止物のエッジとして認識している。
特開2012−3582号公報
特許文献1に記載された認識装置においては、時間軸に沿って連続する複数の画像のそれぞれから検出された仮静止物エッジが、道路上に存在する同一の静止物のエッジであることが、静止物のエッジを認識する前提条件となっている。
しかしながら、特許文献1には、複数の画像のそれぞれから検出された仮静止物エッジが同一の静止物のエッジであることを特定する方法が記載されておらず、特許文献1に記載された技術では、静止物のエッジを精度よく認識できない可能性がある。
ここで、車両が走行する道路に設置された静止物であるガードレールやガイドポスト(以下、認識対象物と称す)は、道路に沿って連続して配置されている。
このため、特許文献1に記載された認識装置が撮影した一枚の画像には、複数の認識対象物が写り込む。これにより、画像を撮影する時間間隔及び認識対象物の配置間隔によっては、時刻t−1に撮影した画像に写り込んだ第1認識対象物のエッジの時刻tに撮影した画像上での位置の近辺に、第2認識対象物のエッジが存在する可能性があった。なお、ここで言う第2認識対象物とは、第1認識対象物とは異なる認識対象物である。
この場合、特許文献1に記載された認識装置では、時刻tに撮影した画像から検出した第2認識対象物のエッジが、時刻t−1に撮影した画像に写り込んだ第1認識対象物のエッジと同一であるものと誤認する可能性があった。
つまり、特許文献1に記載された認識装置においては、静止物であるか否かの判定を誤り、静止物を誤認識する可能性があった。
そこで、本発明は、静止物を検出する技術において、検出の精度を向上させることを目的とする。
上記目的を達成するためになされた本発明の一態様は、車両(50)に搭載される静止物検出装置(10)である。
静止物検出装置は、画像取得部(10,S110)と、エッジ検出部(10,S130〜S150,S170〜S190)と、下端特定部(10,S200)と、移動量取得部(10,S230)と、位置推定部(10,S240,S250)と、静止物検出部(10,S260〜S290)とを備える。
画像取得部は、車両の周辺を規定サイクルで繰り返し撮影した画像それぞれを取得する。エッジ検出部は、画像取得部で画像を取得するごとに特定エッジを検出する。ここで言う特定エッジとは、当該画像において画素値が閾値以上変化するエッジ点が連続するエッジである。
下端特定部は、エッジ検出部で検出した各特定エッジの下端位置を特定する。移動量取得部は、車両移動量を取得する。ここで言う車両移動量とは、規定サイクルの間に車両が移動する移動量を表すベクトル量であり、外部のセンシング部(8)にてセンシングした結果に基づくベクトル量である。
位置推定部は、移動量取得部で取得した車両移動量を、下端特定部で特定された特定エッジの下端位置に加えることで、推定位置を推定する。ここで言う推定位置とは、下端特定部で特定された特定エッジの下端位置が次の規定サイクルで撮影される画像にて存在する位置である。
静止物検出部は、適合条件を満たした特定エッジである適合エッジを、静止物の縁として検出する。ここで言う適合条件とは、少なくとも、位置推定部で推定された推定位置に、次の規定サイクルで下端特定部が特定した特定エッジの下端位置が一致することを含む。
静止物検出装置においては、次の規定サイクルでの特定エッジの下端位置が推定位置と一致していることを適合条件としている。そして、推定位置の推定を、外部のセンシング部にてセンシングした車両移動量を特定エッジの下端位置に加えることで行っている。
このため、従来技術に比べて、時間軸に沿って繰り返し撮影された画像から検出したエッジが同一であるか否かを判定できる。
特に、静止物検出装置によれば、外部のセンシング部にてセンシングした車両移動量を用いて推定位置の推定を実行しているため、規定サイクルが長い場合や認識対象物の配置間隔が狭い場合であっても、推定位置の推定精度を向上させることができる。したがって、静止物検出装置によれば、静止物であるか否かの判定精度を向上させることができる。
換言すると、本発明によれば、静止物を検出する技術における検出精度を向上させることができる。
本発明の一態様は、車両に搭載されるコンピュータ(12)に実行させるプログラムであってもよい。
このようなプログラムにおいては、画像取得手順(S110)と、エッジ検出手順(S130〜S150,S170〜S190)と、下端特定手順(S160,S200)と、移動量取得手順(S230)と、位置推定手順(S240,S250)と、静止物検出手順(S260〜S290)とをコンピュータに実行させる。
本発明がプログラムとしてなされていれば、記録媒体から必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。そして、コンピュータに各手順を実行させることによって、当該コンピュータを静止物検出装置として機能させることができる。
なお、「特許請求の範囲」及び「課題を解決するための手段」の欄に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
運転支援システムの概略構成を示すブロック図である。 静止物検出処理の処理手順を示すフローチャートである。 探索範囲を説明する説明図である。 特定エッジの長さの統一方法の一例を説明する説明図である。 特定エッジの統合方法の一例を説明する説明図である。 補正下端位置を説明する説明図である。 適合条件を説明する説明図である。 運転支援制御の一例を説明する説明図である。 特定エッジの相対的な大きさの変化を説明する説明図である。
以下に本発明の実施形態を図面と共に説明する。
<運転支援システム>
図1に示すように、運転支援システム1は、四輪自動車50に搭載されるシステムであり、車両の周辺に存在する静止物を認識して運転支援制御を実行するシステムである。
以下、実施形態において、運転支援システム1が搭載された四輪自動車50を自車両50と称す。
運転支援システム1は、撮影部6と、センシング部8と、静止物検出装置10と、運転支援部20とを備えている。
撮影部6は、撮像素子(いわゆるCCDやCMOSなどイメージセンサ)、光学レンズ、光学フィルタを有した周知の撮像装置である。撮影部6は、自車両の進行方向上に存在する道路及びその道路の路側帯を撮像領域として撮影するように配置されている。そして、撮影部6は、規定サイクルでカラー画像を繰り返し撮影し、その撮影した画像を静止物検出装置10に出力する。ここで言う規定サイクルとは、画像を撮影する間隔として予め規定された周期であり、例えば、数百[ms]である。
なお、本実施形態では、「縦方向」とは、画像における垂直方向を意味し、「横方向」とは、画像における水平方向を意味するものとして用いる。
センシング部8は、自車両50の挙動を検出する各種センサ群を備えている。センシング部8の各種センサ群には、少なくとも、車輪速センサと、ヨーレートセンサとを含む。車輪速センサは、自車両の各車輪の回転速度を検知する周知のセンサである。本実施形態においては、各車輪の回転速度の平均値を、自車両50の車速として導出する。ヨーレートセンサは、自車両50のヨーレート検知する周知のセンサである。
運転支援部20は、自車両50に搭載された各種装置を制御して運転支援制御を実行する周知の運転支援制御装置である。
本実施形態における運転支援制御とは、自車両50の運転を支援する周知の制御である。この運転支援制御として、レーンキーピングアシストやレーンディパーチャーアラートが考えられる。レーンキーピングアシストとは、自車両50が走行している走行路の車線形状を認識し、その走行路の車線から自車両50が逸脱しないようにステアリングを制御する周知の制御である。また、レーンディパーチャーアラートとは、自車両50が走行している走行路の車線形状を認識し、その走行路の車線から自車両50が逸脱する可能性が閾値以上であれば警告を発する周知の制御である。
このため、運転支援部20が制御する各種装置には、自車両50のステアリングを制御する周知の操舵制御装置や、情報を報知する報知装置が含まれる。ここで言う報知装置には、情報を表示する表示装置と、情報を音声で出力する音声出力装置とが含まれる。ここで言う表示装置は、例えば、液晶ディスプレイやインジケータである。
また、静止物検出装置10は、プログラムに従って処理を実行する制御部12を備えた制御装置である。制御部12は、ROM14,RAM16,CPU18を備えた周知のマイクロコンピュータである。
ROM14には、撮影部6で撮影した画像に基づいて静止物としての路側物を検出し、その検出した路側物の位置に従って運転支援制御を実行する静止物検出処理を、静止物検出装置10が実行するためのプログラムが格納されている。
なお、路側物の一例として、ガードレールやガイドポストが考えられる。
<静止物検出処理>
次に、静止物検出装置10の制御部12が実行する静止物検出処理について説明する。
この静止物検出処理が起動されると、図2に示すように、制御部12は、まず、撮影部6で撮影された画像を取得する(S110)。続いて、制御部12は、S110で取得した画像に対して探索範囲を設定する(S120)。ここで探索範囲とは、画像においてエッジの検出を実行する範囲である。具体的に、S120では、制御部12は、図3に示すように、S110で取得した画像における消失点を検出し、その消失点を基点として、規定された規定範囲の外側の範囲を探索範囲として設定する。ここで言う規定範囲とは、画像に写り込んだ物体の大きさが一定であるものとみなせる範囲であり、消失点から規定された画素数分の範囲である。なお、画像の消失点を検出する方法は、周知であるためここでの詳しい説明は省略する。
静止物検出処理では、続いて、制御部12は、縦エッジを検出する(S130)。ここで言う縦エッジとは、画像の横方向に沿って画素値が閾値以上変化するエッジ点が連続するエッジである。この縦エッジは、画像に写り込んだ物体の縁のうち、垂直方向に沿って延伸する縁である。
なお、縦エッジの検出方法としては、種種の周知の方法が考えられる。縦エッジの検出方法の一例としては、画像の横方向に沿って順次ずらしながら、当該画像を構成する各画素にエッジ検出フィルタを適用することが考えられる。
制御部12は、更に、横エッジを検出する(S140)。ここで言う横エッジとは、画像の縦方向に沿って画素値が閾値以上変化するエッジ点が連続するエッジである。この横エッジは、画像に写り込んだ物体の縁のうち、横方向に沿って延伸する縁である。
なお、横エッジの検出方法としては、種種の周知の方法が考えられる。横エッジの検出方法の一例としては、画像の縦方向に沿って順次ずらしながら、当該画像を構成する各画素に、エッジ検出フィルタを適用することが考えられる。
静止物検出処理では、制御部12は、特定エッジを抽出する(S150)。ここで言う特定エッジとは、S130で検出した縦エッジを構成するエッジ点の中で、予め規定された規定条件を満たす縦エッジを構成するエッジ点の連なりである。
その規定条件とは、S130で検出した縦エッジの強度(例えば、輝度値)が、規定された規定閾値以上であり、かつ、S140で検出した横エッジの強度(例えば、輝度値)が、設定された設定閾値未満であることである。
静止物検出処理では、制御部12は、S150で抽出した特定エッジそれぞれの下端位置、及び特定エッジの上端位置を特定する(S160)。ここで言う特定エッジの下端位置とは、画像において、特定エッジの下端が位置する座標(即ち、画素)である。また、ここで言う特定エッジの上端位置とは、画像において、特定エッジの上端が位置する座標(即ち、画素)である。
さらに、制御部12は、S150で抽出した特定エッジそれぞれのエッジ長さを導出する(S170)。ここで言うエッジ長さとは、特定エッジに対応する物体の実空間上での高さを表す指標であり、特定エッジの縦方向の長さに対応する長さである。
具体的に、本実施形態のS170では、制御部12は、特定エッジそれぞれの縦方向に連続する画素数に、予め規定された高さ対応係数を乗算することで、エッジ長さを導出する。ここで言う高さ対応係数とは、画像における画素の位置と、その画素の位置に対応する実空間上での座標との対応関係を示す係数である。この高さ対応関係の一例として、画像において連続する画素の数を実空間上での距離に変換する係数が考えられる。なお、高さ対応関係は、実験などの結果に従って予め求められたものである。
静止物検出処理では、続いて、制御部12は、S150で抽出した特定エッジの中で1つの特定エッジから設定範囲内に位置する全ての特定エッジのエッジ長さを統一する(S180)。このS180では、制御部12は、図4に示すように、設定範囲内に存在する特定エッジの中で、エッジ長さが最も長い特定エッジのエッジ長さに、他の特定エッジのエッジ長さを統一する。この最も長い特定エッジのエッジ長さとは、設定範囲内に存在する特定エッジの中で、高さ方向に沿って最も上側に位置する特定エッジの上端位置から、高さ方向に沿って最も下側に位置する特定エッジの下端位置までの長さであってもよい。そして、高さ方向に沿って最も下側に位置する特定エッジの下端位置は、最も上側に位置する上端位置の特定エッジと異なる特定エッジであってもよい。
さらに、制御部12は、S180で長さを統一した特定エッジの中から、画像に設定された設定範囲内に位置する全ての特定エッジの中で強度が最も強い特定エッジを、新たな特定エッジとして検出する(S190)。すなわち、S190では、制御部12は、図5に示すように、設定範囲内に位置する全ての特定エッジの中で強度が最も強い特定エッジを新たな特定エッジとして残し、その他の特定エッジを消去する。
静止物検出処理では、続いて、制御部12は、S190で新たに検出した特定エッジそれぞれの補正下端位置を特定する(S200)。ここで言う補正下端位置とは、S190で新たに検出した特定エッジの下端位置を、規定された長さである補正長さ分、当該特定エッジの縦方向に沿って下側へと移動させた位置である。S200において、制御部12は、図6に示すように、特定エッジそれぞれの下端位置に補正長さを加えることで、特定エッジそれぞれの補正下端位置を特定すればよい。
さらに、制御部12は、S190で特定した特定エッジそれぞれにおける下端位置、及びS200で特定した特定エッジそれぞれの補正下端位置を、鳥瞰変換する(S210)。このS210では、制御部12は、S110取得した画像を鳥瞰画像へと変換する。そして、制御部12は、鳥瞰画像における各特定エッジの下端位置に対応する少なくとも1つの画素を、鳥瞰変換された特定エッジの下端位置として特定する。また、制御部12は、鳥瞰画像における各特定エッジの補正下端位置に対応する少なくとも1つの画素を、鳥瞰変換された特定エッジの補正下端位置として特定する。
静止物検出処理では、制御部12は、センシング部8からの検出信号に従って、自車両50が移動中であるか否かを判定する(S220)。このS220では、センシング部8に含まれる車速信号が、自車両50が停止しているものとして規定された規定速度以下でなければ、自車両50が移動中であるものと判定すればよい。
このS220での判定の結果、自車両50が停止中であれば(S220:NO)、制御部12は、静止物検出処理をS110へと戻す。一方、S220での判定の結果、自車両が移動中であれば(S220:YES)、制御部12は、静止物検出処理をS230へと移行させる。
そのS230では、制御部12は、車両移動量を算出して取得する。ここで言う車両移動量とは、規定サイクルの間に自車両50が移動する移動量である。具体的にS230では、制御部12は、センシング部8からの自車両50の車速と自車両50のヨーレートに従って、自車両50が進む方向と速度とを有した速度ベクトルを算出する。そして、制御部12は、その特定した速度ベクトルで、規定サイクルの間に自車両50が移動する距離(及び方向)を車両移動量として算出する。
静止物検出処理では、続いて、制御部12は、推定位置を推定する(S240)。ここで言う推定位置とは、S190で検出した特定エッジの下端位置が次の規定サイクルで撮影される画像にて存在する位置である。このS240では、制御部12は、鳥瞰画像上において、S210で特定した鳥瞰変換された特定エッジの下端位置に、S230で取得した車両移動量を加えることで、推定位置を推定する。S240においては、例えば、鳥瞰変換された特定エッジの下端位置を始点として、車両移動量を合成した位置ベクトルによって、推定位置を求めればよい。
さらに、静止物検出処理では、制御部12は、補正推定位置を推定する(S250)。ここで言う補正推定位置とは、特定エッジの補正下端位置が次の規定サイクルで撮影される画像にて存在する位置である。このS250では、制御部12は、鳥瞰画像上において、S230で取得した車両移動量を、S210で特定した鳥瞰変換された特定エッジの補正下端位置に加えることで、補正推定位置を推定する。S240においては、例えば、鳥瞰変換された特定エッジの補正下端位置を始点として、車両移動量を合成した位置ベクトルによって、補正推定位置を求めればよい。
続いて制御部12は、適合条件を満たした特定エッジのそれぞれを適合エッジとして抽出する(S260)。ここで言う適合条件とは、以下の全てを満たすことである。
今回の規定サイクルで特定した特定エッジの下端位置が、前回の規定サイクルのS250で推定した推定位置に一致すること(以下、第1条件と称す)。
前回の規定サイクルで長さ特定部が特定した特定エッジのエッジ長さに、今回の規定サイクルで長さ特定部が特定した特定エッジのエッジ長さが一致すること(以下、第2条件と称す)。
今回の規定サイクルで特定した特定エッジの補正下端位置が、前回の規定サイクルのS250で推定した特定エッジの補正推定位置に一致すること(以下、第3条件と称す)。
なお、ここで言う一致とは、比較対象の差分が「0」となることに限るものではなく、比較対象の差分が、「0」とみなせる範囲として予め規定された許容範囲内となることも含むものある。
ここで言う比較対象には、今回の規定サイクルで特定した特定エッジの下端位置と前回の規定サイクルで推定した推定位置との組、今回の規定サイクルで特定した特定エッジの補正下端位置と前回の規定サイクルで推定した特定エッジの補正推定位置との組、今回の規定サイクルで特定した特定エッジの補正下端位置と前回の規定サイクルで推定した特定エッジの補正推定位置との組を含む。
すなわち、図7に示すように、第1条件では、今回の規定サイクルで特定した特定エッジの下端位置が、前回の規定サイクルのS250で推定した推定位置のいずれかに一致していれば、両特定エッジが共通である可能性が高いものとする。そして、第2条件では、両特定エッジのエッジ長さが一致していれば、両特定エッジが共通である可能性が更に高いものとする。さらに、第3条件では、両特定エッジの補正下端位置と補正推定位置とが一致していれば、その両特定エッジが共通である適合エッジとする。
静止物検出処理では、制御部12は、カウンタを1つカウントアップする(S270)。このカウンタは、適合エッジが静止物である確からしさを示すものであり、適合エッジごとに用意される。つまり、S270では、制御部12は、適合エッジが継続して検出されると、当該適合エッジのカウンタを1つインクリメントする。一方で、同一の適合エッジの検出が途切れると、カウント値は初期値へとリセットされる。
続いて制御部12は、カウンタそれぞれのカウント値が、予め規定された閾値Th以上であるか否かを判定する(S280)。このS280での判定の結果、カウント値が閾値Th未満であるカウンタが存在しなければ(S280:NO)、制御部12は、静止物検出処理をS110へと戻す。
一方、S280での判定の結果、カウント値が閾値Th以上であるカウンタが存在すれば(S280:YES)、制御部12は、静止物検出処理をS290へと移行させる。そのS290では、制御部12は、カウント値が閾値Th以上であるカウンタに対応する適合エッジを静止物の縁として認識する。
続いて、制御部12は、S290で認識した静止物の縁の座標を運転支援部20に出力する(S300)。静止物の縁の座標を取得した運転支援部20は、図8に示すように、静止物の縁の座標に基づいて、自車両50が走行している走行路の形状を認識し、レーンキーピングアシストやレーンディパーチャーアラートを運転支援制御として実行する。
制御部12は、その後、静止物検出処理をS110へと戻す。
[実施形態の効果]
(1) 以上説明したように、静止物検出処理においては、次の規定サイクルでの特定エッジの下端位置が推定位置と一致していることを適合条件としている。そして、推定位置の推定を、自車両50に搭載されたセンシング部8にてセンシングした車両移動量を特定エッジの下端位置に加えることで行っている。
このため、従来技術に比べて、時間軸に沿って繰り返し撮影された画像から検出したエッジが同一であるか否かを判定できる。
(2) 特に、静止物検出装置10によれば、センシング部8にてセンシングした車両移動量を用いて推定位置の推定を実行しているため、規定サイクルが長い場合や認識対象物の配置間隔が狭い場合であっても、推定位置の推定精度を向上させることができる。したがって、静止物検出装置10によれば、静止物であるか否かの判定精度を向上させることができる。
(3) すなわち、ガードレールやガイドポストの道路側の端部には、厚みを有した円板状の部材が認識対象物の外周を覆うように設けられていることが多い。この円板状の部材によって、認識対象物の下端が画像に写り込まず、認識対象物の下端を精度良く特定できない可能性があった。
これに対して、静止物検出処理では、今回の規定サイクルで特定した特定エッジの補正下端位置が、前回の規定サイクルのS250で推定した特定エッジの補正推定位置に一致することを、適合条件の1つとしている。
これにより、静止物検出装置によれば、エッジの下端として認識する位置の認識精度を向上させることができ、ひいては、静止物の検出精度を更に向上させることができる。
(4) 静止物検出処理では、撮影された画像を鳥瞰画像(即ち、3次元空間上)に投影し、その鳥瞰画像上で下端位置及び補正下端位置が一致するか否かを判定している。
これにより、静止物検出処理によれば、下端位置が一致するか否かの判定精度を向上させることができ、ひいては静止物の検出精度を向上させることができる。
(5) これらのことから、静止物検出装置10によれば、静止物であるか否かの判定精度を向上させることができる。換言すると、静止物検出装置10によれば、静止物を検出する技術における検出精度を向上させることができる。
(6) 静止物検出処理では、前回の規定サイクルで長さ特定部が特定した特定エッジのエッジ長さに、今回の規定サイクルで長さ特定部が特定した特定エッジのエッジ長さが一致することを、適合条件の1つとしている。
これにより、静止物検出処理によれば、静止物であるか否かの判定に用いる情報を増加させることができ、静止物の検出精度を更に向上させることができる。
(7) 特に、静止物検出処理では、特定エッジに対応する物体の実空間上での高さを表す指標として求めている。
これは、自車両50が前進中であれば、静止物は自車両50に接近し、画像に写り込んだ静止物の大きさは大きくなるためである。
つまり、同一の静止物に対する時刻t−1にて撮影された画像に上での特定エッジのエッジ長さは、図9に示すように、時刻t−1にて撮影された画像上でのエッジ長さに比べて長くなる。
これに対して、静止物検出処理では、特定エッジに対応する物体の実空間上での高さを表す指標として比較しているため、同一の静止物に対する特定エッジであるか否かの判定精度を担保できる。
(8) ところで、静止物検出処理においては、設定範囲内に存在する特定エッジの中で、エッジ長さが最も長い特定エッジのエッジ長さに、他の特定エッジのエッジ長さを統一している。
このため、静止物検出処理によれば、設定範囲内に存在する複数の特定エッジの長さを、最も可能性の高い長さに統一することができる。
(9) 静止物検出処理では、設定範囲内に位置する全ての特定エッジの中で強度が最も強い特定エッジを、新たな特定エッジとして検出している。
このため、静止物検出処理によれば、設定範囲内に存在する複数の特定エッジを、最も可能性の高い1つの特定エッジに統一できる。
(10) さらに、静止物検出処理では、縦エッジと横エッジとの双方を検出し、縦エッジの強度が規定閾値以上であり、かつ、横エッジの強度が設定閾値未満であるエッジ点によって構成されるエッジを、特定エッジとして検出している。
これにより、静止物検出処理によれば、特定エッジの検出精度を向上させることができ、ひいては、静止物の検出精度を向上させることができる。
(11) 静止物検出処理では、カウンタのカウント値が閾値以上となると、適合エッジを静止物の縁として認識している。
すなわち、静止物検出処理によれば、特定エッジが静止物として確からしい場合に静止物であるものと検出できる。
(12) 静止物検出処理では、運転支援制御を実行している。
このため、運転支援システム1によれば、車両の運行の安全性を向上させることができる。
[その他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
(1) 上記実施形態の静止物検出処理では、適合条件を満たしているものと判定する条件を、第1条件、第2条件、第3条件の全ての条件を満たしている場合としていたが、適合条件を満たしているものと判定する条件は、第1条件に加えて、第2条件、第3条件のいずれかを満たしている場合としてもよい。
(2) 上記実施形態の静止物検出処理では、運転支援制御として、レーンキーピングアシストやレーンディパーチャーアラートを実行していたが、運転支援システム1において実行する運転支援制御は、これに限るものではない。すなわち、運転支援制御は、静止物としての路側物の位置を認識し、その認識した路側物の位置に基づいて自車両50の運転を支援する制御であれば、どのような制御であってもよい。
(3) センシング部8は、車輪速センサ及びヨーレートセンサの他に、センサを備えていても良い。そのセンサには、自車両に加わる加速度を検知する加速度センサや、自車両の舵角を検知する操舵角センサなどが含まれていても良い。
また、センシング部8には、自車両の現在位置(例えば、緯度,経度)を検出する周知の装置を含んでもよい。この現在位置を検出する装置として、全地球航法衛星システム(GNSS)を構成する複数の衛星からの信号を受信する受信機を備え、その受信機にて受信した信号に基づく周知の手法により自車両の現在位置を算出する装置が考えられる。
この場合、静止物検出処理のS230では、現在位置の時間推移に基づいて算出した自車両50の速度ベクトルを車両移動量としてもよい。
また、センシング部8は、ジャイロセンサや地磁気センサなど、受信機以外のセンサを備えていても良い。
(4) 上記実施形態の静止物検出処理におけるS160では、エッジ検出の結果、特定エッジの下端が位置する画素を、特定エッジの下端位置として特定していたが、特定エッジの下端位置を特定する方法はこれに限るものではない。例えば、画像における下側から上側へと色相が変化した画素の位置を、特定エッジの下端位置として特定してもよい。
このように、特定エッジの下端位置を特定すれば、下端位置の特定方法のバリエーションを増加させることができる。
(5) 上記実施形態の静止物検出処理におけるS190では、新たな特定エッジを検出する基準を、画像に設定された設定範囲内に位置する全ての特定エッジの中で強度が最も強いこととしていた。しかしながら、S190において、新たな特定エッジを検出する基準は、これに限るものではない。
例えば、S190において、新たな特定エッジを検出する基準を、画像に設定された設定範囲内に位置する全ての特定エッジの中で、エッジ長さが最も長いこととしてもよい。
このような基準であっても、設定範囲内に存在する複数の特定エッジを、最も可能性の高い1つの特定エッジに統一できる。
(6) 運転支援システム1が搭載される対象は、四輪自動車に限るものではない。二輪自動車であってもよいし、軽車両であってもよい。すなわち、運転支援システム1が搭載される対象は、車両であれば、どのようなものであってもよい。
(7) なお、上記実施形態の構成の一部を省略した態様も本発明の実施形態である。また、上記実施形態と変形例とを適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言によって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。
(8) 本発明は、前述した静止物検出装置10の他、運転支援システム1、静止物検出装置10としてコンピュータを機能させるためのプログラム、このプログラムを記録した記録媒体など、種々の形態で本発明を実現することもできる。
なお、ここで言う記録媒体には、例えば、DVD−ROM、CD−ROM、ハードディスク等のコンピュータ読み取り可能な電子媒体を含む。
[対応関係の一例]
上記実施形態の静止物検出処理のS110を実行することで得られる機能が、画像取得部の一例である。S130〜S150,S170〜S190を実行することで得られる機能が、エッジ検出部の一例である。S160,S200を実行することで得られる機能が、下端特定部の一例である。S230を実行することで得られる機能が、移動量取得部の一例である。S240,S250を実行することで得られる機能が、位置推定部の一例である。S260〜S290を実行することで得られる機能が、静止物検出部の一例である。
さらに、S170,S180を実行することで得られる機能が、長さ特定部の一例である。S120を実行することで得られる機能が、範囲設定部の一例である。S130を実行することで得られる機能が、縦検出部の一例である。S140を実行することで得られる機能が、横検出部の一例である。S150を実行することで得られる機能が、検出部の一例である。
S200を実行することで得られる機能が、下端補正部の一例である。S250を実行することで得られる機能が、補正推定部の一例である。S210を実行することで得られる機能が、画像変換部の一例である。S300を実行することで得られる機能が、運転支援部の一例である。
1…運転支援システム 6…撮影部 8…センシング部 10…静止物検出装置 12…制御部 14…ROM 16…RAM 18…CPU 20…運転支援部 50…四輪自動車

Claims (13)

  1. 車両(50)に搭載される静止物検出装置(10)であって、
    前記車両の周辺を規定サイクルで繰り返し撮影した画像それぞれを取得する画像取得部(10,S110)と、
    前記画像取得部で画像を取得するごとに、当該画像において画素値が閾値以上変化するエッジ点が連続する特定エッジを検出するエッジ検出部(10,S130〜S150,S170〜S190)と、
    前記エッジ検出部で検出した各特定エッジの下端位置を特定する下端特定部(10,S200)と、
    前記規定サイクルの間に車両が移動する移動量を表す車両移動量であって、外部のセンシング部(8)にてセンシングした結果に基づく車両移動量を取得する移動量取得部(10,S230)と、
    前記移動量取得部で取得した車両移動量を、前記下端特定部で特定された前記特定エッジの下端位置に加えることで、前記下端特定部で特定された特定エッジの下端位置が次の規定サイクルで撮影される画像にて存在する位置である推定位置を推定する位置推定部(10,S240,S250)と、
    少なくとも、前記位置推定部で推定された推定位置に、次の規定サイクルで前記下端特定部が特定した特定エッジの下端位置が一致することを適合条件とし、前記適合条件を満たした特定エッジである適合エッジを、静止物の縁として検出する静止物検出部(10,S260〜S290)と
    を備える静止物検出装置。
  2. 前記エッジ検出部は、
    各特定エッジの縦方向の長さを表すエッジ長さを特定する長さ特定部(10,S170,S180)を有し、
    前記静止物検出部は、
    更に、今回の規定サイクルで前記長さ特定部が特定した特定エッジのエッジ長さと、次の規定サイクルで前記長さ特定部が特定した特定エッジのエッジ長さとが一致することを前記適合条件とする、請求項1に記載の静止物検出装置。
  3. 前記長さ特定部は、
    検出した特定エッジの中で1つの特定エッジから、前記画像に設定された設定範囲内に位置する全ての特定エッジのエッジ長さを、その設定範囲内に存在する特定エッジのエッジ長さが最も長い特定エッジのエッジ長さに一致させる、請求項2に記載の静止物検出装置。
  4. 前記エッジ検出部は、
    検出した特定エッジの中で1つの特定エッジから、前記画像に設定された設定範囲内に位置する全ての特定エッジの中で、前記長さ特定部で特定されたエッジ長さが最も長い特定エッジを、新たな特定エッジとして検出する、請求項2に記載の静止物検出装置。
  5. 前記エッジ検出部は、
    検出した特定エッジの中で1つの特定エッジから、前記画像に設定された設定範囲内に位置する全ての特定エッジの中で強度が最も強い特定エッジを、新たな特定エッジとして検出する、請求項1から請求項4までのいずれか一項に記載の静止物検出装置。
  6. 前記エッジ検出部は、
    前記画像取得部で画像を取得するごとに、当該画像の消失点を基点として規定された規定範囲の外側の範囲を探索範囲として、当該画像に設定する範囲設定部(10,S120)を備え、
    前記範囲設定部で設定された探索範囲から前記特定エッジを検出する、請求項1から請求項5までのいずれか一項に記載の静止物検出装置。
  7. 前記エッジ検出部は、
    前記画像の横方向に沿って前記画素値が閾値以上変化するエッジ点が連続する縦エッジを検出する縦検出部(10,S130)と、
    前記画像の縦方向に沿って前記画素値が閾値以上変化するエッジ点が連続する横エッジを検出する横検出部(10,S140)と、
    前記縦検出部で検出された縦エッジの強度が、規定された規定閾値以上であり、かつ、前記横検出部で検出された横エッジの強度が、設定された設定閾値未満である、前記縦エッジのエッジ点の連なりを、前記特定エッジとして検出する検出部(10,S150)と
    を備える、請求項1から請求項6までのいずれか一項に記載の静止物検出装置。
  8. 前記下端特定部は、
    前記特定エッジの下端位置を、規定された長さである補正長さ分、当該特定エッジの縦方向に沿って下側へと移動させた特定エッジの補正下端位置を特定する下端補正部(10,S200)を備え、
    前記位置推定部は、
    前記移動量取得部で取得した移動量を、前記下端補正部で特定された前記特定エッジの補正下端位置に加えることで、前記下端補正部で特定された前記特定エッジの補正下端位置が次の規定サイクルにて存在する位置である補正推定位置を推定する補正推定部(10,S250)を備え、
    前記静止物検出部は、
    更に、今回の規定サイクルで前記補正推定部が推定した前記特定エッジの補正推定位置と、次の規定サイクルで前記下端補正部が特定した前記特定エッジの補正下端位置とが一致することを前記適合条件とする、請求項1から請求項7までのいずれか一項に記載の静止物検出装置。
  9. 前記画像取得部で取得した画像を鳥瞰画像へと変換する画像変換部(10,S210)を備え、
    前記下端特定部は、
    前記画像変換部で変換された鳥瞰画像における各特定エッジの下端の画素を、前記特定エッジの下端位置として特定し、
    前記位置推定部は、
    前記下端特定部で特定された特定エッジの下端位置が次の規定サイクルにて存在する前記鳥瞰画像上の位置を、前記推定位置として推定する、請求項1から請求項8までのいずれか一項に記載の静止物検出装置。
  10. 前記画像取得部は、カラー画像を取得し、
    前記下端特定部は、
    前記画像取得部で取得した画像における下側から上側へと色相が変化した画素の位置を、前記特定エッジの下端位置として特定する、請求項1から請求項9までのいずれか一項に記載の静止物検出装置。
  11. 前記エッジ検出部は、
    予め規定された回数の規定サイクル連続して前記適合条件を満たした場合、その適合条件を満たした特定エッジを前記適合エッジとする、請求項1から請求項10までのいずれか一項に記載の静止物検出装置。
  12. 前記静止物検出部にて検出された静止物に基づいて、前記車両の運転を支援する運転支援制御を実行する運転支援部(10,S300)を備えた、請求項1から請求項11までのいずれか一項に記載の静止物検出装置。
  13. (50)の周辺を規定サイクルで繰り返し撮影した画像それぞれを取得する画像取得手順(S110)と、
    前記画像取得手順で画像を取得するごとに、当該画像において画素値が閾値以上変化するエッジ点が連続する特定エッジを検出するエッジ検出手順(S130〜S150,S170〜S190)と、
    前記エッジ検出手順で検出した各特定エッジの下端位置を特定する下端特定手順(S160,S200)と、
    前記規定サイクルの間に車両が移動する移動量を表す車両移動量であって、外部のセンシング部(8)にてセンシングした車両移動量を取得する移動量取得手順(S230)と、
    前記移動量取得手順で取得した車両移動量を、前記下端特定手順で特定された前記特定エッジの下端位置に加えることで、前記下端特定手順で特定された特定エッジの下端位置が次の規定サイクルで撮影される画像にて存在する位置である推定位置を推定する位置推定手順(S240,S250)と、
    少なくとも、前記位置推定手順で推定された推定位置に、次の規定サイクルで前記下端特定手順が特定した特定エッジの下端位置が一致することを適合条件とし、前記適合条件を満たした特定エッジである適合エッジを、静止物の縁として検出する静止物検出手順(S260〜S290)とを、
    前記車両に搭載されるコンピュータ(12)に実行させるプログラム。
JP2015203726A 2015-10-15 2015-10-15 静止物検出装置、及びプログラム Active JP6514086B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015203726A JP6514086B2 (ja) 2015-10-15 2015-10-15 静止物検出装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015203726A JP6514086B2 (ja) 2015-10-15 2015-10-15 静止物検出装置、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017076276A JP2017076276A (ja) 2017-04-20
JP6514086B2 true JP6514086B2 (ja) 2019-05-15

Family

ID=58550329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015203726A Active JP6514086B2 (ja) 2015-10-15 2015-10-15 静止物検出装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP6514086B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7325296B2 (ja) 2019-10-25 2023-08-14 日産自動車株式会社 物体認識方法及び物体認識システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4816923B2 (ja) * 2006-03-01 2011-11-16 日産自動車株式会社 車両周辺画像提供装置および方法
JP5464073B2 (ja) * 2010-06-18 2014-04-09 日産自動車株式会社 車外環境認識装置、車外環境認識方法
CN104246821B (zh) * 2012-04-16 2016-08-17 日产自动车株式会社 三维物体检测装置和三维物体检测方法
JP6291866B2 (ja) * 2014-01-27 2018-03-14 株式会社デンソー 運転支援装置、および運転支援方法

Also Published As

Publication number Publication date
JP2017076276A (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP5747787B2 (ja) 車線認識装置
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
JP5281664B2 (ja) 車線逸脱警報装置および車線逸脱警報システム
JP5966747B2 (ja) 車両走行制御装置及びその方法
US10414396B2 (en) Lane division line recognition apparatus, lane division line recognition method, driving assist apparatus including lane division line recognition apparatus, and driving assist method including lane division line recognition method
US10480949B2 (en) Apparatus for identifying position of own vehicle and method for identifying position of own vehicle
WO2014024336A1 (ja) 物体検出装置及び運転支援装置
JP5968064B2 (ja) 走行レーン認識装置および走行レーン認識方法
JP6911312B2 (ja) 物体識別装置
US10679077B2 (en) Road marking recognition device
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP2011180982A (ja) 区画線検出装置
JP6456682B2 (ja) 走行区画線認識装置
JP2019040390A (ja) 車両制御装置
JP5810979B2 (ja) 運転支援装置および運転支援方法
US20180204345A1 (en) Image processing device, object recognition device, device control system, image processing method and computer-readable medium
US20200125865A1 (en) Roadside Object Detection Device, Roadside Object Detection Method, and Roadside Object Detection System
US20180246187A1 (en) Object detection apparatus and object detection method
JP2007278813A (ja) 車両位置測位装置
JP2013036856A (ja) 運転支援装置
US10747230B2 (en) Vehicle control apparatus, vehicle control system, and image sensor
JP5090313B2 (ja) 路面標示認識装置
JP6514086B2 (ja) 静止物検出装置、及びプログラム
KR101568683B1 (ko) 영상 분석을 이용한 차간 거리 추정 방법 및 그 장치
JP2016197018A (ja) 衝突回避支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190411

R150 Certificate of patent or registration of utility model

Ref document number: 6514086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250