JP7104916B2 - 移動物体検出装置および移動物体検出方法 - Google Patents

Description

本発明は、単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な移動物体検出装置および移動物体検出方法に関する。

現在、交通事故を未然に防ぐことを目的とした、多くの予防安全技術の研究開発が進められている。そのひとつに、交差点等での自動車と歩行者、自転車、自動車等との出合い頭の交通事故を防止する要請がある。そのようなシステムにおいては、車載センサや車載カメラを利用して移動物体を検出することが考えられる。

車載センサを用いた物体検出技術としては、レーザーレンジセンサ等の補助装置を使用するシステムがある。しかしレーザー装置は高価である上に、強いレーザーを人体に照射することができないため、出力を上げにくいという問題がある。

車載カメラを用いる場合、背景差分法を用いることが考えられる。背景差分法は高速に処理可能であり、動的なシーンの変化を用いた信頼性の高い手法である。しかし、物体が平坦なテクスチャを有する場合や、物体の一部が背景と似た色である場合には、物体の一部しか検出できない場合がある。

特許文献１には、検出対象領域の候補が複数ある場合（顔部分と足部分）、検出対象領域が撮像画像中で占めるべき大きさを特定し、その大きさの範囲に、他の候補が含まれている場合、前記候補と他の候補とを結合した領域を新たな一の検出対象領域の候補として抽出する画像処理装置が提案されている。

特開２０１０－０９２３５３号公報

しかしながら、特許文献１の技術は、撮像画像中の検出対象領域の候補の位置に基づいて、占めるべき大きさを特定している。すると、まず検出対象の距離を判定する必要がある。特許文献１では撮像装置は交差点を俯瞰するように固定設置されている（段落００３８、図１）。この限定的な条件により画像上の位置から距離を測ることが可能となっているが、車載カメラの画像を基にした場合は距離を測ることは困難である。

また特許文献１では、検出対象の種類（人物であるかどうか）を判定し、占めるべき大きさを特定する必要がある。このような判定は非常に不確実である。さらに、特許文献１では赤外線カメラを使用しているため肌が露出している部分が検出されるが、肌が見える面積は人物の向きや、服装、髪型により全く異なる点でも、不確実性が増してしまう。

また、赤外線カメラではなく安価な単眼カメラを用いたり、さらに広範囲を撮影するために魚眼レンズや広角レンズを用いた場合には、赤外線カメラを用いた場合よりもノイズが大きくなる可能性がある。

これに対し出願人らは、特願２０１７－１７８４３１において、単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な、安価で安全性の高い移動物体検出装置および移動物体検出方法を提案している。そして本発明は、特願２０１７－１７８４３１をさらに改良し、さらに検出率を向上させた移動物体検出装置および移動物体検出方法を提供することを目的としている。

上記課題を解決するために、本発明にかかる移動物体検出装置の代表的な構成は、動画像を入力する入力部と、動画像から連続的に複数のフレーム画像を取り出すフレーム取得部と、フレーム画像において地平線を検出する地平線検出部と、フレーム画像からエッジ画像を生成するエッジ画像生成部と、移動物体に検出枠を設定する移動物体検出部とを備え、エッジ画像生成部は、地平線検出部が検出した地平線の下側のエッジ画像を抽出し、地平線の下側のエッジ画像から背景差分法を用いて差分を抽出し、移動物体検出部は、フレーム画像をグレースケール画像にして背景差分法を用いて差分を抽出し、グレースケール画像の差分と地平線の下側のエッジ画像の差分とを合成することによって前景を生成することを特徴とする。

上記構成によれば、移動物体が地面と接している部分の画像位置を正確に検出することができる。このため、物体が平坦なテクスチャを有する場合や、ゆっくりと移動する場合であっても、物体の全体を前景として検出することができ、検出率を向上させることができる。したがって単眼カメラの動画像から移動物体を高い精度で高速に検出することができ、安価に安全性の向上を図ることができる。

移動物体検出部は、地平線の下側のエッジ画像の差分のノイズが少ない場合に、グレースケール画像の差分と合成することが好ましい。

エッジ画像生成部は、地平線検出部が検出した地平線と繋がったエッジ画像を抽出し、移動物体検出部は、地平線と繋がったエッジ画像によって前景をフィルタリングすることが好ましい。上記構成によれば、道路や建物の境界をノイズとして除去することができる。

移動物体検出部は、移動物体検出装置が移動している場合に、地平線と繋がったエッジ画像によって前景をフィルタリングすることが好ましい。移動物体検出装置が移動する場合には、道路と建物の画像位置が変化するため、背景差分法におけるノイズが増加する。したがって、移動している場合に上記のフィルタリングを行うことにより、ノイズを大幅に減少させることができる。

本発明にかかる移動物体検出装置の他の代表的な構成は、動画像を入力する入力部と、動画像から連続的に複数のフレーム画像を取り出すフレーム取得部と、フレーム画像において地平線を検出する地平線検出部と、フレーム画像からエッジ画像を生成するエッジ画像生成部と、移動物体に検出枠を設定する移動物体検出部とを備え、エッジ画像生成部は、地平線検出部が検出した地平線と繋がったエッジ画像を抽出し、移動物体検出部は、フレーム画像をグレースケール画像にして背景差分法を用いて前景を抽出し、前景を地平線と繋がったエッジ画像によってフィルタリングすることを特徴とする。

本発明にかかる移動物体検出方法の代表的な構成は、動画像を入力し、動画像から連続的に複数のフレーム画像を取り出し、フレーム画像から地平線の下側のエッジ画像を抽出し、地平線の下側のエッジ画像から背景差分法を用いて差分を抽出し、フレーム画像をグレースケール画像にして背景差分法を用いて差分を抽出し、グレースケール画像の差分と地平線の下側のエッジ画像の差分とを合成することによって前景を生成することを特徴とする。

上記方法によれば、移動物体が地面と接している部分の画像位置を正確に検出することができる。このため、物体が平坦なテクスチャを有する場合や、ゆっくりと移動する場合であっても、物体の全体を前景として検出することができ、検出率を向上させることができる。上記移動物体検出装置と同様の技術的思想を、当該移動物体検出方法にも適用することができる。

本発明にかかる移動物体検出方法の他の代表的な構成は、動画像を入力し、動画像から連続的に複数のフレーム画像を取り出し、フレーム画像から地平線と繋がったエッジ画像を抽出し、フレーム画像をグレースケール画像にして背景差分法を用いて前景を抽出し、前景を地平線と繋がったエッジ画像によってフィルタリングすることを特徴とする。

上記方法によれば、道路や建物の境界をノイズとして除去することができる。特に、移動物体検出装置が移動している場合に、ノイズを大幅に減少させることができる。上記移動物体検出装置と同様の技術的思想を、当該移動物体検出方法にも適用することができる。

本発明によれば、移動物体が地面と接している部分の画像位置を正確に検出することができる。このため、物体が平坦なテクスチャを有する場合や、ゆっくりと移動する場合であっても、物体の全体を前景として検出することができ、検出率を向上させることができる。したがって単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な、安価で安全性の高い移動物体検出装置および移動物体検出方法を提供することができる。

本実施形態にかかる移動物体検出装置の全体構成を説明する図である。 本実施形態にかかる移動物体検出方法を説明するフローチャートである。 移動物体の検出の手順を説明するフローチャートである。 前景の抽出の手順を説明するフローチャートである。 背景差分法の画像例である。 エッジ画像（Ｅ）の生成を説明する画像例である。 地平線下側のエッジ画像（ＢＥ）の抽出を説明する画像例である。 地平線下側のエッジ画像（ＢＥ）の背景との差分（ＤＢＥ）の抽出を説明する画像例である。 エッジ画像のノイズ除去を説明する画像例である。 エッジ画像（ＲＢＤＢＥ）の合成を説明する画像例である。 地平線と繋がったエッジ画像（ＣＥ）を説明する画像例である。 二値化画像（ＢＤＧ’）のフィルタリングを説明する画像例である。 前景の膨張と収縮を説明する画像例である。 検出枠の設定について説明する画像例である。 統合と分離を説明する他の画像例である。 検出枠のフィルタリング処理を説明する画像例である。 背景画像の生成について説明する画像例である。 地平線を用いたフィルタリング処理について説明する画像例である。 遺伝的アルゴリズムの条件等を説明する図である。 遺伝的アルゴリズムのフローチャートである。 遺伝的アルゴリズムの目的関数を説明する図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

本発明にかかる移動物体検出装置および移動物体検出方法の実施形態について説明する。図１は本実施形態にかかる移動物体検出装置１００の全体構成を説明する図である。図２は本実施形態にかかる移動物体検出方法を説明するフローチャートである。

図１（ａ）に示すように、移動物体検出装置１００は自動車１０に搭載される車載システムである。代表的な例として、自動車１０の車載カメラ１２が撮影した動画像が移動物体検出装置１００に入力されて、移動物体を検出する。移動物体検出装置１００によって検出された移動物体の情報は、ブレーキングシステム１４や不図示のモニター等に送られて利用される。

車載カメラ１２は、安価な単眼カメラであり、一般的な動画像を撮影する。動画像はカラー画像であってもよいし、グレースケール画像（モノクローム画像）であってもよい。また車載カメラ１２は、魚眼レンズや広角レンズを備えていてもよい。本発明によれば、単眼カメラの動画像からでも、後述するように移動物体を高い精度で高速に検出することが可能であるため、安価で安全性の高い移動物体検出装置および移動物体検出方法を提供することができる。

図１（ｂ）には移動物体検出装置１００の構成が示されている。移動物体検出装置１００は具体的にはコンピュータシステムで構築することができる。以下、移動物体検出装置１００の構成について、図２に示すフローチャートを参照しながら説明する。

入力部１１０には、車載カメラ１２が撮影した動画像が入力される（ステップ２１０）。動画像が映像信号である場合にはコンポジット端子やＨＤＭＩ（登録商標）端子を備えるビデオエンコーダチップが入力部１１０に該当する。動画像がエンコードされたデジタルデータになっている場合にはＵＳＢやＩＥＥＥ１３９４インターフェースが入力部１１０に該当する。いずれにしても入力部１１０は、移動物体検出装置１００内で処理可能なように動画像のデータを入力できればよい。

フレーム取得部１１２は、入力された動画像から連続的に複数のフレーム画像（静止画）を取得する（ステップ２１２）。動画像からフレームを取得する具体的な処理は、動画像のフォーマットに依存する。例えば動画像がＭｏｔｉｏｎＪＰＥＧのように静止画を配列したフォーマットであれば、単純に各フレームを抜き出せばよい。なお、動画像のｆｐｓ（frame per second）に依存することなく、一定時間単位（例えば０．１秒単位）で抜き出してもよい。ＭＰＥＧのように差分圧縮されているものは、ＧＯＰ（Group Of Pictures）のＩフレームごとに抜き出してもよい。

前処理部１１４は、取得したフレーム画像に対して前処理を行う（ステップ２１４）。本実施形態では、入力される動画像がカラー画像であり、前処理としてグレースケール画像に変換する。なお前処理としては、必要に応じてノイズ除去を行ったり、画像処理の対象となる領域を切り出すクロップ処理を行ってもよい。

移動物体検出部１１８は、処理対象となるフレーム画像を現フレームとしたとき、現フレームから背景差分法を用いて移動物体を検出し、その検出枠を設定する（ステップ２１６）。なお以下の説明において、処理対象となるフレームの前のフレームを「前フレーム」と称し、次のフレームを「次フレーム」と称する。

図３は移動物体の検出の手順（サブルーチン）を説明するフローチャート、図４は前景の抽出の手順（ステップ２３２）を説明するフローチャートである。

図４に示すように、移動物体検出部１１８は、現フレームのグレースケール画像の背景との差分（ＤＧ）の抽出を行う（ステップ２５０）。図５は背景差分法の画像例である。図５（ａ）に示す現フレームの画像において、画像中央に地平線があり、右側に歩行者と建物がある。また地平線に沿って植え込みやフェンスが写っている。この中では、歩行者が移動物体である。

図５（ｂ）に示す背景画像は、後述する背景画像生成部１１６から取得する。背景画像においても移動物体は写っているが、位置が少しずつ異なっている。これらの画像に背景差分法を適用する（輝度の減算を行う）と、図５（ｃ）に示す差分画像のように、差異のある画素が抽出される。この差異のある画素が前景である。

背景差分法によって抽出した前景は、輝度が低く、また細かく分断された状態である。そこで、ガウシアンフィルタ等による平滑化（ぼかし処理）を行って近接する前景を連結した後に、二値化画像（ＢＤＧ）を生成して明瞭化する（ステップ２５２）。

移動物体検出部１１８は、グレースケール画像の処理と並行して、エッジ画像（Ｅ）の処理を行う。図６はエッジ画像（Ｅ）の生成を説明する画像例である。エッジ画像生成部１２２は、図６（ａ）に示すフレーム画像において隣接する画素との画素値が閾値以上である場合に１、閾値未満である場合に０として、図６（ｂ）に示すようなエッジ画像（Ｅ）を生成する（ステップ２５４）。エッジ画像の生成は、輪郭抽出処理ともいう。

次にエッジ画像生成部１２２は、地平線下側のエッジ画像（ＢＥ）を抽出する（ステップ２５６）。地平線は、地平線検出部１２４によって現フレームの画像から遺伝的アルゴリズムを用いて検出する。地平線を検出する処理については後述する。

図７は地平線下側のエッジ画像（ＢＥ）の抽出を説明する画像例である。図７（ａ）に示すエッジ画像（Ｅ）において地平線検出部１２４が検出した地平線ＨＬを引く。そして、図７（ｂ）に示すように地平線ＨＬの下側のエッジ画像（ＢＥ）を抽出する（ステップ２５８）。

図８は地平線下側のエッジ画像（ＢＥ）の背景との差分（ＤＢＥ）の抽出を説明する画像例である。背景画像生成部１１６は、図８（ａ）に示すような地平線下側のエッジ画像（ＢＥ）を用いて、図８（ｂ）に示すような背景画像を生成する。そしてエッジ画像生成部１２２は、図８（ｃ）に示すようにエッジ画像（ＢＥ）の背景との差分（ＤＢＥ）を得る。

エッジ画像は粗であるため、エッジ画像の背景との差分（ＤＢＥ）においてもノイズが多い。図９はエッジ画像のノイズ除去を説明する画像例である。エッジ画像生成部１２２は、図９（ａ）に示すようなエッジ画像の背景との差分（ＤＢＥ）に対し、図９（ｂ）に示すように二値化処理を行って二値化画像（ＢＤＢＥ）を生成する。さらに膨張と収縮を行って、図９（ｃ）に示すようなノイズ除去した地平線下側のエッジ画像（ＲＢＤＢＥ）を得る（ステップ２６０）。膨張と収縮については、図１３を用いて後に説明する。

移動物体検出部１１８は、グレースケール画像の二値化画像（ＢＤＧ）と、ノイズ除去した地平線下側のエッジ画像（ＲＢＤＢＥ）を合成する。ただし、ノイズ除去したとはいえ、エッジ画像（ＲＢＤＢＥ）においては、まだノイズが多すぎる可能性がある。

そこで移動物体検出部１１８は、ノイズ除去した地平線下側のエッジ画像（ＲＢＤＢＥ）のノイズの程度を判定する（ステップ２６２）。図１０はエッジ画像（ＲＢＤＢＥ）の合成を説明する画像例である。図１０に示すように、エッジ画像（ＲＢＤＢＥ）が高ノイズであった場合には（ステップ２６２のＹＥＳ）、合成をせず、二値化画像（ＢＤＧ’）にはグレースケール画像の二値化画像（ＢＤＧ）をそのまま使用する（ステップ２６４）。エッジ画像（ＲＢＤＢＥ）のノイズが少ない場合には（ステップ２６２のＮＯ）、二値化画像（ＢＤＧ’）はグレースケール画像の二値化画像（ＢＤＧ）とエッジ画像（ＲＢＤＢＥ）を合成したものとする（ステップ２６６）。

上記構成によれば、移動物体が地面と接している部分の画像位置を正確に検出することができる。このため、物体が平坦なテクスチャを有する場合や、ゆっくりと移動する場合であっても、物体の全体を前景として検出することができ、検出率を向上させることができる。したがって単眼カメラの動画像から移動物体を高い精度で高速に検出することができ、安価に安全性の向上を図ることができる。

上記のようにして生成した二値化画像（ＢＤＧ’）を、そのまま前景（ＥＦ）としてもよい。しかし本実施形態においては、さらに検出率を向上させるために、地平線と繋がったエッジ画像によって前景をフィルタリングする。

上記説明において、移動物体検出部１１８は、エッジ画像（Ｅ）を生成すると（ステップ２５４）、地平線下側のエッジ画像（ＢＥ）の抽出した（ステップ２５６）。これと並行して、エッジ画像（Ｅ）から地平線と繋がったエッジ画像（ＣＥ）を抽出する（ステップ２７０）。

図１１は地平線と繋がったエッジ画像（ＣＥ）を説明する画像例である。図１１（ａ）は、図６（ｂ）および図７（ａ）と同じエッジ画像（Ｅ）である。このエッジ画像（Ｅ）において、地平線検出部１２４が検出した地平線と繋がった画素のみを抽出すると、図１１（ｂ）に示すように地平線と繋がったエッジ画像（ＣＥ）を得ることができる。図１１（ｃ）は画素を抽出するための条件式の例である。

そして移動物体検出部１１８は、自動車１０が移動しているかどうか、すなわち移動物体検出装置１００が移動しているかどうかについて判定する（ステップ２７２）。移動物体検出装置が移動する場合には、道路と建物の画像位置が変化するため、これらの輪郭の位置にずれが生じて、背景差分法においてエッジを検出してしまう。道路と建物の境界は移動物体ではないため、これらのエッジはノイズである。

図１２は二値化画像（ＢＤＧ’）のフィルタリングを説明する画像例である。図１２に示すように、自動車１０が移動していない場合には（ステップ２７２のＮＯ）、二値化画像（ＢＤＧ’）をそのまま前景（ＥＦ）とする（ステップ２７６）。自動車１０が移動している場合には（ステップ２７２のＹＥＳ）、二値化画像（ＢＤＧ’）と地平線と繋がったエッジ画像（ＣＥ）のＡＮＤ処理を行う（共通する画素のみを残す）ことによってフィルタリングする（ステップ２７４）。

上記構成によれば、移動物体検出装置が移動している場合に生じる道路や建物の境界のエッジを、ノイズとして除去することができる。したがってノイズを大幅に減少させることができ、さらに移動物体の検出率を向上させることが可能となる。

次に移動物体検出部１１８は、前景（ＥＦ）から、ノイズ除去を行う（ステップ２７８）。図１３は前景の膨張と収縮を説明する画像例である。図１３これでもまだ中抜けや細かな分断があるため、図１３（ｂ）に示すように前景の膨張を行った後に、図１３（ｃ）に示すように前景の収縮を行う（ステップ２３６）。

膨張とは、背景画素が黒、前景が白として、フィルタ径を例えば５×５とすると、総ての白い画素を中心とするフィルタ径内の画素を白にする処理である。収縮はその逆で、総ての黒い画素を中心とするフィルタ径内の画素を黒にする処理である。膨張と収縮を行うと、外縁の輪郭は元の位置に戻るものの、膨張によって埋められた中抜けや分断（不連続）は収縮しても埋められたままであるので、近接する前景同士を連結することができる。

ここで、冒頭で説明したように、背景差分法においては物体が平坦なテクスチャを有する場合や、物体の一部が背景と似た色である場合には、背景画像と現フレームの画像で輝度差が生じないため、物体の一部しか検出できない場合がある。この場合、前景が離れて存在するため、上記のような平滑化や、膨張と収縮だけでは、前景同士を連結することはできない。そこで本発明においては、次に述べる候補枠の統合と分離を行う。

統合とは、本来１つの移動物体であるものを、誤検出により複数の検出枠として抽出されたものであると判定して、１つの検出枠にする処理である。分離とは、近接する検出枠を、近接する複数の移動物体であると判定して独立した検出枠とする処理である。

図１４は検出枠の設定について説明する画像例である。移動物体検出部１１８は、抽出した前景の輪郭を検出して、図１４（ａ）に示すように前景を囲う枠を１次候補枠１５０ａ～ｆとする（ステップ２３８）。そして移動物体検出部１１８は、記憶部１２０から前フレームの検出枠を取得する（ステップ２４０）。なお、現フレームにおいてまだ前フレームの検出枠が存在しない場合には、この統合と分離の処理（ステップ２４０ ～ステップ２４４）はスキップする。

そして移動物体検出部１１８は、図１４（ａ）に示す１次候補枠１５０ａ～ｆのうち、図１４（ｂ）に示すように前フレームの検出枠１５２ａ～ｃと面積が所定以上（例えば５０％以上）重なるものを２次候補枠１５４ａ～ｄに設定する（ステップ２４２）。図１４（ｂ）において前フレームの検出枠１５２は一点鎖線で示し、２次候補枠１５４は破線で示している。１次候補枠１５０ａ～ｆのうち、２次候補枠にならなかった１次候補枠１５０ｅ、１５０ｆは、そのまま検出枠となる（「検出枠」は、候補ではない）。

移動物体検出部１１８は、２次候補枠１５４のうち、同じ前フレームの検出枠１５２と重なるものをグループ化する。図１４（ｂ）において左側にある前フレームの検出枠１５２ａには２次候補枠１５４ａ、１５４ｂが重なっているため、これらをグループ化する。そして、グループ化された２次候補枠１５４ａ、１５４ｂのうち、図１４（ｃ）に示すように、ｙ軸方向に所定以上（例えば３０％以上）重なるものは統合した検出枠１５６ａとする。ｙ軸方向に所定以上重ならないものは分離（独立）した検出枠とする（ステップ２４４）。なお「ｙ軸方向に所定以上重なる」とは、枠のｘ軸方向の座標の範囲が所定以上重複していることと同義である。

上記を整理すると、「検出枠」となるのは次の３通りである。
・１次候補枠のうち、２次候補枠にならなかったもの（１５０ｅ、１５０ｆ）
・２次候補枠のうち、統合したもの（１５６ａ）
・２次候補枠のうち、統合せずに分離したままのもの（１５４ｃ、１５４ｄ）
なお、グループ化された２次候補枠が多数ある場合には、複数の統合した検出枠が設定される場合がある。例えば１つのグループに２次候補枠が４つある場合に、２つずつ統合されて、２つの検出枠が設定される場合がある。

図１５は統合と分離を説明する他の画像例であり、重なって見えていた２人の歩行者が離れていくときの処理例である。図１５（ａ）は現フレームの画像である。道路上に２人の歩行者が歩いている。図１５（ｂ）は現フレームにおいて抽出した前景を示していて、現フレームの中央部に対応している。右側の人物の前景は１つの１次候補枠１５０ｇになっているが、左側の人物の前景は上下で切れた２つの１次候補枠１５０ｈ、１５０ｉになっている。２人の歩行者についての前景のブロックは合計３つである。図１５（ｃ）は前フレームにおいて抽出した前景および検出枠を示している。前フレームでは２人の歩行者がまだ重なって見えていたため、２人で１つの大きな検出枠１５２ｄとなっている。

そして移動物体検出部１１８は、図１５（ｄ）に示すように、１次候補枠１５０に前フレームの検出枠１５２ｄを重ねて、面積が所定以上重なるものを２次候補枠に設定する。本例では３つの１次候補枠１５０ｇ～ｉは、総て３つの２次候補枠１５４ｅ～ｇとなる。また、３つの２次候補枠１５４ｅ～ｇは同じ前フレームの検出枠１５２ｄに重なっているから、これらはグループ化される。

図１５（ｄ）において２次候補枠１５４ｆ、１５４ｇはｙ軸方向に所定以上重なっているから、図１５（ｅ）に示すように統合した検出枠１５６ｂとする。２次候補枠１５４ｅはｙ軸方向に所定以上重なっていないから、統合せずに分離したままとする。結果として、図１５（ｆ）に示すように、２人の歩行者にそれぞれ検出枠（２次候補枠１５４ｅ、統合した検出枠１５６ｂ）が設定される。なお、重なり度合いを判定するとき、２つの候補枠のｘ軸方向に重複する大きさ（長さ）を、２つの候補枠のうちｘ軸方向の大きさが小さい方と比較するとよい。

このようにして、３つの前景を適切に統合して、２つの移動物体に検出枠を設定することができる。また同時に、前フレームでは１つであった検出枠を現フレームでは２つの検出枠に分離することができる。

図１６は検出枠のフィルタリング処理（ステップ２４６）を説明する画像例である。図１６（ａ）は統合と分離が終了した後の検出枠を示している（図１４（ｃ）参照）。図１６（ａ）において、画像左側の自転車に乗った人物は統合した検出枠１５６ａとなり、画像中央の２台の自動車は２次候補枠１５４ｃ、１５４ｄとして検出されている。そして１次候補枠１５０ｅ、１５０ｆは、検出枠として残っているものの、極端に小さいため、ノイズと考えることができる。

そこで本実施形態においては、フィルタ部１２６が、現フレームにおいて検出された１または複数の検出枠に対し、所定の面積または縦横比を満たさない検出枠を除去する（ＡＳＦ：Area Size Filtering）。すなわち、極端に小さい検出枠や、極端に細長い検出枠を除去する。

図１６（ｂ）の例では、フィルタリング処理によって極端に小さな検出枠（１次候補枠１５０ｅ、１５０ｆ）が除去されて、統合した検出枠１５６ａ、２次候補枠１５４ｃ、１５４ｄが残っている。なお図１６（ｂ）では、これらの最終的な検出枠を、二値画像ではなく現フレームのグレースケール画像に重ねて示している。

動画像が移動しながら撮影されたものであること、単眼カメラの画像であること、さらに魚眼レンズや広角レンズを使用することは、ノイズが増える要因となる。そこで上記のフィルタリング処理を行うことにより、ノイズを除去して、移動物体の検出精度を向上させることができる。

移動物体検出部１１８は、フィルタ部１２６がフィルタリング処理を施した最終的な検出枠を、記憶部１２０に登録する（ステップ２１８）。検出枠はフレームの番号と対応付けて記憶され、任意のフレームの画像に対して検出済みの検出枠を読み出すことができる。特に、上記説明において現フレームの画像処理に前フレームの検出枠を利用したように、次フレームの画像処理に現フレームの検出枠を利用する。また移動物体検出装置１００が設定した検出枠は、出力部１３０によってブレーキングシステム１４や不図示のモニター等に送られる。

背景画像生成部１１６は、次フレームの画像を処理するときのために、背景画像の生成（更新）を行う（ステップ２２０）。フレーム取得部１１２が取得した複数のフレーム画像のうち、１番目のフレーム画像は前景の抽出は行われず、背景画像としてのみ用いられる。２番目のフレーム画像から前景の抽出を行うとき、１番目のフレーム画像が背景画像に用いられる。３番目以降のフレーム画像から前景の抽出を行うとき、背景画像生成部１１６が生成（更新）した背景画像を用いる。

図１７は背景画像の生成について説明する画像例である。背景画像生成部１１６は、背景画像と現フレームの画像を合成して背景画像を更新し、次フレームを処理する際の背景画像とする。具体例として、図１７に示すように、現フレームの輝度を２５％に落とした画像と背景画像の輝度を７５％に落とした画像を合成して背景画像を生成する。このようにして順繰りに背景画像の合成（更新）を行うことにより、移動しながら撮影された動画像であっても、また移動物体が存在しない状態がない動画像であっても、背景画像を適宜生成することができる。

また、背景差分法において、学習に基づいた背景モデルの更新は計算コストが高いため、高速な動画像処理に応用が困難であるとされてきた。しかし本実施形態のように過去の背景画像と現フレームの画像を組み合わせることは、計算量が少なくて済むため、システム全体として計算コストの効率化を図ることができる。

背景画像の生成が完了すると、次のフレーム画像があるか否かを判定する（ステップ２２２）。次フレームの画像があれば上記一連の処理を繰り返す。次フレームの画像がなければ処理を終了する。

上記説明したように、本実施形態にかかる移動物体検出装置および移動物体検出方法によれば、現フレームの候補枠に対して、前フレームの検出枠と重なった範囲内で統合と分離を行う。移動物体の種類や距離を判定する必要がなく、またノイズが多くても候補枠の統合と分離を行うことができる。

これにより安価な単眼カメラの画像であっても、そして車載カメラのように移動しながら撮影した画像であっても、移動物体に適切に対応した検出枠を設定することができる。また、背景差分法は高速に処理可能であり、また上記の候補枠の統合と分離の処理やフィルタリング処理も高速に処理可能である。したがって、接近する移動物体を高い精度で高速に検出することができ、安全性の向上を図ることができる。

特に、統合と分離のアルゴリズムがシンプルであるため、従来の単なる背景差分法と比較すると、移動物体の検出率を大幅に上げたにもかかわらず、計算量の増加が少ない。従来技術と比較して本手法は実用性が高く、技術的な優位性も十分に高い。また本発明では１つの単眼カメラだけを使用するため、複数のカメラやレーザーレーダや赤外カメラ等を使用するような従来手法と比較すると、コスト面で大きな優位性がある。

本発明は、出合い頭における交通事故を防ぐ車載の安全運転システムや、ロボットなどの移動装置の自動走行システムへの応用が可能である。また自動車やロボットなどに搭載されるシステムに限定されず、広角防犯カメラを用いた固定設置の監視システムに応用することもできる。

上記実施形態においては、フィルタ部１２６が所定の面積または縦横比を満たさない検出枠を除去する（ＡＳＦ）ように説明した。これに対し、ＡＳＦに代えて、またはＡＳＦに追加して、地平線検出部１２４が地平線を検出し、現フレームにおいて検出された１または複数の検出枠に対し、地平線に所定の割合で重なっていない検出枠を除去してもよい（ＨＬＦ：Horizontal Line Filtering）。

図１８は地平線を用いたフィルタリング処理について説明する画像例である。図１８（ａ）は二値化画像と検出枠（統合と分離まで完了したもの）を示している。図１８（ｂ）は現フレームのグレースケール画像にフィルタリング処理後の検出枠を重ねて示している。

図１８（ａ）を図１８（ｂ）と対比するとわかるように、車載カメラなどで移動しながら撮影した動画像においては、下方については道路標示や横断歩道（横断歩道の検出枠１６０ｂ）、上方については建物や看板、信号機、電線、街路灯など（看板の検出枠１６０ｃ、電線の検出枠１６０ｄ、街路灯の検出枠１６０ｅ）も移動物体として検知してしまう可能性がある。しかし本発明において検出したい移動体は、歩行者や自動車など地上を移動するもの（自動車の検出枠１６０ａ）である。

そこで図１８（ｃ）に示す判定式のように、総ての検出枠１６０について、地平線ＨＬによって分断される面積ａ、ｂを取得し、地平線ＨＬに所定の割合で重なっていない検出枠を除去する。本実施形態では、判定式：｜ａ－ｂ｜／（ａ＋ｂ）≦０．６となる検出枠を残し（Ｃｏｒｒｅｃｔ＝１）、それ以外の検出枠は除去する（Ｃｏｒｒｅｃｔ＝０）。

判定式の具体例として、地平線ＨＬが検出枠の中央を通るとき、ａ＝ｂであるから判定式の値は０となり、Ｃｏｒｒｅｃｔ＝１となってその検出枠１６０は残る。地平線ＨＬが検出枠に重ならないとき、判定式の値は１となり、Ｃｏｒｒｅｃｔ＝０となってその検出枠１６０は除去される。

なお閾値を０．６としたのは一例であって、閾値の数値は適宜定めてよい。例えば｜ａ－ｂ｜／（ａ＋ｂ）＜１としてもよい。この場合、検出枠に地平線ＨＬが全く重なっていない検出枠のみが除去される。

このようにして、移動体でない検出枠１６０を適切かつ高速な処理で除去することができる。これにより危険回避のために検出したい移動物体の検出精度を高めることができる。

地平線を検出するための手法はさまざまなものが考えられるが、本実施形態では地平線の検出に遺伝的アルゴリズムを用いて地平線を検出する。遺伝的アルゴリズムは常に局所的に良好な解を複数保持しながら解の改良を図る多点探索であることから、大域的に最良の解を探索しうるため、最も好ましい方法である。これにより、建物や道路の形状に邪魔されて簡単にはわかりにくい地平線を、高い精度で検出することができる。

図１９は遺伝的アルゴリズムの条件等を説明する図である。以下に説明する地平線の検出を簡潔に説明すると、路面とそれ以外（建物等の構造物や空など）との境界線を遺伝的アルゴリズムによって検出することにより、これを地平線とする。Ｐ_ｉ（ｘ_ｉ，ｙ_ｉ）は地平線上のｉ番目のピクセル（点）である。ｘ_ｉは地平線上のｉ番目の点のｘ座標である。ｙ_ｉは地平線上のｉ番目の点のｙ座標であり、ベースラインの高さＢ＋定数ａ＋変数ｂ_ｉで表される。そして、ａ，ｂ_０，ｂ_１，…ｂ_Ｍを遺伝的アルゴリズムの染色体とする。

図２０は遺伝的アルゴリズムのフローチャートである。フィルタ部１２６は、まず所定の初期値を用いてアルゴリズムを初期化する（ステップ２５０）。アルゴリズムの初期値は、一例として、世代数５０、初期個体数５０、交叉レート０．７、突然変異レート０．０１としてよい。

次に初期個体に仮パラメータを与えて、地平線の候補線を生成する（ステップ２５２）。遺伝的アルゴリズムのロジックに基づいて交叉と突然変異を繰り返しながら、候補線の目的関数に対する適合度の評価を行う（ステップ２５４）。なお、遺伝的アルゴリズムにおける交叉と突然変異については既知の技術であるため、ここでの詳述は省略する。

図２１は遺伝的アルゴリズムの目的関数を説明する図である。目的関数Ｆは、閾値を超えるピクセル値の差が認められるピクセルＤｉｆｆ（ｊ，ｘ）の個数である。ｊは評価幅であり、評価範囲Ｌが最大値である。ｘはピクセルＰ_ｉ（ｘ_ｉ，ｙ_ｉ）とＰ_ｉ＋１（ｘ_ｉ＋１，ｙ_ｉ＋１）の中間位置のｘ座標である。ｙ_ｘはピクセルＰのｙ座標を線形補間（１次方程式）によって表したｘの関数である。

ｉ番目のピクセルＰ_ｉ（ｘ_ｉ，ｙ_ｉ）のピクセル値（グレースケール値）をＰ（ｘ_ｉ，ｙ_ｉ）と表す。差が認められるピクセルＤｉｆｆ（ｊ，ｘ）の判定は、ピクセル値の差｜Ｐ（ｘ，ｙ_ｘ＋ｊ）－Ｐ（ｘ，ｙ_ｘ－ｊ）｜が閾値以上であれば１、閾値未満であれば０とする。ＤｉｆｆＴＢ（ｊ，ｘ）は、ｙ軸方向に上下２ｊ離れた位置のピクセル値を比較して、閾値以上にピクセル値（グレースケール値）が異なっていれば１となる。したがって目的関数Ｆは、染色体ａ，ｂ_０，ｂ_１，…ｂ_Ｍによって形成する地平線が路面とそれ以外との境界線に沿っているほど値が大きくなる。換言すれば、この遺伝的アルゴリズムによる地平線検出は、路面の上縁の輪郭抽出である。

また評価関数ＦにあるＤｉｆｆＴＮ、ＤｉｆｆＢＮは、それぞれＰ（ｘ，ｙ_ｘ－ｊ）、Ｐ（ｘ，ｙ_ｘ＋ｊ）と隣の（次の）ピクセルとでピクセル値を比較している。これにより評価関数Ｆは、水平線（横線）のみでなく建物等の輪郭（縦線）にさしかかった場合も値が大きくなる。横線と縦線の交点で値が高くなるため、すなわち建物と地面との交点で値が高くなる。これにより地平線検出の精度を向上させることができる。

フィルタ部１２６は、所定の世代数の計算を終えると、選択された候補線を地平線として出力する（ステップ２５６）。出力された地平線は、図１８（ｃ）で説明した判定式に使用する。

そしてフィルタ部１２６は、次フレームがあるか否かを判定し（ステップ２５８）、次フレームがあれば遺伝的アルゴリズムによる地平線検出を繰り返し、次フレームがなければ地平線検出の処理を終了する。

遺伝的アルゴリズムを用いた地平線の検出は、１枚の画像に対して処理を行うことが可能である。この場合、総てのフレームに対して処理を行ってもよいが、一定時間おきのフレームに対して行うことによって大幅に高速化を図ることができる。また、画像に変化がない間は一定時間おきに処理し、画像が大幅に変化したときにも処理を行うことにより、処理の高速化と精度の向上を図ることができる。

また、加速度センサを搭載したり、ナビゲーションシステムから加速度センサの信号を受け取れるのであれば、角を曲がったときや上り下りが変化したときにも処理してよい。これにより地平線の変化に追従しやすくなり、検出精度の向上を図ることができる。

また遺伝的アルゴリズムを用いた地平線の検出は、前フレームの演算結果を用いる（前フレームの画像を用いるのではない）ことによって高速化と精度の向上を図ることができる。具体的には、前フレームにおいて算出した最適解を含む遺伝的アルゴリズムのすべての個体の染色体情報を初期個体集団の初期の染色体として用いて演算を行う（進化的動画像処理）。特に総てのフレームに対して処理を行うとき、または短時間おきのフレームに対して処理を行うときには、画像内での地平線の移動はわずかであるため、前フレームの演算結果を用いれば最適解までの収束が極めて短時間となる。したがって、車載コンピュータのＣＰＵでもリアルタイム処理に十分な速度で演算することができ、地平線を検出しつづけることが可能となる。

上記のように、地平線に所定の割合で重なっていない検出枠を除去することにより、移動物体の検出精度を高めることができる。また、地平線の検出に遺伝的アルゴリズムを用いることにより、地平線を高い精度で検出することができる。

本発明は、単眼カメラの動画像から移動物体を高い精度で高速に検出することが可能な、安価で安全性の高い移動物体検出装置および移動物体検出方法として利用することができる。

１０…自動車、１２…車載カメラ、１４…ブレーキングシステム、１００…移動物体検出装置、１１０…入力部、１１２…フレーム取得部、１１４…前処理部、１１６…背景画像生成部、１１８…移動物体検出部、１２０…記憶部、１２２…エッジ画像生成部、１２４…地平線検出部、１２６…フィルタ部、１３０…出力部、１５０…１次候補枠、１５２…前フレームの検出枠、１５４…２次候補枠、１５６…統合した検出枠、１６０…検出枠

Claims (8)

1. 動画像を入力する入力部と、
   動画像から連続的に複数のフレーム画像を取り出すフレーム取得部と、
   フレーム画像において地平線を検出する地平線検出部と、
   フレーム画像からエッジ画像を生成するエッジ画像生成部と、
   前記移動物体に検出枠を設定する移動物体検出部とを備え、
   前記エッジ画像生成部は、
   前記地平線検出部が検出した地平線の下側のエッジ画像を抽出し、
   地平線の下側のエッジ画像から背景差分法を用いて差分を抽出し、
   前記移動物体検出部は、
   フレーム画像をグレースケール画像にして背景差分法を用いて差分を抽出し、
   前記グレースケール画像の差分と前記地平線の下側のエッジ画像の差分とを合成することによって前景を生成することを特徴とする移動物体検出装置。
2. 前記移動物体検出部は、前記地平線の下側のエッジ画像の差分のノイズが少ない場合に、前記グレースケール画像の差分と合成することを特徴とする請求項１に記載の移動物体検出装置。
3. 前記エッジ画像生成部は、
   前記地平線検出部が検出した地平線と繋がったエッジ画像を抽出し、
   前記移動物体検出部は、
   前記地平線と繋がったエッジ画像によって前記前景をフィルタリングすることを特徴とする請求項１または２に記載の移動物体検出装置。
4. 前記移動物体検出部は、当該移動物体検出装置が移動している場合に、前記地平線と繋がったエッジ画像によって前記前景をフィルタリングすることを特徴とする請求項３に記載の移動物体検出装置。
5. 動画像を入力する入力部と、
   動画像から連続的に複数のフレーム画像を取り出すフレーム取得部と、
   フレーム画像において地平線を検出する地平線検出部と、
   フレーム画像からエッジ画像を生成するエッジ画像生成部と、
   前記移動物体に検出枠を設定する移動物体検出部とを備え、
   前記エッジ画像生成部は、
   前記地平線検出部が検出した地平線と繋がったエッジ画像を抽出し、
   前記移動物体検出部は、
   フレーム画像をグレースケール画像にして背景差分法を用いて前景を抽出し、
   前記前景を前記地平線と繋がったエッジ画像によってフィルタリングすることを特徴とする移動物体検出装置。
6. 前記移動物体検出部は、当該移動物体検出装置が移動している場合に、前記地平線と繋がったエッジ画像によって前記前景をフィルタリングすることを特徴とする請求項５に記載の移動物体検出装置。
7. 動画像を入力し、
   動画像から連続的に複数のフレーム画像を取り出し、
   フレーム画像から地平線の下側のエッジ画像を抽出し、
   地平線の下側のエッジ画像から背景差分法を用いて差分を抽出し、
   フレーム画像をグレースケール画像にして背景差分法を用いて差分を抽出し、
   前記グレースケール画像の差分と前記地平線の下側のエッジ画像の差分とを合成することによって前景を生成することを特徴とする移動物体検出方法。
8. 動画像を入力し、
   動画像から連続的に複数のフレーム画像を取り出し、
   フレーム画像から地平線と繋がったエッジ画像を抽出し、
   フレーム画像をグレースケール画像にして背景差分法を用いて前景を抽出し、
   動画像の撮影位置が移動している場合に、前記地平線と繋がったエッジ画像によって前記前景をフィルタリングすることを特徴とする移動物体検出方法。

Images