JP5176523B2 - 移動体検出装置、移動体検出方法および移動体検出プログラム - Google Patents

Description

この発明は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置、移動体検出方法および移動体検出プログラムに関し、特に、大きなメモリ容量を使用することなく、遠い位置に存在する移動体を正確に検出することが出来る移動体検出装置、移動体検出方法および移動体検出プログラムに関するものである。

従来より、交差点付近において、車両の接触事故が頻繁に発生している。これは、交差点付近では、運転手に死角が存在するため、死角となる側面等から自車両に接近する車両を運転手が早期に見つけることができないためである。

そこで、近年では、運転手の死角となる映像を撮影して運転席のモニタに表示するブラインドコーナーモニタ（ＢＣＭ；Blind Corner Monitor）を利用することにより、運転手の死角を無くし、交差点付近の事故を予防する技術が実用化されつつある。また、特許文献１では、空間視差または時間視差を用いて移動体（自車両に接近する車両）を検出し、運転手に通知するという技術も公開されている。

特開２００４−１７３０７１号公報

一般的に、画像上では、物理的に遠い位置に存在する移動体ほど小さい領域になる。特に、ＢＣＭなどの広域画像を、死角領域の画像を１つの画像内に納めるように画像変換して出力する場合には、遠くから自車両に接近する移動体の画像上の領域は小さくなる。

したがって、例えば、ＢＣＭに上記特許文献１にかかる技術を適用して、移動体を検出する場合には、画像上の小さい領域に存在する移動体を検出する必要がある。しかしながら、特許文献１のような技術を利用して、小さい領域に存在する移動体を検出する場合には、数フレーム分の情報を蓄積して画像差分を取る必要があるため、大きなメモリ容量が必要となり、製造コストが高くなるという問題があった。

この発明は、上述した従来技術による問題点を解消するためになされたものであり、大きなメモリ容量を使用することなく、遠い位置に存在する移動体を正確に検出することが出来る移動体検出装置、移動体検出方法および移動体検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、この移動体検出装置は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、前記画像に基づいて、当該画像内の消失点を特定する消失点特定手段と、前記消失点特定手段によって特定された消失点を含む所定の範囲の画像を部分領域画像として記憶する部分領域記憶手段と、前記部分領域記憶手段に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出手段と、を備えたことを要件とする。

また、この移動体検出装置は、上記の移動体検出装置において、前記消失点特定手段は、前記カメラの特徴量を基にして消失点候補線を生成し、前記部分領域画像内から直線を抽出し、前記消失点候補線と前記直線との交点を前記消失点として特定することを要件とする。

また、この移動体検出装置は、上記の移動体検出装置において、前記消失点特定手段は、消失点の候補となる候補消失点と前記部分領域画像内から抽出される直線との距離を示す第１関数と、前記候補消失点と前記カメラの特徴量を基にして生成される消失点候補線との距離を示す第２関数とを基にして、前記第１、２関数の値の和が最小値となる候補消失点を消失点として特定することを要件とする。

また、この移動体検出装置は、上記の移動体検出装置において、前記消失点特定手段は、前記第２関数の値に対して所定の重みをつけることを要件とする。

また、この移動体検出装置は、上記の移動体検出装置において、前記消失点特定手段は、前記カメラのレンズ曲率に基づいて、前記消失点候補線を補正することを要件とする。

また、この移動体検出方法は、移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、前記移動体検出装置は、前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、前記記憶装置に記憶された画像に基づいて、当該画像内の消失点を特定する消失点特定ステップと、前記消失点を含む所定の範囲の画像を部分領域画像として記憶装置に記憶する部分領域記憶ステップと、前記記憶装置に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出ステップと、を含んでいることを要件とする。

また、この移動体検出プログラムは、コンピュータに、移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、前記記憶装置に記憶された画像に基づいて、当該画像内の消失点を特定する消失点特定手順と、前記消失点特定手順によって特定された消失点を含む所定の範囲の画像を部分領域画像として記憶装置に記憶する部分領域記憶手順と、前記記憶装置に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出手順と、を実行させることを要件とする。

この移動体検出装置によれば、画像内の消失点を特定し、特定した消失点を含む所定の範囲の部分領域画像のみを記憶装置に記憶し、記憶した部分領域画像に基づいて移動体の検出を行うので、記憶対象を部分領域画像に限定でき、大きなメモリ容量を使用することなく、遠い位置に存在する移動体を正確に検出することが出来る。

また、この移動体検出装置によれば、カメラの特徴量を基にして消失点候補線を生成し、部分領域画像内から直線を抽出し、消失点候補線と直線との交点を消失点として特定するので、簡易的に、消失点を特定することが出来る。

また、この移動体検出装置によれば、消失点の候補となる候補消失点と部分領域画像内から抽出される直線との距離を示す第１関数と、候補消失点とカメラの特徴量を基にして生成される消失点候補線との距離を示す第２関数とを基にして、第１、２関数の値の和が最小値となる候補消失点を消失点として特定するので、請求項１の方式によって消失点が定まらない場合（交点が一意に定まらない場合）であっても、最適な消失点を算出することが可能となる。

また、この移動体検出装置によれば、第２関数の値に対して所定の重みをつけるので、消失点の算出精度を向上させることが出来る。

また、この移動体検出装置によれば、カメラのレンズ曲率に基づいて、消失点候補線を補正するので、消失点の算出精度を向上させることが出来る。

以下に添付図面を参照して、この発明に係る移動体検出装置、移動体検出方法および移動体検出プログラムの好適な実施の形態を詳細に説明する。

まず、本実施例１で利用するブラインドコーナーモニタ（以下、ＢＣＭ）について説明する。図１は、運転手の死角を説明するための図である。本来、運転手は車両１０の運転時に、左右の見通しの悪い交差点などがあった場合（Ｔ字路に進入する場合）、車両１０を相当程度前に出すか、もしくはかなり接近した状態にならないと、車両２０が視界に入らない（図１参照）。

そこで、運転手の死角を補うものとして、十分な視野角を持つ広角カメラを装備したモニタ（ＢＣＭ）を用いることにより、運転手は、最低限の進入で側方車両（例えば、車両２０）を早期に発見することが可能となる。

図２は、ＢＣＭによる映像例を示す図である。同図に示すように、このＢＣＭは、運転手の死角となる領域の画像を一画面で表示することが出来る。しかしながら、広角画像を、死角領域の画像を１つの画像内に納めるように画像変換して出力されるため、遠くから自車両に接近する移動体（特に、消失点３０，４０近辺の移動体）の画面上の領域が小さくなり、周知技術（例えば、特許文献１）を用いて、移動体検出を試みると、数フレーム分の情報を蓄積して画像差分を取る必要があるため、大きなメモリ容量が必要となる。

次に、本実施例１にかかる移動体検出装置の概要および特徴について説明する。図３は、本実施例１にかかる移動体検出装置の概要および特徴を説明するための図である。同図に示すように、本実施例１にかかる移動体検出装置は、画像（例えば、ＢＣＭによって撮影された画像）を取得した場合に、画像内の消失点３０，４０を特定する。そして、移動体検出装置は、特定した消失点３０，４０を含む所定の範囲の画像を部分領域画像として記憶装置に記憶し、記憶した部分領域画像に基づいて移動体の検出を行う。

このように、本実施例１にかかる移動体検出装置は、画像内の消失点を特定し、特定した消失点を含む所定の範囲の部分領域画像のみを記憶装置に記憶し、記憶した部分領域画像に基づいて移動体の検出を行うので、記憶対象を部分領域画像に限定でき、大きなメモリ容量を使用することなく、遠い位置に存在する移動体を正確に検出することが出来る。

また、移動体検出にかかる処理を画面全体ではなく、部分領域画像に限定して実行するので、省計算化を図ることができるとともに、移動体検出処理の高速化を図ることができる。

ところで、本実施例１にかかる移動体検出装置は、主として運転手の死角となる場所に位置する移動体（あるいは障害物）の検出が重要となる。したがって、本実施例１では、図３に示したように、検出対象領域を、左右道路消失点付近を中心とした部分領域に限定する。これは、正面もしくは自車両付近に存在する移動体は、ＢＣＭを介さなくても実際に前方を見れば視界に入ることと、遠方に存在する時点で十分警告をしておけばよいためである。一方、遠方に存在する移動体は、消失点付近から出現し、接近してくることから、消失点を部分領域画像に含める必要がある。

車両がＴ字路に進入する場合の左右の消失点は、自車両のＴ字路の進入角度や右折、左折などの進入と共に、見かけ上移動していく。図４は、右折を行った場合の消失点の移動を説明するための図である。

図４の上段に示すように、車両が右折を行うと、ＢＣＭによって撮影される画像は、画像６０，６１，６２の順に変化し、画像６０〜６２上の消失点５０は、図４下段の消失点移動図７０のように変化する。消失点移動図７０の点ａは、画像６０の消失点５０の位置を示し、消失点移動図７０の点ｂは、画像６１の消失点５０の位置を示し、消失点移動図７０の点ｃは、画像６２の消失点５０の位置を示す。

なお、消失点移動図７０に示す消失点の軌跡は、カメラのレンズ曲線等により、一意に決まる。より正確には、この軌跡は曲線を描くが、簡易的には、図４の線ａ，ｂのように画面中心を軸とした線対称の直線に近似できる。以下において、この直線（線ａ，ｂ）を消失点候補線と表記する。

次に、上記した処理を実行する移動体検出装置の構成について説明する。図５は、本実施例１にかかる移動体検出装置１００の構成を示す図である。同図に示すように、この移動体検出装置１００は、基準消失点記憶部１０１と、消失点候補線算出部１０２と、部分領域画像記憶部１０３と、画像入力部１０４と、直線検出部１０５と、消失点算出部１０６と、部分領域数制御部１０７と、部分領域画像抽出部１０８と、移動体検出部１０９と、移動体通知部１１０とを備えて構成される。

このうち、基準消失点記憶部１０１は、カメラ（ＢＣＭ等）設置時の条件（カメラ設置位置、車両を基準としたカメラの方位、俯角など）により、予め設定される消失点（以下、基準消失点と表記する）の座標を記憶する記憶手段である。

図６は、画像内に設定される基準消失点を説明するための図である。本実施例１では、説明の便宜上、カメラの正面０°の位置に基準消失点８０ａを設定し、カメラの正面から＋９０°の位置に基準消失点８０ｂを設定し、カメラの正面から−９０°の位置に基準消失点８０ｃを設定する。

図７は、車両２５に設置されたカメラ２６の撮影可能な角度を示す図であり、図８は、カメラ２６が設置された車両２５の側面図を示す図である。基準消失点８０ａの位置は、カメラの俯角（図８参照）に基づいて設定され、基準消失点８０ｂおよび基準消失点８０ｃの位置は、画面内の水平中央以上の高さとなるように設定される。

消失点候補線算出部１０２は、基準消失点記憶部１０１に記憶された基準消失点の座標を基にして、消失点候補線を算出する手段である。この消失点候補線は、カメラの仕様により、この線上に消失点が存在することを示すものである。

図９は、画像内に設定される消失点候補線を説明するための図である。同図に示すように、消失点候補線算出部１０２は、基準消失点８０ａ、８０ｃを通る直線および基準消失点８０ａ，８０ｂを通る直線を算出することにより、消失点候補線を算出する。消失点候補線算出部１０２は、算出した消失点候補線の情報を消失点算出部１０６に出力する。なお、消失点候補線算出部１０２は、カメラのレンズ曲線に基づいて、消失点候補線を補正してもよい。

部分領域画像記憶部１０３は、消失点算出部１０６によって算出される消失点および部分領域画像抽出部１０８によって抽出される部分領域の画像を記憶する記憶手段である。図１０は、部分領域画像記憶部１０３が記憶するデータの一例を示す図である。同図に示すように、部分領域画像記憶部１０３は、各部分領域画像を識別するフレーム識別番号と、消失点座標と、部分領域画像データ（例えば、バイナリデータ）とを対応付けて記憶している。

画像入力部１０４は、上記したカメラ（ＢＣＭ等）に接続され、カメラから画像の情報を受け付ける手段である。この画像入力部１０４は、カメラから取得した画像の情報を直線検出部１０５および部分領域画像抽出部１０８に出力する。

直線検出部１０５は、画像入力部１０４から画像を取得した場合に、取得した画像の部分領域画像（図３参照）内から直線を検出する手段である。具体的に、この直線検出部１０５は、画像内の部分領域画像を特定する処理と、この部分領域画像から直線を検出する処理を順に実行する。

まず、直線検出部１０５が画像内の部分領域画像を特定する場合には、部分領域画像記憶部１０３に記憶された最新の消失点の座標を基にして部分領域画像を特定する。すなわち、直線検出部１０５は、画像入力部１０４から取得した画像上で、最新の消失点の座標に対応する座標を特定し、かかる座標を含んだ所定の領域の画像を部分領域画像として特定する。なお、直線検出部１０５は、初期段階では、基準消失点の座標を基にして部分領域画像を特定する。

続いて、直線検出部１０５は、部分領域画像から直線検出を行う。この直線検出は、どのような周知技術を用いて行っても良いが、例えば、直線検出部１０５は、部分領域画像の微分画像を作成するなどして、エッジ画像を２値化し、２値化したエッジ画像を特徴点としてHough変換を行うことにより、直線検出を実行する。直線検出部１０５は、検出した直線（複数の直線）の情報を消失点算出部１０６に出力する。

なお、直線検出部１０５は、直線検出を実行する場合に、２値化した画像のうち、消失点候補線の下部のみを対象として、Hough変換を実行しても良い。このようにすることで、消失点とは関係のない建物や柱等の垂直エッジを除外することが可能となる。

消失点算出部１０６は、消失点候補線算出部１０２から取得する消失点候補線と、直線検出部１０５から取得する直線とを基にして、消失点を算出する手段である。図１１は、消失点算出部１０６の処理を説明するための図である。なお、ここでは説明の便宜上、直線検出部１０５によって、３つの直線ａ，ｂ，ｃが検出されたものとする。

消失点算出部１０６は、消失点候補線と、直線ａ，ｂ，ｃとの交点を求め、求めた交点の座標を新たな消失点の座標として算出する。消失点算出部１０６は、消失点の座標の情報を部分領域数制御部１０７および部分領域画像抽出部１０８に出力する。

部分領域数制御部１０７は、消失点算出部１０６から取得する消失点の座標を基にして、抽出すべき部分領域画像の数を判定する手段である。例えば、部分領域数制御部１０７は、２種類の消失点の座標を取得した場合には、抽出すべき部分領域画像の数を２つと判定する。部分領域数制御部１０７は、判定結果を部分領域画像抽出部１０８に出力する。

部分領域画像抽出部１０８は、消失点算出部１０６から取得する消失点の座標、部分領域数制御部１０７の判定結果に基づいて、画像入力部１０４から入力される画像内の部分領域画像を抽出する手段である。なお、ここでは、説明の便宜上、消失点算出部１０６から取得する消失点の座標の数と、部分領域数制御部１０７の判定結果となる部分領域画像の数とが等しいことを前提として説明を行う。

消失点算出部１０６は、消失点の座標に対応する画像内の座標を特定し、消失点の座標を中心とした一定の画像領域を部分領域画像として、画像（画像入力部１０４から入力される画像）から抽出し、消失点の座標と対応付けて、部分領域画像記憶部１０３に記憶する。

移動体検出部１０９は、部分領域画像記憶部１０３に記憶された各部分領域画像のデータを基にして、部分領域画像に含まれる移動体を検出する手段である。移動体検出部が移動体を検出する手法は周知技術を利用すればよい。例えば、移動体検出部１０９は、時間視差あるいはオプティカルフローなどを利用して、移動体検出を行い、検出結果（移動体の画像上の位置など）を移動体通知部１１０に出力する。

移動体通知部１１０は、移動体検出部１０９から移動体の検出結果を取得し、取得した検出結果を基にして、運転席のモニタあるいはスピーカ（図示略）を利用して運転手に移動体存在を通知する手段である。

例えば、移動体通知部１１０は、検出された移動体が画面内で占める領域と画像位置との関係から警告の緊急度を判定し、緊急度に応じてモニタ内の移動体を矩形で囲む、あるいは、緊急度が所定値以上となる場合には、音声で警告するなど、緊急度に応じて警告の種別を選択して、運転手に警告する。

次に、本実施例１にかかる移動体検出装置１００の処理手順について説明する。図１２は、本実施例１にかかる移動体検出装置１００の処理手順を示すフローチャートである。同図に示すように、移動体検出装置１００は、消失点候補線算出部１０２が基準消失点記憶部１０１から基準消失点の情報を取得し（ステップＳ１０１）、消失点候補線を生成し（ステップＳ１０２）、直線検出部１０５は、初期部分領域を決定する（ステップＳ１０３）。

そして、直線検出部１０５は、部分領域画像内において、直線検出処理を実行し（ステップＳ１０４）、消失点算出部１０６が直線群と消失点候補線との交点を算出して消失点を特定し（ステップＳ１０５）、部分領域画像抽出部１０８が消失点の座標に基づいて部分領域画像を抽出する（ステップＳ１０６）。

続いて、移動体検出部１０９が、部分領域画像内において移動体検出処理を実行し（ステップＳ１０７）、移動体通知部１１０が検出結果を出力する（ステップＳ１０８）。なお、ステップＳ１０４〜ステップＳ１０８までの処理は、部分領域画像ごとに実行されるものとする。

このように、部分領域画像抽出部１０８が部分領域画像を抽出し、移動体検出部１０９が部分領域画像から移動体を検出するので、データ蓄積量を大幅に削減出来ると共に、正確に移動体を検出することが出来る。

上述してきたように、本実施例１にかかる移動体検出装置１００は、画像内の消失点を特定し、特定した消失点を含む所定の範囲の部分領域画像のみを記憶装置に記憶し、記憶した部分領域画像に基づいて移動体の検出を行うので、記憶対象を部分領域画像に限定でき、大きなメモリ容量を使用することなく、遠い位置に存在する移動体を正確に検出することが出来る。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例１以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では実施例２として本発明に含まれる他の実施例を説明する。

（１）消失点算出について
例えば、上記の実施例１では、消失点算出部１０６が消失点を算出する場合に、消失点候補線算出部１０２によって作成された消失点候補線と、直線検出部１０５によって検出された各直線との交点を求めることにより、消失点を算出していた（図１１参照）が、消失点算出手法はこれに限定されるものではなく、例えば、下記の評価関数を用いて消失点を算出することができる。

ここで、評価関数Ｆ（ｘ，ｙ）は、

によって表すことができる。ここで、ｄｉ（ｘ，ｙ）（ｉ＝１、・・・ｎ）は、直線検出部１０５によって検出された直線と、消失点の候補となる座標（以下、候補座標）（ｘ，ｙ）との距離を示す関数（直線の数に応じてかかる関数の数は増加する）であり、Ｄ（ｘ，ｙ）は、消失点候補線と候補座標（ｘ，ｙ）との距離を示す関数である。また、Ｗは重み係数である。消失点算出部１０６は、反復法などを用いて、評価関数Ｆ（ｘ，ｙ）が最小値をとる候補座標（ｘ，ｙ）を算出し、算出した候補座標（ｘ，ｙ）を新たな消失点の座標として特定する。

このように、消失点算出部１０６が評価関数Ｆ（ｘ，ｙ）を用いて消失点を算出するので、実施例１に示した手法によって消失点が定まらない場合（交点が一意に定まらない場合）であっても、最適な消失点を算出することが可能となる。

また、消失点算出部１０６は、ｄｉ（ｘ，ｙ）ではなく、Ｄ（ｘ，ｙ）に重みＷを乗算して、消失点を算出している。なぜなら、ｄｉ（ｘ，ｙ）は、カメラが撮影する画像から直接抽出される直線に依存する関数であるため、撮影環境等に影響を受ける可能性があるが、Ｄ（ｘ，ｙ）は、予め設定される消失点候補線に依存する関数であり、撮影環境等の影響を受けないためである。したがって、Ｄ（ｘ，ｙ）に重みＷを乗算することにより、消失点の精度を向上させることが出来る。なお、重み係数Ｗは、カメラの仕様や、モニタの解像度、直線検出部１０５で検出される直線の本数などを鑑みて予め設定される。

（２）部分領域画像の数について
例えば、上記の実施例１では、部分領域数制御部１０７は、消失点の数に基づいて部分領域の数を判定していたが、これに限定されるものではない。例えば、部分領域数制御部１０７は、地図情報を予め保持しておき（あるいは、ナビゲーションシステムと連携し）、自車両の位置と地図情報を基にして部分領域の数を判定することが出来る。例えば、自車両がＴ字路に進入した場合には、部分領域の数を２と判定することが出来る。

（３）部分領域画像抽出について
例えば、上記の実施例１では、部分領域画像抽出部１０８は、消失点の座標を中心として、部分領域画像を抽出していたが、これに限定されるものではない。図１３は、その他の部分領域画像抽出を説明するための図である。同図に示すように、部分領域画像抽出部１０８は、消失点の座標を中心として部分領域９１，９２を設定した結果、部分領域が画像９０の範囲を超えてしまう場合には、かかる部分領域９１，９２が画像９０の範囲に含まれるように移動させ、移動させた部分領域に含まれる画像を部分領域画像として抽出しても良い。

図１３に示す例では、部分領域画像抽出部１０８は、部分領域９１を水平方向右に移動させた部分領域９３を設定し（例えば、部分領域画像９３の左端の水平方向の座標を、画像９０の左端の水平方向の座標に合わせて設定する）、部分領域９２を水平方向左に移動させた部分領域９４を設定して（例えば、部分領域画像９４の右端の水平方向の座標を、画像９０の右端の水平方向の座標に合わせて設定する）、部分領域９３，９４に含まれる部分領域画像を抽出している。このように、部分領域画像抽出部１０８は、画像中に含まれるように部分領域の位置を調整することで、移動体の検出領域の無駄を省くことが可能となる。

（４）画像を撮影するカメラについて
例えば、上記の実施例１では、ＢＣＭを利用して画像を取得していたが、これに限定されるものではない。本質的には、消失点を含む画像を撮影できる撮影手段であれば、どのような装置を用いても良い。例えば、移動体検出装置は、サイドミラーの画像を取得して、車両後方の移動体を検出することで、運転手に車両後方に存在するバイクなどの存在を通知し、バイクの巻き込みを予防することが出来る。

（５）システムの構成など
ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図５に示した移動体検出装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１４は、実施例１にかかる移動体検出装置１００を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ（移動体検出装置）２００は、入力装置２０１、モニタ２０２、カメラ（ＢＣＭ）２０３、ＲＡＭ（Random Access Memory）２０４、ＲＯＭ（Read Only Memory）２０５、記憶媒体からデータを読み取る媒体読取装置２０６、他の装置との間でデータの送受信を行う通信装置２０７、ＣＰＵ（Central Processing Unit）２０８、ＨＤＤ（Hard Disk Drive）２０９をバス２１０で接続して構成される。

そして、ＨＤＤ２０９には、上記した移動体検出装置１００の機能と同様の機能を発揮する消失点算出プログラム２０９ｂ、部分領域画像抽出プログラム２０９ｃ、移動体検出プログラム２０９ｄが記憶されている。ＣＰＵ２０８が消失点算出プログラム２０９ｂ、部分領域画像抽出プログラム２０９ｃ、移動体検出プログラム２０９ｄを読み出して実行することにより、消失点算出プロセス２０８ａ、部分領域画像抽出プロセス２０８ｂ、移動体検出プロセス２０８ｃが起動される。ここで、消失点算出プロセス２０８ａは、図５の消失点候補線算出部１０２、画像入力部１０４、直線検出部１０５に対応する。また、部分領域画像抽出プロセス２０８ｂは、図５の部分領域数制御部１０７、部分領域画像抽出部１０８に対応する。また、移動体検出プロセス２０８ｃは、移動体検出部１０９および移動体通知部１１０に対応する。

また、ＨＤＤ２０９は、基準消失点記憶部１０１および部分領域画像記憶部１０３に記憶される情報に対応する各種データ２０９ａを記憶する。ＣＰＵ２０８は、ＨＤＤ２０９に格納された各種データ２０９ａを読み出して、ＲＡＭ２０４に格納し、ＲＡＭ２０４に格納された各種データ２０４ａを用いて、消失点を特定し、部分領域画像から移動体を検出する。

ところで、図１４に示した消失点算出プログラム２０９ｂ、部分領域画像抽出プログラム２０９ｃ、移動体検出プログラム２０９ｄは、必ずしも最初からＨＤＤ２０９に記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などに消失点算出プログラム２０９ｂ、部分領域画像抽出プログラム２０９ｃ、移動体検出プログラム２０９ｄを記憶しておき、コンピュータがこれらから消失点算出プログラム２０９ｂ、部分領域画像抽出プログラム２０９ｃ、移動体検出プログラム２０９ｄを読み出して実行するようにしてもよい。

上記の実施例１，２を含む実施形態に関し、以下の付記を開示する。

（付記１）移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
前記画像に基づいて、当該画像内の消失点を特定する消失点特定手段と、
前記消失点特定手段によって特定された消失点を含む所定の範囲の画像を部分領域画像として記憶する部分領域記憶手段と、
前記部分領域記憶手段に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出手段と、
を備えたことを特徴とする移動体検出装置。

（付記２）前記消失点特定手段は、前記カメラの特徴量を基にして消失点候補線を生成し、前記部分領域画像内から直線を抽出し、前記消失点候補線と前記直線との交点を前記消失点として特定することを特徴とする付記１に記載の移動体検出装置。

（付記３）前記消失点特定手段は、消失点の候補となる候補消失点と前記部分領域画像内から抽出される直線との距離を示す第１関数と、前記候補消失点と前記カメラの特徴量を基にして生成される消失点候補線との距離を示す第２関数とを基にして、前記第１、２関数の値の和が最小値となる候補消失点を消失点として特定することを特徴とする付記１に記載の移動体検出装置。

（付記４）前記消失点特定手段は、前記第２関数の値に対して所定の重みをつけることを特徴とする付記３に記載の移動体検出装置。

（付記５）前記消失点特定手段は、前記カメラのレンズ曲率に基づいて、前記消失点候補線を補正することを特徴とする付記２、３または４に記載の移動体検出装置。

（付記６）前記消失点特定手段によって特定された消失点の数に基づいて部分領域画像の数を判定する部分領域数判定手段を更に備え、前記部分領域記憶手段は、前記部分領域数判定手段の判定結果に基づいて前記部分領域画像を記憶することを特徴とする付記２〜５のいずれか一つに記載の移動体検出装置。

（付記７）移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
前記移動体検出装置は、
前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
前記記憶装置に記憶された画像に基づいて、当該画像内の消失点を特定する消失点特定ステップと、
前記消失点を含む所定の範囲の画像を部分領域画像として記憶装置に記憶する部分領域記憶ステップと、
前記記憶装置に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出ステップと、
を含んでいることを特徴とする移動体検出方法。

（付記８）前記消失点特定ステップは、前記カメラの特徴量を基にして消失点候補線を生成し、前記部分領域画像内から直線を抽出し、前記消失点候補線と前記直線との交点を前記消失点として特定することを特徴とする付記７に記載の移動体検出方法。

（付記９）前記消失点特定ステップは、消失点の候補となる候補消失点と前記部分領域画像内から抽出される直線との距離を示す第１関数と、前記候補消失点と前記カメラの特徴量を基にして生成される消失点候補線との距離を示す第２関数とを基にして、前記第１、２関数の値の和が最小値となる候補消失点を消失点として特定することを特徴とする付記７に記載の移動体検出方法。

（付記１０）前記消失点特定ステップは、前記第２関数の値に対して所定の重みをつけることを特徴とする付記９に記載の移動体検出方法。

（付記１１）前記消失点特定ステップは、前記カメラのレンズ曲率に基づいて、前記消失点候補線を補正することを特徴とする付記８、９または１０に記載の移動体検出方法。

（付記１２）前記消失点特定ステップによって特定された消失点の数に基づいて部分領域画像の数を判定する部分領域数判定ステップを更に含み、前記部分領域記憶ステップは、前記部分領域数判定ステップの判定結果に基づいて前記部分領域画像を記憶装置に記憶することを特徴とする付記８〜１１のいずれか一つに記載の移動体検出方法。

（付記１３）コンピュータに、
移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
前記記憶装置に記憶された画像に基づいて、当該画像内の消失点を特定する消失点特定手順と、
前記消失点特定手順によって特定された消失点を含む所定の範囲の画像を部分領域画像として記憶装置に記憶する部分領域記憶手順と、
前記記憶装置に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出手順と、
を実行させることを特徴とする移動体検出プログラム。

（付記１４）前記消失点特定手順は、前記カメラの特徴量を基にして消失点候補線を生成し、前記部分領域画像内から直線を抽出し、前記消失点候補線と前記直線との交点を前記消失点として特定することを特徴とする付記１３に記載の移動体検出プログラム。

（付記１５）前記消失点特定手順は、消失点の候補となる候補消失点と前記部分領域画像内から抽出される直線との距離を示す第１関数と、前記候補消失点と前記カメラの特徴量を基にして生成される消失点候補線との距離を示す第２関数とを基にして、前記第１、２関数の値の和が最小値となる候補消失点を消失点として特定することを特徴とする付記１３に記載の移動体検出プログラム。

（付記１６）前記消失点特定手順は、前記第２関数の値に対して所定の重みをつけることを特徴とする付記１５に記載の移動体検出プログラム。

（付記１７）前記消失点特定手順は、前記カメラのレンズ曲率に基づいて、前記消失点候補線を補正することを特徴とする付記１４、１５または１６に記載の移動体検出プログラム。

（付記１８）前記消失点特定手順によって特定された消失点の数に基づいて部分領域画像の数を判定する部分領域数判定手順を更にコンピュータに実行させ、前記部分領域記憶手順は、前記部分領域数判定手順の判定結果に基づいて前記部分領域画像を記憶装置に記憶することを特徴とする付記１４〜１７のいずれか一つに記載の移動体検出プログラム。

以上のように、本発明にかかる移動体検出装置、移動体検出方法および移動体検出プログラムは、画像上の移動体を検出する移動体検出システムなどに有用であり、特に、製造コストを抑えつつ、移動体の検出精度を向上させる必要がある場合に適している。

運転手の死角を説明するための図である。 ＢＣＭによる映像例を示す図である。 本実施例１にかかる移動体検出装置の概要および特徴を説明するための図である。 右折を行った場合の消失点の移動を説明するための図である。 本実施例１にかかる移動体検出装置の構成を示す図である。 画像内に設定される基準消失点を説明するための図である。 車両に設置されたカメラの撮影可能な角度を示す図である。 カメラが設置された車両の側面図を示す図である。 画像内に設定される消失点候補線を説明するための図である。 部分領域画像記憶部が記憶するデータの一例を示す図である。 消失点算出部の処理を説明するための図である。 本実施例１にかかる移動体検出装置の処理手順を示すフローチャートである。 その他の部分領域画像抽出を説明するための図である。 実施例１にかかる移動体検出装置を構成するコンピュータのハードウェア構成を示す図である。

符号の説明

１０，２０，２５ 車両
２６ カメラ（ＢＣＭ）
３０，４０，５０ 消失点
６０，６１，６２，９０ 画像
７０ 消失点移動図
８０ａ，８０ｂ，８０ｃ 基準消失点
９１，９２，９３，９４ 部分領域
１００ 移動体検出装置
１０１ 基準消失点記憶部
１０２ 消失点候補線算出部
１０３ 部分領域画像記憶部
１０４ 画像入力部
１０５ 直線検出部
１０６ 消失点算出部
１０７ 部分領域数制御部
１０８ 部分領域画像抽出部
１０９ 移動体検出部
１１０ 移動体通知部

Claims (6)

1. 移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置であって、
   前記カメラの特徴量を基にして、前記移動体が旋回する場合の前記移動体の右側または左側の消失点を起点とする消失点の移動軌跡を示す消失点候補線を生成し、前記消失点候補線と、前記画像から順次抽出される直線との交点をそれぞれ消失点として特定する消失点特定手段と、
   前記消失点特定手段によって特定された消失点を含む所定の範囲の画像を部分領域画像として記憶する部分領域記憶手段と、
   前記部分領域記憶手段に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出手段と、
   を備えたことを特徴とする移動体検出装置。
2. 前記消失点特定手段は、消失点の候補となる候補消失点と前記部分領域画像内から抽出される直線との距離を示す第１関数と、前記候補消失点と前記カメラの特徴量を基にして生成される消失点候補線との距離を示す第２関数とを基にして、前記第１、２関数の値の和が最小値となる候補消失点を消失点として特定することを特徴とする請求項１に記載の移動体検出装置。
3. 前記消失点特定手段は、前記第２関数の値に対して所定の重みをつけることを特徴とする請求項２に記載の移動体検出装置。
4. 前記消失点特定手段は、前記カメラのレンズ曲率に基づいて、前記消失点候補線を補正することを特徴とする請求項２または３に記載の移動体検出装置。
5. 移動体に搭載されたカメラによって撮影された画像から移動体を検出する移動体検出装置の移動体検出方法であって、
   前記移動体検出装置は、
   前記カメラによって撮影された画像を記憶装置に記憶する記憶ステップと、
   前記カメラの特徴量を基にして、前記移動体が旋回する場合の前記移動体の右側または左側の消失点を起点とする消失点の移動軌跡を示す消失点候補線を生成し、前記消失点候補線と、前記画像から順次抽出される直線との交点をそれぞれ消失点として特定する消失点特定ステップと、
   前記消失点を含む所定の範囲の画像を部分領域画像として記憶装置に記憶する部分領域記憶ステップと、
   前記記憶装置に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出ステップと、
   を含んでいることを特徴とする移動体検出方法。
6. コンピュータに、
   移動体に搭載されたカメラによって撮影された画像を記憶装置に記憶する記憶手順と、
   前記カメラの特徴量を基にして、前記移動体が旋回する場合の前記移動体の右側または左側の消失点を起点とする消失点の移動軌跡を示す消失点候補線を生成し、前記消失点候補線と、前記画像から順次抽出される直線との交点をそれぞれ消失点として特定する消失点特定手順と、
   前記消失点特定手順によって特定された消失点を含む所定の範囲の画像を部分領域画像として記憶装置に記憶する部分領域記憶手順と、
   前記記憶装置に記憶された部分領域画像に基づいて、前記カメラで撮影された画像内の移動体を検出する移動体検出手順と、
   を実行させることを特徴とする移動体検出プログラム。

Images