JP6986962B2 - カメラずれ検出装置およびカメラずれ検出方法 - Google Patents
カメラずれ検出装置およびカメラずれ検出方法 Download PDFInfo
- Publication number
- JP6986962B2 JP6986962B2 JP2017253756A JP2017253756A JP6986962B2 JP 6986962 B2 JP6986962 B2 JP 6986962B2 JP 2017253756 A JP2017253756 A JP 2017253756A JP 2017253756 A JP2017253756 A JP 2017253756A JP 6986962 B2 JP6986962 B2 JP 6986962B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- deviation
- movement amount
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、カメラずれ検出装置およびカメラずれ検出方法に関する。
従来、車両等の移動体に搭載されたカメラ(以下、車載カメラという)を用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、例えば、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。
特許文献1には、複数の撮像手段同士間の光軸ずれを検出する技術が開示される。詳細には、2つのカメラの光軸の相対的な軸ずれに起因する視差オフセットは、自車両の直進状態で各カメラにより検知した適宜の静止対象物までの距離の所定時間での変化と、この所定時間でのナビゲーション装置等により検出された自車両の移動量との偏差に応じた値とされることが開示される。
特許文献1における光軸ずれ検出手段では、互いに光軸が平行に配置される2つのカメラ間の光軸ずれを検出することができる。しかしながら、当該光軸ずれ検出手段では、単独の車載カメラにおける、工場出荷時の取付け状態からのずれを検出することはできない。
本発明は、車載カメラの取付け位置や角度のずれを適切に検出することができる技術を提供することを目的とする。
上記目的を達成するために本発明の、移動体に搭載されるカメラの取付けのずれを検出するカメラずれ検出装置は、前記カメラによって所定時間をおいて入力された2つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごと導出する導出部と、複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を推定する移動量推定部と、前記移動量推定部で得られた推定情報と、前記カメラ以外の外部センサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定部と、を備え、前記判定部は、前記外部センサに基づいて前記移動体が動いていると認識されるにもかかわらず前記推定情報により前記移動体が停止していると推定される異常状態が生じた場合に、前記カメラのずれ判定処理を停止する構成(第1の構成)になっている。
上記第1の構成のカメラずれ検出装置において、前記異常状態には、前記外部センサに基づいて前記移動体が動いていると認識されるにもかかわらず、前記導出部で導出された複数の前記オプティカルフローの中に動きが無いと判断される前記オプティカルフローが所定の割合以上存在する場合も含まれる構成(第2の構成)であってよい。
上記第1又は第2の構成のカメラずれ検出装置において、前記判定部は、前記異常状態が少なくとも1回検出された場合に、前記移動体の進行方向が変化するまで前記ずれ判定処理の停止を継続する構成(第3の構成)であることが好ましい。
上記第3の構成のカメラずれ検出装置において、前記移動体の進行方向が変化すると、前記進行方向の変化後に新たに取得された複数の前記オプティカルフローに基づいて、前記移動量推定部による移動量推定と前記判定部による前記ずれ判定処理とが行われる構成(第4の構成)であることが好ましい。
上記第1から第4のいずれかの構成のカメラずれ検出装置において、前記異常状態が生じた際に前記移動体の影の位置が認識できる場合には、前記ずれ判定処理が停止されず、前記影からずれた範囲に位置する前記特徴点を用いて導出される複数の前記オプティカルフローに基づいて、前記移動量推定部による移動量推定と前記判定部による前記ずれ判定処理とが行われる構成(第5の構成)であってよい。
上記第1から第5のいずれかの構成のカメラずれ検出装置において、前記カメラが複数あり、複数の前記カメラのうち一部の前記カメラについて前記異常状態が生じている場合には、前記異常状態が生じていない残りの前記カメラについて、前記ずれ判定処理が行われる構成(第6の構成)であることが好ましい。
上記第1から第6のいずれかの構成のカメラずれ検出装置は、前記移動体の影位置を推定する影位置推定部を更に備え、前記導出部は、推定された前記影位置に基づいて前記特徴点の抽出範囲を設定する構成(第7の構成)であることが好ましい。
上記目的を達成するために本発明の、移動体に搭載されるカメラの取付けずれを検出するカメラずれ検出方法は、前記カメラによって所定時間をおいて入力された2つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごとに導出する導出工程と、複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を推定する推定工程と、前記推定工程で得られた推定情報と、前記カメラ以外のセンサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定工程と、を備え、前記センサに基づいて前記移動体が動いていると認識されるにもかかわらず前記推定工程で前記移動体が停止していると推定される異常状態が生じた場合に、前記判定工程における前記カメラのずれ判定処理が停止される構成(第8の構成)になっている。
本発明によると、車載カメラの取付け位置や角度のずれを適切に検出することができる。
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、移動体として車両を例にとり説明するが移動体であれば車両に限定されない。また以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。
<1.カメラずれ検出システム>
図1は、本発明の実施形態に係るカメラずれ検出システムSYSの構成を示すブロック図である。カメラずれ検出システムSYSは、例えば車両の工場出荷時における取付け状態等、基準となる取付け状態からの車載カメラのずれを検出するシステムである。図1に示すように、カメラずれ検出システムSYSは、カメラずれ検出装置1と、撮影部2と、入力部3と、センサ部4とを備える。
図1は、本発明の実施形態に係るカメラずれ検出システムSYSの構成を示すブロック図である。カメラずれ検出システムSYSは、例えば車両の工場出荷時における取付け状態等、基準となる取付け状態からの車載カメラのずれを検出するシステムである。図1に示すように、カメラずれ検出システムSYSは、カメラずれ検出装置1と、撮影部2と、入力部3と、センサ部4とを備える。
カメラずれ検出装置1は、車載カメラの取付けのずれを検出する装置である。取付けのずれには、取付け位置のずれや取付け角度のずれが含まれる。カメラずれ検出装置1は、車載カメラを搭載する各車両に備えられる。カメラずれ検出装置1は、撮影部2に含まれる車載カメラ21〜24で撮影された撮影画像、および、当該装置1の外部に設けられるセンサ部4からの情報を処理して、車載カメラ21〜24の取付け位置や取付け角度のずれを検出する。カメラずれ検出装置1の詳細については後述する。
なお、カメラずれ検出装置1は、不図示の表示装置や運転支援装置に処理情報を出力してよい。表示装置は、カメラずれ検出装置1から出力される情報に基づいて、適宜、警告等を画面に表示する。運転支援装置は、カメラずれ検出装置1から出力される情報に基づいて、適宜、運転支援機能を停止したり、撮影情報の補正を行って運転支援を行ったりする。運転支援装置は、例えば自動運転を支援する装置、自動駐車を支援する装置、緊急ブレーキを支援する装置等であってよい。
撮影部2は、車両周辺の状況を監視する目的で車両に設けられる。本実施形態では、撮影部2は、4つの車載カメラ21〜24を備える。各車載カメラ21〜24は、有線または無線によってカメラずれ検出装置1に接続される。図2は、車載カメラ21〜24が車両7に配置される位置を例示する図である。図2は、車両7を上から見た図である。
車載カメラ21は車両7の前端に設けられる。このため、車載カメラ21をフロントカメラ21とも呼ぶ。フロントカメラ21の光軸21aは車両7の前後方向に沿っている。フロントカメラ21は車両7の前方向を撮影する。車載カメラ22は車両7の後端に設けられる。このため、車載カメラ22をバックカメラ22とも呼ぶ。バックカメラ22の光軸22aは車両7の前後方向に沿っている。バックカメラ22は車両7の後方向を撮影する。フロントカメラ21及びバックカメラ22の取付け位置は、車両7の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
車載カメラ23は車両7の左側ドアミラー71に設けられる。このため、車載カメラ23を左サイドカメラ23とも呼ぶ。左サイドカメラ23の光軸23aは車両7の左右方向に沿っている。左サイドカメラ23は車両7の左方向を撮影する。車載カメラ24は車両7の右側ドアミラー72に設けられる。このため、車載カメラ24を右サイドカメラ24とも呼ぶ。右サイドカメラ24の光軸24aは車両7の左右方向に沿っている。右サイドカメラ24は車両7の右方向を撮影する。
各車載カメラ21〜24は魚眼レンズで構成され、水平方向の画角θは180°以上である。このため、車載カメラ21〜24によって、車両7の水平方向における全周囲を撮影することができる。なお、本実施形態では、車載カメラの数は4つであるが、この数は適宜変更されてよく、複数でも単数でもよい。例えば、車両7がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、撮影部2が有する車載カメラは、バックカメラ22、左サイドカメラ23、右サイドカメラ24の3つで構成されてよい。
図1に戻って、入力部3は、カメラずれ検出装置1に対する指示を入力可能とする。入力部3は、例えば、タッチパネル、ボタン、レバー等で構成されてよい。入力部3は、有線または無線によってカメラずれ検出装置1に接続される。
センサ部4は、車載カメラ21〜24が搭載される車両7に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部4は、車速センサ41と舵角センサ42とを含む。車速センサ41は、車両7の速度を検出する。舵角センサ42は、車両7のステアリングホイール(ハンドル)の回転角を検出する。車速センサ41および舵角センサ42は、通信バス50を介してカメラずれ検出装置1と繋がる。すなわち、車速センサ41で取得された車両7の速度情報は、通信バス50を介してカメラずれ検出装置1に入力される。舵角センサ42で取得された車両7のステアリングホイールの回転角情報は、通信バス50を介してカメラずれ検出装置1に入力される。なお、通信バス50は、例えばCAN(Controller Area Network)バスであってよい。
<2.カメラずれ検出装置>
図1に示すように、カメラずれ検出装置1は、画像取得部11と、制御部12と、記憶部13とを備える。
図1に示すように、カメラずれ検出装置1は、画像取得部11と、制御部12と、記憶部13とを備える。
画像取得部11は、4つの車載カメラ21〜24のそれぞれから、撮影画像を取得する。画像取得部11は、アナログの撮影画像をデジタルの撮影画像に変換するA/D変換機能などの基本的な画像処理機能を有する。画像取得部11は、取得した撮影画像に所定の画像処理を行い、処理後の撮影画像を制御部12に入力する。
制御部12は、例えばマイクロコンピュータであり、カメラずれ検出装置1の全体を統括的に制御する。制御部12は、CPU、RAMおよびROM等を備える。記憶部13は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部13は、ファームウェアとしてのプログラムや各種のデータを記憶する。
詳細には、制御部12は、導出部121と、移動量推定部122と、判定部123とを備える。すなわち、カメラずれ検出装置1は、導出部121と、移動量推定部122と、判定部123とを備える。制御部12が備えるこれら各部121〜123の機能は、例えば記憶部13に記憶されるプログラムに従ってCPUが演算処理を行うことによって実現される。
なお、制御部11の導出部121、移動量推定部122、および、判定部123の少なくともいずれか1つは、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等のハードウェアで構成されてもよい。また、導出部121、移動量推定部122、および、判定部123は、概念的な構成要素である。1つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を1つの構成要素に統合したりしてよい。
導出部121は、車載カメラ21〜24によって所定時間をおいて入力された2つの画像間における特徴点の動きであるオプティカルフロー(動きベクトル)を特徴点ごとに導出する。なお、本実施形態では、車両7は4つの車載カメラ21〜24を有する。このために、導出部121は、各車載カメラ21〜24について、オプティカルフローを特徴点ごとに導出する。特徴点は、撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。特徴点は、例えば路面に描かれた白線のエッジ、路面上のひび、路面上のしみ、路面上の砂利等である。特徴点は、通常、1つの撮影画像の中に多数存在する。導出部121は、例えば、ハリスオペレータ等の公知の手法を用いて撮影画像の特徴点を導出する。
移動量推定部122は、複数のオプティカルフローに基づいて車載カメラ21〜24を搭載する車両7の移動量を推定する。詳細には、移動量推定部122は、統計処理を用いて車両7の移動量を推定する。なお、本実施形態では、車両7が4つの車載カメラ21〜24を有するために、移動量推定部122は、車載カメラ21〜24ごとに、車両7の移動量の推定値を求める。本実施形態では、移動量推定部122が行う統計処理は、ヒストグラムを用いた処理である。ヒストグラムを用いた移動量の推定処理の詳細については後述する。
判定部123は、移動量推定部122で得られた推定情報と、車載カメラ21〜24以外の外部センサから入力される車両7の移動に関わる実測情報とに基づいて車載カメラ21〜24のずれを判定する。なお、本実施形態では、車両7が4つの車載カメラ21〜24を有するために、判定部123は、車載カメラ21〜24ごとにカメラずれの判定を行う。
本実施形態では、判定部123は、移動量推定部122で得られた推定情報と、車速センサ41から入力される車両7の速度情報とに基づいて車載カメラ21〜24のずれを判定する。すなわち、本実施形態においては、実測情報は、通信バス50を介して判定部123に入力される車両7の速度情報を含む。これによれば、車両7の実際の移動量を簡単且つ正確に取得することができる。
なお、車両7の移動に関わる実測情報は、車速センサ41から取得される車両7の速度情報に限定されない。例えば、車両7の移動に関わる実測情報は、GPS(Global Positioning System)受信機から取得される車両7の移動距離情報(移動量情報)であってもよい。また、車両7の移動に関わる実測情報は、1つの情報ではなく、複数の情報であってよい。例えば、車両7の移動に関わる実測情報は、車速センサ41から取得される車両7の速度情報と、舵角センサ42から取得される車両7におけるステアリングホイールの回転角情報との2つの情報であってもよい。
本実施形態の構成によれば、カメラずれ検出装置1は、車載カメラ21〜24の撮影画像と、車速センサ41等の車両7が既に備えるセンサを用いてカメラずれを検出することができるために、カメラずれを検出するための構成に要するコストを抑制することができる。また、本実施形態の構成では、撮影画像の大部分が路面であると想定することで、路面の特徴点のオプティカルフローを利用した統計処理によって、カメラずれを検出することができる。
図3は、カメラずれ検出装置1によるカメラずれの検出フローの一例を示すフローチャートである。なお、本実施形態では、4つの車載カメラ21〜24のそれぞれについて、図3に示すカメラずれの検出フローが実施される。重複説明を避けるために、ここでは、フロントカメラ21の場合を代表例として、カメラずれの検出フローを説明する。
図3に示すように、まず、制御部12は、フロントカメラ21を搭載する車両7が直進しているか否かを確認する(ステップS1)。車両7が直進しているか否かは、例えば、舵角センサ42から得られるステアリングホイールの回転角情報に基づいて判断することができる。例えば、ステアリングホイールの回転角がゼロの時に車両7が完全にまっすぐに進むとした場合に、回転角がゼロの場合だけなく、回転角がプラス方向とマイナス方向の一定範囲内の回転である場合を含めて、車両7が直進していると判断してよい。なお、直進には、前進方向の直進と、後退方向の直進との両方が含まれる。
制御部12は、車両7が直進していると判断されるまで、ステップS1の確認を繰り返す。車両7が直進走行しない限り、カメラずれを判定するための情報が取得されない。換言すると、判定部123による車載カメラ(フロントカメラ)21のずれ判定は、車載カメラ以外の外部センサ(ここでは舵角センサ42)によって車両7が直進していると判断される場合に取得された情報を用いて行われる。これによれば、車両7の進行方向が曲がっている場合の情報を用いてカメラずれの判定が行われないために、カメラずれを判定するための情報処理が複雑になることを避けられる。
車両7が直進していると判断される場合(ステップS1でYes)、制御部12は、車両7の速度が所定速度範囲内であるか否かを確認する(ステップS2)。所定速度範囲は、例えば時速3km以上時速5km以下である。本実施形態では、車両7の速度は、車載カメラ21〜24以外の外部センサである車速センサ41によって取得することができる。なお、ステップS1とステップS2とは、順番が入れ替わってもよい。また、ステップS1とステップS2とは同時に処理が行われてもよい。
制御部12は、車両7の速度が所定速度範囲外である場合(ステップS2でNo)、ステップS1に戻って車両7の直進判断を行う。車両7の速度が所定速度範囲内でない限り、カメラずれを判定するための情報が取得されない。換言すると、判定部123による車載カメラ(フロントカメラ)21のずれ判定は、車載カメラ21〜24以外の外部センサ(ここでは車速センサ41)によって車両7が所定速度範囲内で走行していると判断される場合に取得された情報を用いて行われる。例えば、車両7の速度が速すぎると、オプティカルフローの導出が不確かになり易くなる。一方で、車両7の速度が遅すぎると、車速センサ41から取得される車両7の速度の信頼性が低下する。この点、本実施形態の構成によれば、車両7の速度が速すぎる場合や遅すぎる場合を除いてカメラずれの判定を行うことができるために、カメラずれの判定の信頼性を向上することができる。
なお、所定速度範囲は設定変更可能であることが好ましい。これによれば、所定速度範囲を各車両に適した値にすることができ、カメラずれの判定の信頼性を向上することができる。本実施形態では、所定速度範囲の設定は入力部3によって行うことができる。
車両7が所定速度範囲内で走行していると判断される場合(ステップS2でYes)、導出部121によって特徴点の抽出が行われる(ステップS3)。換言すると、車両7が所定の低速で直進走行している場合に、導出部121によって特徴点の抽出が行われる。導出部121による特徴点の抽出は、例えば、停止している車両7が動き出す場合や、走行している車両7が止まる場合等に行われる。
図4は、特徴点FPを抽出する手法を説明するための図である。図4は、フロントカメラ21で撮影される撮影画像Pを模式的に示している。特徴点FPは路面RS上に存在する。図4においては、特徴点FPの数は2つとされているが、この数は便宜的なものであり、実際の数を示すものではない。通常、多数の特徴点が取得される。図4に示すように、導出部121は特徴点FPを所定領域RE内で抽出する。所定領域REは、撮影画像Pの中心部Cを含む広範囲に設定される。これにより、特徴点FPの発生箇所が均一でなく偏った範囲である場合でも、特徴点FPを抽出することができる。なお、所定領域REは、車両7のボディBOが映る領域は避けて設定される。
特徴点FPが抽出されると、導出部121は、抽出した特徴点FPごとにオプティカルフローを導出する(ステップS4)。図5は、オプティカルフローOFを導出する手法を説明するための図である。図5は、図4と同様に便宜的に示された模式図である。図5は、図4に示す撮影画像(前フレームP)の撮影後、所定時間が経過した後にフロントカメラ21で撮影された撮影画像(現フレームP´)である。図4に示す撮影画像Pの撮影後、所定時間が経過するまでの間に、車両7は後退している。図5に示す破線の丸印は、図4に示す撮影画像Pの撮影時点における特徴点FPの位置を示す。
図5に示すように、車両7が後退すると、車両7の前方に存在する特徴点FPは車両7から離れる。すなわち、特徴点FPは、現フレームP´と前フレームPとで異なる位置に現れる。導出部11は、現フレームP´の特徴点FPと前フレームPの特徴点FPとを、その近傍の画素値に基づいて対応付け、対応付けた特徴点FPのそれぞれの位置に基づいてオプティカルフローOFを導出する。
オプティカルフローOFが導出されると、移動量推定部122は、カメラ座標系で得られた各オプティカルフローOFを、ワールド座標系のオプティカルフローに変換する(ステップS5)。図6は、座標変換処理を説明するための図である。図6に示すように、移動量推定部122は、フロントカメラ21の位置(視点VP1)から見たオプティカルフローOFを、車両7が存在する路面の上方の視点VP2から見たオプティカルフローOF_Cに変換する。移動量推定部122は、撮影画像Pにおける各オプティカルフローOFを、路面に相当する仮想平面RS_Vに投影することで、ワールド座標系のオプティカルフローOF_Cに変換する。
次に、移動量推定部122は、ワールド座標系の各オプティカルフローOF_Cに基づいてヒストグラムを生成する(ステップS6)。本実施形態では、移動量推定部122は、各オプティカルフローOF_Cを前後方向と左右方向との2成分に分けて、第1ヒストグラムと第2ヒストグラムとを生成する。図7は、移動量推定部122によって生成される第1ヒストグラムHG1の一例を示す図である。図8は、移動量推定部122によって生成される第2ヒストグラムHG2の一例を示す図である。なお、図7および図8はカメラずれが発生していない場合に得られるヒストグラムを示す。
図7に示す第1ヒストグラムHG1は、各オプティカルフローOF_Cの前後方向成分に基づいて得られたヒストグラムである。第1ヒストグラムHG1は、オプティカルフローOF_Cの数を度数とし、前後方向への移動量(オプティカルフローOF_Cの前後方向成分の長さ)を階級とするヒストグラムである。図8に示す第2ヒストグラムHG2は、オプティカルフローOF_Cの左右方向成分に基づいて得られたヒストグラムである。第2ヒストグラムHG2は、オプティカルフローOF_Cの数を度数とし、左右方向への移動量(オプティカルフローOF_Cの左右方向成分の長さ)を階級とするヒストグラムである。
図7および図8は、カメラずれが発生しておらず、車両7が後方に直進した場合に得られるヒストグラムである。このために、第1ヒストグラムHG1は、後退側の特定の移動距離(階級)に偏って度数が多くなっている。一方、第2ヒストグラムHG2は、移動量ゼロの近傍の階級に偏って度数が多くなっている。
図9は、カメラずれが発生した場合のヒストグラムの変化を例示する図である。図9は、フロントカメラ21がチルト方向(鉛直方向)に回転してずれた場合を例示する。図9において、上段(a)はカメラずれが発生していない場合(正常時)の第1ヒストグラムHG1であり、下段(b)はカメラずれが発生した場合の第1ヒストグラムHG1である。フロントカメラ21のチルト方向の回転ずれは、主にオプティカルフローOF_Cの前後方向成分に影響を与える。図9に示す例では、フロントカメラ21のチルト方向の回転ずれによって、度数が大きくなる階級が正常時に比べて前方側にずれている。
なお、フロントカメラ21のチルト方向の回転ずれは、オプティカルフローOF_Cの左右方向成分に対する影響は小さい。このために、図示は省略するが、第2ヒストグラムHG2のカメラずれ前後の変化は、第1ヒストグラムHG1の場合に比べて小さい。ただし、これは、フロントカメラ21がチルト方向にずれた場合の話であり、フロントカメラ21が、例えばパン方向(水平方向)やロール方向(光軸を中心とする回転方向)等にずれを生じた場合には、異なったヒストグラム変化が発生する。
移動量推定部122は、生成したヒストグラムHG1、HG2によって車両7の移動量を推定する(ステップS7)。本実施形態では、移動量推定部122は、第1ヒストグラムHG1によって、車両7の前後方向の移動量を推定する。移動量推定部122は、第2ヒストグラムHG2によって、車両7の左右方向の移動量を推定する。すなわち、移動量推定部122で得られた推定情報には、車両7の前後方向および左右方向の移動量の推定値が含まれる。これによれば、車両7の前後方向および左右方向の移動量の推定値を用いてカメラずれの検出を行うことができるために、カメラずれの検出結果の信頼性を向上することができる。なお、本実施形態では、特定の条件下で抽出される特徴点が路面RS上に存在するとの前提の下に車両7の移動量を推定する。
本実施形態では、移動量推定部122は、第1ヒストグラムHG1の中央値(メジアン)を前後方向の移動量の推定値とする。移動量推定部122は、第2ヒストグラムHG2の中央値を左右方向の移動量の推定値とする。ただし、移動量推定部122による推定値の決定方法は、これに限定されない。移動量推定部122は、例えば、各ヒストグラムHG1、HG2の度数が最大となる階級を移動量の推定値としてもよい。また、移動量推定部122は、例えば、各ヒストグラムHG1、HG2において、平均値を移動量の推定値としてもよい。
なお、図9に示す例では、一点鎖線はフロントカメラ21が正常である場合の前後方向の移動量の推定値を示し、二点鎖線はカメラずれが発生した場合の前後方向の移動量の推定値を示す。図9に示すように、カメラずれの発生によって、前後方向の移動量の推定値に差Δが生じていることがわかる。
移動量推定部122で車両7の移動量の推定値が得られると、判定部123はフロントカメラ21のずれ判定を行う(ステップS8)。判定部123は、車両7の前後方向の移動量と、車両7の左右方向の移動量と、車両7の前後方向および左右方向の移動量に基づいて得られる特定量とのうち少なくともいずれか1つについて、移動量推定部122で得られた推定値と、車載カメラ21〜24以外の外部センサから入力される車両7の移動に関わる実測情報によって得られる値との差が所定の閾値以上になった場合に、車載カメラ(フロントカメラ)21のずれが発生していると判定する。これによれば、車載カメラから得られる車両7の移動量の推定値と、外部センサを用いた実測情報から得られる車両7の移動量とを比較して、車載カメラのずれを適切に検出することができる。
本実施形態では、車載カメラ21〜24以外の外部センサから入力される車両7の移動に関わる実測情報は、車速センサ41から入力される車両7の速度情報である。この速度情報から推定値と比較する車両7の移動量が算出される。詳細には、当該移動量は、オプティカルフローOFを導出するための2つの撮影画像の撮影時間間隔と、その間の車速センサ41によって得られる車両7の速度とによって算出される。また、当該移動量は、移動量推定部122で得られる移動量の推定値が前後方向と左右方向との2つであることに対応して、前後方向と左右方向との2つの値が存在する。ただし、本実施形態では、車両7が前後方向に直進している場合にオプティカルフローOFを導出するための撮影画像を撮影する構成であるために、この間に車両7は左右方向に移動しておらず、速度情報から算出される左右方向の移動量は常にゼロになる。
図10は、判定部123によって行われるカメラずれ判定処理の一例を示すフローチャートである。まず、判定部123は、前後方向の移動量について、移動量推定部122で推定された推定値と、車速センサ41から得られる車両7の速度情報によって求められる値との差の大きさが第1閾値より小さいか否かを確認する(ステップS11)。両者の差の大きさが第1閾値以上である場合(ステップS11でNo)、判定部123は、フロントカメラ21の取付け状態が異常であり、カメラずれが生じていると判定する(ステップS15)。一方、両者の差の大きさが第1閾値より小さい場合(ステップS11でYes)、判定部123は、前後方向の移動量からは異常が検出されないと判定する。
前後方向の移動量から異常が検出されない場合、判定部123は、左右方向の移動量について、移動量推定部122で推定された推定値と、車速センサ41から得られる車両7の速度情報によって求められる値との差の大きさが第2閾値より小さいか否かを確認する(ステップS12)。両者の差の大きさが第2閾値以上である場合(ステップS12でNo)、判定部123は、フロントカメラ21の取付け状態が異常であり、カメラずれが生じていると判定する(ステップS15)。一方、両者の差の大きさが第2閾値より小さい場合(ステップS12でYes)、判定部123は、左右方向の移動量からは異常が検出されないと判定する。
左右方向の移動量からも異常が検出されない場合、判定部123は、前後方向および左右方向の移動量に基づいて得られる特定量について、移動量推定部122で推定された推定値と、車速センサ41から得られる車両7の速度情報によって求められる値との差の大きさが第3閾値より小さいか否かを確認する(ステップS13)。本実施形態では、特定量は、前後方向の移動量を二乗して得られる値と、左右方向の移動量を二乗して得られる値との和の平方根値である。ただし、これは例示にすぎず、特定量は、例えば、前後方向の移動量を二乗して得られる値と、左右方向の移動量を二乗して得られる値との和であってもよい。
特定量の推定値と、速度情報によって求められる値との差の大きさが第3閾値以上である場合(ステップS13でNo)、判定部123は、フロントカメラ21の取付け状態が異常であり、カメラずれが生じていると判定する(ステップS15)。一方、両者の差の大きさが第3閾値より小さい場合(ステップS13でYes)、判定部123は、フロントカメラ21の取付け状態は正常であると判定する(ステップS14)。
本実施形態では、前後方向の移動量、左右方向の移動量、および、特定量のうち、いずれか1つでも、移動量推定部122で得られる推定値と、速度情報によって得られる値との比較により異常が認められると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、前後方向の移動量、左右方向の移動量、および、特定量の全てにおいて、移動量推定部122で得られる推定値と、速度情報から得られる値との比較により異常が認められる場合に限って、カメラずれが発生していると判定する構成としてもよい。カメラずれの判定基準は、入力部3によって適宜変更することができることが好ましい。
本実施形態では、前後方向の移動量、左右方向の移動量、および、特定量について、推定値と速度情報から得られる値との比較を順番に行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動量、左右方向の移動量、および、特定量について、推定値と速度情報から得られる値との比較を順番に行う構成の場合、その順番は特に限定されず、図10に示す順番とは異なる順番とされてもよい。なお、本実施形態では、移動量に基づいてカメラずれを判定したが、速度に基づいてカメラずれを判定してもよい。この場合、オプティカルフローから推定した移動量と、オプティカルフローの算出に使用したフレーム間の時間を基に前後方向および左右方向の速度を推定し、車速センサ41から得られる車両7の速度と比較することでカメラずれを判定すればよい。この場合の車速センサ41から得られる車両7の速度は前後方向の速度であり、左右方向の速度は0である。すなわち、本実施形態では、移動量と速度は同義である。
なお、カメラずれが検出された場合、カメラずれ検出装置1は、そのことを運転者等に報知するための処理を行うことが好ましい。また、カメラずれ検出装置1は、車載カメラ21〜24からの情報を用いて運転支援を行う運転支援装置に、カメラずれが発生していることを通知する処理を行うことが好ましい。本実施形態では、4つの車載カメラ21〜24が存在するが、4つの車載カメラ21〜24のうちの1つでもカメラずれが発生した場合には、上記報知処理及び通知処理を行うことが好ましい。
<3.異常状態に関する処理>
図11は、車載カメラ21〜24で撮影される撮影画像Pの模式図である。図11に示すように、車載カメラ21〜24で撮影される撮影画像Pには、車両7(自車両)の影SHが映ることがある。例えば、日射方向が車両7の進行方向の後方から前方に向く場合、フロントカメラ21に車両7の影SHが映ることがある。図11に示すように、影SHが特徴点FPを抽出する所定領域RE内に入ると、導出部121が影SHに由来する特徴点FPを抽出することがある。影SHに由来する特徴点FPは車両7とともに移動するために、当該特徴点FPに基づくオプティカルフローOFの大きさはゼロとなり、車両7の動きを反映しない。
図11は、車載カメラ21〜24で撮影される撮影画像Pの模式図である。図11に示すように、車載カメラ21〜24で撮影される撮影画像Pには、車両7(自車両)の影SHが映ることがある。例えば、日射方向が車両7の進行方向の後方から前方に向く場合、フロントカメラ21に車両7の影SHが映ることがある。図11に示すように、影SHが特徴点FPを抽出する所定領域RE内に入ると、導出部121が影SHに由来する特徴点FPを抽出することがある。影SHに由来する特徴点FPは車両7とともに移動するために、当該特徴点FPに基づくオプティカルフローOFの大きさはゼロとなり、車両7の動きを反映しない。
すなわち、上述したオプティカルフローOFを用いたカメラずれの検出方法においては、外部センサ(例えば車速センサ41)に基づいて車両7が動いていると認識されるにもかかわらず移動量推定部122で取得される推定情報により車両7が停止していると推定される異常状態が生じる場合がある。この異常状態は、カメラずれが生じていない場合にも発生するために、カメラずれを誤検出する可能性がある。このために、判定部123は、異常状態が生じた場合に、車載カメラ21〜24のずれ判定処理を停止することが好ましい。これによれば、カメラずれが生じていないにもかかわらず、カメラずれが生じていると判定する誤判定の発生を抑制できる。
図12は、図3に示すカメラずれの検出フローとは異なる第1実施例を示すフローチャートである。なお、4つの車載カメラ21〜24のそれぞれについて、図12に示すカメラずれの検出フローが実施される。図12に示す例では、ステップS1からステップS7までは、図3に示す例と同じ処理が行われる。これらの処理は上述した処理と同一であるために、説明を省略する。図12に示す例では、ステップS7の移動量推定処理の後に、異常状態確認処理が行われる(ステップS21)。異常状態確認処理は、例えば判定部123によって行われるが、これに限らず、例えば移動量推定部122によって行われてもよい。
判定部123は、例えば車速センサ41から得られる速度情報に基づいて、オプティカルフローOFを導出するための2つの撮影画像の撮影時間間隔に、車両7が前後方向に移動したか否かを確認する。ただし、本実施形態では、オプティカルフローOFを導出するための撮影画像は、センサ部4から得られる情報によって車両7が前後方向に移動していることを検出した場合に行われるために、判定部123は、上述の車両7が前後方向に移動したか否かの確認は実質的に行われない。すなわち、判定部123は、移動量推定部122によって得られる前後方向の移動量推定値によって、車両7が停止していると推定されるか否かのみを確認する。判定部123は、車両7が停止していると推定される場合、異常状態を検出する。一方、判定部123は、車両7が停止していないと推定される場合、異常状態を検出しない。なお、前後方向の移動量推定値がゼロの場合のみならず、ゼロ近傍の場合にも、車両7が停止していると推定されてよい。
異常状態が検出されなかった場合(ステップS21でNo)、判定部123は、上述したステップS8のずれ判定処理を行う。一方、異常状態が検出された場合(ステップS21でYes)、判定部123は、ずれ判定処理を停止する(ステップS22)。すなわち、判定部123は、ずれ判定処理を行わない。なお、本実施形態では、車載カメラ21〜24は複数である。複数の車載カメラ21〜24のうち一部の車載カメラについて異常状態が生じている場合には、異常状態が生じていない残りの車載カメラについて、ずれ判定処理が行われる。これにより、複数の車載カメラ21〜24のカメラずれについて、効率良く検出することができる。
カメラずれの判定処理が停止された後、ずれ判定処理の停止が継続されるか否かが確認される(ステップS23)。当該確認処理は、例えば判定部123によって行われる。詳細には、判定部123は、舵角センサ42から得られる情報によって車両7の進行方向を監視する。判定部123は、車両7の進行方向が一定である場合、ずれ判定処理の停止を継続すると判断する(ステップS23でYes)。判定部123は、車両7の進行方向が変わるまで、ステップS23の確認処理を繰り返す。判定部123は、車両7の進行方向が変化した場合、ずれ判定処理の停止を継続しないと判断する(ステップS23でNo)。換言すると、判定部123は、車両7の進行方向が変化するまで、ずれ判定処理の停止を継続する。なお、判定部123は、例えば、舵角センサ42から得られる情報によって車両7の進行方向が所定の角度以上変化したと判断される場合に、車両7が進行方向を変化したと判断する。
異常状態が車両7の影SHによって発生している場合、車両7の進行方向が一定であれば、再判定を行っても、車両7の影SHに起因する異常状態が再度検出される可能性が高い。このために、車両7の進行方向が変化するまで、ずれ判定処理の停止を継続することによって、異常状態が繰り返し検出されることを抑制できる。
なお、上記例では、異常状態が1回検出された時点で、ずれ判定処理が停止される構成である。しかし、異常状態が複数回続けて検出された場合に、ずれ判定処理が停止される構成としてもよい。すなわち、判定部123は、異常状態が少なくとも1回検出された場合に、車両7の進行方向が変化するまでずれ判定処理の停止を継続してもよい。
また、車両7の進行方向は、例えば、舵角センサ42からの情報に替えてGPSセンサからの情報を用いて監視されてもよい。また、車両7の進行方向は、例えば、舵角センサ42からの情報に加えてGPSセンサからの情報も用いて監視されてよい。
また、異常状態には、外部センサ(例えば車速センサ41)に基づいて車両7が動いていると認識されるにもかかわらず、導出部121で導出された複数のオプティカルフローOFの中に動きが無いと判断されるオプティカルフローOFが所定の割合以上存在する場合も含まれてよい。所定の割合は、実験やシミュレーション等によって適宜決定されてよい。車両7が動いているにもかかわらず、導出部121で導出された複数のオプティカルフローOFの中に動きが無いと判断されるオプティカルフローOFが多数存在する場合、移動量推定部122の移動量推定値の信頼性が低下し、誤ってカメラずれを検出する可能性が高くなる。本構成によれば、車両7の移動量推定値の信頼性が低いと予想される範囲を広げてカメラずれの判定を停止することができるために、カメラずれに関する誤判定が発生する可能性を低減できる。
判定部123によってずれ判定処理の停止を継続しないと判断されると(ステップS23でNo)、ステップS1に戻って、所定のタイミングで撮影画像が取得されて導出部121によるオプティカルフローOFの導出処理が再開される。すなわち、車両7の進行方向が変化すると、進行方向の変化後に新たに取得された複数のオプティカルフローOFに基づいて、移動量推定部122による移動量推定と、判定部123によるずれ判定処理が行われる。これによれば、車両7の影SHが映っていない撮影画像を用いてオプティカルフローOFを導出できる可能性が高く、カメラずれに関する誤判定が生じる可能性を低減することができる。なお、図12に示す例では、新たに取得された複数のオプティカルフローOFに基づいて再度異常状態が検出された場合、ずれ判定処理は停止される。
図13は、図3に示すカメラずれの検出フローとは異なる第2実施例を示すフローチャートである。なお、4つの車載カメラ21〜24のそれぞれについて、図13に示すカメラずれの検出フローが実施される。図13に示す例でも、図12に示す例と同様に、ステップS1からステップS7までは、図3に示す例と同じ処理が行われる。また、図13に示す例でも、図12に示す例と同様に、ステップS7の移動量推定処理の後に、異常状態の確認処理が行われる(ステップS21)。異常状態の確認処理は、上述した処理と同じであるために説明を省略する。また、異常状態が検出されなかった場合(ステップS21でNo)の処理(ステップS8)も、上述の処理と同じであるために説明を省略する。
図13に示す例では、図12に示す例とは異なり、異常状態が検出された場合に(ステップS21でYes)、判定部123によるずれ判定処理が即座に停止されるのではなく、ずれ判定処理が停止されるか否かが確認される(ステップS24)。当該確認処理は、例えば判定部123によって行われる。
詳細には、判定部123は、車両7(自車両)の影SHの位置が認識できるか否かを確認する。判定部123は、車両7の影SHの位置が認識できない場合、ずれ判定処理の停止を行うと判断する(ステップS24でYes)。一方、判定部123は、車両7の影SHの位置が認識できる場合、ずれ判定処理の停止を行わないと判断する(ステップS24でNo)。車両7の影SHの位置は、例えば、オプティカルフローOFを取得するために撮影された撮影画像のコントラストに基づいて判断される。この他、車両7の影SHの位置は、例えば、オプティカルフローOFを取得するために撮影された撮影画像の時刻、当該時刻における天気予報、通信バス50を介して取得される車両情報(例えば進行方向)等の、単数又は複数の情報によって判断されてもよい。
ずれ判定処理を停止すると判断された場合(ステップS24でYes)、上述のステップS23が行われる。当該処理は、上述の処理と同じであるために説明を省略する。一方、ずれ判定処理を停止しないと判断された場合(ステップS24でNo)、特徴点抽出範囲を変更する処理が行われる(ステップS25)。
図14は、特徴点抽出範囲REの変更処理について説明するための模式図である。上述のように、ずれ判定処理を停止しないと判断される場合には、車両7の影SHの位置が認識できている。このために、オプティカルフローOFの導出にあたって、車両7の影SHの影響を受けない位置を特定することができる。このために、図14に示すように、車両7の影SHからずれた位置(影SHと重ならない位置)に、特徴点抽出範囲RE´が設定される。
特徴点抽出位置RE´が設定されると、ステップS3に戻って、新たに設定した抽出範囲でオプティカルフローOFが導出され、当該オプティカルフローOFに基づいて、移動量推定部122による移動量推定と判定部123によるずれ判定処理とが行われる。なお、オプティカルフローOFを導出する撮影画像は、先に異常状態を検出するために用いられた撮影画像と同じである。
以上に説明したように、図13に示す例では、異常状態が生じた際に車両7の影SHの位置が認識できる場合には、判定部123によるずれ判定処理を停止せず、影SHからずれた範囲に位置する特徴点FPを用いて導出される複数のオプティカルフローOFに基づいて、移動量推定部122による移動量推定と判定部123によるずれ判定処理とが行われる。これによれば、ずれ判定処理を停止することなく、カメラずれの判定を適切に行うことができる。すなわち、迅速にカメラずれを検出することができる。
<4.変形例等>
<4−1.第1変形例>
以上においては、判定部123によって、カメラずれが生じていると一度判定されただけで、カメラずれが発生しているとの判定を確定し、カメラずれを検出する構成としている。これに限らず、判定部123によってカメラずれが生じていると判定された場合に、少なくとも1回、再判定を行い、再判定によって更にカメラずれが生じていると判定された場合に、カメラずれが発生しているとの判定を確定してもよい。再判定は、単純に、図3に示すステップS1〜S8を少なくとも1回繰り返す構成であってよいが、別の構成であってもよい。再判定は、図12や図13に示す異常状態を検出する手順が追加されたフローにも適用可能である。
<4−1.第1変形例>
以上においては、判定部123によって、カメラずれが生じていると一度判定されただけで、カメラずれが発生しているとの判定を確定し、カメラずれを検出する構成としている。これに限らず、判定部123によってカメラずれが生じていると判定された場合に、少なくとも1回、再判定を行い、再判定によって更にカメラずれが生じていると判定された場合に、カメラずれが発生しているとの判定を確定してもよい。再判定は、単純に、図3に示すステップS1〜S8を少なくとも1回繰り返す構成であってよいが、別の構成であってもよい。再判定は、図12や図13に示す異常状態を検出する手順が追加されたフローにも適用可能である。
図15は、カメラずれの再判定処理の一例について説明するための図である。図15においては特徴点の記載は省略されている。図15に示すように、判定部123は、画像の中心部Cを含む第1領域RE1内の特徴点のオプティカルフローを用いて推定された推定情報に基づいて車載カメラがずれていると判定した場合に、画像の中心部Cを含まない第2領域RE2内の特徴点のオプティカルフローを用いて求められた推定情報によって車載カメラのずれを再判定してよい。再判定で用いる画像は、先のカメラずれの判定に用いた画像と同じであってよいが、場合によっては、先のカメラずれの判定に用いた画像の撮影後に再度撮影された画像であってもよい。
第2領域RE2は、1つでもよいが複数であってもよい。図15に示す例では、第2領域RE2は2つであるが3つ以上であってもよい。第2領域RE2が複数である場合、各第2領域RE2において、導出部121によるオプティカルフローOFの導出、移動量推定部122による移動量の推定情報の取得、および、判定部123によるカメラずれの判定が行われる。第2領域RE2は、第1領域RE1に比べて小さい領域であることが好ましい。
車載カメラ21〜24のカメラずれが生じた場合、画像の中心部Cよりも中心部Cから離れた領域の方が、移動量推定部122によって得られる車両7の移動量と、車速センサ41等のセンサから得られる実測情報によって得られる車両7の移動量との差が大きくなり易い。このために、画像の中心部Cから離れて位置する第2領域RE2を用いた再判定を行うことによって、カメラずれの検出精度を向上することができる。
<4−2.第2変形例>
図16は、カメラずれ検出装置1によるカメラずれの検出フローの変形例を示すフローチャートである。図16に示すステップS1からステップS7の処理は、上述した図3に示す処理と同様であるために説明を省略する。本変形例では、ステップS7によって移動量の推定値を求めた後に、求めた移動量の推定値を先に求めた移動量の累積値に足し合わせる処理が行われる(ステップS9)。当該処理は、例えば移動量推定部122又は判定部123で行われてよい。なお、累積値算出処理は、前後方向の移動量の推定値、および、左右方向の移動量の推定値に対して行われる。また、第1回目の推定値が求められた際には、先に求めた累積値が無いために、累積値算出処理で得られる累積値は、ステップS7で取得した推定値そのものになる。
図16は、カメラずれ検出装置1によるカメラずれの検出フローの変形例を示すフローチャートである。図16に示すステップS1からステップS7の処理は、上述した図3に示す処理と同様であるために説明を省略する。本変形例では、ステップS7によって移動量の推定値を求めた後に、求めた移動量の推定値を先に求めた移動量の累積値に足し合わせる処理が行われる(ステップS9)。当該処理は、例えば移動量推定部122又は判定部123で行われてよい。なお、累積値算出処理は、前後方向の移動量の推定値、および、左右方向の移動量の推定値に対して行われる。また、第1回目の推定値が求められた際には、先に求めた累積値が無いために、累積値算出処理で得られる累積値は、ステップS7で取得した推定値そのものになる。
累積値の算出が行われると、車両7の移動量が所定の移動距離に到達したか否かが確認される(ステップS10)。本変形例では、ここで言う車両7の移動量は、オプティカルフローOFを導出するための2つの画像の撮影時間間隔に車両7が前後方向に移動する量を積算したものである。車両7の前後方向の移動量は、車速センサ41によって得られる速度情報から算出される。当該移動量の積算の開始は、推定値の累積処理の開始に合わせて行われる。車両7の前後方向の移動量が所定の移動距離に到達しない場合(ステップS10でNo)、ステップS1に戻って、ステップS1〜ステップS7およびステップS9が順次行われる。
一方、車両7の前後方向の移動量が所定の移動距離に到達すると(ステップS10でYes)、判定部123によってカメラずれの判定が行われる(ステップS8A)。判定部123は、移動量の推定値として累積値を用いる。本実施形態では、累積値には、前後方向の累積値と、左右方向の累積値とが存在する。比較対象となる値は、オプティカルフローOFを導出するための2つの画像の撮影時間間隔に車両7が移動する量を積算したもので、車速センサ41によって得られる速度情報から算出される。当該値には、前後方向の移動量と、左右方向の移動量とが存在する。ただし、本変形例では、車両7が前後方向に直進している場合にオプティカルフローOFを導出するための撮影画像を撮影する構成であるために、この間に車両7は左右方向に移動しておらず、左右方向の移動量(左右方向の累積値と比較する比較値)はゼロである。
本変形例では、車両7の移動量が所定距離に到達するまで移動量推定部122で得られた推定値を足し合わせて累積値を求める処理が行われ、判定部123は、車両の移動量が所定距離に到達した時点で累積値に基づいて車載カメラのずれを判定する。これによれば、カメラずれが生じている場合に、推定値と、実測情報から得られる値との差が明確に表れるタイミングでずれ判定を行うことができ、ずれ判定の信頼性を向上することができる。なお、本変形例の構成は、図12や図13に示す異常状態を検出する手順が追加されたフローにも適用可能である。
<4−3.第3変形例>
図17は、変形例のカメラずれ検出装置1Aの構成を示すブロック図である。カメラずれ検出装置1Aは、影位置推定部124を更に備える点で、以上に示した実施形態と異なる。影位置推定部124は、制御部12のCPUが記憶部13に記憶されるプログラムに従ってCPUが演算処理を行うことによって実現される機能部である。影位置推定部124は、車両7(自車両)の影位置を推定する。
図17は、変形例のカメラずれ検出装置1Aの構成を示すブロック図である。カメラずれ検出装置1Aは、影位置推定部124を更に備える点で、以上に示した実施形態と異なる。影位置推定部124は、制御部12のCPUが記憶部13に記憶されるプログラムに従ってCPUが演算処理を行うことによって実現される機能部である。影位置推定部124は、車両7(自車両)の影位置を推定する。
なお、影位置の推定は、例えば、時刻、季節、天候、車両7の進行方向等に基づいて行われてよい。季節や天候に関する情報は、例えば、インターネット等を介してサーバ装置等から取得してよい。また、車両7の進行方向については、例えば通信バス50を介して舵角センサ42から得られる情報に基づいて取得してよい。
図18は、変形例のカメラずれ検出装置1Aによるカメラずれの検出フローの一例を示すフローチャートである。カメラずれ検出装置1Aにおいても、図3に示した例と同様に、ステップS1とステップS2とが実行され、車両7が低速で直進走行する場合にオプティカルフローOFを導出するための撮影画像が撮影される。当該撮影画像が撮影されると、影位置推定部124によって影位置の推定が行われる(ステップS31)。
影位置の推定が行われると、導出部121は、推定された影位置に基づいて特徴点FPの抽出範囲を設定する(ステップS31)。詳細には、導出部121は、推定された影位置からずれた位置(影位置と重ならない位置)に特徴点FPの抽出範囲を設定する。この後、上述した図3、図12、図13、又は図16で示すステップS3以降が実行される。
これによれば、影SHによる影響によってオプティカルフローOFに基づく車両7の移動量推定値が不正確になる可能性を低減することができ、カメラずれの判定を迅速且つ適切に行うことができる。
これによれば、影SHによる影響によってオプティカルフローOFに基づく車両7の移動量推定値が不正確になる可能性を低減することができ、カメラずれの判定を迅速且つ適切に行うことができる。
<4−4.その他>
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
以上においては、車載カメラ21〜24のずれ判定に用いるデータは、車両7が直進走行している場合に収集される構成とした。ただし、これは例示であり、車載カメラ21〜24のずれ判定に用いるデータは、車両7が直進走行していない場合に収集されてもよい。車速センサ41から得られる速度情報と舵角センサ42から得られる情報とを用いれば、車両7の前後方向および左右方向の実際の移動量を正確に求めることができるために、車両7が直進走行していない場合でも上述のずれ判定を行うことができる。
また、以上においては、移動量推定部122は、前後方向の移動量の推定値と、左右方向の移動量の推定値とを求める構成としたが、いずれか一方だけを求める構成としてもよい。ただし、いずれか一方だけの推定値を求める構成とする場合には、移動量推定部122は、前後方向の移動量の推定値のみを求めることが好ましい。この場合、例えば、判定部123は、前後方向の移動量について、移動量推定部122で得られる推定値と、センサ部4で取得される実測情報から得られる値とを比較してカメラずれの判定を行ってよい。
1、1A・・・カメラずれ検出装置
7・・・車両
21・・・フロントカメラ(車載カメラ)
22・・・バックカメラ(車載カメラ)
23・・・左サイドカメラ(車載カメラ)
24・・・右サイドカメラ(車載カメラ)
41・・・車速センサ(外部センサ)
42・・・舵角センサ(外部センサ)
121・・・導出部
122・・・移動量推定部
123・・・判定部
124・・・影位置推定部
FP・・・特徴点
OF・・・オプティカルフロー
7・・・車両
21・・・フロントカメラ(車載カメラ)
22・・・バックカメラ(車載カメラ)
23・・・左サイドカメラ(車載カメラ)
24・・・右サイドカメラ(車載カメラ)
41・・・車速センサ(外部センサ)
42・・・舵角センサ(外部センサ)
121・・・導出部
122・・・移動量推定部
123・・・判定部
124・・・影位置推定部
FP・・・特徴点
OF・・・オプティカルフロー
Claims (8)
- 移動体に搭載されるカメラの取付けのずれを検出するカメラずれ検出装置であって、
前記カメラによって所定時間をおいて入力された2つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごと導出する導出部と、
複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を推定する移動量推定部と、
前記移動量推定部で得られた推定情報と、前記カメラ以外の外部センサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定部と、
を備え、
前記判定部は、前記外部センサに基づいて前記移動体が動いていると認識されるにもかかわらず前記推定情報により前記移動体が停止していると推定される異常状態が生じた場合に、前記カメラのずれ判定処理を停止する、カメラずれ検出装置。 - 前記異常状態には、前記外部センサに基づいて前記移動体が動いていると認識されるにもかかわらず、前記導出部で導出された複数の前記オプティカルフローの中に動きが無いと判断される前記オプティカルフローが所定の割合以上存在する場合も含まれる、請求項1に記載のカメラずれ検出装置。
- 前記判定部は、前記異常状態が少なくとも1回検出された場合に、前記移動体の進行方向が変化するまで前記ずれ判定処理の停止を継続する、請求項1又は2に記載のカメラずれ検出装置。
- 前記移動体の進行方向が変化すると、前記進行方向の変化後に新たに取得された複数の前記オプティカルフローに基づいて、前記移動量推定部による移動量推定と前記判定部による前記ずれ判定処理とが行われる、請求項3に記載のカメラずれ検出装置。
- 前記異常状態が生じた際に前記移動体の影の位置が認識できる場合には、前記ずれ判定処理が停止されず、前記影からずれた範囲に位置する前記特徴点を用いて導出される複数の前記オプティカルフローに基づいて、前記移動量推定部による移動量推定と前記判定部による前記ずれ判定処理とが行われる、請求項1から4のいずれか1項に記載のカメラずれ検出装置。
- 前記カメラが複数あり、複数の前記カメラのうち一部の前記カメラについて前記異常状態が生じている場合には、
前記異常状態が生じていない残りの前記カメラについて、前記ずれ判定処理が行われる、請求項1から5のいずれか1項に記載のカメラずれ検出装置。 - 前記移動体の影位置を推定する影位置推定部を更に備え、
前記導出部は、推定された前記影位置に基づいて前記特徴点の抽出範囲を設定する、請求項1から6のいずれか1項に記載のカメラずれ検出装置。 - 移動体に搭載されるカメラの取付けずれを検出するカメラずれ検出方法であって、
前記カメラによって所定時間をおいて入力された2つの画像間における特徴点の動きであるオプティカルフローを前記特徴点ごとに導出する導出工程と、
複数の前記オプティカルフローに基づいて前記カメラを搭載する移動体の移動量を推定する推定工程と、
前記推定工程で得られた推定情報と、前記カメラ以外のセンサから入力される前記移動体の移動に関わる実測情報とに基づいて前記カメラのずれを判定する判定工程と、
を備え、
前記センサに基づいて前記移動体が動いていると認識されるにもかかわらず前記推定工程で前記移動体が停止していると推定される異常状態が生じた場合に、前記判定工程における前記カメラのずれ判定処理が停止される、カメラずれ検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017253756A JP6986962B2 (ja) | 2017-12-28 | 2017-12-28 | カメラずれ検出装置およびカメラずれ検出方法 |
US16/137,011 US10657654B2 (en) | 2017-12-28 | 2018-09-20 | Abnormality detection device and abnormality detection method |
DE102018216144.5A DE102018216144A1 (de) | 2017-12-28 | 2018-09-21 | Anomalieerkennungsvorrichtung und Anomalieerkennungsverfahren |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017253756A JP6986962B2 (ja) | 2017-12-28 | 2017-12-28 | カメラずれ検出装置およびカメラずれ検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019121032A JP2019121032A (ja) | 2019-07-22 |
JP6986962B2 true JP6986962B2 (ja) | 2021-12-22 |
Family
ID=67307844
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017253756A Active JP6986962B2 (ja) | 2017-12-28 | 2017-12-28 | カメラずれ検出装置およびカメラずれ検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6986962B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021059765A1 (ja) * | 2019-09-26 | 2021-04-01 | ソニー株式会社 | 撮像装置、画像処理システム、画像処理方法及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6247569B2 (ja) * | 2014-03-13 | 2017-12-13 | ヤマハ発動機株式会社 | 距離推定装置およびそれを備えた車両 |
JP6396714B2 (ja) * | 2014-08-06 | 2018-09-26 | 株式会社デンソー | 物体認識装置 |
JP6361366B2 (ja) * | 2014-08-18 | 2018-07-25 | 株式会社デンソー | 物体認識装置 |
-
2017
- 2017-12-28 JP JP2017253756A patent/JP6986962B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019121032A (ja) | 2019-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5421072B2 (ja) | 接近物体検知システム | |
JP2019191806A (ja) | 異常検出装置および異常検出方法 | |
JP4962581B2 (ja) | 区画線検出装置 | |
US10657654B2 (en) | Abnormality detection device and abnormality detection method | |
JP2019191807A (ja) | 異常検出装置および異常検出方法 | |
US20200090347A1 (en) | Apparatus for estimating movement information | |
JP2001028056A (ja) | フェールセーフ機能を有するステレオ式車外監視装置 | |
JP7270499B2 (ja) | 異常検出装置、異常検出方法、姿勢推定装置、および、移動体制御システム | |
JP2009277021A (ja) | 接近物検出装置および接近物検出方法 | |
JP2019219719A (ja) | 異常検出装置および異常検出方法 | |
JP7009209B2 (ja) | カメラずれ検出装置、カメラずれ検出方法および異常検出装置 | |
JP2020060531A (ja) | 異常検出装置、異常検出システム、および、異常検出方法 | |
US10706586B2 (en) | Vision system for a motor vehicle and method of controlling a vision system | |
JP2019191808A (ja) | 異常検出装置および異常検出方法 | |
JP5107154B2 (ja) | 運動推定装置 | |
JP6986962B2 (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
JP6981881B2 (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
JP6578170B2 (ja) | 建設機械の角度検出装置 | |
JP2017102634A (ja) | 画像処理装置および画像処理システム | |
JP2008042759A (ja) | 画像処理装置 | |
JP6974192B2 (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
US20130006477A1 (en) | Control device for vehicle | |
JP2008064716A (ja) | 車両方位補正システム | |
JP3649327B2 (ja) | フェールセーフ機能を有するステレオ式車外監視装置 | |
JP6295868B2 (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200930 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6986962 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |