JP7225079B2

JP7225079B2 - 障害物認識装置

Info

Publication number: JP7225079B2
Application number: JP2019216129A
Authority: JP
Inventors: フェリペゴメズカバレロ; 琢馬大里; 正幸小林; 雅幸竹村; 健志磨
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2019-11-29
Filing date: 2019-11-29
Publication date: 2023-02-20
Anticipated expiration: 2039-11-29
Also published as: JP2021086477A; DE112020004944T5; WO2021106510A1

Description

本発明は、障害物認識装置に係り、例えば、自車両の近傍の環境における画像ベースの障害物検出のための車載用障害物認識装置に関する。

近年、近傍の移動物体または静的物体（障害物）を検出するために、画像を用いた物体検出装置が使用されている。

上述の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは車の安全な運転を支援する車載システムの用途に使用することができる。

車載用途では、このような装置は、周囲の環境を運転者に表示し、および/または車両周囲の移動物体または静的物体（障害物）を検出し、自車両と障害物との衝突の潜在的なリスクを運転者に通知し、決定システムに基づいて、車両を自動的に停止して、自車両と障害物との衝突を回避するように構成されている。

例えば、特許文献１に開示される装置は、安全な走行を確保するための助けとなる車両周辺を示すカメラ画像を運転者に提供するように構成されている。

一方、特許文献２に開示される装置は、車両に搭載されたステレオカメラにより取得された距離データおよび画像から、物体および検出された物体までの距離を検出するように構成されている。

特許第６２３２９９４号公報特開２００１－９１２１７号公報

しかし、特許文献１に記載された装置は、現在の環境状態に基づいてキャリブレーションのためにカメラ姿勢パラメータを調整するだけであり、提供された画像が画像差分ベースの方法を使用した物体検出に使用される場合、カメラ姿勢の変動によって引き起こされるノイズにより、障害物の位置を正確に特定することが難しくなる。

一方、特許文献２に記載された装置は、移動物体を検出し、道路と他の物体に分離された距離データを用いて、検出された物体までの距離を計算することができる。しかし、特許文献２に記載された装置は、カメラ姿勢パラメータを使用して取得できる路面の推定に基づいて道路と物体を分離するように構成されており、その場合、カメラ姿勢パラメータは、現在時刻のカメラ姿勢パラメータ（絶対的なパラメータ）のみを使用して補正される。したがって、車両速度と現在の道路状態が車載カメラと現在の道路状態との関係に影響するシナリオでシステムが使用され、時間内に誤った補正値を生成する最初に設定されたカメラ姿勢パラメータの変動を生成する場合、システムは補正値を検証できず、検出された物体までの計算された距離の精度が低下し、誤った物体検出結果が生成され、システムの信頼性が低下する。

本発明は、上記事情に鑑みてなされたもので、本発明の目的は、画像変換に使用されるカメラ姿勢パラメータを検証し、装置カメラと現在の環境との関係を画定でき、もって、車両が走行している環境条件が変化した場合でも、障害物検出の精度と検出された物体までの距離計算の精度を同時に向上させて、障害物認識の信頼性を向上させることのできる障害物認識装置を提供することである。

上記目的を達成すべく、本発明に係る障害物認識装置は、カメラにより異なる時刻で撮像された複数の画像の差分に基づいて、画像に映る障害物を認識する障害物認識装置であって、異なる時刻での路面形状に基づいたカメラの姿勢に関する第１の差を取得し、前記異なる時刻で撮像された画像内の特徴点の移動量に関する第２の差を取得し、前記第１の差および前記第２の差を使用して、差分画像の計算に用いるカメラ姿勢パラメータの検証を行うことを特徴とする。

本発明に係る障害物認識装置は、この構成を採用することで、画像変換および３次元距離測定に使用されるカメラ姿勢パラメータを検証することにより、物体検出に使用される差分画像に導入されるノイズを低減できるとともに、幾何計算に使用されるカメラ姿勢パラメータの変動を低減できるため、物体検出と３次元距離測定の両方の精度を高めることができる。よって、車両が走行している環境条件が変化した場合でも、誤検出率を同時に低減することができる。

したがって、本発明によれば、車両が走行している環境条件が変化した場合でも、画像変換のために使用されるとともに、装置カメラと現在環境との関係を記述するために使用されるカメラ姿勢パラメータを検証することにより、物体誤検出率を低減し、物体検出の精度と検出された物体までの距離計算の精度を同時に向上させて走行の安全性を高めることで、障害物認識の信頼性を向上させることができる。

上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態に係る障害物認識装置の概略構成を示すブロック図である。ピッチ、ヨー、ロールのカメラ姿勢パラメータと３次元空間でのそれらの関係を説明する図であり、（ａ）は、ピッチのカメラ姿勢パラメータ、（ｂ）は、ヨーのカメラ姿勢パラメータ、（ｃ）は、ロールのカメラ姿勢パラメータ、（ｄ）は、それらの関係を説明する図である。目標移動物体が自車両の前を横切る状況の２つの異なる期間の画像を示す図であり、（ａ）は、以前の時刻（ｔ－１）の画像、（ｂ）は、現在の時刻（ｔ）の画像を示す図である。障害物認識装置が車両に搭載され、異なる運転行動に基づくカメラ姿勢変化が発生している状況を説明する図であり、（ａ）は通常時、（ｂ）は前傾時、（ｃ）は後傾時を説明する図である。障害物認識装置におけるカメラ姿勢パラメータ検証部によって実行される例示的な処理を示すフローチャートである。

以下、本発明の障害物認識装置の好ましい実施形態について図面を参照して説明する。

図１～図５を参照して、本実施形態の障害物認識装置110の構成および動作について説明する。図示は省略するが、障害物認識装置110は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。以下に説明する構成では、２台のカメラセンサ（以下、単にカメラと称することがある）が単一の車載ステレオカメラとして一対とされ、センシング部111を構成している。ただし、これは、使用する装置を制限するものではなく、他の構成では、単一の単眼カメラがセンシング部111として使用される。

図１は、本発明の一実施形態に係る障害物認識装置の概略構成を示すブロック図である。

障害物認識装置110は、例えば車両（自車両）Vに搭載され、図１に示すように、同じ高さに位置する２つのカメラセンサを含むセンシング部111、画像取得部121、カメラ絶対姿勢パラメータ算出部131、カメラ相対姿勢パラメータ算出部132、カメラ姿勢パラメータ検証部141、画像差分算出部151、障害物検出部161、障害物測距部171、制御アプリケーション処理部181を備える。

（用語の定義）
障害物認識装置110を構成する各部の説明に先立ち、本明細書で主に使用する「カメラ姿勢パラメータ」、「カメラ絶対姿勢パラメータ」、「カメラ相対姿勢パラメータ」の定義について説明する。

「カメラ姿勢パラメータ」は、特定の位置または平面に関して３次元空間でカメラの位置および向き（方向）を表すために使用される値やパラメータの集合を指す。例えば、そのパラメータには、道路に対するカメラの位置を記述するために使用できる並進パラメータX、Y、およびZを含めることができるとともに、３次元空間のカメラの向きを記述する回転パラメータであるピッチ、ヨー、およびロールを含めることができる。

「カメラ絶対姿勢パラメータ」は、道路（路面形状）に対するカメラの位置および向き（つまり、カメラの姿勢）を記述するカメラ姿勢パラメータを指す。これは、現在の情報を使用して計算されるため、現在の期間におけるカメラの位置および向きを表す。つまり、これは、現在の位置や向きであり、過去ではなく、かつ、他のデータとの相対ではない。

「カメラ相対姿勢パラメータ」は、ある状態（通常は以前の位置や向き）から時間の異なる状態（通常は現在の位置や向き）への変化を記述するカメラ姿勢パラメータを指し、これらの状態間の変化および動き（異なる時刻で撮像された画像内の特徴点の移動量に対応）を表す。このようなパラメータは、それ自体では、道路に対する３次元空間でのカメラの位置および向きを表すのではなく、２つの期間の間の位置および向きの違いを表すために使用することができる。

（画像取得部）
画像取得部121は、さらなる処理のために画像特性を調整するために、センシング部111に対応する２つのカメラセンサの一方または両方によって取得された画像（車両周囲を映した画像）を処理する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力画像から入力画像の特定の領域を切り取る（トリミングする）対象画像領域選択が含まれ得る。画像解像度調整および対象画像領域選択に使用されるパラメータは、現在の運転環境および条件（速度、旋回速度など）に基づいて制御できる。

画像取得部121により取得された画像は、カメラ絶対姿勢パラメータ算出部131およびカメラ相対姿勢パラメータ算出部132に入力される。

（カメラ絶対姿勢パラメータ算出部）
カメラ絶対姿勢パラメータ算出部131は、図２（ａ）～（ｄ）に示すように、カメラピッチ角（水平軸回転）、カメラロール角（縦軸（前後方向軸）回転）、およびカメラヨー角（垂直軸回転）によって定義される、平坦な地面に対する全てのカメラ絶対姿勢パラメータのいずれかを計算する機能を有する。カメラ絶対姿勢パラメータは、現在の環境情報、例えば道路形状を使用して計算できる。道路形状情報は、いくつかのソース、例えば、当該装置、外部センサ、または複数のソースの組み合わせから取得できる。道路形状は、装置の視点から道路形状をどのように定義できるかとして見ることができ、装置カメラと道路との関係を記述する。

道路形状情報のソースに応じて、カメラ絶対姿勢パラメータの計算処理は異なる。例えば、装置の構成にステレオマッチング処理から取得した距離データに基づいて車両前方の道路の傾斜を計算する処理が含まれるとき、同じ障害物認識装置から情報を取得する場合、結果として得られる道路傾斜は、自車両の前方の道路に対する装置のピッチ角およびロール角の計算に使用される。別の例では、ピッチ角、ヨー角、およびロール角を外部センサからリアルタイムで直接取得できる場合、カメラ絶対姿勢パラメータは、設置パラメータからのオフセットに基づいて調整できる。なお、上記のパラメータを計算する他の方法も本例に含めることができる。

なお、図２（ａ）～（ｃ）中、11は、センシング部111に対応する車載センサとしてのカメラセンサ、OA1は、センサ光軸、R1は、平坦な道路（地面）を示している。

（カメラ相対姿勢パラメータ算出部）
カメラ相対姿勢パラメータ算出部132は、２つの異なる時間間隔でのカメラ姿勢パラメータ間の関係を記述する、カメラピッチ角（水平軸回転）、カメラロール角（縦軸（前後方向軸）回転）、およびカメラヨー角（垂直軸回転）で定義される、全てのカメラ相対姿勢パラメータのいずれかを計算する機能を有する。カメラ相対姿勢パラメータは、図３（ａ）、（ｂ）に示されるような異なる期間（時刻）に取得される２つの画像内の特徴点の位置の差（すなわち、移動量）を計算することにより、推定することができる。特徴点は、シナリオに応じて選択でき、例えば、特徴点は、目に見える道路車線ペイントや縁石などの静的物体のエッジなど、画像内のコーナーポイントを表すピクセル（またはピクセルパッチ）であり得る。なお、他のタイプの計算を使用することもできる。

カメラ絶対姿勢パラメータ算出部131およびカメラ相対姿勢パラメータ算出部132により計算されたパラメータは、カメラ姿勢パラメータ検証部141に入力される。

（カメラ姿勢パラメータ検証部）
カメラ姿勢パラメータ検証部141は、カメラ絶対姿勢パラメータ算出部131およびカメラ相対姿勢パラメータ算出部132により計算されたパラメータを使用して、幾何変換および計算に使用されるカメラ姿勢パラメータを検証する機能を有する。検証処理は、次のタスクの１つまたは複数と、それぞれの出力を指す場合がある。そのタスクには、パラメータ平均化、一時的な値の変動に基づくパラメータ選択、さらなる処理実行決定（処理断念、処理続行、およびその他の種類の処理）が含まれる。なお、検証処理の具体的な処理例については後述する。

カメラ姿勢パラメータ検証部141の検証結果としてのカメラ姿勢パラメータは、画像差分算出部151に入力される。

（画像差分算出部）
画像差分算出部151は、カメラ姿勢パラメータ検証部141により検証されたカメラ姿勢パラメータに基づいて、画像取得部111により取得および処理された画像に対して幾何学的画像変換を行う機能を有する。

画像変換には、これらに限定されないが、回転、縮尺、剪断などのアフィン変換、および平らな地面が基準となる俯瞰画像変換が含まれる。また、変換された少なくとも２つの画像間の不一致を示す差分画像を計算する機能もある。これらに限定されないが、単純なピクセル間の差分計算およびフィルタベースの画像差分計算を含む既知の方法を、差分計算に適用できる。

画像差分算出部151により計算された差分画像（異なる時刻で撮像された複数の画像の差分）は、障害物検出部161に入力される。

（障害物検出部）
障害物検出部161は、画像取得部121が取得した画像と、画像差分算出部151が算出した差分画像を使用して、画像に映る３次元物体を検出し、その位置を算出する機能を有する。

本明細書において、「障害物検出」とは、少なくとも次のタスクが実行される処理を指す。つまり、目標物体検出（画像空間における位置）、目標物体識別（例えば、自動車/車両、二輪車、自転車、歩行者、ポールなど）のタスクである。

（障害物測距部）
障害物測距部171は、（当該装置が搭載されている）自車両から障害物検出部161により検出された１つまたは複数の障害物までの距離を、カメラ姿勢パラメータ検証部141により検証されたカメラ姿勢パラメータを使った幾何計算を使用して測定する機能を有する。

本明細書において、「障害物測距」とは、少なくとも次のタスクが実行される処理を指す。つまり、目標物体検出（３次元空間上の位置）、目標物体速度/速さ計算のタスクである。

（制御アプリケーション処理部）
制御アプリケーション処理部181は、障害物検出部171により認識された画像中の障害物に応じて、当該障害物認識装置110が搭載された車両が実行する制御アプリケーションを決定する機能を有する。

なお、上述の画像差分算出部151、障害物検出部161、障害物測距部171、制御アプリケーション処理部181の処理は、既知の方法を適用できるので、ここでは、その詳細説明は割愛している。

ここで、障害物認識装置110を車両Vの周囲を監視するシステムとして適用する場合について、図４（ａ）～（ｃ）を参照して説明する。以下で説明するケースでは、ピッチ角（θ_Pitch）と呼ばれるカメラ姿勢パラメータのみが説明されているが、説明されている処理の性質を変更することなく、他のヨー角（θ_Yaw）やロール角（θ_Roll）と呼ばれるカメラ姿勢パラメータを考慮することができる（図２（ａ）～（ｄ）参照）。

図４（ａ）は、車載センサ11（センシング部111に対応）を備えた車両Vが平坦な道路（地面）R1を走行している状況を示している。この場合、センサ光軸OA1のための車載センサ設置パラメータのピッチ角（θ_Pitch）は、基準軸RA1によって記述される平坦な地面R1に対して0（ゼロ）度の向きを持つように設定される（OA1とRA1の両方は、同じであるので重複している）。センサ光軸OA1と平坦な道路の基準軸RA1との間のこの構成/関係は、デフォルトの構成/関係とみなすことができる。

図４（ｂ）、（ｃ）は、車載センサ11を備えた車両Vが平坦な路面R1を走行するときに、路面の凹凸に起因する車両振動および/または走行中の自車両の固有振動により傾きが発生する状況を示している。図４（ｂ）の例では、車両Vの重量が前方に移動するため、車両Vの後端が持ち上げられ、車両Vが傾斜（前傾）する。一方、図４（ｃ）の例では、車両Vの重量が後方に移動するため、車両Vの前端が持ち上げられ、車両Vが傾斜（後傾）する。これは、車載センサ11の向きに影響を与え、センサ光軸OA1の向きに影響を与え、これにより、ピッチ角（θ_Pitch）の差によって記述されるセンサ光軸OA1と平坦な地面の基準軸RA1との差が生じる。

図４（ｂ）、（ｃ）について上述した状況は、自車両Vに実行される制動および/または加速動作に基づいて、または道路の傾斜に起因して発生する可能性がある。

（カメラ姿勢パラメータ検証部の処理例）
図５は、カメラ絶対姿勢パラメータ算出部131およびカメラ相対姿勢パラメータ算出部132の出力を使用してカメラ姿勢パラメータを調整する、カメラ姿勢パラメータ検証部141によって実行される例示的な処理を示すフローチャートである。

まず、絶対姿勢パラメータ時間差計算ステップS1では、現在および以前の処理期間で計算されたカメラ絶対姿勢パラメータを取得して、特定または全てのカメラ絶対姿勢パラメータ（例えば、ピッチ角、ロール角、ヨー角など）の時間差（ΔA）を計算する。

次に、時間差への相対姿勢パラメータ再定義ステップS2では、現在の処理期間で計算されたカメラ相対姿勢パラメータを取得し、カメラ相対姿勢パラメータの計算に使用された方法に基づいて、その取得されたカメラ相対姿勢パラメータを時間差値（ΔR）に変換する。カメラ相対姿勢パラメータを計算するために使用される方法が出力として時間的な差をすでに与えている場合、ステップS2はさらなる処理のためにパラメータを検索するだけである。

次に、パラメータ検証ステップS3では、取得されたカメラ絶対姿勢パラメータおよびカメラ相対姿勢パラメータを使用して、カメラ姿勢パラメータの検証を実行する。ここでは、基本的な例の方法のみが説明されているため、他のより精巧な方法を同じステップS3内で交換または組み合わせて使用することができる。ステップS3では、カメラ絶対姿勢パラメータの時間差（ΔA）とカメラ相対姿勢パラメータの時間差（ΔR）を比較して、両方のパラメータ間の差（Δc）を計算する。その結果の差（Δc）に基づいて、（Δc）が所定のしきい値よりも大きい場合、次の処理期間に新しいカメラ絶対姿勢パラメータおよびカメラ相対姿勢パラメータが計算できるまで、カメラ相対姿勢パラメータの代わりにカメラ絶対姿勢パラメータが検証され、カメラ姿勢パラメータとして使用される。なお、カメラ相対姿勢パラメータの計算精度（特徴点の検出・追跡精度に対応）が確保できる場合には、カメラ相対姿勢パラメータはカメラ絶対姿勢パラメータよりも誤差が少ないと考えられるため、（Δc）が所定のしきい値よりも大きい場合、カメラ相対姿勢パラメータをカメラ姿勢パラメータとして使用してもよい。一方、（Δc）が所定のしきい値よりも小さい場合、カメラ絶対姿勢パラメータとカメラ相対姿勢パラメータの両方を使用して、カメラ姿勢パラメータに対応する出力を計算する。一例として、カメラ相対姿勢パラメータに対応した補正値を計算し、計算された補正値を絶対パラメータに加味（例えば、加算、積算など）して、カメラ姿勢パラメータに対応する出力を計算する。このパラメータ検証ステップS3でのカメラ姿勢パラメータの検証によって、後段の差分画像の計算に用いるカメラ姿勢パラメータが状況に応じて適切に変更され、後段の差分画像の計算方法が変更されることになる。

最後に、出力選択ステップS4では、ステップS3の結果に基づいて複数のオプションを選択できる場合、例えば後段の物体測距処理（障害物測距部171）の画像変換タスクに使用するパラメータの選択を実行する。例えば、カメラ絶対姿勢パラメータとカメラ相対姿勢パラメータの両方が検証された場合、カメラ絶対姿勢パラメータを物体測距に使用し、カメラ相対姿勢パラメータを画像変換に使用できる。

図５について上述した処理を採用することにより、図４（ａ）～（ｃ）で説明したセンサ光軸OA1と平坦な地面の基準軸RA1との間のピッチ角（θ_Pitch）の差をリアルタイムで調整することができ、したがって、幾何学的画像変換結果に直接影響を及ぼすセンサ光軸OA1と基準軸RA1との間の正確な関係を維持することができる。

以上で説明したように、図１に示される本実施形態に係る障害物認識装置110は、
当該装置が取り付けられている車両の前方のシーンの画像を取得することができるセンシング部111と、
センシング部111によって取得された画像を処理して、その特性（画像サイズ、画像解像度、および対象画像領域が含まれるが、これらに限定されない）を調整する画像取得部121と、
センシング部111と道路との間の現在の関係を記述する、カメラピッチ角（水平軸回転）、カメラロール角（縦軸回転）、およびカメラヨー角（垂直軸回転）によって定義されるカメラ絶対姿勢パラメータのいずれかまたはすべての計算を実行するカメラ絶対姿勢パラメータ算出部131と、
２つの異なる時間間隔でのカメラ姿勢パラメータ間の関係を記述する、カメラピッチ角（水平軸回転）、カメラロール角（縦軸回転）、およびカメラヨー角（垂直軸回転）によって定義されるカメラ相対姿勢パラメータのいずれかまたはすべての計算を実行するカメラ相対姿勢パラメータ算出部132と、
カメラ絶対姿勢パラメータ算出部131により計算されたカメラ絶対姿勢パラメータと、カメラ相対姿勢パラメータ算出部132により計算されたカメラ相対姿勢パラメータを使用して、カメラ姿勢パラメータの検証を行うカメラ姿勢パラメータ検証部141と、
少なくとも検証されたカメラ姿勢パラメータを含むカメラ姿勢パラメータ検証部141の出力に基づいて、画像取得部121によって取得および処理された画像に対して所望の幾何学的画像変換を実行し、画像取得部121によって取得および処理され、画像差分算出部151によって変換された少なくとも２つの画像間の差分を示す差分画像の計算を実行する画像差分算出部151と、
画像取得部121により取得された画像と、画像差分算出部151により算出された差分画像を使用して、物体検出を行う障害物検出部161と、
カメラ姿勢パラメータ検証部141により検証されたカメラ姿勢パラメータを用いた幾何計算に基づいて、自車両から障害物検出部161により検出された障害物までの３次元距離測定を行う障害物測距部171と、
障害物検出部161および障害物測距部171からの出力を少なくとも含み得る現在の状況に基づいて、当該障害物認識装置110が搭載された車両が実行する制御アプリケーションを決定する制御アプリケーション処理部181と、を備える。

より詳しくは、本実施形態に係る障害物認識装置110は、異なる時刻での路面形状に基づいたカメラの姿勢に関する第１の差（ΔA）を取得し、前記異なる時刻で撮像された画像内の特徴点の移動量に関する第２の差（ΔR）を取得し、前記第１の差（ΔA）および前記第２の差（ΔR）を使用して、差分画像の計算のための画像変換に用いるカメラ姿勢パラメータの検証を行う。

また、前記第１の差（ΔA）と前記第２の差（ΔR）を比較（Δc）することによって、前記カメラ姿勢パラメータの検証を行う。また、前記カメラ姿勢パラメータの検証に基づいて、差分画像の計算方法を変更する。

本実施形態に係る障害物認識装置110は、この構成を採用することで、カメラ姿勢パラメータ検証部141によって実行される検証に基づいて画像変換および３次元距離測定に使用されるカメラ姿勢パラメータを検証することにより、物体検出に使用される差分画像に導入されるノイズを低減できるとともに、幾何計算に使用されるカメラ姿勢パラメータの変動を低減できるため、障害物検出部161によって実行される物体検出と障害物測距部171によって実行される３次元距離測定の両方の精度を高めることができる。よって、車両が走行している環境条件が変化した場合でも、誤検出率を同時に低減することができる。

以上、本実施形態に係る障害物認識装置110の構成および動作について説明した。本実施形態に係る障害物認識装置110によれば、車両が走行している環境条件が変化した場合でも、画像変換のために使用されるとともに、装置カメラと現在環境との関係を記述するために使用されるカメラ姿勢パラメータを検証することにより、すなわち、カメラ姿勢パラメータを計算して幾何学的画像変換パラメータを調整することで、現在環境に対する装置カメラの関係を調整することにより、物体誤検出率を低減し、物体検出の精度と検出された物体までの距離計算の精度を同時に向上させて走行の安全性を高めることで、障害物認識の信頼性を向上させることができる。

現時点で考えられる本発明の好適な実施形態について説明したが、本実施形態に対して様々な変更を加えることができ、本発明の真の趣旨および範囲内の全ての変更は、添付の特許請求の範囲内にあるものと意図される。

また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

110 障害物認識装置
111 センシング部
121 画像取得部
131 カメラ絶対姿勢パラメータ算出部
132 カメラ相対姿勢パラメータ算出部
141 カメラ姿勢パラメータ検証部
151 画像差分算出部
161 障害物検出部
171 障害物測距部
181 制御アプリケーション処理部
OA1 センサ光軸
RA1 平坦な地面の基準軸
V 車両（自車両）

Claims

カメラにより異なる時刻で撮像された複数の画像の差分に基づいて、画像に映る障害物を認識する障害物認識装置であって、
異なる時刻での路面形状に基づいたカメラの姿勢に関する第１の差を取得し、
前記異なる時刻で撮像された画像内の特徴点の移動量に関する第２の差を取得し、
前記第１の差および前記第２の差を使用して、差分画像の計算に用いるカメラ姿勢パラメータの検証を行うことを特徴とする障害物認識装置。
請求項１に記載の障害物認識装置において、
前記第１の差と前記第２の差を比較することによって、前記カメラ姿勢パラメータの検証を行うことを特徴とする障害物認識装置。
請求項１に記載の障害物認識装置において、
前記カメラ姿勢パラメータの検証に基づいて、差分画像の計算方法を変更することを特徴とする障害物認識装置。
請求項１に記載の障害物認識装置において、
前記第１の差と前記第２の差との差が所定のしきい値よりも大きい場合、前記第１の差を取得するための前記路面形状に基づいたカメラの姿勢に関するカメラ絶対姿勢パラメータ、または、前記第２の差を取得するための前記画像内の特徴点の移動量に関するカメラ相対姿勢パラメータを前記カメラ姿勢パラメータとし、
前記第１の差と前記第２の差との差が所定のしきい値よりも小さい場合、前記第１の差を取得するための前記路面形状に基づいたカメラの姿勢に関するカメラ絶対姿勢パラメータ、および、前記第２の差を取得するための前記画像内の特徴点の移動量に関するカメラ相対姿勢パラメータの両方を使用して、前記カメラ姿勢パラメータを計算することを特徴とする障害物認識装置。