JP7436331B2

JP7436331B2 - 画像処理装置

Info

Publication number: JP7436331B2
Application number: JP2020147801A
Authority: JP
Inventors: フェリペゴメズカバレロ; 春樹的野; 健永崎
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2020-09-02
Filing date: 2020-09-02
Publication date: 2024-02-21
Anticipated expiration: 2040-09-02
Also published as: JP2022042386A; WO2022049880A1; DE112021003430T5

Description

本発明は、例えば、自車両の近傍の環境における画像ベースの障害物検出および認識のための車載用画像処理装置に関する。

近年、近傍の移動物体および障害物を検出するために、画像を用いた物体検出装置が使用されている。上述の画像ベースの物体検出装置は、侵入または異常を検出する監視システム、あるいは自動車の安全な運転を支援する車載システムの用途に使用することができる。

車載用途では、このような装置は、周囲の環境を運転者に表示し、および/または車両周囲の移動物体または静的物体（障害物）を検出し、自車両と障害物との衝突の潜在的なリスクを運転者に通知し、決定システムに基づいて、車両を自動的に停止して、自車両と障害物との衝突を回避するように構成されている。

例えば、特許文献１に開示される装置は、取得した画像のうち、ダンプトラック（作業機械）から所定の距離内の画像を、路面に平行な第一投影面に投影して第一俯瞰画像を生成する第一俯瞰画像生成部と、所定の距離外の画像を、前記第一投影面に対して傾きを有する第二投影面に投影して第二俯瞰画像を生成する第二俯瞰画像生成部と、第二俯瞰画像中の障害物よりダンプトラックに近い領域以外の領域の表示比率を拡大する縮尺変更部と、第一俯瞰画像と表示比率変更後の第二俯瞰画像とを合成する画像合成部とを備えることで、広大で変化の少ない環境で用いられる作業機械において、作業機械から離れた障害物をドライバに適切に提示する。

特開２０１８－１７０５５７号公報

しかしながら、特許文献１に記載された装置は、車両が走行している環境の現在の条件および自車両との関連によるのではなく、地図から取得した道路形状に基づいて運転者に提供するカメラ画像の向きおよび姿勢を変更するのみである。提供された画像が物体検出に使用される場合、外部距離測定センサを使用せずに検出された物体の位置を正確に特定することは困難であり、システムの複雑さおよびコストを増加させる可能性がある。

したがって、例えば、近傍距離検出をサポートする必要があるシナリオでシステムが使用され、同時に車両速度の変化および道路の現在の状態が、最初に設定されたセンサ姿勢パラメータの変化を生成する車載センサと道路の現在の状態との間の空間的関係に影響する場合、システムのハードウェア構成は、各センサ姿勢の変化に対応する画像変換を処理できるように大量のラインメモリを含める必要があり、最終的に所定の近傍距離検出範囲をサポートするために必要な範囲とデータ量に影響し、システム全体のコストが増加する。一方、外部の変化（カメラ姿勢の変化など）がサポートされず、正しく対処されていない場合、オブジェクト検出性能および距離計算精度が低下し、誤った物体検出結果を生成し、システムの全体的な信頼性が低下する可能性がある。

本発明の目的は、１つまたは２つの処理部のいずれかによって別々に画像処理（例えば、アフィン変換）を実行することができ、同時に、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因またはデータを使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することができ、特に交差点シナリオなどの近傍距離検出が必要なシナリオのために、物体検出の精度と検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することができる画像処理装置を提供することである。

上記目的を達成すべく、本発明に係る画像処理装置は、カメラで撮像された画像の少なくとも一部である第１部分を画像処理する第１画像処理部と、前記第１部分が前記画像の一部である場合、前記画像のうち前記第１部分とは異なる第２部分を画像処理する第２画像処理部と、カメラ姿勢パラメータに応じて、前記第１画像処理部に送信される画像範囲と前記第２画像処理部に送信される画像範囲の割合を決める処理範囲割り当て部と、を備える。

本発明に係る画像処理装置は、この構成の採用により、システムのハードウェア構成で使用されるラインメモリ量を削減し、近傍距離検出が必要なシナリオをサポートできる。これは、カメラ姿勢パラメータ算出部によって計算されたカメラ姿勢パラメータに基づいて、第１画像処理部（画像の特定の範囲を処理するように最適化できる）および第２画像処理部（第１画像処理部の範囲とは異なる画像の特定の範囲を処理するように最適化できる）によって処理される画像範囲（の割合）を動的に調整することにより、画像処理目的で使用されるメモリリソースの量を分散できるためである。したがって、デバイスが移動（走行）する環境条件が変化しても、障害物検出部によって実行される物体検出および位置特定の精度を維持できる。

本発明によれば、特に近傍距離検出が必要とされる交差点シナリオのために、１つまたは２つの処理部のいずれかによって別々に画像処理を実行するとともに、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因を使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することにより、物体検出の精度ならびに検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することが可能となる。

上記以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

本発明の一実施形態に係る画像処理装置の概略構成図である。ピッチ、ヨー、ロールのカメラ姿勢パラメータと３次元空間上のその関係を説明する図であり、（ａ）はピッチのカメラ姿勢パラメータ、（ｂ）はヨーのカメラ姿勢パラメータ、（ｃ）はロールのカメラ姿勢パラメータを説明する図である。例示的なシナリオにおいて、センサにより取得され、次に画像処理部の結果に基づいて合成部により計算された画像空間、そして画像算出部により算出された差分を説明する図である。車両が交差点に接近し、カメラ姿勢パラメータが計算され、さらなる処理のために画像処理範囲を得るために使用されるシナリオの３つの異なるケースを示し、（ａ）は通常時、（ｂ）はブレーキ動作時、（ｃ）は加速動作時を示す図である。

以下、本発明の画像処理装置の好ましい実施形態について図面を参照して説明する。

図１から図４を参照して、本実施形態の画像処理装置１１０の構成および性能について説明する。図示は省略するが、画像処理装置１１０は、CPU、RAM、ROMなどがバスを介して接続された構成であり、CPUがROMに格納された各種制御プログラムを実行することで、システム全体の動作を制御する。また、CPUが実行する機能の一部または全部（例えば、後述する画像処理部のうちの第１画像処理部の機能）は、FPGAなどによって実現されてもよい。

以下に説明する構成では、２台のカメラセンサ（以下、単にカメラもしくはセンサと称することがある）が単一の車載ステレオカメラとして一対とされ、センシング部１１１に対応していることに注意されたい。ただし、これは、単一の単眼カメラがセンシング部１１１として使用される他の構成で使用される装置を制限するものではない。

図１は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。本実施形態の画像処理装置１１０は、例えば車両（自車両）に搭載され、カメラセンサ（センシング部１１１）で撮像した周囲の画像に画像処理（例えば、アフィン変換）を実行し、時間的に（時刻が）異なる複数の処理画像の差分を用いて障害物（画像に映る周囲の物体）を検出および認識する装置である。

図１において、画像処理装置１１０は、同じ高さに位置する２つのカメラセンサを含むセンシング部１１１、画像取得部１２１、カメラ姿勢パラメータ算出部１３１、処理範囲割り当て部１４１、第１画像処理部１５１、第２画像処理部１５２、合成部１６１、画像算出部１７１、障害物検出部１８１、および制御アプリケーション処理部１９１を備える。

（画像取得部）
画像取得部１２１は、さらなる処理のために画像特性を調整するために、センシング部１１１に対応する一方または両方のカメラセンサにより取得された画像を処理する。この処理には、これに限定されるものではないが、入力画像を縮小または拡大して結果としての画像サイズを変更できる画像解像度調整、およびさらなる処理のために元の入力画像から入力画像の特定の領域を切り取る（トリミングする）画像関心領域選択が含まれ得る。画像解像度調整および画像関心領域選択に使用されるパラメータは、現在の運転環境および条件（速度、旋回速度など）に基づいて制御できる。

（カメラ姿勢パラメータ算出部）
カメラ姿勢パラメータ算出部１３１は、図２（ａ）～（ｃ）に示されるように、カメラのピッチ角（水平軸回転）、カメラのロール角（縦軸（前後方向軸）回転）、およびカメラのヨー角（垂直軸回転）によって定義される、平坦な地面に対する全てのカメラ姿勢パラメータのいずれかを計算する機能を有する。この処理には、これに限定されるものではないが、所望のパラメータを得るための外部センサ情報（車両のサスペンションシステム、速度/旋回速度/ヨーレートを提供する車両の内部センサ、慣性測定センサ、位置センサなど）の使用、またはステレオマッチング処理から取得された距離データに基づく車両の前方の道路の、少なくとも自車両の前方の道路に対する装置のピッチ角およびロール角を計算するために使用される形状推定が含まれ得る。上述のカメラ姿勢パラメータを計算する他の方法も含めることができる。

なお、「カメラ姿勢パラメータ」は、特定の位置または平面に関して３次元空間でカメラの位置および向き（方向）を表すために使用される値やパラメータの集合を指す。例えば、このパラメータには、道路に対するカメラの位置を記述するために使用できる並進パラメータＸ、Ｙ、およびＺを含めることができるとともに、３次元空間のカメラの向きを記述する回転パラメータであるピッチ、ヨー、およびロールを含めることができる。

（処理範囲割り当て部）
処理範囲割り当て部１４１は、カメラ姿勢パラメータ算出部１３１により算出されたカメラ姿勢パラメータ（例えば、当該画像処理装置１１０を搭載した車両の走行中（移動中）に計算したカメラ姿勢パラメータ）に基づいて、画像取得部１２１により取得されて処理された画像の空間における少なくとも１つの範囲を動的に計算する機能を有する。計算された範囲は、これに限定されるものではないが、例えば、近傍距離範囲（カメラに相対的に近い距離範囲）および遠方距離範囲（カメラから相対的に遠い距離範囲）を調整してメモリリソースを分散する、取得された画像にマッピングされた現実世界の距離範囲、ならびに、それらが第１画像処理部１５１および第２画像処理部１５２によって画像または画像の一部を処理するためにどのように使用されるかを表し得る。

センサの現実世界の距離および視野角を使用して近傍距離範囲および遠方距離範囲を調整する処理範囲割り当ての例は、次のとおりである。カメラの垂直視野（例えば、20deg）およびデフォルトのカメラ姿勢パラメータに基づいて、システムの最小可視距離および所望の最大可視距離が計算される。次に、計算された最小可視距離および最大可視距離に基づいて、現実世界の距離の空間内の範囲が近傍距離範囲に対して設定される。この近傍距離範囲は、カバーされた現実世界の距離を画像平面にマッピングするときに、その範囲でカバーされる画像データの量に基づいて設定できる。これは、装置によって使用できるメモリの量に基づいて、システムによって取り扱えるデータの量にもなる（例えば、最小可視距離からＺ軸方向の所定の距離は、ピクセルで所定の高さをカバーするなど）。遠方距離範囲は、近傍距離範囲の終わりから最大可視距離までの範囲をカバーするように設定できる。現実世界の距離範囲が設定されると、近傍距離範囲および遠方距離範囲の各々のための画像平面へのマッピングは、可視距離が変化するにつれてカメラ姿勢が変化するときに再計算できる。同時に、各範囲の有効性を推定できる。例えば、現在のカメラ姿勢では、所定の現実世界の距離範囲がセンサから見えない場合、その範囲を無効に設定できる。

（第１画像処理部）
第１画像処理部１５１は、画像取得部１２１により取得されて処理された画像の所定範囲であって、処理範囲割り当て部１４１により計算され、かつ、第２画像処理部１５２により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。

この画像処理は、これに限定されるものではないが、回転、スケール、シアー、および平坦な地面が基準と見なされる俯瞰画像変換などの画像アフィン変換を含み得る。そのような場合、幾何学公式または変換テーブルは、事前に計算または調整され得る。俯瞰画像変換のケースの場合、第１画像処理部１５１は、車両の前方の実際の空間の特定の範囲に対応し得る画像上の所定の範囲、例えば、現実世界の距離を基準にして処理される画像データの量が、近傍距離範囲に必要なデータの量よりも少ないため、処理速度および/またはハードウェア固有の最適化を適用できる遠方距離範囲に最適化され得る。

（第２画像処理部）
第２画像処理部１５２は、画像取得部１２１により取得されて処理された画像の所定範囲であって、処理範囲割り当て部１４１により計算され、かつ、第１画像処理部１５１により使用される範囲とは異なる範囲に対して所望の画像処理を実行する機能を有する。

この画像処理は、これに限定されるものではないが、回転、スケール、シアー、および平坦な地面が基準と見なされる俯瞰画像変換などの画像アフィン変換を含み得る。そのような場合、幾何学公式または変換テーブルは、事前に計算または調整され得る。俯瞰画像変換のケースの場合、第２画像処理部１５２は、車両の前方の実際の空間の特定の範囲に対応し得る画像上の所定の範囲、例えば、現実世界の距離を基準にして処理される画像データの量が、遠方距離範囲に必要なデータの量よりも多いため、メモリアクセスおよび動的に微調整する必要のあるデータ処理の最適化を適用できる近傍距離範囲に最適化され得る。

（合成部）
合成部１６１は、第１画像処理部１５１および第２画像処理部１５２の結果を用いて合成画像を作成する機能を有する。本装置構成では、結果としての合成画像の一般的な特性（例えば、画像サイズ、関心領域）は、処理範囲割り当て部１４１により計算された動的に変化する１つまたは複数の範囲の影響を受けない。すなわち、例えば、期待される出力が画像算出部１７１により処理される５００ピクセル画像当たり５００である所与の装置構成の場合、合成部１６１は、動的に設定された範囲に関係なく常に５００ピクセル画像当たり５００を出力する。これは、第１画像処理部１５１および第２画像処理部１５２により生成された画像は、纏められるとき、それらは所定の予期される出力画像サイズと同じサイズ（この例の場合は５００×５００ピクセル）になるため、それらは完全な合成画像に相当することが予想されるように生成されるためである。上述の場合は、処理範囲割り当て部１４１により算出された範囲に基づいて、第１画像処理部１５１の結果画像または第２画像処理部１５２の結果画像のいずれか一方のみが生成される場合にも当てはまる。

出力例が図３に示される。図３では、計算された範囲が異なり得る異なる期間中に取得された画像ＣＴ２１およびＣＴ２２は、俯瞰変換を用いて処理され、同じ一般的特性を有する合成画像ＣＴ３１および合成画像ＣＴ３２をもたらす。合成画像の画像一般特性が動的に変化する場合も実装できることに注意する必要がある。

（画像算出部）
画像算出部１７１は、合成部１６１により作成された少なくとも２つの画像間の不一致を表す差分画像を計算する機能を有する。これに限定されるものではないが、単純な画素間差分計算およびフィルタベースの画像差分計算を含む既知の方法を、差分計算に適用できる。例えば、図３に示されるように、歩行者Ｐ０から生じ得る差分データＰ０Ｄおよび所定の物体ＯＢ０から生じ得る差分データＯＢ０Ｄを示す差分画像ＣＴ４は、以前の期間に対応する合成画像ＣＴ３１および現在の期間に対応する合成画像ＣＴ３２に基づいて、並びに、画像差分計算処理を実行する前に、画像を調整/位置合わせするために自車両の運動データを使用することによって、計算される。

（障害物検出部）
障害物検出部１８１は、これに限定されるものではないが、差分画像を使用して、点（画素）間の距離を考慮した既知のクラスタリング手法を使用して（例えば、K-meansアルゴリズム）、互いに近く、道路の上の対象障害物を表し得る差分画素のクラスターを作成する方法を使用し、画像取得部１２１により取得された画像と、画像算出部１７１により算出された画像とを用いて、画像に映る立体物を検出し、その位置を計算する機能を有する。なお、本明細書において、「障害物検出」とは、対象物体検出（画像空間内の位置）、対象物体識別（例えば、自動車/車両、二輪車両、自転車、歩行者、ポールなど）、３次元空間での自車両からの対象物体の距離測定、対象物体の速度/速さ計算のタスクを少なくとも実行する処理を指す。

（制御アプリケーション処理部）
制御アプリケーション処理部１９１は、障害物検出部１８１により認識された障害物に応じて、当該画像処理装置１１０が搭載された車両が行う制御アプリケーションを決定する機能を有する。

ここで、画像処理装置１１０を車両Ｖの周囲を監視するシステムとして適用した場合について、図４（ａ）～（ｂ）を参照して説明する。図４（ａ）、図４（ｂ）および図４（ｃ）は、通常のトラバース運動（図４（ａ））、ブレーキ動作（図４（ｂ））および加速動作（図４（ｃ））を表す道路Ｒ１に対して異なる傾斜の車両Ｖを有し、カメラ姿勢パラメータの変化をもたらす同じシナリオを示す。ピッチ角（θ_Ａ、θ_Ｂ、θ_Ｃ）と呼ばれる、光軸１２に対するカメラ姿勢パラメータのみが記載されているが、記載された処理の性質を変更することなく、他のヨー角またはロール角と呼ばれるカメラ姿勢パラメータを考慮することができる。センシング部１１１に対応するセンサにより取得された画像に映るシーンは、それぞれＣＴ１１、ＣＴ１２、ＣＴ１３で示され、各ケースでカメラ姿勢パラメータ算出部１３１により算出されたカメラ姿勢パラメータの傾きに基づいて、各ケースで処理範囲割り当て部１４１により算出された処理範囲は、それぞれＩＲ１、ＩＲ２、ＩＲ３で示される。

処理範囲割り当て部１４１によって実行される計算処理は、おおよそ以下のようにまとめることができる（現在のカメラ姿勢パラメータに基づいて）。

まず、幾何学式を用いて、車両Ｖに搭載されたセンシング部１１１を起点として持つ３次元平面における遠方距離範囲の開始位置と終了位置に対応する画像内の位置（画像範囲の割合に対応）を計算し、計算された始点と終点をカバーし、画像取得部１２１により取得されて処理された画像の有効領域内にあるエリアとして処理範囲を設定することにより、遠方距離処理範囲を求める。計算された遠方距離範囲によりカバーされる全エリアが画像の有効領域内に収まらない場合、その範囲は無効としてマークされ得るため、以降の処理には使用されない。

次いで、幾何学式を用いて、車両Ｖに搭載されたセンシング部１１１を起点として持つ３次元平面における近傍距離範囲の開始位置と終了位置に対応する画像内の位置（画像範囲の割合に対応）を計算し、計算された始点と終点をカバーし、画像取得部１２１により取得されて処理された画像の有効領域内にあるエリアとして処理範囲を設定することにより、近傍距離処理範囲を求める。計算された近傍距離範囲によりカバーされる全エリアが画像の有効領域の外にある場合、その範囲は無効としてマークされ得るため、以降の処理には使用されない。

以下に説明するケースでは、車両Ｖは交差点に向かって移動している。図４（ａ）に記載されているケースでは、道路に対する車両Ｖの傾斜は、中立位置（例えば、0度の傾斜）を表す。この場合、カメラ姿勢パラメータ算出部１３１は、遠方距離範囲に対応する適切で固有の画像範囲ＩＲ１１および近傍距離範囲に対応する画像範囲ＩＲ１２を計算するために処理範囲割り当て部１４１により使用されるピッチ角（θ_Ａ）を取得する。次いで、得られた画像範囲ＩＲ１１は、第１画像処理部１５１により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。さらに、得られた画像範囲ＩＲ１２は、第２画像処理部１５２により使用されて、メモリアクセスおよびデータ処理最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。これは、現実世界の距離を参照して処理される画像データ量は、遠方距離範囲に必要なデータ量よりも大きくなるためである。

図４（ｂ）に記載されているケースでは、道路に対する車両Ｖの傾斜は、ブレーキ動作によって引き起こされる。この場合、カメラ姿勢パラメータ算出部１３１は、遠方距離範囲に対応する適切で固有の画像範囲ＩＲ２１および近傍距離範囲に対応する画像範囲ＩＲ２２を計算するために処理範囲割り当て部１４１により使用されるピッチ角（θ_Ｂ）を取得する。ピッチ角（θ_Ｂ）で記載される車両Ｖの傾斜の変化のため、近傍距離範囲に対応するデータがセンシング部１１１から見えるようになるため、計算された画像範囲ＩＲ２２は動的に増加し、したがって、現在のシナリオをカバーするために処理する必要がある。次いで、得られた画像範囲ＩＲ２１は、第１画像処理部１５１により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。さらに、得られた画像範囲ＩＲ２２は、第２画像処理部１５２により使用されて、メモリアクセスおよびデータ処理最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。これは、現実世界の距離を参照して処理される画像データ量は、遠方距離範囲に必要なデータ量よりも大きくなるためである。

図４（ｃ）に記載されているケースでは、道路に対する車両Ｖの傾斜は、加速動作によって引き起こされる。この場合、カメラ姿勢パラメータ算出部１３１は、遠方距離範囲に対応する適切で固有の画像範囲ＩＲ３１を計算するために処理範囲割り当て部１４１により使用されるピッチ角（θ_Ｃ）を取得する。ピッチ角（θ_Ｃ）で記載される車両Ｖの傾斜の変化のため、近傍距離範囲に対応するデータがセンシング部１１１に見えなくなるため、計算された画像範囲ＩＲ３１は動的に増加し、その位置が更新される。近傍距離範囲に対応する範囲も計算されるが、この場合、計算された近傍距離範囲によってカバーされる全ての領域が画像の有効領域の外側にあるため、その範囲は無効としてマークされ、したがって、更なる処理のために使用されない。次いで、得られた画像範囲ＩＲ３１は、第１画像処理部１５１により使用されて、処理速度および/またはハードウェア固有の最適化を適用しながら、画像のそれぞれの領域に対して俯瞰画像変換処理を実行し得る。この特定のケースでは、第２画像処理部１５２によってさらなる処理は実行されない。

上記の全てのケースでは、最終的な合成画像は、第１画像処理部１５１および第２画像処理部１５２の結果を取得することにより、合成部１６１によって作成される。次に、画像算出部１７１は、合成画像を使用して差分画像を算出し、算出した差分画像は、障害物検出部１８１により使用されて、障害物検出を実行する。その結果は、最終的に、制御アプリケーション処理部１９１により使用されて、車両Ｖによって実行されるべき制御アプリケーションを決定する。

以上で説明したように、図１に示される本実施形態に係る障害物検出および障害物認識のための画像処理装置１１０は、
当該装置が取り付けられているデバイスの前のシーンの画像を取り込むことができるセンシング部１１１と、
センシング部１１１によって取得された画像を処理し、その特性（これらに限定されないが、画像サイズ、画像解像度、および画像関心領域を含む）を調整する画像取得部１２１と、
カメラピッチ角（水平軸回転）、カメラロール角（縦軸回転）、およびカメラヨー角（垂直軸回転）によって定義されるカメラ姿勢パラメータのいずれかまたは全ての計算を実行するカメラ姿勢パラメータ算出部１３１と、
カメラ姿勢パラメータ算出部１３１によって計算されたカメラ姿勢パラメータに基づいて、画像取得部１２１によって取得された画像のうち第１画像処理部１５１および第２画像処理部１５２によって処理される２つの異なる範囲の計算を実行する処理範囲割り当て部１４１と、
第２画像処理部１５２によって使用される範囲とは異なる処理範囲割り当て部１４１によって計算された範囲に基づいて、画像取得部１２１によって取得されて処理された画像に所定の画像処理（例えば、幾何学的画像変換）を実行する第１画像処理部１５１と、
第１画像処理部１５１によって使用される範囲とは異なる処理範囲割り当て部１４１によって計算された範囲に基づいて、画像取得部１２１によって取得されて処理された画像に所定の画像処理（例えば、幾何学的画像変換）を実行する第２画像処理部１５２と、
第１画像処理部１５１および第２画像処理部１５２によって得られた結果から、単一合成を実行する合成部１６１と、
障害物検出部１８１のための入力として使用される所望の画像（これに限定されないが、合成部１６１によって作成された少なくとも２つの画像間の差分を表す差分画像を含み得る）を計算するための画像算出部１７１と、
画像取得部１２１によって取得された画像ならびに画像算出部１７１の結果を使用して、物体検出および物体認識を実行する障害物検出部１８１と、
障害物検出部１８１からの出力を少なくとも含み得る現在の条件に基づいて、当該画像処理装置１１０が備えられるデバイスによって実行される制御アプリケーションを決定する制御アプリケーション処理部１９１と、を備える。

すなわち、本実施形態に係る画像処理装置１１０は、カメラで撮像された画像の少なくとも一部である第１部分（例えば、遠方距離範囲）を画像処理（例えば、俯瞰画像変換処理）する第１画像処理部１５１と、前記第１部分が前記画像の一部である場合、前記画像のうち前記第１部分とは異なる第２部分（例えば、近傍距離範囲）を画像処理（例えば、俯瞰画像変換処理）する第２画像処理部１５２と、カメラ姿勢パラメータに応じて、前記第１画像処理部１５１に送信される画像範囲と前記第２画像処理部１５２に送信される画像範囲の割合を決める処理範囲割り当て部１４１と、を備える。

上記の処理を採用することにより、遠方距離範囲データを処理するように最適化された第１画像処理部１５１および近傍距離範囲データを処理するように最適化された第２画像処理部１５２によって処理される画像範囲（の割合）を、カメラ姿勢パラメータ算出部１３１によって計算されたカメラ姿勢パラメータに基づいて、動的に調整することにより、画像処理目的に使用されるメモリリソースの量を分配することが可能であり、したがって、デバイスが移動（走行）する環境条件が変化した場合でも、障害物検出部１８１によって実行される物体検出および位置特定の精度を維持することが可能である。

以上、本実施形態に係る障害物検出および障害物認識のための画像処理装置１１０の構成および動作について説明した。本実施形態に係る画像処理装置１１０は、特に近傍距離検出が必要とされる交差点シナリオのために、１つまたは２つの処理部のいずれかによって別々に画像処理を実行するとともに、トラバース環境に基づいてリアルタイムで計算されたセンサ姿勢パラメータなどの外部要因を使用して、各々の画像処理部で処理される画像の範囲および/またはサイズを動的に調整することにより、物体検出の精度ならびに検出された物体までの計算距離の精度を維持しながら、システムのハードウェア構成で使用されるラインメモリの量を削減することが可能となる。

現時点で考えられる本発明の好適な実施形態について説明したが、本実施形態に対して様々な変更を加えることができ、本発明の真の精神および範囲内の全ての変更は、添付の特許請求の範囲内にあることが意図される。

また、本発明は上記した実施形態に限定されるものではなく、様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１１０画像処理装置
１１１センシング部
１２１画像取得部
１３１カメラ姿勢パラメータ算出部
１４１処理範囲割り当て部
１５１第１画像処理部
１５２第２画像処理部
１６１合成部
１７１画像算出部
１８１障害物検出部
１９１制御アプリケーション処理部

Claims

カメラで撮像された画像の少なくとも一部である第１部分を画像処理する第１画像処理部と、
前記第１部分が前記画像の一部である場合、前記画像のうち前記第１部分とは異なる第２部分を画像処理する第２画像処理部と、
カメラ姿勢パラメータに応じて、前記第１画像処理部に送信される画像範囲と前記第２画像処理部に送信される画像範囲の割合を決める処理範囲割り当て部と、を備える画像処理装置。
請求項１に記載の画像処理装置において、
前記画像の第１部分は、前記カメラから相対的に遠い遠方距離範囲であり、前記画像の第２部分は、前記カメラに相対的に近い近傍距離範囲である画像処理装置。
請求項１に記載の画像処理装置において、
前記第１画像処理部および前記第２画像処理部の画像処理は俯瞰画像変換処理である画像処理装置。
請求項１に記載の画像処理装置において、
前記第１画像処理部および前記第２画像処理部の画像処理の結果を用いて合成画像を作成する合成部と、
前記合成部によって作成された少なくとも２つの合成画像間の不一致を表す差分画像を算出する画像算出部とをさらに備える画像処理装置。
請求項１に記載の画像処理装置において、
前記処理範囲割り当て部は、前記カメラを搭載した車両の走行中に計算した前記カメラ姿勢パラメータに応じて、前記第１画像処理部に送信される画像範囲と前記第２画像処理部に送信される画像範囲の割合を動的に決める画像処理装置。