JP7120835B2 - 画像処理装置 - Google Patents

Description

本発明は、例えば、カメラ等の撮像手段が撮像した画像に写り込んでいる物標を認識するための画像認識処理を行う画像処理装置の技術分野に関する。

このような画像処理装置の一例として、特許文献１には、カメラを備える車両において、カメラから入力される情報に基づいて、周辺車両の位置、速度及び加速度等の状態を認識する画像処理装置が記載されている。

その他、本願発明に関連する先行技術文献として、特許文献２があげられる。特許文献２には、広角レンズを有するカメラ及び望遠レンズを有するカメラを備える車両において、これら２つのカメラで撮像した２つの画像の夫々に所定の処理を施す画像処理装置が記載されている。

特開２０１７－２０７９０７号公報 特開平５－３４２４９７号公報

特許文献２に記載された画像処理装置では、２つのカメラが夫々撮像した２つの画像の夫々に対して所定の処理が施される。このため、仮に特許文献１に記載された車両が２つのカメラ（或いは、複数のカメラ）を備えている場合には、複数のカメラが夫々撮像した複数の画像の夫々に対して、周辺車両の位置、速度及び加速度等の状態を認識するための処理が行われる。しかしながら、この場合には、画像処理装置の演算負荷が高くなってしまう（言い換えれば、演算量ないしは計算量が膨れ上がってしまう）可能性がある。このため、演算負荷を低減する（つまり、演算量ないしは計算量を低減する）ことが望まれる。

演算負荷を低減するための第１の方法として、各カメラが撮像した各画像の解像度を下げた後に、解像度が下がった画像に基づいて周辺車両の位置、速度及び加速度等の状態を認識する方法が想定される。演算負荷を低減するための第２の方法として、各カメラの撮像レートを低くする（つまり、各カメラが単位時間当たりに撮像する画像の枚数を少なくする）ことで、相対的に少ない枚数の画像に基づいて周辺車両の位置、速度及び加速度等の状態を認識する方法が想定される。演算負荷を低減するための第３の方法として、各カメラが所定の撮像レートである期間中に撮像した複数の画像のうちの一部だけを抽出した上で、当該抽出した相対的に少ない枚数の画像に基づいて周辺車両の位置、速度及び加速度等の状態を認識する方法が想定される。しかしながら、これらの方法はいずれも、画像に写りこんでいる周辺車両（或いは、任意の物標）の認識精度の悪化につながる。

本発明が解決しようとする課題には上記のようなものが一例としてあげられる。本発明は、カメラ等の撮像手段が撮像した画像に写り込んでいる物標を認識する画像認識処理を行う際に、画像認識処理の演算負荷の低減及び画像認識処理による認識精度の悪化の抑制の双方を両立することが可能な画像処理装置を提供することを課題とする。

本発明の画像処理装置の第１の態様は、第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、前記第１及び第２画像の少なくとも一部に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を検出するための画像認識処理を行う処理手段とを備え、前記処理手段は、前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に対して前記画像認識処理を行うことなく、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に対して前記画像認識処理を行う。

本発明の画像処理装置の第２の態様は、第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、前記第１及び第２画像の夫々に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を認識するための画像認識処理を行う処理手段とを備え、前記処理手段は、前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に対して第１の演算負荷の前記画像認識処理を行い、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に対して前記第１の演算負荷よりも小さい第２の演算負荷の前記画像認識処理を行う。

本発明の画像処理装置の第３の態様は、第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、前記第１及び第２画像の夫々に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を認識するための画像認識処理を行う処理手段とを備え、前記処理手段は、複数の前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に写り込んだ物標を認識するための前記画像認識処理を、前記複数の第１画像の夫々に対して行い、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に写り込んだ物標を認識するための前記画像認識処理を、前記複数の第１画像のうちの一部に対して行う一方で前記複数の第１画像のうちの他の一部に対して行わない。

図１は、本実施形態の車両の構成を示すブロック図である。 図２は、図２（ａ）は、本実施形態の車両における標準カメラの撮像領域及び望遠カメラの撮像領域を示す平面図であり、図２（ｂ）は、本実施形態の車両における標準カメラの撮像領域及び望遠カメラの撮像領域を示す断面図である。 図３は、本実施形態の第１の物標認識動作の流れを示すフローチャートである。 図４は、図３のステップＳ１２における画像認識処理の流れを示すフローチャートである。 図５（ａ）は、標準カメラが撮像した標準画像を示す平面図であり、図５（ｂ）は、望遠カメラが撮像した望遠画像を示す平面図である。 図６は、本実施形態の第２の物標認識動作の流れを示すフローチャートである。 図７（ａ）は、重複画像部分と非重複画像部分との境界を跨ぐ特定物標を、標準画像上で示す平面図であり、図７（ｂ）は、重複画像部分と非重複画像部分との境界を跨ぐ特定物標を、望遠画像上で示す平面図である。 図８は、変形例における望遠画像を対象とする処理の流れを示すフローチャートである。 図９は、変形例における標準画像を対象とする処理の流れを示すフローチャートである。 図１０は、通常の画像認識処理が行われる領域が第１の認識促進処理によって変更される様子を示す平面図である。

以下、図面を参照しながら、画像処理装置の実施形態について説明する。以下では、画像処理装置の実施形態が搭載された車両１を用いて説明を進める。

（１）車両１の構成
初めに、図１及び図２（ａ）から図２（ｂ）を参照しながら、本実施形態の車両１の構成について説明する。図１は、本実施形態の車両１の構成を示すブロック図である。図２（ａ）は、本実施形態の車両１における標準カメラ１１ｗの撮像領域ＩＲｗ及び望遠カメラ１１ｔの撮像領域ＩＲｔを示す平面図であり、図２（ｂ）は、本実施形態の車両１における標準カメラ１１ｗの撮像領域ＩＲｗ及び望遠カメラ１１ｔの撮像領域ＩＲｔを示す断面図である。尚、以下の説明では、必要に応じて、車両１から右側に向かう方向が＋Ｙ方向に対応し、車両１から左側に向かう方向が－Ｙ方向に対応し、車両１から前側に向かう方向が＋Ｘ方向に対応し、車両１から後側に向かう方向が－Ｘ方向に対応し、車両１から上側に向かう方向が＋Ｚ方向に対応し、車両１から下側に向かう方向が－Ｚ方向に対応するＸＹＺ座標系を用いて、説明を進める。

図１に示すように、車両１は、後述する付記における「第１撮像手段」の一具体例である標準カメラ１１ｗと、後述する付記における「第２撮像手段」の一具体例である望遠カメラ１１ｔと、後述する付記における「画像処理装置」の一具体例であるＥＣＵ（Ｅｌｅｃｔｒｉｃａｌ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１２とを備える。

標準カメラ１１ｗは、望遠カメラ１１ｔよりも画角が広い撮像機器である。つまり、望遠カメラ１１ｔは、標準カメラ１１ｗよりも画角が狭い撮像機器である。言い換えれば、標準カメラ１１ｗは、望遠カメラ１１ｔよりも焦点距離が短い撮像機器である。つまり、望遠カメラ１１ｔは、標準カメラ１１ｗよりも焦点距離が長い撮像機器である。このため、本実施形態において「標準カメラ１１ｗ」という表記は、一般的な標準レンズ（例えば、画角が２５度から５０度程度のレンズ）を備えているカメラを意味するというよりは、望遠カメラ１１ｔに対して画角が広く且つ焦点距離が短いカメラを意味する。同様に、本実施形態において「望遠カメラ１１ｔ」という表記は、一般的な望遠レンズ（例えば、画角が１０度から１５度程度のレンズ）を備えているカメラを意味するというよりは、標準カメラ１１ｗに対して画角が狭く且つ焦点距離が長いカメラを意味する。尚、図２（ａ）及び図２（ｂ）は、標準カメラ１１ｗの水平画角θｈｗは、望遠カメラ１１ｔの水平画角θｈｔよりも広く、且つ、標準カメラ１１ｗの垂直画角θｖｗは、望遠カメラ１１ｔの垂直画角θｖｔよりも広い例を示している。

標準カメラ１１ｗ及び望遠カメラ１１ｔの夫々は、図２（ａ）及び図２（ｂ）に示すように、車両１の前方（特に、真正面）の光景を撮像するように、車両１に固定されている。具体的には、車両１の前方の光景を撮像するために、標準カメラ１１ｗ及び望遠カメラ１１ｔの夫々の撮影中心は、車両１から真っ直ぐ前方に位置している。つまり、標準カメラ１１ｗ及び望遠カメラ１１ｔの夫々が備えるレンズ等の光学系の光軸は、車両１から真っ直ぐ前方に向かって延びる。特に、本実施形態では、車両１の前方において、標準カメラ１１ｗの撮像領域（言い換えれば、撮像範囲）ＩＲｗは、望遠カメラ１１ｔの撮像領域ＩＲｔと部分的に重複するように、標準カメラ１１ｗ及び望遠カメラ１１ｔが位置合わせされている。具体的には、車両１の前方において、望遠カメラ１１ｔの撮像領域ＩＲｔは、標準カメラ１１ｗの撮像領域ＩＲｗに包含されるように、標準カメラ１１ｗ及び望遠カメラ１１ｔが位置合わせされている。但し、標準カメラ１１ｗ及び望遠カメラ１１ｔの夫々が車両１の前方を撮像することができ且つ標準カメラ１１ｗの撮像領域ＩＲｗと望遠カメラ１１ｔの撮像領域ＩＲｔとが部分的に重複することができる限りは、標準カメラ１１ｗ及び望遠カメラ１１ｔの配置位置が限定されることはない。

ＥＣＵ１２は、車両１の全体の動作を制御する。本実施形態では特に、ＥＣＵ１２は、標準カメラ１１ｗが撮像した画像（以下、“標準画像１１１ｗ”と称する）及び望遠カメラ１１ｔが撮像した画像（以下、“望遠画像１１１ｔ”と称する）の少なくとも一部に写り込んでいる物標を認識するための物標認識動作を行う。物標の一例として、他の車両、自転車、歩行者、障害物、信号機、道路標識及び道路標示の少なくとも一つがあげられる。尚、本実施形態における「物標を認識する」動作は、「物標がどのような種類の物標であるかを特定する（例えば、他の車両であるのか、自転車であるのか、歩行者であるのか、障害物であるのか、灯色が特定色の信号機であるのか、特定の意味を有する道路標識であるのか、特定の意味を有する道路標示であるのかを特定する）」動作を含む。更に、本実施形態における「物標を認識する」動作は、「物標の位置、移動速度及び移動方向の少なくとも一つを特定する」動作を含んでいてもよい。物標認識動作を行うために、ＥＣＵ１２は、ＥＣＵ１２の内部に論理的に実現される処理ブロックとして、後述する付記における「取得手段」の一具体例である画像取得部１２１と、後述する付記における「処理手段」の一具体例である画像処理部１２２とを備える。尚、画像取得部１２１及び画像処理部１２２の夫々の動作の詳細については、後に図面を参照しながら詳述する。

（２）物標認識動作の流れ
続いて、ＥＣＵ１２が行う物標認識動作の流れについて説明する。本実施形態では、ＥＣＵ１２は、第１の物標認識動作及び第２の物標認識動作の少なくとも一方を行うことが可能である。このため、以下では、第１の物標認識動作及び第２の物標認識動作について順に説明する。

（２－１）第１の物標認識動作の流れ
初めに、図３を参照しながら、第１の物標認識動作の流れについて説明する。図３は、第１の物標認識動作の流れを示すフローチャートである。

図３に示すように、まず、画像取得部１２１は、望遠カメラ１１ｔから望遠画像１１１ｔを取得する（ステップＳ１１）。更に、画像取得部１２１は、望遠画像１１１ｔの取得と並行して、標準カメラ１１ｗから標準画像１１１ｗを取得する（ステップＳ１３）。

尚、標準カメラ１１ｗは、所定の第１撮像レート（例えば、車両１の前方の光景を１秒間に１０回撮像して、１秒間に１０枚の標準画像１１１ｗを取得可能な撮像レート）で車両１の前方の光景を撮像する。同様に、望遠カメラ１１ｔもまた、所定の第２撮像レート（例えば、車両１の前方の光景を１秒間に１０回撮像して、１秒間に１０枚の望遠画像１１１ｔを取得可能な撮像レート）で車両１の前方の光景を撮像する。従って、ＥＣＵ１２は、標準カメラ１１ｗ及び望遠カメラ１１ｔが車両１の前方の光景を撮像する都度、図３に示す物標検出動作を行う。つまり、図３に示す物標検出動作は、標準カメラ１１ｗ及び望遠カメラ１１ｔの撮像レートに合わせて繰り返し行われる。

その後、画像処理部１２２は、望遠画像１１１ｔに対して（典型的には、望遠画像１１１ｔの全体に対して）、望遠画像１１１ｔに写り込んでいる物標を認識するための画像認識処理を行う（ステップＳ１２）。ここで、図３のステップＳ１２における画像認識処理の流れについて、図４を参照しながら更に詳細に説明する。図４は、図３のステップＳ１２における画像認識処理の流れを示すフローチャートである。

図４に示すように、まずは、画像処理部１２２は、有効に認識された物標の数を示す変数ｉを０に初期化する（ステップＳ１２１０）。その後、画像処理部１２２は、望遠画像１１１ｔに写り込んでいる物標を認識する（ステップＳ１２１１）。更に、画像処理部１２２は、ステップＳ１２１１で認識された物標の数を、変数Ｎとして記録する（ステップＳ１２１２）。尚、画像処理部１２２は、画像に写り込んでいる物標を認識するための方法としては、既存の方法を用いてもよい。このため、画像に写り込んでいる物標を認識するための方法の詳細な説明は省略する。尚、既存の方法の一例として、テンプレートと望遠画像１１１ｔに写り込んでいる物標との類似度に基づいて物標がどのような物標であるかを特定する方法（いわゆる、テンプレートマッチング法）があげられる。既存の方法の他の一例として、望遠画像１１１ｔに写り込んでいる物標周辺の特徴量を抽出し、抽出した特徴量に基づいて物標が複数種類の物標の夫々である確率を出力し、当該確率に基づいて物標がどのような物標であるかを特定する方法（例えば、ニューラルネットワークを用いた方法）があげられる。

その後、画像処理部１２２は、ステップＳ１２１１において少なくとも一つの物標が認識されたか否かを判定する（ステップＳ１２１３）。ステップＳ１２１３における判定の結果、物標が一つも認識されなかった（つまり、認識された物標の数を示す変数Ｎがゼロである）と判定された場合には（ステップＳ１２１３：Ｎｏ）、画像処理部１２２は、図４に示す画像認識処理を終了する。他方で、ステップＳ１２１３における判定の結果、少なくとも一つの物標が認識された（つまり、認識された物標の数を示す変数Ｎが１以上である）と判定された場合には（ステップＳ１２１３：Ｙｅｓ）、画像処理部１２２は、変数ｋを１に初期化する（ステップＳ１２２１）。

その後、画像処理部１２２は、ステップＳ１２１２で認識されたＮ（但し、Ｎは１以上の整数）個の物標のうちのｋ番目の物標＃ｋが、前回行われた画像認識処理（つまり、１つ前に取得された望遠画像１１１ｔに対して行われた画像認識処理）で認識されていない新しい物標であるか否かを判定する（ステップＳ１２２２）。ステップＳ１２２２における判定の結果、ｋ番目の物標＃ｋが新しい物標であると判定された場合には（ステップＳ１２２２：Ｙｅｓ）、画像処理部１２２は、ｋ番目の物標＃ｋを管理するために、ｋ番目の物標＃ｋに対して、各物標を識別するための固有の物標ＩＤを付与する（ステップＳ１２２３）。他方で、ステップＳ１２２２における判定の結果、ｋ番目の物標＃ｋが新しい物標でない（つまり、１つ前の望遠画像１１１ｔにも写り込んでいた物標である）と判定された場合には（ステップＳ１２２２：Ｎｏ）、前回までに行われた画像認識処理によってｋ番目の物標＃ｋには既に物標ＩＤが付与されているため、画像処理部１２２は、ｋ番目の物標＃ｋに新たな物標ＩＤを付与しない。

その後、画像処理部１２２は、有効に認識された物標の数を示す変数ｉを１だけインクリメントする（ステップＳ１２２４）。その後、画像処理部１２２は、望遠画像１１１ｔ内でのｋ番目の物標＃ｋの位置を算出する（ステップＳ１２２５）。更に、画像処理部１２２は、今回取得された望遠画像１１１ｔ内でのｋ番目の物標＃ｋの位置と前回までに（つまり、今回の一つ前までに）取得された望遠画像１１１ｔ内でのｋ番目の物標＃ｋの位置とを比較して、ｋ番目の物標＃ｋの移動方向及びｋ番目の物標＃ｋの移動速度を算出する（ステップＳ１２２５）。但し、ｋ番目の物標＃ｋが新たな物標である場合には、画像処理部１２２は、ｋ番目の物標＃ｋの移動方向及び移動速度を算出しなくてもよい。

その後、画像処理部１２２は、変数ｋが、ステップＳ１２１１で認識された物標の数を示す変数Ｎと一致しているか否かを判定する（ステップＳ１２２６）。つまり、画像処理部１２２は、ステップＳ１２１１で認識された物標の全てに対して、物標の位置、移動方向及び移動速度を算出する処理が行われたか否かを判定する（ステップＳ１２２６）。ステップＳ１２２６における判定の結果、変数ｋが、ステップＳ１２１１で認識された物標の数を示す変数Ｎと一致していないと判定された場合には（ステップＳ１２２６：Ｎｏ）、ステップＳ１２１１で認識された物標のうちの一部に対して、物標の位置、移動方向及び移動速度を算出する処理が未だ行われていないと想定される。この場合には、画像処理部１２２は、変数ｋを１だけインクリメントした後に（ステップＳ１２２７）、ステップＳ１２２２以降の処理を繰り返す。

他方で、ステップＳ１２２６における判定の結果、変数ｋが、ステップＳ１２１１で認識された物標の数を示す変数Ｎと一致していると判定された場合には（ステップＳ１２２６：Ｙｅｓ）、ステップＳ１２１１で認識された物標の全てに対して、物標の位置、移動方向及び移動速度を算出する処理が行われたと想定される。この場合には、画像処理部１２２は、前回取得された望遠画像１１１ｔにおいて認識された物標のうち、今回取得された望遠画像１１１ｔにおいて認識されなかった物標が存在するか否かを判定する（ステップＳ１２３１）。つまり、画像処理部１２２は、今回取得された望遠画像１１１ｔにおいて消失した物標が存在する（つまり、前回取得された望遠画像１１１ｔにおいて認識された物標が、今回取得された望遠画像１１１ｔにおいて消失した）か否かを判定する（ステップＳ１２３１）。ステップＳ１２３１における判定の結果、消失した物標が存在すると判定された場合には（ステップＳ１２３１：Ｙｅｓ）、画像処理部１２２は、消失した物標を管理する必要性がなくなったため、消失した物標に付与されていた物標ＩＤを削除する（ステップＳ１２３２）。その後、画像処理部１２２は、図４に示す画像認識処理を終了する。他方で、ステップＳ１２３１における判定の結果、消失した物標が存在しないと判定された場合には（ステップＳ１２３１：Ｎｏ）、画像処理部１２２は、図４に示す画像認識処理を終了する。

再び、図３において、望遠画像１１１ｔに対する画像認識処理と並行して又は相前後して、画像処理部１２２は、標準画像１１１ｗの一部に対して、標準画像１１１ｗの一部に写り込んでいる物標を認識するための画像認識処理を行う（ステップＳ１４）。尚、標準画像１１１ｗに写り込んでいる物標を認識するための画像認識処理の流れは、望遠画像１１１ｔに写り込んでいる物標を認識するための画像認識処理の流れと同一であるため、その詳細な説明は省略する。一方で、画像処理部１２２は、標準画像１１１ｗの残りの一部に対して、標準画像１１１ｗの残りの一部に写り込んでいる物標を認識するための画像認識処理を行わない。

具体的には、上述したように、標準カメラ１１ｗの撮像領域ＩＲｗと望遠カメラ１１ｔの撮像領域ＩＲｔとは部分的に重複している。具体的には、望遠カメラ１１ｔの撮像領域ＩＲｔは、標準カメラ１１ｗの撮像領域ＩＲｗに包含される。このため、図５（ａ）に示すように、標準画像１１１ｗには、望遠画像１１１ｔに写り込んでいる光景と同じ光景が写り込んでいる重複画像部分１１２ｗと、望遠画像１１１ｔに写り込んでいる光景とは異なる光景が写り込んでいる非重複画像部分１１３ｗとが含まれている。つまり、標準画像１１１ｗには、撮像領域ＩＲｗのうち撮像領域ＩＲｔと重複する領域部分が写り込んでいる重複画像部分１１２ｗと、撮像領域ＩＲｗのうち撮像領域ＩＲｔと重複しない（つまり、撮像領域ＩＲｗに固有の）領域部分が写り込んでいる非重複画像部分１１３ｗとが含まれている。尚、図５（ｂ）は、望遠画像１１１ｔを参考までに示している。

重複画像部分１１２ｗに写り込んでいる物標は、望遠画像１１１ｔにも写り込んでいるはずである。このため、画像処理部１２２は、重複画像部分１１２ｗに写り込んでいる物標を認識するための画像認識処理を重複画像部分１１２ｗに対して行わなくても、望遠画像１１１ｔに写り込んでいる物標を認識するための画像認識処理の結果から、重複画像部分１１２ｗに写り込んでいる物標を間接的に認識することができる。つまり、重複画像部分１１２ｗに写り込んでいる物標を認識するための画像認識処理が重複画像部分１１２ｗに対して行われなかったとしても、重複画像部分１１２ｗに写り込んでいる物標の認識精度が悪化することは殆どない。そこで、本実施形態では、画像処理部１２２は、標準画像１１１ｗのうちの重複画像部分１１２ｗに対して、重複画像部分１１２ｗに写り込んでいる物標を認識するための画像認識処理を行わない。

一方で、非重複画像部分１１３ｗに写り込んでいる物標は、望遠画像１１１ｔには写り込んでいない可能性が高い。このため、画像処理部１２２は、望遠画像１１１ｔに写り込んでいる物標を認識するための画像認識処理の結果から、非重複画像部分１１３ｗに写り込んでいる物標を認識することができない可能性が高い。このため、本実施形態では、画像処理部１２２は、標準画像１１１ｗのうちの非重複画像部分１１３ｗに対して（典型的には、非重複画像部分１１３ｗの全体に対して）、非重複画像部分１１３ｗに写り込んでいる物標を認識するための画像認識処理を行う。

以上説明したステップＳ１１からステップＳ１２までの処理が、望遠カメラ１１ｔが車両１の前方の光景を撮像する都度、繰り返し行われる。同様に、以上説明したステップＳ１３からステップＳ１４までの処理が、標準カメラ１１ｗが車両１の前方の光景を撮像する都度、繰り返し行われる。

このような第１の物標認識動作によれば、画像処理部１２２は、標準画像１１１ｗの一部に対して画像認識処理を行わなくてもよくなる。その結果、第１の物標認識動作は、標準画像１１１ｗの全体に対して画像認識処理を行う必要がある第１比較例の物標認識動作と比較して、標準画像１１１ｗの一部に対して画像認識処理を行わなくてもよい分だけ画像認識処理の演算負荷を低減することができる。つまり、第１の物標認識動作は、画像認識処理の演算負荷を低減するための方法として、上述した「発明が解決しようとする課題」で説明した方法（つまり、物標の認識精度の悪化につながりかねない方法）を採用しなくてもよくなる。このため、第１の物標認識動作は、画像認識処理の演算負荷の低減及び画像認識処理による認識精度の悪化の抑制の双方を両立することができる。

尚、本実施形態における「演算負荷の低減」は、画像認識処理を行うために必要な演算量（言い換えれば、計算量又は処理量）の低減を意味していてもよい。従って、ある画像に対して一の画像認識処理を行うために必要な演算量が、同じ画像に対して他の画像認識処理を行うために必要な演算量よりも少ない場合には、一の画像認識処理の演算負荷が他の画像認識処理の演算負荷に対して低減されている（つまり、他の画像認識処理の演算負荷よりも小さい）ことになる。また、本実施形態における「認識精度の悪化」は、そもそも画像から物標自体を検出することができないこと、物標自体は検出できるもののその物標が具体的にどのような種類の物標であるのかを特定できないこと、本来は第１の種類の物標であると特定されるべき物標が第１の種類の物標とは異なる第２の種類の物標であると誤って特定してしまうこと、及び、物標の認識結果に基づいて行われる制御に対して十分な時間的ゆとりをもって物標を認識することができなくなることの少なくとも一つを意味していてもよい。

尚、望遠画像１１１ｔに写り込んでいる光景が標準画像１１１ｗにも写り込んでいることを考慮すれば、画像処理部１２２は、望遠画像１１１ｔに対して画像認識処理を行わなくても、標準画像１１１ｗの全体に対して画像認識処理を行えば標準画像１１１ｗ及び望遠画像１１１ｔの少なくとも一方に写り込んでいる物標を認識することができるとも想定される。しかしながら、標準カメラ１１ｗの撮像領域ＩＲｗ及び望遠カメラ１１ｔの撮像領域ＩＲｔの双方に含まれる物標が標準カメラ１１ｗ及び望遠カメラ１１ｔの双方によって撮像されると、標準カメラ１１ｗ及び望遠カメラ１１ｔの間での画角及び焦点距離の違いに起因して、当該物標は、標準画像１１１ｗのうちの重複画像部分１１２ｗに相対的に小さく写り込む一方で、望遠画像１１１ｔに相対的に大きく写り込む可能性が高い。つまり、当該物標は、標準画像１１１ｗのうちの重複画像部分１１２ｗにおいて相対的に少ない画素から構成される相対的に小さい領域に写り込む一方で、望遠画像１１１ｔにおいて相対的に多くの画素から構成される相対的に大きい領域に写り込む可能性が高い。このため、重複画像部分１１２ｗに対して行われる画像認識処理による物標の認識精度は、望遠画像１１１ｔに対して行われる画像認識処理による同じ物標の認識精度に劣ってしまう可能性がある。そうすると、望遠画像１１１ｔの全体及び標準画像１１１ｗのうちの非重複画像部分１１３ｗに対して画像認識処理を行う一方で標準画像１１１ｗのうちの重複画像部分１１２ｗに対して画像認識処理を行わない第１の物標認識動作は、標準画像１１１ｗの全体に対して画像認識処理を行う一方で望遠画像１１１ｔに対して画像認識処理を行わない第２比較例の物標認識動作と比較して、物標の認識精度が高くなるという点において特に優れている。

（２－２）第２の物標認識動作の流れ
続いて、図６を参照しながら、第２の物標認識動作の流れについて説明する。図６は、第２の物標認識動作の流れを示すフローチャートである。尚、上述した図３に示す第１の物標認識動作で行われる処理と同一の処理については、同一のステップ番号を付して、その詳細な説明を省略する。

図５に示すように、第２の物標認識動作においても、第１の物標認識動作と同様に、画像取得部１２１は、望遠カメラ１１ｔから望遠画像１１１ｔを取得し（ステップＳ１１）、画像処理部１２２は、望遠画像１１１ｔに対して画像認識処理を行う（ステップＳ１２）。更に、画像処理部１２２は、標準カメラ１１ｗから標準画像１１１ｗを取得し（ステップＳ１３）、画像処理部１２２は、標準画像１１１ｗのうちの非重複画像部分１１３ｗに対して画像認識処理を行う（ステップＳ１４）。

第２の物標認識動作では特に、画像処理部１２２は、標準画像１１１ｗのうちの重複画像部分１１２ｗに対しても画像認識処理を行う（ステップＳ２５）。但し、重複画像部分１１２ｗに対して行われる画像認識処理の演算負荷は、非重複画像部分１１３ｗに対して行われる画像認識処理の演算負荷よりも小さい。つまり、画像処理部１２２は、重複画像部分１１２ｗに対して、演算負荷が相対的に小さい画像認識処理を行う（ステップＳ２５）。一方で、画像処理部１２２は、望遠画像１１１ｔ及び非重複画像部分１１２ｗに対して、演算負荷が相対的に大きい画像認識処理（典型的には、上述した第１の物標認識動作で行われる画像認識処理）を行う。

演算負荷を小さくするために、画像処理部１２２は、上述した「発明が解決しようとする課題」で説明した方法を用いてもよい。例えば、画像処理部１２２は、ステップＳ２５において、重複画像部分１１２ｗの解像度を下げた後に、解像度が下がった重複画像部分１１２ｗに対して画像認識処理を行ってもよい。例えば、画像処理部１２２は、標準カメラ１１ｗが所定の第１撮像レートである期間中に撮像した複数の標準画像１１１ｗのうちの一部だけを抽出した上で、当該抽出した相対的に少ない枚数の標準画像１１１ｗの重複画像部分１１２ｗに対して画像認識処理を行ってもよい。つまり、画像処理部１２２は、抽出されなかった標準画像１１１ｗの重複画像部分１１２ｗに対して画像認識処理を行わなくてもよい。

このような第２の物標認識動作によれば、画像処理部１２２は、標準画像１１１ｗの一部に対して、通常の画像認識処理（つまり、望遠画像１１１ｔ及び標準画像１１１ｗの他の一部に対して行われる、演算負荷が相対的に大きい画像認識処理）を行わなくてもよくなる。その結果、第２の物標認識動作は、標準画像１１１ｗの全体に対して通常の画像認識処理を行う必要がある第１比較例の物標認識動作と比較して、標準画像１１１ｗの一部に対して通常の画像認識処理を行わなくてもよい分だけ画像認識処理の演算負荷を低減することができる。一方で、上述したように、画像処理部１２２は、望遠画像１１１ｔに写り込んでいる物標を認識するための画像認識処理の結果から、重複画像部分１１２ｗに写り込んでいる物標を間接的に認識することができる。このため、重複画像部分１１２ｗに対して物標の認識精度の悪化をまねきかねない画像認識処理（つまり、演算負荷が相対的に少ない画像認識処理）が行われたとしても、重複画像部分１１２ｗに写り込んでいる物標の認識精度が悪化することは殆どない。このため、第２の物標認識動作は、画像認識処理の演算負荷の低減及び画像認識処理による認識精度の悪化の抑制の双方を両立することができる。

尚、第２の物標認識動作では、画像処理部１２２は、望遠画像１１１ｗに対して行われる画像認識処理の結果に加えて、重複画像部分１１２ｗに対して行われる画像認識処理の結果にも基づいて、望遠画像１１１ｗ及び重複画像部分１１２ｗに写り込んでいる物標を認識してもよい。その結果、重複画像部分１１２ｗに対して行われる画像認識処理の結果に基づくことなく望遠画像１１１ｗ及び重複画像部分１１２ｗに写り込んでいる物標を認識する場合と比較して、望遠画像１１１ｗ及び重複画像部分１１２ｗに写り込んでいる物標の認識精度が向上する可能性がある。

（３）変形例
続いて、物標認識動作の変形例について説明する。上述したように、標準画像１１１ｗが重複画像部分１１２ｗと非重複画像部分１１３ｗとを含む場合には、標準画像１１１ｗには、重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐように写り込んでいる物標（以降、説明の便宜上、“特定物標Ｐ”と称する）が存在する可能性がある。

この場合、図７（ａ）に示すように、特定物標Ｐのうちの第１物標部分Ｐ１が重複画像部分１１２ｗに写り込む一方で、特定物標Ｐのうちの第１物標部分Ｐ１以外の第２物標部分Ｐ２が非重複画像部分１１１３ｗに写り込むことになる。その結果、上述した第１の物標認識動作では、重複画像部分１１２ｗに対して画像認識処理が行われないため、画像処理部１２２は、第１物標部分Ｐ１の存在を検出することができない。その結果、画像処理部１２２は、標準画像１１１ｗに対する画像認識処理の結果に基づいて、第１物標部分Ｐ１を含む特定物標Ｐを全体として適切に認識することができない可能性がある。同様に、上述した第２の物標認識動作では、重複画像部分１１２ｗに対して認識精度の悪化をまねきかねない画像認識処理が行われるため、第１物標部分Ｐ１を含む特定物標Ｐの認識精度が悪化する可能性がある。その結果、画像処理部１２２は、標準画像１１１ｗに対する画像認識処理の結果に基づいて、第１物標部分Ｐ１を含む特定物標Ｐを全体として適切に認識することができない可能性がある。一方で、図７（ｂ）に示すように、望遠画像１１１ｔについて見ても、特定物標Ｐのうちの第１物標部分Ｐ１が望遠画像１１１ｔに写り込む一方で、特定物標Ｐのうちの第２物標部分Ｐ２が望遠画像１１１ｔに写り込むことはない。その結果、上述した第１又は第２の物標認識動作では、画像処理部１２２は、望遠画像１１１ｔに対する画像認識処理の結果に基づいて、第２物標部分Ｐ２を含む特定物標Ｐを全体として適切に認識することができない可能性がある。

そこで、変形例では、画像処理部１２２は、重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐ特定物標Ｐが存在する場合には、特定物標Ｐが存在しない場合と比較して、特定物標Ｐを認識しやすくなる（つまり、特定物標Ｐがどのような種類の物標であるかを特定しやすくなる）ように、標準画像１１１ｗに対する画像認識処理の内容を変える。具体的には、変形例では、画像処理部１２２は、特定物標Ｐを認識しやすくするために、望遠画像１１１ｔを対象とする処理として、図３及び図６の夫々におけるステップＳ１２の処理に代えて、図８に示す処理を行う。更に、画像処理部１２２は、特定物標Ｐを認識しやすくするために、標準画像１１１ｗを対象とする処理として、図３におけるステップＳ１４の処理又は図６におけるステップＳ１４からステップＳ２５の処理に代えて、図９に示す処理を行う。以下、図８及び図９を参照しながら、変形例における望遠画像１１１ｔ及び標準画像１１１ｗを対象とする処理について順に説明する。

はじめに、変形例における望遠画像１１１ｔを対象とする処理について説明する。図８に示すように、画像処理部１２２は、まず、望遠画像１１１ｔに対して画像認識処理を行う（ステップＳ３０）。尚、ステップＳ３０における画像認識処理は、図３のステップＳ１２における画像認識処理と同一である。その結果、画像処理部１２２は、望遠画像１１１ｔに写り込んでいる物標の移動方向及び移動速度を特定する。

その後、画像処理部１２２は、ステップＳ３０における画像認識処理の結果に基づいて、近い将来に（例えば、今から所定時間が経過するまでに）、画像認識処理によって認識された物標の少なくとも一つが、重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐことになるか否かを前もって予測する（ステップＳ３１）。つまり、画像処理部１２２は、近い将来に特定物標Ｐになると予測される物標が、望遠画像１１１ｔ内に存在するか否かを判定する。具体的には、画像処理部１２２は、画像認識処理によって特定される物標の移動方向及び移動速度に基づいて、物標の将来の位置を予測すると共に、予測した位置に位置する物標が、重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐか否かを判定する。

ステップＳ３１における判定の結果、近い将来に特定物標Ｐになると予測される物標が存在しないと判定された場合には（ステップＳ３１：Ｎｏ）、画像処理部１２２は、図８に示す処理を終了する。他方で、ステップＳ３１における判定の結果、近い将来に特定物標Ｐになると予測される物標が存在すると判定された場合には（ステップＳ３１：Ｙｅｓ）、画像処理部１２２は、ステップＳ３０における画像認識処理の結果（特に、物標の移動方向及び移動速度）に基づいて、物標が重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐ期間（つまり、物標が特定物標Ｐになる期間）を予測する（ステップＳ３２）。更に、画像処理部１２２は、ステップＳ３２で特定された期間における物標の位置（つまり、物標が重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐ位置）を予測する（ステップＳ３３）。その後、画像処理部１２２は、近い将来に特定物標Ｐとなると予測される物標に関する情報（ステップＳ３２で特定された期間及びステップＳ３３で特定された位置を含む）を記憶しておく（ステップＳ３４）。ここで記憶した情報は、図９に示す標準画像１１１ｗを対象とする処理において利用される。

続いて、変形例における標準画像１１１ｗを対象とする処理について説明する。図９に示すように、画像処理部１２２は、図８のステップＳ３２で特定された期間中に標準カメラ１１ｗによって撮像された標準画像１１１ｗを取得したか否かを判定する（ステップＳ４１）。ステップＳ３２で特定された期間において望遠画像１１１ｔ内のある物標が重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐと予測されることから、ステップＳ４１では、画像処理部１２２は、特定物標Ｐが写り込んでいると予測される標準画像１１１ｗを取得した否かを判定していると言える。

ステップＳ４１における判定の結果、図８のステップＳ３２で特定された期間中に標準カメラ１１ｗによって撮像された標準画像１１１ｗを取得したと判定された場合には（ステップＳ４１：Ｙｅｓ）、取得した標準画像１１１ｗには、特定物標Ｐが写り込んでいると推定される。この場合には、画像処理部１２２は、認識促進処理を行う（ステップＳ４２）。認識促進処理は、標準画像１１１ｗに対して行われる画像認識処理によって標準画像１１１ｗに写り込んでいる特定物標Ｐを認識しやすくするための処理である。認識促進処理は、標準画像１１１ｗに対して行われる画像認識処理によって標準画像１１１ｗに写り込んでいる特定物標Ｐが認識しやすくなるように、標準画像１１１ｗに対して行われる画像認識処理を変更する処理である。

認識促進処理は、通常の画像認識処理（具体的には、望遠画像１１１ｔに対して行われる画像認識処理と同じ画像認識処理）が行われる画像部分を変更する第１の認識促進処理を含んでいてもよい。具体的には、上述したように、標準画像１１１ｗのうちの非重複画像部分１１３ｗに対して通常の画像認識処理が行われる一方で、標準画像１１１ｗのうちの重複画像部分１１２ｗに対しては画像認識処理が行われないか又は演算負荷が相対的に小さい画像認識処理が行われる。第１の認識促進処理は、特定物標Ｐが写り込んでいる場合には、特定物標Ｐが写り込んでいない場合と比較して、通常の画像認識処理が行われる画像部分を拡大する処理である。典型的には、図１０に示すように、第１の認識促進処理は、通常の画像認識処理が行われる画像部分を、重複画像部分１１２ｗのうち特定物標Ｐが写り込んでいる画像部分を含む一部の画像部分１１２ｗ－１にまで拡大する処理である。つまり、第１の認識促進処理は、特定物標Ｐが写り込んでいる画像部分の全体が通常の画像認識処理が行われる画像部分に含まれるように、通常の画像認識処理が行われる画像部分を拡大する処理である。その結果、特定物標Ｐの全体が通常の画像認識処理の対象となるため、画像処理部１２２は、特定物標Ｐを認識しやすくなる（つまり、適切に認識することができる）。尚、重複画像部分１１２ｗのうち画像部分１１２ｗ－１以外の残りの一部の画像部分１１２ｗ－２に対しては、従前どおり、画像認識処理が行われないか又は演算負荷が相対的に小さい画像認識処理が行われる。

上述したように物標を認識するための方法としてテンプレートマッチング法が用いられる場合には、認識促進処理は、テンプレートと物標との類似度に基づいて物標を認識するために類似度と比較される閾値を変更する第２の認識促進処理を含んでいてもよい。具体的には、テンプレートマッチング法では、通常、テンプレートと物標との類似度が閾値よりも大きい（つまり、類似している可能性が高い）場合に、物標が、テンプレートに対応する種類の物標であると特定される。このため、閾値が小さくなればなるほど、物標が、テンプレートに対応する種類の物標であると特定されやすくなる。つまり、閾値が小さくなればなるほど、物標が認識されやすくなる。このため、典型的には、第２の認識促進処理は、特定物標Ｐが写り込んでいる場合には、特定物標Ｐが写り込んでいない場合と比較して、閾値を小さくする処理である。その結果、画像処理部１２２は、特定物標Ｐを認識しやすくなる（つまり、適切に認識することができる）。

上述したように物標を認識するための方法としてニューラルネットワークを用いた方法が用いられる場合には、認識促進処理は、ニューラルネットワークの重み付け係数を変更する第３の認識促進処理を含んでいてもよい。具体的には、第３の認識促進処理が行われる場合には、画像処理部１２２は、特定物標Ｐが写り込んでいない場合に物標を認識するために用いられる第１の重み付け係数と、特定物標Ｐが写り込んでいる場合に物標（特に、特定物標Ｐ）を認識するために用いられる第２重み付け係数とを用意しておく。第１の重み付け係数は、特定物標Ｐが写り込んでいない画像を用いてニューラルネットワークを学習させることで比較的容易に取得可能であり、第２の重み付け係数は、特定物標Ｐが写り込んでいる画像を用いてニューラルネットワークを学習させることで比較的容易に取得可能である。この場合、第３の認識促進処理は、典型的には、特定物標Ｐが写り込んでいない場合には、ニューラルネットワークで用いる重み付け係数として、第１の重み付け係数を選択し、特定物標Ｐが写り込んでいる場合には、ニューラルネットワークで用いる重み付け係数として、第２の重み付け係数を選択する処理である。その結果、画像処理部１２２は、特定物標Ｐを認識しやすくなる（つまり、適切に認識することができる）。

このような認識促進処理が行われた後に、画像処理部１２２は、標準画像１１１ｗに対して画像認識処理を行う（ステップＳ４３）。尚、ステップＳ４３における画像認識処理は、上述した認識促進処理による変更点を除いて、図３のステップＳ１４又は図６のステップＳ１４からステップＳ２５における画像認識処理と同一である。

他方で、ステップＳ４１における判定の結果、図８のステップＳ３２で特定された期間中に標準カメラ１１ｗによって撮像された標準画像１１１ｗを取得しなかったと判定された場合には（ステップＳ４１：Ｎｏ）、取得した標準画像１１１ｗには、特定物標Ｐが写り込んでいないと推定される。この場合には、画像処理部１２２は、認識促進処理を行わなくてもよい。更に、認識促進処理が既に行われている状況下で（つまり、標準画像１１１ｗに対する画像認識処理の内容が既に変更されている状況下で）、図８のステップＳ３２で特定された期間中に標準カメラ１１ｗによって撮像された標準画像１１１ｗを取得しなかったと判定された場合には、画像処理部１２２は、認識促進処理を終了する。つまり、画像処理部１２２は、変更した画像認識処理の内容を元に戻す。例えば、画像処理部１２２は、通常の画像認識処理が行われる画像部分、テンプレートマッチング法における閾値及び／又はニューラルネットワークの重み付け係数を、変更前のものに戻す。その後、画像処理部１２２は、標準画像１１１ｗに対して画像認識処理を行う（ステップＳ４３）。

このように、変形例では、画像処理部１２２は、特定物標Ｐが写り込んでいる場合であっても、何らの対策がなされなければ認識しにくくなる可能性がある特定物標Ｐを適切に認識することができる。

尚、上述した説明では、画像処理部１２２は、望遠画像１１１ｔに対して行われた画像認識処理の結果に基づいて、近い将来に特定物標Ｐになると予測される物標が存在するか否かを判定している。しかしながら、画像処理部１２２は、標準画像１１１ｗに対して行われた画像認識処理の結果に基づいて、近い将来に特定物標Ｐとなると予測される物標が存在するか否かを判定してもよい。

上述した説明では、画像処理部１２２は、物標の少なくとも一つが、重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を跨ぐことになるか否かを前もって予測している。しかしながら、画像処理部１２２は、物標の少なくとも一つが、重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を実際に跨いでいるか否かを判定してもよい。物標の少なくとも一つが重複画像部分１１２ｗと非重複画像部分１１３ｗとの境界を実際に跨いでいると判定された場合には、認識促進処理が行われてもよい。

（４）付記
以上説明した実施形態に関して、更に以下の付記を開示する。

（４－１）付記１
付記１に記載された画像処理装置は、第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、前記第１及び第２画像の少なくとも一部に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を検出するための画像認識処理を行う処理手段とを備え、前記処理手段は、前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に対して前記画像認識処理を行うことなく、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に対して前記画像認識処理を行う画像処理装置である。

付記１に記載された画像処理装置によれば、処理手段は、第１画像のうちの重複画像部分に対して画像認識処理を行わない一方で、第１画像のうちの非重複画像部分に対して画像認識処理を行う。その結果、付記２に記載された画像処理装置は、第１画像の全体に対して画像認識処理を行う比較例の画像処理装置と比較して、画像認識処理の演算負荷を低減することができる。

一方で、第１画像の重複画像部分に写り込んだ物標については、重複画像部分に画像認識処理が行われないことに起因して認識精度が悪化する可能性がある。しかしながら、第１画像の重複画像部分に写り込んだ物標は、第２画像にも当然に写り込んでいるがゆえに、第２画像に対して行われる画像認識処理によって認識可能である。このため、重複画像部分に対して画像認識処理が行われなかったとしても、重複画像部分に写り込んだ物標の認識精度が悪化することは殆どない。

このため、付記１に記載された画像処理装置は、画像認識処理の演算負荷の低減及び画像認識処理による認識精度の悪化の抑制の双方を両立することができる。

（４－２）付記２
付記２に記載された画像処理装置は、第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、前記第１及び第２画像の夫々に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を認識するための画像認識処理を行う処理手段とを備え、前記処理手段は、前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に対して第１の演算負荷の前記画像認識処理を行い、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に対して前記第１の演算負荷よりも小さい第２の演算負荷の前記画像認識処理を行う画像処理装置画像処理装置である。

付記２に記載された画像処理装置によれば、処理手段は、第１画像のうちの重複画像部分に対して、演算負荷が相対的に小さい画像認識処理を行う一方で、第１画像のうちの非重複画像部分に対して、演算負荷が相対的に大きい画像認識処理を行う。その結果、付記２に記載された画像処理装置は、第１画像の全体に対して演算負荷が相対的に大きい画像認識処理を行う比較例の画像処理装置と比較して、画像認識処理の演算負荷を低減することができる。

一方で、第１画像の重複画像部分に写り込んだ物標については、演算負荷が相対的に低い画像認識処理が行われることに起因して認識精度が悪化する可能性がある。しかしながら、第１画像の重複画像部分に写り込んだ物標は、上述したように第２画像に対して行われる画像認識処理によって認識可能である。このため、重複画像部分に対して行われる画像認識処理の演算負荷が相対的に小さくなったとしても、重複画像部分に写り込んだ物標の認識精度が悪化することは殆どない。

このため、付記２に記載された画像処理装置は、付記１に記載された画像処理装置と同様に、画像認識処理の演算負荷の低減及び画像認識処理による認識精度の悪化の抑制の双方を両立することができる。

（４－３）付記３
付記３に記載された画像処理装置は、第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、前記第１及び第２画像の夫々に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を認識するための画像認識処理を行う処理手段とを備え、前記処理手段は、複数の前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に写り込んだ物標を認識するための前記画像認識処理を、前記複数の第１画像の夫々に対して行い、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に写り込んだ物標を認識するための前記画像認識処理を、前記複数の第１画像のうちの一部に対して行う一方で前記複数の第１画像のうちの他の一部に対して行わない画像処理装置画像処理装置である。

付記３に記載された画像処理装置によれば、処理手段は、重複画像部分に写り込んでいる物標を認識するための画像認識処理を、複数の第１画像の一部に対して行わなくてもよくなる。その結果、付記３に記載された画像処理装置は、重複画像部分に写り込んでいる物標を認識するための画像認識処理を複数の第１画像の全てに行う比較例の画像処理装置と比較して、画像認識処理の演算負荷を低減することができる。

一方で、第１画像の重複画像部分に写り込んだ物標については、重複画像部分に写り込んでいる物標を認識するための画像認識処理が複数の第１画像の一部に対して行われないことに起因して認識精度が悪化する可能性がある。しかしながら、第１画像の重複画像部分に写り込んだ物標は、上述したように第２画像に対して行われる画像認識処理によって認識可能である。このため、重複画像部分に写り込んでいる物標を認識するための画像認識処理が複数の第１画像の一部に対して行われなかったとしても、重複画像部分に写り込んだ物標の認識精度が悪化することは殆どない。

このため、付記３に記載された画像処理装置は、付記１又は２に記載された画像処理装置と同様に、画像認識処理の演算負荷の低減及び画像認識処理による認識精度の悪化の抑制の双方を両立することができる。

（４－４）付記４
付記４に記載された画像処理装置は、前記処理手段は、（ｉ）前記重複画像部分と前記非重複画像部分とに跨るように前記第１画像に写り込む物標である特定物標が存在するか否かを判定し、（ｉｉ）前記特定物標が存在すると判定された場合には、前記特定物標が存在しないと判定された場合と比較して、前記特定物標が認識されやすくなるように前記第１画像に対して前記画像認識処理を行う付記１から３のいずれか一項に記載の画像処理装置である。

重複画像部分と非重複画像部分とに跨るように第１画像に写り込む特定物標が存在する場合、画像認識処理が行われる又は演算負荷が相対的に大きい画像認識処理が行われる非重複画像部分には、特定物標の一部のみが写り込んでおり、特定物標の残りの一部は、画像認識処理が行われない又は演算負荷が相対的に小さい画像認識処理が行われる重複画像部分に写り込む。このため、仮に何らの対策がなされなければ、重複画像部分に対しては画像認識処理が行われない又は演算負荷が相対的に小さい画像認識処理が行われるに過ぎないがゆえに、第１画像に対する画像認識処理によって特定物標を認識しにくくなる可能性がある。更に、第２画像においても、特定物標の一部のみが写り込んでおり、特定物標の残りの一部は、第２画像に写り込まない。このため、仮に何らの対策がなされなければ、特定物標の一部にのみ画像認識処理が行われるに過ぎないがゆえに、第２画像に対する画像認識処理によって特定物標を認識しにくくなる可能性がある。

そこで、付記４に記載された画像処理装置は、特定物標が存在する場合には、特定物標が存在しない場合と比較して、特定物標が認識されやすくなるように第１画像に対して画像認識処理を行う。このため、付記４に記載された画像処理装置は、特定物標が存在する場合であっても、何らの対策がなされなければ認識しにくくなる可能性がある特定物標を適切に認識することができる。

本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。

１ 車両
１１ｗ 標準カメラ
１１ｔ 望遠カメラ
１１１ｗ 標準画像
１１２ｗ 重複画像部分
１１３ｗ 非重複画像部分
１１１ｔ 望遠画像
１２ ＥＣＵ
１２１ 画像取得部
１２２ 画像処理部
ＩＲｗ、ＩＲｔ 撮像領域

Claims (3)

1. 第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、
   前記第１及び第２画像の夫々に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を認識するための画像認識処理を行う処理手段と
   を備え、
   前記処理手段は、前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に対して第１の演算負荷の前記画像認識処理を行い、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に対して前記第１の演算負荷よりも小さい第２の演算負荷の前記画像認識処理を行う
   画像処理装置。
2. 第１撮像手段が第１撮像領域を撮像して得られる第１画像及び前記第１撮像手段よりも焦点距離が長い第２撮像手段が前記第１撮像領域と部分的に重複する第２撮像領域を撮像して得られる第２画像を取得する取得手段と、
   前記第１及び第２画像の夫々に対して、前記第１及び第２画像の少なくとも一方に写り込んでいる物標を認識するための画像認識処理を行う処理手段と
   を備え、
   前記処理手段は、複数の前記第１画像に対して前記画像認識処理を行う場合には、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複しない非重複領域が写り込んだ非重複画像部分に写り込んだ物標を認識するための前記画像認識処理を、前記複数の第１画像の夫々に対して行い、前記第１画像のうち前記第１撮像領域と前記第２撮像領域とが重複する重複領域が写り込んだ重複画像部分に写り込んだ物標を認識するための前記画像認識処理を、前記複数の第１画像から抽出される少なくとも一枚の第１画像に対して行う一方で前記複数の第１画像から抽出されなかった残りの第１画像に対して行わない
   画像処理装置。
3. 前記処理手段は、（ｉ）前記重複画像部分と前記非重複画像部分とに跨るように前記第１画像に写り込む物標である特定物標が存在するか否かを判定し、（ｉｉ）前記特定物標が存在すると判定された場合には、前記特定物標が存在しないと判定された場合と比較して、前記特定物標が認識されやすくなるように前記第１画像に対して前記画像認識処理を行う
   請求項１又は２に記載の画像処理装置。

Images