JP6316411B2 - 画像認識装置及びその制御方法 - Google Patents

Description

本発明は、車体に搭載され、車体から撮像した周囲の画像と対応する画像データに基づいて、他の車両や歩行者、白線等、車体の周囲の状況を認識する画像認識装置及びその制御方法に関する。

従来、車体に搭載され、車体から撮像した周囲の画像と対応する画像データに基づいて、他の車両や歩行者、白線等、車体の周囲の状況を認識する画像認識装置及びその制御方法が知られている。この種の画像認識装置では、車体にカメラ等を搭載し、カメラの光軸変化量に応じて画像の認識する対象とする領域を変更して、認識対象に対する認識性能を向上させるとともに、カメラの光軸の位置のずれを補正していた（例えば、特許文献１参照）。

特開２０１２−０９３８７２号公報

しかしながら、上記従来の技術による画像認識装置では、特に二輪車等、左右方向へ大きく傾斜する車体挙動を有する車体に対してカメラ等の撮像装置を搭載する場合、車体とともに撮像装置も大きく傾斜するため、他の車両や歩行者を認識する物体認識や、白線等を認識する白線認識等の画像認識を適切に実行することは困難であった。

本発明の目的は、上述した従来の技術が有する課題を解消し、車体が傾斜していても適切に画像認識を実行することのできる画像認識装置及びその制御方法を提供することにある。

本発明は、車体に搭載され、前記車体から撮像した周囲の画像と対応する画像データに基づいて前記車体の周囲の状況を認識する画像認識装置において、前記車体の傾斜を検出する傾斜検出部と、前記傾斜検出部が検出した前記傾斜に応じて前記画像データを回転補正する画像回転部と、前記画像回転部が前記画像データを回転補正して生成した補正画像データに基づいて前記車体の周囲の状況を認識する画像認識部とを備えたことを特徴とする。

この場合において、前記画像回転部は、前記傾斜の向きに前記画像が傾くように前記画像データを回転補正してもよい。前記画像回転部は、前記傾斜した分だけ前記画像が傾くように前記画像データを回転補正してもよい。前記傾斜検出部は、傾斜角センサを用いて前記車体の傾斜を検出してもよい。前記傾斜検出部は、前記画像データに基づいて前記車体の傾斜を検出してもよい。前記傾斜検出部は、前記傾斜と対応する傾斜情報を前記画像回転部に出力してもよい。

また、本発明は、車体に搭載され、前記車体から撮像した周囲の画像と対応する画像データに基づいて前記車体の周囲の状況を認識する画像認識装置であって、前記車体の傾斜を検出する傾斜検出部と、前記傾斜検出部が検出した前記傾斜に応じて前記画像データを回転補正する画像回転部と、前記画像回転部が前記画像データを回転補正して生成した補正画像データに基づいて前記車体の周囲の状況を認識する画像認識部とを備えた、画像認識装置の制御方法において、前記傾斜検出部に、前記車体の傾斜を検出させるステップと、前記画像回転部に、前記傾斜検出部が検出した前記傾斜に応じて前記画像データを回転補正させるステップと、前記画像認識部に、前記画像回転部が前記画像データを回転補正して生成した補正画像データに基づいて前記車体の周囲の状況を認識させるステップとを備えたことを特徴とする。

この場合において、前記画像回転部は、前記傾斜の向きに前記画像が傾くように前記画像データを回転補正してもよい。前記画像回転部は、前記傾斜した分だけ前記画像が傾くように前記画像データを回転補正してもよい。前記傾斜検出部は、傾斜角センサを用いて前記車体の傾斜を検出してもよい。前記傾斜検出部は、前記画像データに基づいて前記車体の傾斜を検出してもよい。前記傾斜検出部は、前記傾斜と対応する傾斜情報を前記画像回転部に出力してもよい。

本発明では、車体が傾斜していても適切に画像認識を実行することができる。

第１実施形態に係る画像認識装置及び傾斜角センサを示すブロック図である。 車体が傾斜している様子を車体の前方から模式的に示す図である。 車体の前方を車体側から撮像した画像を示す図である。 撮像した画像を回転補正した画像を示す図である。 第２実施形態に係る画像認識装置２０を示すブロック図である。 傾斜している路面上で車体が傾斜している様子を車体の前方から模式的に示す図である。

以下、図面を参照して、本発明の好適な実施の形態について説明する。
［１］第１実施形態
図１（ａ）は、第１実施形態に係る画像認識装置及び傾斜角センサを示すブロック図である。この画像認識装置１０は、自動二輪車等の車体に搭載され、車体から撮像した周囲の画像と対応する画像データに基づき、他の車両や歩行者を認識する物体認識や、白線等を認識する白線認識等の画像認識により、車体の周囲の状況を認識する装置である。

画像認識装置１０は、傾斜角センサ１と接続されており、傾斜角入力部（傾斜検出部）２、撮像部３、画像回転部４、画像認識部５、運転支援制御部６、及び出力部７を備えている。

傾斜角センサ１は、車体の傾斜角を検出するためのセンサである。この傾斜角センサ１は、傾斜角入力部２と接続されており、検出した傾斜角に対応する傾斜角信号を傾斜角入力部２に出力するようになっている。本実施形態では、検出した傾斜角を信号として傾斜角入力部２に出力しているが、傾斜角に対応する傾斜角データとして傾斜角入力部２に出力してもよい。

傾斜角入力部２は、画像認識装置１０が傾斜角センサ１から入力された傾斜角信号に基づいて車体の傾斜角を検出するための検出部である。この傾斜角入力部２は、入力された傾斜角信号に基づいて傾斜角データを生成し、生成した傾斜角データを傾斜情報として撮像部３に出力する。

撮像部３は、カメラであり、車体の前方を静止画または動画として撮像している。この撮像部３は、撮像した画像に基づいて画像データを生成し、傾斜角入力部２から入力された傾斜角データとともに画像回転部４に出力する。

画像回転部４は、画像データと対応する画像が回転するように画像データに回転補正を実行するための画像処理部である。この画像回転部４は、傾斜角入力部２で検出されて撮像部３を介して入力された傾斜情報である傾斜角データに基づき、撮像部３から入力された画像データを回転補正する。画像回転部４は、画像データに回転補正がなされた補正画像データを画像認識部５に出力する。

画像認識部５は、入力された画像データに基づいて車体の周囲の状況を認識する。すなわち、画像認識部５は、画像データから画像に写っている他の車両、歩行者、自動二輪車、自転車を認識する物体認識を実行したり、白線等を認識する車線認識をしたり、道路標識等を認識する標識認識等を実行するようになっている。画像認識部５は、各認識を実行すると、認識された各物体等の位置情報を含む位置情報データを運転支援制御部６に出力する。

運転支援制御部６は、運転者による操作を支援したり運転者に警報を報知したりする。この運転支援制御部６は、画像認識部５から入力された位置情報データに基づいて、車体の前方に障害物等がある場合の自動緊急ブレーキ制動、ＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ）、車線維持等の車体制御や、衝突警報、車線逸脱警報、標識認識等の運転支援システムにおける運転者への警報に関する処理を実行する。運転支援制御部６は、車体制御や警報に関する処理を実行してこれらの処理に対応する制御信号を出力部７に出力する。

出力部７は、画像認識装置１０から車体のブレーキユニットやエンジンＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＥＰＳ（Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｓｔｅｅｒｉｎｇ）等に信号を出力できるようになっている。この出力部７は、運転支援制御部６から入力された制御信号を車体のＥＣＵ等に出力することにより、車体はＥＣＵ等の制御により、上述の車体制御や警報を実行できるようになっている。

以下、画像認識装置１０による画像データの回転補正処理の概要について説明する。
図２は、車体が傾斜している様子を車体の前方から模式的に示す図であり、図３は、車体の前方を車体側から撮像した画像を示す図であり、図４は、撮像した画像を回転補正した画像を示す図である。なお、図３及び図４では、水平な地面ｇの上に設けられた右カーブの路面ｒ上において、車体の前方を自動車である車両ｃが走行している様子を示している。

自動二輪車は、カーブを曲がるときに、遠心力に対抗すべく運転者が車体を傾斜させて走行するようになっており、図２に示すように、例えば、右方へ曲がる際には車体は右側に傾斜する。なお、図２では車体が重力の方向に延びる仮想線Ｏに対して傾斜角αで傾斜している様子を示している。車体が右側に傾斜角αだけ傾斜すると、車体に固定して搭載された撮像部３は、車体とともに傾斜するため、図３に示すように、撮像部３が撮像した画像は傾斜角αだけ反時計回りに角度αだけ傾斜した画像となる。

まず、傾斜角センサ１が車体の傾斜角αを検出すると、傾斜角センサ１は傾斜角信号を傾斜角入力部２に出力する。これにより、傾斜角入力部２は、車体の傾斜角αを検出し、傾斜情報として傾斜角データを撮像部３に出力する。

傾斜角入力部２から傾斜角データが入力されると、撮像部３は、撮像した画像に対応する画像データを、傾斜角データとともに画像回転部４に出力する。

撮像部３から傾斜角データ及び画像データが入力されると、画像回転部４は、傾斜角データに基づいて画像データを回転補正し、補正画像データを生成する。このとき、画像データの回転補正は、車体の傾斜の向きに車体が傾斜した分だけ、画像データと対応する画像が傾くように補正する。すなわち、回転補正により補正された補正画像データに対応する画像は、図４に示すように、時計回りに角度αだけ回転され、画像中の路面ｒ、地面ｇ、及び前方を走行する車両ｃが、車体が路面ｒに対して水平に走行しているように表示される。画像回転部４は、生成した補正画像データを画像認識部５に出力する。

補正画像データが入力されると、画像認識部５は、補正画像データに基づいて画像認識処理を実行して車体の周囲の状況を認識し、認識された各物体等の位置情報を含む位置情報データを運転支援制御部６に出力する。なお、位置情報データは、回転補正された画像データと認識された各物体等の位置情報とが結合したデータであり、例えば、位置情報データと対応する画像は、画像上に認識された各物体等の位置情報が表示されたものであってもよい。

位置情報データが入力されると、運転支援制御部６は、車体制御や警報に関する処理を実行して制御信号を出力部７に出力する。

制御信号が入力されると、出力部７は、入力された制御信号を車体のＥＣＵ等の各装置に出力する。

以上の処理により、画像認識装置１０は、車体が傾斜している状態で撮像した画像に対応する画像データを回転補正した後に、画像認識処理を実行する。

本実施形態では、画像認識装置１０は、傾斜入力部２が検出した傾斜角αに応じて画像データを回転補正する画像回転部４と、画像回転部４が画像データを回転補正して生成した補正画像データに基づいて車体の周囲の状況を認識する画像認識部５とを備えている。これにより、画像認識部は、車体が傾斜していないときと同じアルゴリズムにより画像認識処理を実行することができる。このため、車体が傾斜していても適切に画像認識を実行することができる。

［２］第２実施形態
図５は、第２実施形態に係る画像認識装置２０を示すブロック図である。図６は、傾斜している路面上で車体が傾斜している様子を車体の前方から模式的に示す図である。なお、第２実施形態に係る画像認識装置２０は、第１実施形態の傾斜角センサ１及び傾斜角入力部２の代わりに傾斜角推定部（傾斜検出部）８を備えたという構成が第１実施形態と異なっている。なお、図５において、第１実施形態と略同様の構成は、同一の符号を付して重複する説明を省略し、異なる部分を詳細に説明する。

本実施形態に係る画像認識装置２０は、傾斜角推定部８を備えている。この傾斜角推定部８は、撮像部３で撮像された画像と対応する画像データを解析し、路面ｒに垂直な仮想線Ｏ´に対する車体の傾斜角γを検出する。すなわち、重力方向の仮想線Ｏに対する車体の傾斜角αを傾斜角センサ等で検出しなくてもよい。このとき、傾斜角推定部８は、例えば、オプティカルフローを用いて画像の中で物体の動きをベクトルで表すことにより車体の傾斜角γを推定するようになっている。これにより、図６に示すように、路面ｒが傾斜角βで傾斜していても路面ｒを基準に車体の傾斜角γを検出して路面ｒに垂直な仮想線Ｏ´に対する車体の傾斜角γを検出する。これにより、画像認識装置２０は、傾斜した路面ｒの上を車体が走行中であっても、車体の傾斜角γを打ち消すように回転補正した補正画像データに対応する画像は、図４に示すように、画像中の路面ｒ及び地面ｇが水平に表示される。

傾斜角推定部８は、撮像部３で撮像された画像に基づいて車体の傾斜角γを検出すると、傾斜角データを生成し、生成した傾斜角データを画像回転部４に出力する。すなわち、第２実施形態では、傾斜角データが撮像部３を介することなく直接的に画像回転部４に出力されており、撮像部３からは画像データのみが画像回転部４に出力されるようになっている。

本実施形態では、画像認識装置２０は、傾斜角推定部８を備え、撮像部３で撮像された画像に基づいて路面ｒに垂直な仮想線Ｏ´に対する車体の傾斜角γを検出している。これにより、傾斜角センサ等、重力の方向を基準とした傾斜角αを検出する必要はなく、回転補正した補正画像データに対応する画像は、路面ｒが傾斜していても常に路面ｒを水平に表示することができる。このため、車体や路面ｒが傾斜していても適切に画像認識を実行することができる。

以上、実施形態に基づいて本発明を説明したが、本発明は、これに限定されるものではない。例えば、第１実施形態では、傾斜角センサ１が検出した傾斜角αのみを用いて画像に対応する画像データの回転補正を実行しているが、これに限定されない。傾斜角センサに加えてピッチレートセンサ等を画像認識装置に接続し、ピッチレート等の車体挙動情報を用いることにより、より精度の高い画像データの回転補正を実行してもよい。また、車体挙動情報は、レーダや超音波センサ等、カメラ以外のセンサを用いて取得してもよい。

また、上記実施形態では、車体の傾斜を傾斜角により検出しているが、これに限定されない。車体の傾斜を検出できれば、角度に限らずその他の要素に基づいて車体の傾斜を検出してもよい。

さらに、上記実施形態では、自動二輪車に画像認識装置１０，２０を搭載しているが、これに限定されない。画像認識装置の搭載が可能な車両であれば、自動車等、その他の車両であってもよい。

Claims (8)

1. 車体に搭載され、前記車体から撮像した周囲の画像と対応する画像データに基づいて前記車体の周囲の状況を認識する画像認識装置において、
   前記車体の傾斜を検出する傾斜検出部と、
   前記傾斜検出部が検出した前記傾斜した分だけ前記傾斜とは反対の方向に、前記画像データを回転補正する画像回転部と、
   前記画像回転部が前記画像データを回転補正して生成した補正画像データに基づいて前記車体の周囲の状況を認識し、前記車体の周囲の状況を含む位置情報データを、車両を制御する運転支援制御部へ出力する画像認識部と、
   を備えたことを特徴とする画像認識装置。
2. 請求項１に記載の画像認識装置において、
   前記傾斜検出部は、傾斜角センサを用いて前記車体の傾斜を検出することを特徴とする画像認識装置。
3. 請求項１または２に記載の画像認識装置において、
   前記傾斜検出部は、前記画像データに基づいて前記車体の傾斜を検出することを特徴とする画像認識装置。
4. 請求項１乃至３のいずれか１項に記載の画像認識装置において、
   前記傾斜検出部は、前記傾斜と対応する傾斜情報を前記画像回転部に出力することを特徴とする画像認識装置。
5. 車体に搭載され、前記車体から撮像した周囲の画像と対応する画像データに基づいて前記車体の周囲の状況を認識する画像認識装置であって、前記車体の傾斜を検出する傾斜検出部と、前記傾斜検出部が検出した前記傾斜に応じて前記画像データを回転補正する画像回転部と、前記画像回転部が前記画像データを回転補正して生成した補正画像データに基づいて前記車体の周囲の状況を認識する画像認識部とを備えた、画像認識装置の制御方法において、
   前記傾斜検出部に、前記車体の傾斜を検出させるステップと、
   前記画像回転部に、前記傾斜検出部が検出した前記傾斜した分だけ前記傾斜とは反対の方向に、前記画像データを回転補正させるステップと、
   前記画像認識部に、前記画像回転部が前記画像データを回転補正して生成した補正画像データに基づいて前記車体の周囲の状況を認識させ、前記車体の周囲の状況を含む位置情報データを、車両を制御する運転支援制御部へ出力させるステップとを備えたことを特徴とする画像認識装置の制御方法。
6. 請求項５に記載の画像認識装置の制御方法において、
   前記傾斜検出部は、傾斜角センサを用いて前記車体の傾斜を検出することを特徴とする画像認識装置の制御方法。
7. 請求項５または６に記載の画像認識装置の制御方法において、
   前記傾斜検出部は、前記画像データに基づいて前記車体の傾斜を検出することを特徴とする画像認識装置の制御方法。
8. 請求項５乃至７のいずれか１項に記載の画像認識装置の制御方法において、
   前記傾斜検出部は、前記傾斜と対応する傾斜情報を前記画像回転部に出力することを特徴とする画像認識装置の制御方法。

Images