JP6665075B2 - 画像処理装置、撮像装置、移動体、及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、撮像装置、移動体、及び画像処理方法に関する。

従来、車両等の移動体が製造されると、該移動体の外観についての欠陥を検出するための外観検査が行われている。

例えば、特許文献１には、検査の対象となる移動体の外部に設けられた撮像機器が移動体を撮像して生成した画像に基づいて移動体の傷を検出する装置が記載されている。

特開２０１５−１８４１４３号公報

しかしながら、上述の従来技術においては、移動体の外部に撮像機器を設けた検査ラインにおいてのみ傷を検出することができ、移動体が出荷された後のユーザによる使用開始後に移動体に変化が生じても、該変化を検出することができない。

本開示は、ユーザによる使用開始後に移動体に生じた変化を迅速に検出することができる画像処理装置、撮像装置、移動体、及び撮像方法を提供する。

本開示の画像処理装置は、撮像素子が生成した画像を取得する画像取得部と、前記画像取得部が所定の時期に取得した画像を基準画像として記憶可能なメモリと、前記基準画像と、前記画像取得部が取得した比較画像とに基づいて移動体の変化を検出するプロセッサと、を備え、前記プロセッサは、前記移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記変化の種類を決定する。

本開示の撮像装置は、撮像素子と、前記撮像素子が生成した画像を取得する画像取得部と、前記画像取得部が所定の時期に取得した画像を基準画像として記憶可能なメモリと、前記基準画像と、前記画像取得部が取得した比較画像とに基づいて移動体の変化を検出するプロセッサと、を含む画像処理装置と、を備え、前記プロセッサは、前記移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記変化の種類を決定する。

本開示の移動体は、所定の箇所に位置して、所定の方向に向いた撮像素子と、前記撮像素子が生成した画像を取得する画像取得部と、前記画像取得部が所定の時期に取得した画像を基準画像として記憶可能なメモリと、前記基準画像と、前記画像取得部が取得した比較画像とに基づいて移動体の変化を検出するプロセッサと、を有する画像処理装置と、を含む撮像装置を備え、前記プロセッサは、前記移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記変化の種類を決定する。

本開示の画像処理方法は、画像処理装置が実行する画像処理方法であって、前記画像処理装置が、撮像素子が生成した画像を取得し、所定の時期に取得した前記画像を基準画像として記憶し、移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記移動体の形状の変化の種類を決定し、前記基準画像と、前記撮像素子から取得された比較画像とに基づいて前記変化を検出する。

本開示の一実施形態によれば、ユーザによる使用開始後に移動体に生じた変化を迅速に検出することが可能となる。

第１の実施形態に係る撮像装置を搭載した移動体の例を示す図である。 図１に示す撮像装置の概略構成を示す機能ブロック図である。 タイヤの側面が撮像された画像の例を示す図であり、図３（ａ）は、タイヤの側面が撮像された基準画像の例を示す図であり、図３（ｂ）は、タイヤの側面が撮像された比較画像の例を示す図である。 タイヤのトレッド面が撮像された画像の例を示す図であり、図４（ａ）は、タイヤのトレッド面が撮像された基準画像の例を示す図であり、図４（ｂ）は、タイヤのトレッド面が撮像された比較画像の例を示す図である。 第１の実施形態に係る撮像装置の処理フローを示すフロー図である。 バンパが撮像された画像の例を示す図であり、図６（ａ）は、バンパが撮像された基準画像の例を示す図であり、図６（ｂ）は、バンパが撮像された比較画像の例を示す図である。 第２の実施形態に係る撮像装置の処理フローを示すフロー図である。

以下、本開示の第１の実施形態について、図面を参照して説明する。

図１に示すように、第１の実施形態に係る撮像装置１は、移動体２に取り付けられる。撮像装置１は、移動体２の一部である、例えばタイヤ２１を含む範囲を撮像するように取り付けられる。具体的には、撮像装置１は、移動体２のサイドミラー２３の下部に鉛直下方を向くように固定される。

本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモータを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

図２に示すように、撮像装置１は、光学系３と、撮像素子４と、画像処理装置５とを備える。また、撮像装置１は、表示装置６及びＥＣＵ（Electric Control Unit）７と通信ネットワークを介して情報を送受信することができる。

光学系３は、所望の光学特性に合わせてレンズ等の少なくとも１つの光学素子を有する。光学系３は焦点距離及び焦点深度等の所望の光学特性を満たすように設計されている。光学系３は、被写体の像を撮像素子４に結像させる。光学系３は移動体２に固定されて、特定の範囲の被写体からの光を透過させる。光学系３の画角は、図１に示したサイドミラー２３の下部に取り付けられた撮像装置１がタイヤ２１を撮像できる程度に広い。

撮像素子４は、該撮像素子４の受光面が光学系３の光軸に垂直となるような、位置及び姿勢に固定される。また、撮像素子４は、光学系３の光軸と受光面の略中心で交差するように配置される。

撮像素子４は、光学系３を介して受光面上に結像される被写体を撮像して画像信号に変換することにより被写体の像を含む画像を生成する。撮像素子４としては、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。

画像処理装置５は、画像取得部８と、メモリ９と、プロセッサ１０とを含んで構成される。

画像取得部８は、撮像素子４によって生成された画像信号を取得することによって画像信号が表す画像を取得する、撮像素子４とのインタフェースである。

メモリ９は、画像取得部８によって撮像素子４から取得された画像を記憶可能である。

プロセッサ１０は、画像取得部８によって取得した画像を処理するプロセッサであり、例えば特定の機能を実行するように形成した専用のマイクロプロセッサや特定のプログラムを読出すことにより特定の機能を実行する汎用のＣＰＵ（中央処理装置：Central Processing Unit）である。プロセッサ１０は、ＩＳＰ（Image Signal Processor）としてもよい。

ここで、撮像装置１が備える各構成について詳細に説明する。

プロセッサ１０は、撮像素子４によって生成され、画像取得部８によって取得された画像を基準画像としてメモリ９に記憶させている。基準画像は、第１の基準画像および第２の基準画像を含む。第１の基準画像は、速度が第１の速度閾値より大きく、かつ舵角が基準角度から所定の範囲内であるときに撮像された画像である。第１の基準画像の撮像時の舵角は、第１の基準画像とともにメモリ９に記憶されている。第２の基準画像は速度が第２の速度閾値より小さく、舵角が角度閾値より大きいときに撮像された画像である。プロセッサ１０は、ＥＣＵ７から受信する走行情報に基づいて移動体２の速度および舵角を認識する。

第１の速度閾値は、移動体２のタイヤ２１にスタンディングウェーブ現象が発生する速度のうちの最小の速度であり、実験等を行うことによって定められる。基準角度とは、撮像素子４が生成した画像にタイヤ２１の側面２１ａの像が含まれるような舵角であり、０度（移動体２の直進方向）に近い角度であることがよい。第２の速度閾値は、撮像素子４によって生成された画像におけるトレッド面２１ｂの凹凸の像を輝度の差異により識別できる、移動体２の速度のうちの最大の速度であり、実験等を行うことによって定められる。第２の速度閾値は、第１の速度閾値より小さい値である。角度閾値は、撮像素子４によって撮像素子４によって生成された画像にトレッド面２１ｂの像が含まれる最小の舵角であり、設計時に定められた撮像装置１の位置及び姿勢に基づいて定められる。

プロセッサ１０は、基準画像の記憶を命令する記憶命令信号を受信すると、走行情報を受信する。記憶命令信号は、移動体２の利用者によって入力される。利用者は、移動体２の変化を検出するための基準となる任意の画像が撮像されたときに、基準画像を記憶させる命令を入力するよう推奨されている。例えば、利用者は、撮像素子４が撮像する移動体２の部品が交換されたときに基準画像を記憶させる命令を入力するよう推奨されていてもよい。利用者は、移動体２の変化が表示装置６に表示されることによって該変化を認識したときに基準画像を記憶させる命令を入力するよう推奨されていてもよい。

プロセッサ１０は、記憶命令信号の受信時に、ＥＣＵ７が常時出力している走行情報を取得してもよいし、記憶命令信号の受信時にＥＣＵ７に対して走行情報を要求して取得してもよい。プロセッサ１０は、走行情報に基づいて速度が第１の速度閾値より大きく、かつ舵角が基準角度から所定の範囲内であるとき、撮像素子４が生成した画像を第１の基準画像として、メモリに記憶させる。また、プロセッサ１０は、走行情報に基づいて速度が第２の速度閾値より小さく、かつ舵角が角度閾値より大きいとき、撮像素子４が生成した画像を第２の基準画像として、メモリに記憶させる。

プロセッサ１０は、変化検出開始信号を受信すると、以下に説明するように、基準画像と比較画像とを比較する。変化検出開始信号は、基準画像の撮像以後に撮像される画像を比較画像として基準画像と比較させる指令である。変化検出開始信号は、例えば、撮像装置１の利用者の入力を受け付けるタッチパネルおよびボタンなどの入力部、並びにＥＣＵ７及び他の装置から送信される。例えば、ＥＣＵ７は、移動体２のエンジン及びモータなどの移動体２の駆動源が起動するとき、変化検出開始信号をプロセッサ１０に送信する。

プロセッサ１０は、基準画像と比較画像との比較に基づいて、移動体２の形状の変化を検出する。このとき、プロセッサ１０は、走行情報に示される移動体２の舵角及び速度の少なくともいずれかに基づいて、検出対象とする変化の種類を決定することができる。

具体的には、プロセッサ１０は、速度が第１の速度閾値より大きく、舵角が基準角度から所定範囲内であるとき、移動体２のタイヤ２１の空気圧の変化を判別する。また、プロセッサ１０は、速度が第２の速度閾値より小さく、舵角が角度閾値より大きいとき、移動体２のタイヤ２１のトレッド面２１ｂの変化に基づく摩耗の進行を判別する。

また、プロセッサ１０は、第１の基準画像が記憶された以後に変化検出開始信号を受信すると、走行情報を受信する。プロセッサ１０は、該走行情報が示す速度が第１の速度閾値より大きいか否かを判別する。また、プロセッサ１０は、走行情報が示す舵角が第１の基準画像の撮像時の舵角であるか否かを判別する。

プロセッサ１０は、速度が第１の速度閾値より大きく、舵角が基準角度から所定の範囲内である場合、撮像素子４が生成した画像を第１の比較画像として画像取得部８に取得させる。

プロセッサ１０は、メモリ９が記憶している、図３（ａ）に示すような第１の基準画像におけるタイヤ２１の側面２１ａの形状を抽出する。例えば、プロセッサ１０は、第１の基準画像における所定の領域Ａからエッジ（タイヤエッジ）を側面２１ａの輪郭として抽出する。所定の領域Ａは、移動体２に取り付けられた撮像素子４が生成した画像において、タイヤ２１の側面２１ａの像を含む領域であり、設計時に定められた撮像装置１の位置及び姿勢に基づいて決定される。以降において、所定の領域Ａをタイヤ側面画像領域Ａという。

同様にして、プロセッサ１０は、画像取得部８が取得した第１の比較画像におけるタイヤ側面画像領域Ａからタイヤ２１の側面２１ａの形状を抽出する。具体的には、プロセッサ１０は、タイヤ側面画像領域Ａのタイヤエッジを側面２１ａの輪郭として抽出する。

また、プロセッサ１０は、第１の比較画像におけるタイヤエッジを表す画素のうち、第１の基準画像におけるタイヤエッジを表す画素と位置が一致している割合であるタイヤエッジ一致率を算出する。また、プロセッサ１０は、タイヤエッジ一致率が第１の閾値以上であるか否かを判別する。プロセッサ１０は、タイヤエッジ一致率が第１の閾値未満であるとき、タイヤ２１の空気圧の変化があったと決定する。また、プロセッサ１０は、タイヤエッジ一致率が第１の閾値以上であるとき、タイヤ２１の空気圧の変化がなかったと決定する。第１の閾値は、タイヤ２１の側面２１ａの輪郭が変化したとみなせる程度に低いタイヤエッジ一致率であり、あらかじめ実験等により決定される値である。図３（ｂ）のタイヤ２１の側面２１ａにおける進行方向後方の近傍の像Ａ１に示すようにタイヤ２１の側面２１ａの像が大きく変形したときタイヤエッジ一致率は低くなっている。このため、空気圧の変化は、タイヤエッジ一致率に着目することにより検出され得る。

また、プロセッサ１０は、第２の基準画像が記憶された以後に、変化検出開始信号を受信すると、走行情報を受信する。プロセッサ１０は、該走行情報が示す速度が第２の速度閾値より小さいか否かを判別する。また、プロセッサ１０は、舵角が角度閾値より大きいか否かを判別する。

プロセッサ１０は、速度が第２の速度閾値より小さく、舵角が角度閾値より大きい場合、撮像素子４が生成した画像を第２の比較画像として画像取得部８に取得させる。

プロセッサ１０は、メモリ９が記憶している第２の基準画像、及び画像取得部８が取得した第２の比較画像における所定の領域Ｂにおける溝領域の平均輝度と、溝領域以外の領域の平均輝度とに基づいて、トレッド面２１ｂの変化を判別する。所定の領域Ｂは、移動体２に取り付けられた撮像装置１が生成した画像において、タイヤ２１のトレッド面２１ｂの像を含む領域であり、設計時に定められた撮像装置１の位置及び姿勢に基づいて決定される。以降において、所定の領域Ｂをトレッド面画像領域Ｂという。

具体的には、プロセッサ１０は、図４（ａ）に示すような第２の基準画像のトレッド面画像領域Ｂにおいて、輝度閾値より低い輝度を有する画素群から構成される領域を溝領域と決定する。輝度閾値は、例えば、トレッド面画像領域Ｂの輝度ヒストグラムにおいて、度数が極大となる２つの輝度の平均値である。プロセッサ１０は、溝領域を構成する画素群の輝度の平均値である第１の基準平均輝度を算出する。また、プロセッサ１０は、溝領域以外の領域を構成する画素群の輝度の平均値である第２の基準平均輝度を算出する。そして、プロセッサ１０は、第１の基準平均輝度の第２の基準平均輝度に対する比率である、基準輝度比率を算出する。

さらに、プロセッサ１０は、画像取得部８が取得した第２の比較画像のトレッド面画像領域Ｂにおいて、第２の基準画像の溝領域に対応する領域を構成する画素群の輝度の平均値である第１の比較平均輝度を算出する。また、プロセッサ１０は、溝領域以外の領域に対応する領域を構成する画素群の輝度の平均値である第２の比較平均輝度を算出する。そして、プロセッサ１０は、第１の比較平均輝度の第２の比較平均輝度に対する比率である、比較輝度比率を算出する。

また、プロセッサ１０は、比較輝度比率の基準輝度比率に対する変化率を算出する。また、プロセッサ１０は当該変化率が第２の閾値以上であるか否かを判別する。プロセッサ１０は変化率が第２の閾値以上であるとき、トレッド面２１ｂの変化に基づく摩耗の進行があったと決定する。また、プロセッサ１０は変化率が第２の閾値未満であるとき、トレッド面２１ｂの変化はなく、摩耗が進行していないと決定する。第２の閾値は、交換の必要がある程度にタイヤ２１の摩耗が進行したとみなせる程度に高い変化率であり、あらかじめ実験等により決定される値である。図４（ｂ）の溝の像を示す領域Ｂ１に示すように、摩耗が進行しているとき、トレッド面画像領域Ｂにおける、基準画像の溝領域に対応する領域の輝度が高くなっている。このため、トレッド面２１ｂの変化は、比較輝度比率の基準輝度比率に対する変化率に着目することにより検出され得る。

プロセッサ１０は、空気圧が変化していると決定すると、空気圧の変化を示す空気圧情報を生成し、表示装置６、ＥＣＵ７、及び他の装置のいずれか１つ以上に出力する。プロセッサ１０は、トレッド面２１ｂが変化に基づき摩耗が進行したと決定すると、摩耗の進行を示す摩耗情報を生成し、表示装置６、ＥＣＵ７、及び他の装置のいずれか１つ以上に出力する。

続いて、第１の実施形態の撮像装置１の移動体変化検出処理について、図５を参照して説明する。撮像装置１は、変化検出開始信号を受信したときに、移動体変化検出処理を開始する。このとき、プロセッサ１０は、所定の時期に撮像素子４が生成した第１の基準画像及び第２の基準画像をメモリ９に記憶させている。

ステップＳ１１では、プロセッサ１０は、ＥＣＵ７から走行情報を受信する。走行情報を受信すると、プロセスはステップＳ１２に進む。

ステップＳ１２では、プロセッサ１０は、ステップＳ１１で受信した走行情報が示す速度が第１の速度閾値より大きいか否かを判別する。速度が第１の速度閾値より大きいとき、プロセスはステップＳ１３に進む。速度が第１の速度閾値以下であるき、プロセスはステップＳ２１に進む。

ステップＳ１３では、プロセッサ１０は、ステップＳ１１で受信した走行情報が示す舵角が基準角度から所定範囲内であるか否かを判別する。舵角が所定範囲内であるとき、プロセスはステップＳ１４に進む。舵角が所定範囲内でないとき、プロセッサ１０は移動体変化検出処理を終了する。

ステップＳ１４では、プロセッサ１０は、撮像素子４が生成した画像を第１の比較画像として画像取得部８に取得させる。取得後、プロセスはステップＳ１５に進む。

ステップＳ１５では、プロセッサ１０は、メモリ９が記憶している第１の基準画像、およびステップＳ１４において画像取得部８が取得した第１の比較画像それぞれにおけるタイヤ側面画像領域Ａのタイヤエッジをタイヤ２１の側面２１ａの輪郭として抽出する。プロセッサ１０がタイヤエッジを抽出すると、プロセスはステップＳ１６に進む。

ステップＳ１６では、プロセッサ１０はタイヤエッジ一致率を算出する。プロセッサ１０がタイヤエッジ一致率を算出すると、プロセスはステップＳ１７に進む。

ステップＳ１７では、プロセッサ１０は、タイヤエッジ一致率が第１の閾値以上であるか否かを判別する。タイヤエッジ一致率が第１の閾値未満であるき、プロセスはステップＳ１８に進む。タイヤエッジ一致率が第１の閾値以上であるとき、プロセスはステップＳ１９に進む。

ステップＳ１８では、プロセッサ１０は、タイヤ２１の空気圧が変化していることを決定する。決定後、プロセスはステップＳ２０に進む。

ステップＳ１９では、プロセッサ１０は、タイヤ２１の空気圧が変化していないことを決定する。決定後、プロセッサ１０は、移動体変化検出処理を終了する。

ステップＳ２０では、プロセッサ１０は、空気圧情報を表示装置６、ＥＣＵ７、及び他の装置のいずれか１つ以上に出力する。プロセッサ１０が空気圧情報を出力すると、プロセッサ１０は、移動体変化検出処理を終了する。

ステップＳ２１では、プロセッサ１０は、ステップＳ１１で受信した走行情報が示す速度が第２の速度閾値より小さいか否かを判別する。速度が第２の速度閾値より小さいとき、ステップＳ２２に進む。速度が第２の速度閾値以上であるとき、プロセッサ１０は、移動体変化検出処理を終了する。

ステップＳ２２では、プロセッサ１０は、ステップＳ１１で受信した走行情報が示す舵角が角度閾値より大きいか否かを判別する。舵角が角度閾値より大きいとき、プロセスはステップＳ２３に進む。舵角が角度閾値以下であるとき、プロセッサ１０は、移動体変化検出処理を終了する。

ステップＳ２３では、プロセッサ１０は、撮像素子４が生成した画像を第２の比較画像として画像取得部８に取得させる。取得後、プロセスはステップＳ２４に進む。

ステップＳ２４では、プロセッサ１０は、メモリ９に記憶されている第２の基準画像、及び画像取得部８が取得した第２の比較画像それぞれにおける基準輝度比率及び比較輝度比率を算出する。プロセッサ１０が基準輝度比率及び比較輝度比率を算出すると、プロセスはステップＳ２５に進む。

ステップＳ２５では、プロセッサ１０は、ステップＳ２４で算出した比較輝度比率の基準輝度比率に対する変化率を算出する。プロセッサ１０が変化率を算出すると、プロセスはステップＳ２６に進む。

ステップＳ２６では、プロセッサ１０は、ステップＳ２５で算出した変化率が第２の閾値以上であるか否かを判別する。変化率が第２の閾値以上であるとき、プロセスはステップＳ２７に進む。変化率が第２の閾値未満であるとき、プロセスはステップＳ２８に進む。

ステップＳ２７では、プロセッサ１０は、トレッド面２１ｂに変化があったことを決定する。プロセッサ１０が決定すると、プロセスはステップＳ２９に進む。

ステップＳ２８では、プロセッサ１０は、トレッド面２１ｂに変化がなかったことを決定する。プロセッサ１０が決定すると、移動体変化検出処理を終了する。

ステップＳ２９では、プロセッサ１０は、摩耗の進行を示す摩耗情報を表示装置６、ＥＣＵ７、及び他の装置のいずれか１つ以上に出力する。プロセッサ１０は摩耗情報を出力すると移動体変化検出処理を終了する。

第１の実施形態によれば、プロセッサ１０は、所定の時期に撮像素子４が生成した画像を基準画像としてメモリ９に記憶させ、基準画像と比較画像とに基づいて移動体２の所望の検出対象についての変化を検出する。このため、ユーザによる移動体２の使用開始後に、該変化を迅速に検出することができる。したがって、ユーザは、適切なタイミングで検出対象に対して適切な処置を施すことができる。

また、第１の実施形態によれば、プロセッサ１０は、移動体２の舵角及び速度の１つ以上に基づいて、検出対象とする変化の種類を決定する。このため、プロセッサ１０は、舵角及び速度に適した、移動体２の検出対象について変化を検出することができる。

また、第１の実施形態によれば、プロセッサ１０は、移動体２の速度が第１の速度閾値より大きいとき、検出対象をタイヤ２１の空気圧の変化に決定する。タイヤ２１の空気圧が小さくなっている場合、移動体２が高速で走行しているときにスタンディングウェーブ現象が発生し、外観に変化を生じやすい。このため、撮像素子４は、移動体２の速度が第1の速度閾値より大きいときに、空気圧の変化を判別するために必要なタイヤ２１の側面２１ａを撮像することができる。したがって、プロセッサ１０は、撮像素子４によって生成された側面２１ａの像を含む画像に基づいて空気圧の変化を検出することができる。

また、第１の実施形態によれば、プロセッサ１０、移動体２の速度が第１の速度閾値より小さく、かつ移動体２の舵角が角度閾値より大きいとき、検出対象をタイヤ２１の摩耗状態の変化に決定する。移動体２が低速で走行しているとき、高速で走行しているときに比べて、撮像素子４が生成した画像にはトレッド面２１ｂの凹凸による輝度の差異が明確に表される。また、移動体２の舵角が大きいとき、トレッド面２１ｂの一部は、移動体２の車体に覆われないため、撮像素子４がトレッド面２１ｂを撮像することができる。このため、プロセッサ１０は、移動体２の速度が第１の速度閾値より小さく、かつ移動体２の舵角が角度閾値より大きいとき、トレッド面２１ｂの変化を判別するために必要なトレッド面２１ｂを撮像することができる。したがって、プロセッサ１０は、撮像素子４によって生成されたトレッド面２１ｂの像を含む画像に基づいて空気圧の変化を検出することができる。

また、第１の実施形態によれば、プロセッサ１０が基準画像を記憶させる命令を受け付けたときに、撮像素子４が生成した画像を基準画像とする。このため、撮像素子４の撮像範囲にある移動体２の部分を交換したときを基準として変形を検出することができる。また、利用者が移動体２の変化を認識した以降に発生した新たな変形を検出することができる。

次に、本開示の第２の実施形態について、図面を参照して説明する。第２の実施形態の機能ブロック図は第１の実施形態の機能ブロック図と同様であるため説明を省略する。その他、第１の実施形態と同様の説明は省略する。

第１の実施形態とは異なり、第２の実施形態においては、プロセッサ１０が検出対象とする移動体２の変化は、移動体２の表面を構成する部材、例えばバンパ２２である。

撮像装置１は、移動体２のバンパ２２を含む範囲を撮像するように移動体２に固定される。例えば、撮像装置１は、移動体２のウィンドシールドの上部に、移動体２の前面のバンパ２２、並びに移動体２前方の道路及び空を撮像範囲に含むように固定される。

プロセッサ１０は、図６（ａ）に示すような基準画像の下側に位置する所定の領域Ｃからエッジ（バンパエッジ）を抽出する。以後、本実施形態において、抽出されたバンパエッジをバンパ２２の輪郭とする。所定の領域Ｃは、移動体２に取り付けられた撮像装置１が生成した画像において、バンパ２２の像を含む領域であり、撮像装置１の設計における取付け位置及び姿勢により決定される。以降において、所定の領域Ｃをバンパ画像領域Ｃという。

同様にして、プロセッサ１０は、比較画像におけるバンパ２２の形状を抽出する。具体的には、プロセッサ１０は、比較画像におけるバンパ画像領域Ｃからバンパエッジを抽出し、抽出されたバンパエッジをバンパ２２の輪郭とする。

また、プロセッサ１０は、比較画像におけるバンパエッジを表す画素のうち、基準画像におけるバンパエッジを表す画素と位置が一致している割合であるバンパエッジ一致率を算出する。また、プロセッサ１０は、バンパエッジ一致率が第３の閾値以上であるか否かを判別する。プロセッサ１０は、バンパエッジ一致率が第３の閾値以上であるとき、バンパ２２が変形していないと決定する。また、プロセッサ１０は、バンパエッジ一致率が第３の閾値未満であるとき、バンパ２２が変形していると決定する。第３の閾値は、バンパ２２の輪郭が変化したとみなせる程度に低い一致率であり、あらかじめ実験または官能評価等により決定される値である。図６（ｂ）のバンパ２２の変形を示す領域Ｃ１に示すように擦傷による塗料の脱落によりバンパ２２の像の輪郭が変形したときバンパエッジ一致率は低くなっている。このため、バンパ２２の変化は、バンパエッジ率に着目することにより検出され得る。

続いて、第２の実施形態の画像処理装置５の移動体変化検出処理について、図７を参照して説明する。プロセッサ１０は、変化検出開始信号を受信したときに、移動体変化検出処理を開始する。このとき、プロセッサ１０は、所定の時期に撮像素子４が生成した基準画像をメモリ９に記憶させている。

ステップＳ３１では、プロセッサ１０は、撮像素子４が生成した画像を比較画像として画像取得部８に取得させる。プロセッサ１０が比較画像をメモリ９に記憶させると、プロセスはステップＳ３２に進む。

ステップＳ３２では、プロセッサ１０は、メモリ９が記憶している基準画像、及び画像取得部８が取得した比較画像それぞれにおけるバンパ画像領域Ｃのエッジをバンパ２２の輪郭として抽出する。プロセッサ１０がバンパ２２の輪郭を抽出すると、プロセスはステップＳ３３に進む。

ステップＳ３３では、プロセッサ１０はバンパエッジ一致率を算出する。プロセッサ１０がバンパエッジ一致率を算出すると、プロセスはステップＳ３４に進む。

ステップＳ３４では、プロセッサ１０は、バンパエッジ一致率が第３の閾値以上であるか否かを判別する。バンパエッジ一致率が第３の閾値未満であるとき、プロセスはステップＳ３５に進む。バンパエッジ一致率が第３の閾値以上であるとき、プロセスはステップＳ３６に進む。

ステップＳ３５では、プロセッサ１０は、バンパ２２が変形していると決定する。プロセッサ１０が決定すると、プロセスはステップＳ３７に進む。

ステップＳ３６では、プロセッサ１０は、バンパ２２が変形していないと決定する。プロセッサ１０は決定すると、移動体変化検出処理を終了する。

ステップＳ３７では、プロセッサ１０は、バンパ２２が変形していることを示す変形情報を表示装置６、ＥＣＵ７、及び他の装置のいずれか１つ以上に出力する。プロセッサ１０は、変形情報を出力すると、移動体変化検出処理を終了する。

第２の実施形態によれば、第１の実施形態と同様に、プロセッサ１０は、所定の時期に撮像素子４が生成した画像を基準画像としてメモリ９に記憶させ、基準画像と比較画像とに基づいて移動体２の所望の検出対象についての変化を検出する。このため、ユーザは、適切なタイミングで検出対象に対して適切な処置を施すことができる。また、第２の実施形態によれば、第１の実施形態と同様に、プロセッサ１０が基準画像を記憶させる命令を受け付けたときに、撮像素子４が生成した画像を基準画像とする。このため、撮像素子４の撮像範囲にある移動体２の部分を交換したときを基準として変形を検出することができる。さらに、利用者が移動体２の変化を認識した以降に発生した新たな変形を検出することができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。

例えば、第１の実施形態では、プロセッサ１０は、基準画像及び比較画像それぞれのトレッド面画像領域Ｂにおける輝度が輝度閾値より高い画素数の、全体の画素数に対する割合である高輝度率を算出したが、この限りではない。プロセッサ１０は、基準画像と比較画像とに基づいて、タイヤ２１のトレッド面２１ｂにスリップサインが表れているか否かを判別してもよい。

具体的には、プロセッサ１０は、基準画像におけるトレッド面画像領域Ｂを構成する画素のうち、第２の閾値より輝度が低い画素の集合により構成される領域を溝領域として抽出する。そして、プロセッサ１０は、比較画像における溝領域に対応する領域にスリップサインが表されているか、すなわち第２の閾値より輝度が低い画素が断続しているか否かを判別する。プロセッサ１０は、溝領域内に対応する領域で第２の閾値より輝度が低い画素が断続しているとき、スリップサインが表されている、すなわち摩耗状態が変化していると決定する。

また、第１及び第２の実施形態では、プロセッサ１０は、変化検出開始信号を受信すると、撮像素子４が生成した画像を比較画像として画像取得部８に取得させるが、この限りではない。例えば、プロセッサ１０は、変化検出開始信号を受信すると、撮像素子４に画像を生成させてもよい。この場合、プロセッサ１０は、撮像素子４が画像を生成すると、生成された画像を画像取得部８に取得させる。

また、第１の実施形態では、プロセッサ１０は、撮像素子４が撮像した画像そのものを基準画像としてメモリ９に記憶するがこの限りではない。例えば、プロセッサ１０は、撮像素子４が生成した基準画像から抽出したタイヤエッジの位置を基準画像としてメモリ９に記憶させてもよい。この場合、プロセッサ１０は、比較画像が生成されると比較画像からタイヤエッジを抽出する。そして、プロセッサ１０は、比較画像のタイヤエッジの位置と、既にメモリ９に記憶されている基準画像のタイヤエッジの位置とに基づいてタイヤエッジ一致率を算出する。第１の実施形態における基準高輝度率、第２の実施形態におけるバンパエッジについても同様である。

１ 撮像装置
２ 移動体
３ 光学系
４ 撮像素子
５ 画像処理装置
６ 表示装置
７ ＥＣＵ
８ 画像取得部
９ メモリ
１０ プロセッサ
２１ タイヤ
２１ａ 側面
２１ｂ トレッド面
２２ バンパ
２３ サイドミラー

Claims (9)

1. 撮像素子が生成した画像を取得する画像取得部と、
   前記画像取得部が所定の時期に取得した画像を基準画像として記憶可能なメモリと、
   前記基準画像と、前記画像取得部が取得した比較画像とに基づいて移動体の変化を検出するプロセッサと、
   を備え、
   前記プロセッサは、前記移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記変化の種類を決定する画像処理装置。
2. 前記プロセッサは、前記移動体の速度が第１の速度閾値より大きいとき、前記検出対象を前記移動体のタイヤの空気圧の変化に決定する請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記タイヤの空気圧の変化を、前記基準画像および前記比較画像における前記タイヤの画像領域内の輪郭の変化に基づいて検出する請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記移動体の速度が第２の速度閾値より小さく、かつ前記移動体の舵角が角度閾値より大きいとき、前記検出対象を前記移動体のタイヤの摩耗状態の変化に決定する請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記プロセッサは、前記タイヤの摩耗状態の変化を、前記基準画像および前記比較画像における前記タイヤのトレッド面の画像領域内の輝度の変化および輪郭の変化の少なくとも一方に基づいて検出する請求項４に記載の画像処理装置。
6. 前記基準画像は、前記プロセッサが基準画像を記憶させる命令を受け付けたときに、前記撮像素子が生成した画像である請求項１から５のいずれか一項に記載の画像処理装置。
7. 撮像素子と、
   前記撮像素子が生成した画像を取得する画像取得部と、前記画像取得部が所定の時期に取得した画像を基準画像として記憶可能なメモリと、前記基準画像と、前記画像取得部が取得した比較画像とに基づいて移動体の変化を検出するプロセッサと、を含む画像処理装置と、
   を備え、
   前記プロセッサは、前記移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記変化の種類を決定する撮像装置。
8. 所定の箇所に位置して、所定の方向に向いた撮像素子と、前記撮像素子が生成した画像を取得する画像取得部と、前記画像取得部が所定の時期に取得した画像を基準画像として記憶可能なメモリと、前記基準画像と、前記画像取得部が取得した比較画像とに基づいて移動体の変化を検出するプロセッサと、を有する画像処理装置と、を含む撮像装置
   を備え、
   前記プロセッサは、前記移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記変化の種類を決定する移動体。
9. 画像処理装置が実行する画像処理方法であって、
   前記画像処理装置が、撮像素子が生成した画像を取得し、所定の時期に取得した前記画像を基準画像として記憶し、移動体の舵角及び速度の１つ以上に基づいて、検出対象とする前記移動体の形状の変化の種類を決定し、前記基準画像と、前記撮像素子から取得された比較画像とに基づいて前記変化を検出する画像処理方法。