JP6194713B2 - 画像処理装置、システムおよび表示プログラム - Google Patents

Description

本発明は、画像処理装置、システムおよび表示プログラムに関する。

近年、カメラで撮影した画像をモニタに表示するカメラモニタシステムをミラーの代わりに使用することが検討されている。例えば、自動車のサイドミラーの代わりに使用されるカメラモニタシステムの標準化が進んでいる。自動車のサイドミラーの代わりにカメラモニタシステムを使用する場合、モニタは、車室内に設置される。例えば、モニタは、運転者から見える場所に設置される。

また、物体を検知する検知装置とカメラとを用いて車両後方の視界を支援する装置が提案されている（例えば、特許文献１参照）。この種の装置では、カメラで撮影された車両後方の画像がモニタに表示される。そして、例えば、検知装置の検知範囲等がカメラで撮影された画像に重畳して表示される。

特開２００６−３５２３６８号公報

運転者が車室内のモニタを見るために動かす視線の範囲は、運転者が車室外のサイドミラーを見るために動かす視線の範囲に比べて、狭い。また、モニタの位置がサイドミラーの位置に比べて運転者に近くなるため、目の焦点位置が近くなる。このため、自動車のサイドミラーの代わりにカメラモニタシステムを使用する場合、車室外まで視線を向けていたときに比べて視野が狭くなるおそれがある。この場合、運転者が得る情報量は、サイドミラーを使用したときに比べて、減少する。例えば、モニタにリアルタイムで表示される画像の範囲外で車両周辺に障害物が存在する場合、運転者が障害物を発見するタイミングが遅れるおそれがある。

１つの側面では、本件開示の画像処理装置、システムおよび表示プログラムは、カメラモニタシステムの利用者に伝える情報の低減を抑制することを目的とする。

一観点によれば、カメラと物体を検知するセンサとからのデータを用いて、画像をモニタに表示する画像処理装置は、カメラで撮影された第１画像を保持する第１保持部と、第１保持部に保持されている第１画像からモニタに表示する第２画像を生成する生成部と、センサの検知結果を受け、センサにより検知された物体である障害物が第２画像に存在するか否かを判定し、障害物が第２画像に存在するとき、障害物が第２画像の端に存在するか否かを判定する判定部と、障害物が第２画像の端に存在すると判定されたとき、障害物の画像を第１画像から抽出する抽出部と、抽出部で抽出された障害物の画像を保持する第２保持部と、センサにより検知されている障害物が第２画像に存在しないと判定され、かつ、障害物の画像が第２保持部に保持されているとき、モニタに表示する画像に障害物の画像を追加する描画部とを有している。

別の観点によれば、システムは、カメラ、センサ、画像処理装置およびモニタを有し、画像処理装置は、カメラで撮影された第１画像を保持する第１保持部と、第１保持部に保持されている第１画像からモニタに表示する第２画像を生成する生成部と、センサの検知結果を受け、センサにより検知された物体である障害物が第２画像に存在するか否かを判定し、障害物が第２画像に存在するとき、障害物が第２画像の端に存在するか否かを判定する判定部と、障害物が第２画像の端に存在すると判定されたとき、障害物の画像を第１画像から抽出する抽出部と、抽出部で抽出された障害物の画像を保持する第２保持部と、センサにより検知されている障害物が第２画像に存在しないと判定され、かつ、障害物の画像が第２保持部に保持されているとき、モニタに表示する画像に障害物の画像を追加する描画部とを有している。

別の観点によれば、カメラと物体を検知するセンサとからのデータを用いて画像をモニタに表示する処理をコンピュータに実行させる表示プログラムは、カメラで撮影された第１画像を保持し、第１保持部に保持されている第１画像からモニタに表示する第２画像を生成し、センサの検知結果を受け、センサにより検知された物体である障害物が第２画像に存在するか否かを判定し、障害物が第２画像に存在するとき、障害物が第２画像の端に存在するか否かを判定し、障害物が第２画像の端に存在すると判定されたとき、障害物の画像を第１画像から抽出し、抽出部で抽出された障害物の画像を保持し、センサにより検知されている障害物が第２画像に存在しないと判定され、かつ、障害物の画像が第２保持部に保持されているとき、モニタに表示する画像に障害物の画像を追加する処理をコンピュータに実行させる。

本件開示の画像処理装置、システムおよび表示プログラムは、カメラモニタシステムの利用者に伝える情報の低減を抑制できる。

画像処理装置およびシステムの一実施形態を示す図である。 カメラの撮影範囲とセンサの検知範囲の一例を示す図である。 図１に示した画像処理装置の動作の一例を示す図である。 図１に示した判定部、抽出部および描画部の動作の一例を示す図である。 障害物が存在しないときにモニタに表示される画像の一例を示す図である。 表示範囲内に障害物が存在するときにモニタに表示される画像の一例を示す図である。 表示範囲内に障害物が存在するときにモニタに表示される画像の別の例を示す図である。 表示範囲外に障害物が存在するときにモニタに表示される画像の一例を示す図である。 表示範囲外に障害物が存在するときにモニタに表示される画像の別の例を示す図である。 センサによる障害物の検知の概要を示す図である。 センサにより検知される障害物の大きさの一例を示す図である。 障害物の位置が表示範囲内か否かの判定の概要を示す図である。 障害物の画像の抽出の一例を示す図である。 画像処理装置およびシステムの別の実施形態を示す図である。 画像処理装置およびシステムの別の実施形態を示す図である。 表示範囲を広げるときの一例を示す図である。 画像処理装置およびシステムの別の実施形態を示す図である。 画像処理装置およびシステムの別の実施形態を示す図である。 モニタに表示される画像の一例を示す図である。 画像処理装置およびシステムの別の実施形態を示す図である。 カメラ２０の撮影範囲とサブカメラの撮影範囲とセンサの検知範囲の一例を示す図である。 画像処理装置およびシステムの別の実施形態を示す図である。 表示範囲の画像を外挿して空白領域に画像を表示する処理の一例を示す図である。 画像処理装置およびシステムの別の実施形態を示す図である。 画像処理装置のハードウエア構成の一例を示す図である。

以下、実施形態を図面を用いて説明する。

図１は、画像処理装置およびシステムの一実施形態を示している。この実施形態のシステム１０は、例えば、自動車のサイドミラーの代わりに使用されるカメラモニタシステムとして、自動車に搭載される。例えば、図２に示すように、自動車の左右のサイドミラーの代わりに、２つのシステム１０が車両３００に搭載される。システム１０は、例えば、カメラ２０、センサ３０、モニタ４０および画像処理装置５０を有している。なお、画像処理装置５０は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。

カメラ２０は、例えば、車両側面に配置され、動画撮影を実行する。カメラ２０で撮影された画像ＩＭＧａは、画像処理装置５０に転送される。センサ３０は、例えば、物体を検知する障害物センサであり、車両側面に配置される。例えば、センサ３０は、ミリ波レーダである。なお、センサ３０は、ミリ波レーダ以外のセンサでもよい。センサ３０の検知結果ＩＮＦａは、画像処理装置５０に転送される。例えば、センサ３０は、センサの処理サイクルに従って、検知結果ＩＮＦａを画像処理装置５０の判定部１２０に転送する。

モニタ４０は、車室内に設置される。例えば、モニタ４０は、運転者から見える場所に設置される。モニタ４０は、例えば、カメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）に基づいて生成された画像ＩＭＧｃを、画像処理装置５０から受ける。これにより、モニタ４０には、カメラ２０およびセンサ３０からのデータに基づいて生成された画像ＩＭＧｃが表示される。

モニタ４０に表示される画像ＩＭＧｃは、例えば、サイドミラーに映る像と同様の向きになるように、鏡像処理（左右反転処理）が実行された画像である。鏡像処理は、例えば、画像処理装置５０で実行される。なお、鏡像処理は、カメラ２０で実行されてもよいし、モニタ４０で実行されてもよい。

画像処理装置５０は、例えば、ＥＣＵ（Electronic Control Unit）内に設けられ、カメラ２０、センサ３０およびモニタ４０と通信できるように接続されている。例えば、画像処理装置５０は、カメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）を用いて、画像ＩＭＧｃをモニタ４０に表示する。

画像処理装置５０は、例えば、保持部１００、１４０、１６０、生成部１１０、判定部１２０、抽出部１３０および描画部１５０を有している。保持部１００は、カメラ２０で撮影された画像ＩＭＧａを順次保持する。生成部１１０は、保持部１００に保持されている画像ＩＭＧａからモニタ４０に表示する画像ＩＭＧｂを生成する。例えば、生成部１１０は、保持部１００に保持されている画像ＩＭＧａを読み出し、モニタ４０に表示する範囲（以下、表示範囲とも称する）の画像ＩＭＧｂを画像ＩＭＧａから抽出する。そして、生成部１１０は、画像ＩＭＧａから抽出した画像ＩＭＧｂを保持部１６０に保持する。なお、カメラ２０の撮影範囲と表示範囲とが一致する場合、生成部１１０は、画像ＩＭＧａを画像ＩＭＧｂとして保持部１６０に保持する。

ここで、例えば、画像処理装置５０が鏡像処理を実行する場合、生成部１１０が鏡像処理を実行してもよい。例えば、生成部１１０は、画像ＩＭＧａから抽出した画像を左右反転し、左右反転した画像を画像ＩＭＧｂとして保持部１６０に保持する。なお、カメラ２０の撮影範囲と表示範囲とが一致する場合、鏡像処理が実行された画像ＩＭＧｂは、例えば、画像ＩＭＧａを左右反転した画像である。

判定部１２０は、センサ３０の検知結果ＩＮＦａを受け、センサ３０により検知された物体である障害物が画像ＩＭＧｂに存在するか否かを判定する。そして、判定部１２０は、障害物が画像ＩＭＧｂに存在するとき、障害物が画像ＩＭＧｂの端に存在するか否かを判定する。障害物が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂは、例えば、描画部１５０に転送される。また、障害物が画像ＩＭＧｂの端に存在するか否かの判定結果ＩＮＦｃは、例えば、抽出部１３０に転送される。

抽出部１３０は、障害物が画像ＩＭＧｂの端に存在すると判定されたとき、障害物の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。例えば、抽出部１３０は、障害物が画像ＩＭＧｂの端に存在することを示す判定結果ＩＮＦｃを判定部１２０から受けたとき、保持部１００に保持されている画像ＩＭＧａを読み出す。そして、抽出部１３０は、センサ３０で検知された障害物の範囲に対応する画像ＢＩＭＧａを画像ＩＭＧａから抽出し、抽出した障害物の画像ＢＩＭＧａを保持部１４０に保持する。このように、保持部１４０は、抽出部１３０で抽出された障害物の画像ＢＩＭＧａを保持する。

なお、抽出部１３０は、例えば、センサ３０で検知された障害物が追跡中の障害物と異なるとき、保持部１４０に保持されている障害物の画像ＢＩＭＧａを削除してもよい。あるいは、判定部１２０は、例えば、センサ３０で検知された障害物が追跡中の障害物と異なるとき、保持部１４０に保持されている障害物の画像ＢＩＭＧａを削除してもよい。

描画部１５０は、センサ３０により検知されている障害物が画像ＩＭＧｂに存在しないと判定され、かつ、障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき、モニタ４０に表示する画像ＩＭＧｃに障害物の画像ＢＩＭＧａを追加する。例えば、描画部１５０は、障害物が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂを判定部１２０から受けたとき、障害物の画像ＢＩＭＧａが保持部１４０に保持されているか否かを判定する。そして、描画部１５０は、障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき、障害物の画像ＢＩＭＧａを保持部１４０から読み出し、読み出した画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。この場合、保持部１６０には、画像ＩＭＧｂと障害物の画像ＢＩＭＧａとを含む画像ＩＭＧｃが保持される。

ここで、例えば、画像処理装置５０が鏡像処理を実行する場合、描画部１５０は、画像ＢＩＭＧａに対して鏡像処理を実行してもよい。例えば、描画部１５０は、画像ＢＩＭＧａを左右反転し、左右反転した画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。

なお、例えば、描画部１５０は、センサ３０で検知された障害物が画像ＩＭＧｂに存在せず、かつ、障害物の画像ＢＩＭＧａが保持部１４０に保持されていないとき、予め用意された警告用の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。この場合、保持部１６０には、画像ＩＭＧｂと警告用の画像とを含む画像ＩＭＧｃが保持される。

また、例えば、障害物が画像ＩＭＧｂ外（表示範囲外）に存在しない場合、描画部１５０は、画像ＢＩＭＧｂを保持部１６０に保持しない。これにより、画像ＩＭＧｃのうちの画像ＢＩＭＧｂに対応する領域は、余白になる。

保持部１６０に保持された画像ＩＭＧｃは、モニタ４０に表示される。したがって、センサ３０により検知されている障害物が画像ＩＭＧｂに存在しない場合、画像ＩＭＧｂと画像ＢＩＭＧｂ（障害物の画像ＢＩＭＧａ、あるいは、警告用の画像）とがモニタ４０に表示される。すなわち、描画部１５０は、センサ３０により検知されている障害物が画像ＩＭＧｂに存在しないと判定され、かつ、障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき、画像ＩＭＧｂのほかに障害物の画像ＢＩＭＧａをモニタ４０に表示する。

このように、例えば、画像処理装置５０は、カメラ２０と物体を検知するセンサ３０とからデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）を受ける。そして、画像処理装置５０は、カメラ２０で撮影された画像ＩＭＧａの少なくとも一部を含む画像ＩＭＧｃをモニタ４０に表示する。すなわち、画像処理装置５０は、カメラ２０で撮影された画像をモニタ４０に表示する。

なお、システム１０および画像処理装置５０の構成は、この例に限定されない。例えば、抽出部１３０は、障害物が画像ＩＭＧｂの端に存在すると判定されたとき、障害物の画像ＢＩＭＧａを画像ＩＭＧｂから抽出してもよい。すなわち、抽出部１３０は、障害物が画像ＩＭＧｂの端に存在すると判定されたとき、障害物の画像ＢＩＭＧａを画像ＩＭＧａおよび画像ＩＭＧｂの少なくとも一方から抽出してもよい。画像ＩＭＧｂが画像ＩＭＧａから抽出された画像であるため、障害物の画像ＢＩＭＧａを画像ＩＭＧｂから抽出することは、障害物の画像ＢＩＭＧａを画像ＩＭＧａから抽出することに含まれる。

また、例えば、障害物の画像ＢＩＭＧａが表示される位置（モニタ４０の画面上の位置）は、予め設定された固定位置でもよいし、画像ＩＭＧａに対する障害物の相対的な位置に応じて算出される位置でもよい。例えば、画像処理装置５０は、障害物の画像ＢＩＭＧａを表示する位置（モニタ４０の画面上の位置）を算出する算出部を有してもよい。

また、画像処理装置５０が鏡像処理を実行する場合、障害物の画像に対する鏡像処理は、抽出部１３０で実行されてもよい。例えば、抽出部１３０は、センサ３０で検知された障害物の範囲に対応する画像を画像ＩＭＧａから抽出し、抽出した障害物の画像を左右反転する。そして、抽出部１３０は、左右反転した画像を画像ＢＩＭＧｂとして保持部１４０に保持する。この場合、描画部１５０は、画像ＢＩＭＧａに対して鏡像処理を実行しない。

また、画像処理装置５０は、障害物の画像ＢＩＭＧａの大きさを、障害物の画像ＢＩＭＧａが表示されるモニタ４０の画面上の領域に合わせて調整（縮小や拡大）してもよい。

図２は、カメラ２０の撮影範囲ＣＲＡＮとセンサ３０の検知範囲ＳＲＡＮの一例を示している。例えば、自動車の左右のサイドミラーの代わりに、２つのシステム１０（カメラ２０、センサ３０、モニタ４０および画像処理装置５０）が車両３００に搭載されている。

２つのカメラ２０は、車両３００の右側面および左側面にそれぞれ配置されている。図２の例では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。すなわち、カメラ２０で撮影された画像ＩＭＧａがモニタ４０に表示される。

２つのセンサ３０は、車両３００の右側面および左側面にそれぞれ配置されている。センサ３０は、例えば、検知範囲ＳＲＡＮ内に存在する物体（例えば、障害物）を検知する。この実施形態では、センサ３０の検知範囲ＳＲＡＮは、カメラ２０の撮影範囲ＣＲＡＮより広い。したがって、センサ３０は、カメラ２０の撮影範囲ＣＲＡＮの外側に存在する物体（例えば、障害物）を検知できる。

センサ３０は、例えば、障害物を検知したとき、障害物の位置を示す情報と障害物の大きさを示す情報と検知時刻を示す情報とを含む検知結果ＩＮＦａを、画像処理装置５０に転送する。障害物の位置を示す情報は、例えば、障害物の中心とセンサ３０との距離、センサ３０に対する障害物の中心の角度等を示す情報である。センサ３０に対する障害物の中心の角度は、例えば、障害物の中心とセンサ３０とを結ぶ線とセンサ３０の向いている方向（図２のＺ軸）との角度（Ｚ軸に対する水平および垂直方向の角度）である。

また、障害物の大きさを示す情報は、例えば、障害物を垂直に伸びた板状の物体としたときの水平および垂直方向の大きさを示す情報である。なお、センサ３０が地面を障害物として誤認識しないように、センサ３０の取り付け位置における調整は予め完了している。

カメラ２０およびセンサ３０は、例えば、ＥＣＵに接続され、画像ＩＭＧａおよび検知結果ＩＮＦａをＥＣＵにそれぞれ転送する。なお、ＥＣＵは、図１に示した画像処理装置５０を有している。また、ＥＣＵは、モニタ４０に接続され、画像ＩＭＧｃをモニタ４０に表示する。例えば、右側に配置されたモニタ４０は、車両３００の右側面のカメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。また、左側に配置されたモニタ４０は、車両３００の左側面のカメラ２０およびセンサ３０からのデータ（画像ＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。

なお、車両３００には、２つのモニタ４０の代わりに、右側面の画像ＩＭＧｃを表示する画面と左側面の画像ＩＭＧｃを表示する画面とを有する１つのモニタが搭載されてもよい。また、ＥＣＵ内の２つの画像処理装置５０は、１つにまとめられてもよい。この場合、画像処理装置５０は、例えば、車両３００の右側面のカメラ２０およびセンサ３０からのデータに基づいて画像ＩＭＧｃを生成する処理と、車両３００の左側面のカメラ２０およびセンサ３０からのデータに基づいて画像ＩＭＧｃを生成する処理とを、独立して実行する。

図３は、図１に示した画像処理装置５０の動作の一例を示している。図３の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに図３の動作を実行させてもよい。すなわち、プロセッサは、表示プログラムを読み取り、図３の動作を実行してもよい。なお、図３の例では、ステップＳ１００、Ｓ１１０の一連の処理とステップＳ２００の処理とが並列に実行される。例えば、ステップＳ１００、Ｓ１１０、Ｓ３００の一連の処理は、画像処理装置５０が画像ＩＭＧａを受ける度に繰り返される。また、ステップＳ２００の処理は、例えば、画像処理装置５０が検知結果ＩＮＦａを受ける度に繰り返される。

ステップＳ１００では、画像処理装置５０は、カメラ２０で撮影された画像ＩＭＧａを保持部１００に保持する。例えば、画像処理装置５０は、カメラ２０で撮影された画像ＩＭＧａを取得し、カメラ２０から取得した画像ＩＭＧａを保持部１００に保持する。

ステップＳ１１０では、生成部１１０は、画像ＩＭＧａから生成した画像ＩＭＧｂを保持部１６０に保持する。例えば、生成部１１０は、ステップＳ１００で保持部１００に保持された画像ＩＭＧａを読み出し、読み出した画像ＩＭＧａから表示範囲ＤＲＡＮの画像ＩＭＧｂを抽出する。これにより、モニタ４０に表示される画像ＩＭＧｂが生成される。そして、生成部１１０は、生成した画像ＩＭＧｂを保持部１６０に保持する。なお、例えば、画像処理装置５０が鏡像処理を実行する場合、生成部１１０は、画像ＩＭＧａから抽出した表示範囲ＤＲＡＮの画像を左右反転して、画像ＩＭＧｂを生成する。

これにより、カメラ２０の撮影範囲ＣＲＡＮのうちの表示範囲ＤＲＡＮ（モニタ４０に表示される範囲）に相当する画像ＩＭＧｂが保持部１６０に保持される。

ステップＳ２００では、判定部１２０、抽出部１３０、描画部１５０等は、図４に示すように、センサ３０の検知結果ＩＮＦａに応じた処理を実行する。例えば、判定部１２０は、センサ３０で検知された障害物が表示範囲ＤＲＡＮ内に存在するか否か等を判定する。また、例えば、抽出部１３０は、センサ３０で検出された障害物が表示範囲ＤＲＡＮの端に存在するとき、ステップＳ１００で保持部１００に保持された画像ＩＭＧａから障害物の画像ＢＩＭＧａを抽出する。そして、抽出部１３０は、抽出した画像ＢＩＭＧａを保持部１４０に保持する。

また、例えば、描画部１５０は、表示範囲ＤＲＡＮ外に障害物が存在する場合、画像ＢＩＭＧｂ（予め用意された警告用の画像、または、保持部１４０に保持されている障害物の過去の画像ＢＩＭＧａ）を保持部１６０に保持する。これにより、表示範囲ＤＲＡＮ外に障害物が存在する場合、予め用意された警告用の画像と障害物の過去の画像ＢＩＭＧａのいずれかが保持部１６０に保持される。

ステップＳ１００、Ｓ１１０、Ｓ２００の処理により、モニタ４０に表示する画像ＩＭＧｃ（画像ＩＭＧｂ、ＢＩＭＧａを含む画像や画像ＩＭＧｂ）が保持部１６０に保持される。

ステップＳ３００では、画像処理装置５０は、保持部１６０に保持されている画像ＩＭＧｃをモニタ４０に転送する。これにより、カメラ２０およびセンサ３０からのデータに基づいて生成された画像ＩＭＧｃがモニタ４０に表示される。

図４は、図１に示した判定部１２０、抽出部１３０および描画部１５０の動作の一例を示している。すなわち、図４は、図３に示したステップＳ２００の処理の一例を示している。したがって、図４の動作は、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに図４の動作を実行させてもよい。すなわち、プロセッサは、表示プログラムを読み取り、図４の動作を実行してもよい。

ステップＳ２０２では、例えば、判定部１２０は、センサ３０の検知結果ＩＮＦａをセンサ３０から受け、センサ３０が障害物を検知したか否かを検知結果ＩＮＦａに基づいて判定する。障害物が検知されているとき（ステップＳ２０２のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２１０に移る。

一方、障害物が検知されていないとき（ステップＳ２０２のＮｏ）、判定部１２０は、例えば、障害物が検知されていないことを示す判定結果ＩＮＦｃを、抽出部１３０に転送する。そして、障害物が検知されていないとき、画像処理装置５０の動作は、ステップＳ２０４に移る。例えば、画像処理装置５０は、ステップＳ２０４の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。

ステップＳ２０４では、抽出部１３０は、障害物の画像ＢＩＭＧａを保持部１４０から削除する。これにより、保持部１４０に保持されている障害物の画像ＢＩＭＧａが削除される。この結果、この実施形態では、誤った画像が障害物の画像ＢＩＭＧａとしてモニタ４０に表示されることを防止できる。

ステップＳ２１０では、判定部１２０は、ステップＳ２０２で受けた検知結果ＩＮＦａが示す障害物が追跡中の障害物か否かを判定する。例えば、判定部１２０は、今回のステップＳ２０２で検知されている障害物が前回のステップＳ２０２で検知された障害物と同じ場合、今回のステップＳ２０２で検知されている障害物は、追跡中の障害物であると判定する。

すなわち、判定部１２０は、今回のステップＳ２０２で検知されている障害物が前回のステップＳ２０２で検知された障害物と異なる場合、今回のステップＳ２０２で検知されている障害物は、追跡中の障害物でないと判定する。なお、判定部１２０は、例えば、前回のステップＳ２０２で障害物が検知されていない場合、今回のステップＳ２０２で検知されている障害物は、追跡中の障害物でないと判定する。

障害物が追跡中の障害物であるとき（ステップＳ２１０のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２２０に移る。一方、障害物が追跡中の障害物でないとき（ステップＳ２１０のＮｏ）、判定部１２０は、例えば、障害物が追跡中の障害物でないことを示す判定結果ＩＮＦｃを、抽出部１３０に転送する。そして、障害物が追跡中の障害物でないとき、画像処理装置５０の動作は、ステップＳ２１２に移る
ステップＳ２１２では、抽出部１３０は、障害物の画像ＢＩＭＧａを保持部１４０から削除する。これにより、保持部１４０に保持されている障害物の画像ＢＩＭＧａが削除される。この結果、この実施形態では、誤った画像が障害物の画像ＢＩＭＧａとしてモニタ４０に表示されることを防止できる。画像処理装置５０は、ステップＳ２１２の処理を実行した後、ステップＳ２２０の処理を実行する。

ステップＳ２２０では、判定部１２０は、センサ３０で検知された障害物が表示範囲ＤＲＡＮ内に存在するか否かを検知結果ＩＮＦａに基づいて判定する。すなわち、判定部１２０は、センサ３０で検知された障害物が画像ＩＭＧｂに存在するか否かを検知結果ＩＮＦａに基づいて判定する。例えば、判定部１２０は、障害物４００の全体が表示範囲ＤＲＡＮ内に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していると判定する。したがって、判定部１２０は、障害物４００の少なくとも一部が表示範囲ＤＲＡＮ外に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していないと判定する。なお、判定部１２０は、障害物４００の少なくとも一部が表示範囲ＤＲＡＮ内に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していると判定してもよい。

障害物が表示範囲ＤＲＡＮ内に存在するとき（ステップＳ２２０のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２３０に移る。すなわち、障害物が画像ＩＭＧｂに存在するとき、画像処理装置５０の動作は、ステップＳ２３０に移る。

一方、障害物が表示範囲ＤＲＡＮ内に存在しないとき（ステップＳ２２０のＮｏ）、判定部１２０は、例えば、センサ３０で検知された障害物が表示範囲ＤＲＡＮ内に存在しないことを示す判定結果ＩＮＦｂを、描画部１５０に転送する。そして、障害物が表示範囲ＤＲＡＮ内に存在しないとき、画像処理装置５０の動作は、ステップＳ２５０に移る。すなわち、障害物が画像ＩＭＧｂに存在しないとき、画像処理装置５０の動作は、ステップＳ２５０に移る。このように、表示範囲ＤＲＡＮ外に存在する障害物がセンサ３０で検知されたとき、画像処理装置５０の動作は、ステップＳ２５０に移る。

ステップＳ２３０では、判定部１２０は、センサ３０で検知された障害物の位置が表示範囲ＤＲＡＮの端か否かを検知結果ＩＮＦａに基づいて判定する。すなわち、判定部１２０は、障害物が画像ＩＭＧｂの端に存在するか否かを検知結果ＩＮＦａに基づいて判定する。障害物の位置が表示範囲ＤＲＡＮの端のとき（ステップＳ２３０のＹｅｓ）、判定部１２０は、例えば、障害物が表示範囲ＤＲＡＮの端に位置していることを示す判定結果ＩＮＦｃを、抽出部１３０に転送する。

そして、障害物の位置が表示範囲ＤＲＡＮの端のとき、画像処理装置５０の動作は、ステップＳ２４０に移る。すなわち、障害物が画像ＩＭＧｂの端に存在するとき、画像処理装置５０の動作は、ステップＳ２４０に移る。例えば、画像処理装置５０は、ステップＳ２４０の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。

一方、障害物の位置が表示範囲ＤＲＡＮの端でないとき（ステップＳ２３０のＮｏ）、画像処理装置５０は、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。すなわち、障害物が画像ＩＭＧｂの端に存在しないとき、センサ３０の検知結果ＩＮＦａに応じた処理は終了する。

ステップＳ２４０では、抽出部１３０は、障害物の画像ＢＩＭＧａを保持部１４０に保持する。例えば、抽出部１３０は、図３のステップＳ１００で保持部１００に保持された画像ＩＭＧａを読み出す。そして、抽出部１３０は、センサ３０で検知された障害物の範囲に対応する画像ＢＩＭＧａを画像ＩＭＧａから抽出し、抽出した障害物の画像ＢＩＭＧａを保持部１４０に保持する。

例えば、障害物が表示範囲ＤＲＡＮ外に移動する前のタイミングでは、障害物が表示範囲ＤＲＡＮの端に位置している可能性は、障害物が表示範囲ＤＲＡＮの中央に位置している可能性に比べて、高い。したがって、この実施形態では、表示範囲ＤＲＡＮの端に位置している障害物の画像ＢＩＭＧａを保持部１４０に保持することにより、障害物が表示範囲ＤＲＡＮ外に移動する直前の状態に近い状態の障害物の画像を保持できる。

ステップＳ２５０では、例えば、描画部１５０は、表示範囲ＤＲＡＮ外に存在する障害物の画像ＢＩＭＧａが保持部１４０に保持されているか否かを判定する。すなわち、描画部１５０は、表示範囲ＤＲＡＮ外に存在する障害物の過去の画像ＢＩＭＧａが存在するか否かを判定する。

障害物の画像ＢＩＭＧａが保持部１４０に保持されているとき（ステップＳ２５０のＹｅｓ）、画像処理装置５０の動作は、ステップＳ２５２に移る。すなわち、障害物の過去の画像ＢＩＭＧａが存在するとき、画像処理装置５０の動作は、ステップＳ２５２に移る。例えば、画像処理装置５０は、ステップＳ２５２の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。

一方、障害物の画像ＢＩＭＧａが保持部１４０に保持されていないとき（ステップＳ２５０のＮｏ）、画像処理装置５０の動作は、ステップＳ２５４に移る。すなわち、障害物の過去の画像ＢＩＭＧａが存在しないとき、画像処理装置５０の動作は、ステップＳ２５４に移る。例えば、画像処理装置５０は、ステップＳ２５４の処理を実行し、センサ３０の検知結果ＩＮＦａ（ステップＳ２０２で判定部１２０が受けた検知結果ＩＮＦａ）に応じた処理を終了する。

ステップＳ２５２では、描画部１５０は、保持部１４０に保持されている障害物の画像ＢＩＭＧａを描画する。例えば、描画部１５０は、障害物の画像ＢＩＭＧａを保持部１４０から読み出し、読み出した画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、画像ＢＩＭＧｂ（障害物の画像ＢＩＭＧａ）が描画される。

ステップＳ２５４では、描画部１５０は、予め用意された警告用の画像を描画する。例えば、描画部１５０は、予め用意された警告用の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、画像ＢＩＭＧｂ（警告用の画像）が描画される。

このように、画像処理装置５０は、表示範囲ＤＲＡＮ外に存在する障害物がセンサ３０で検知されたとき、障害物の過去の画像ＢＩＭＧａまたは警告用の画像を、保持部１６０に保持する。例えば、表示範囲ＤＲＡＮ外に存在する障害物の過去の画像ＢＩＭＧａが保持部１４０に保持されている場合、画像処理装置５０は、障害物の過去の画像ＢＩＭＧａを保持部１６０に保持する。また、図３で説明したように、保持部１６０には、表示範囲ＤＲＡＮの画像ＩＭＧｂが保持されている。この場合、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物の画像ＢＩＭＧａとが保持部１６０に保持されている。これにより、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物の画像ＢＩＭＧａとがモニタ４０に表示される。

したがって、システム１０は、表示範囲ＤＲＡＮ外に存在する障害物の過去の画像ＢＩＭＧａが保持部１４０に保持されているとき、表示範囲ＤＲＡＮの画像ＩＭＧｂのほかに障害物の画像ＢＩＭＧａをモニタ４０に表示できる。すなわち、この実施形態では、システム１０の利用者に伝える情報の低減を抑制できる。

なお、画像処理装置５０の動作は、図３および図４に示した例に限定されない。例えば、ステップＳ２３０の処理は、省かれてもよい。この場合、抽出部１３０は、例えば、障害物の全体が表示範囲ＤＲＡＮ内に存在することを示す検知結果ＩＮＦａを画像処理装置５０が受ける度に、障害物の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。そして、抽出部１３０は、抽出した障害物の画像ＢＩＭＧａを保持部１４０に保持する。これにより、保持部１４０に保持されている画像ＢＩＭＧａは、新しい画像ＢＩＭＧａに更新される。なお、障害物の少なくとも一部が表示範囲ＤＲＡＮ外に存在するとき、障害物の画像ＢＩＭＧａは、抽出されない。したがって、保持部１４０に保持されている画像ＢＩＭＧａは、障害物が表示範囲ＤＲＡＮ外に移動する直前の画像であり、表示範囲ＤＲＡＮの端に位置している障害物の画像ＢＩＭＧａに対応している。

また、例えば、画像処理装置５０が鏡像処理を実行する場合、描画部１５０は、保持部１４０から読み出した画像ＢＩＭＧａを左右反転して、画像ＢＩＭＧｂを生成してもよい。あるいは、画像処理装置５０が鏡像処理を実行する場合、例えば、抽出部１３０は、画像ＩＭＧａから抽出した障害物の画像を左右反転し、左右反転した画像を画像ＢＩＭＧｂとして保持部１４０に保持してもよい。

図５は、障害物が存在しないときにモニタ４０に表示される画像ＩＭＧｃの一例を示している。なお、図５は、車両３００の右側面に配置されたカメラ２０およびセンサ３０を含むシステム１０のモニタ４０に表示される画像ＩＭＧｃの一例を示している。以下、車両３００の右側面に配置されたカメラ２０およびセンサ３０を含むシステム１０を中心に説明する。

モニタ４０は、例えば、画像ＩＭＧｂの表示用の領域と画像ＢＩＭＧｂ（障害物の画像ＢＩＭＧａまたは警告用の画像）の表示用の領域とを有している。モニタ４０に表示される画像ＩＭＧｂ、ＢＩＭＧａは、例えば、鏡像である。なお、画像ＢＩＭＧｂの表示用の領域は、モニタ４０に画像ＢＩＭＧｂが表示されない場合、余白ＢＳＰである。

図５の例では、センサ３０の検知範囲ＳＲＡＮ内に障害物は存在していない。このため、センサ３０は、障害物を検知しない。したがって、保持部１６０は、障害物の画像ＢＩＭＧａおよび警告用の画像のいずれも保持していない。この場合、モニタ４０には、表示範囲ＤＲＡＮの画像ＩＭＧｂが画像ＩＭＧｃとして表示される。

画像ＩＭＧｂには、例えば、車両３００の一部が映っている。なお、表示範囲ＤＲＡＮ内に障害物が存在しないため、画像ＩＭＧｂには、障害物は映っていない。また、画像ＢＩＭＧｂの表示用の領域は、余白ＢＳＰである。

図６は、表示範囲ＤＲＡＮ内に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの一例を示している。図６の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮ内に存在する。なお、図６の例は、表示範囲ＤＲＡＮ内に存在する障害物４００の位置は、表示範囲ＤＲＡＮの端ではない。図６の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４は、センサ３０で検知された障害物４００を板状の四角形に換算したときの四角形の各頂点を示している。頂点ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の位置は、表示範囲ＤＲＡＮ内である。

したがって、保持部１６０は、障害物４００の画像ＢＩＭＧａおよび警告用の画像のいずれも保持していない。このため、モニタ４０には、表示範囲ＤＲＡＮの画像ＩＭＧｂが画像ＩＭＧｃとして表示される。なお、表示範囲ＤＲＡＮ内に障害物４００が存在するため、画像ＩＭＧｂには、障害物４００が映っている。また、センサ３０で検知された障害物４００の位置が表示範囲ＤＲＡＮ外でないため、画像ＢＩＭＧｂの表示用の領域は、余白ＢＳＰである。

図７は、表示範囲ＤＲＡＮ内に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの別の例を示している。図７の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の意味は、図６と同様である。図７の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮの端に位置している。

例えば、頂点ＯＰ１、ＯＰ２の位置は、表示範囲ＤＲＡＮの端に隣接している。このため、モニタ４０に表示される画像ＩＭＧｂの端に障害物４００が映っている。画像ＩＭＧｂ内の破線の枠は、障害物４００に対応する四角形を分かりやすくするために記載したものであり、モニタ４０には表示されない。なお、例えば、破線の枠内の画像（あるいは、左右反転前の破線の枠内の画像）は、障害物４００の画像ＢＩＭＧａとして保持部１４０に保持されている。

図８は、表示範囲ＤＲＡＮ外に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの一例を示している。図８の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の意味は、図６と同様である。図８の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮ外に存在する。

なお、図８は、表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動した障害物４００をセンサ３０が検知している状態を示している。例えば、図８に示した状態は、図７に示した状態の後の状態に対応している。したがって、障害物４００の過去の画像ＢＩＭＧａは、保持部１４０に保持されている。

例えば、画像処理装置５０は、図４に示したステップＳ２１０の処理において、センサ３０で検知された障害物４００が追跡中の障害物であると判定する。また、例えば、画像処理装置５０は、図４に示したステップＳ２５０の処理において、表示範囲ＤＲＡＮ外に存在する障害物の画像ＢＩＭＧａが保持部１４０に保持されていると判定する。

したがって、保持部１６０は、障害物４００の過去の画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持している。すなわち、保持部１６０は、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物４００の過去の画像ＢＩＭＧａとを保持している。このため、表示範囲ＤＲＡＮの画像ＩＭＧｂと画像ＢＩＭＧｂ（障害物４００の過去の画像ＢＩＭＧａ）とを含む画像ＩＭＧｃが、モニタ４０に表示される。

表示範囲ＤＲＡＮ内に障害物４００が存在しないため、画像ＩＭＧｂには、障害物４００は映っていない。また、画像ＢＩＭＧｂは、例えば、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａである。

このように、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、表示範囲ＤＲＡＮの画像ＩＭＧｂに加えて、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａをモニタ４０に表示できる。これにより、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、障害物４００の存在を運転者に提示し続けることができる。

なお、画像処理装置５０は、障害物４００の画像ＢＩＭＧａを画像ＢＩＭＧｂとしてモニタ４０に表示する際に、画像ＢＩＭＧａに対して拡大、縮小等を実行し、画像ＢＩＭＧａのサイズを画像ＢＩＭＧｂの表示用の領域に合うように調整してもよい。

図９は、表示範囲ＤＲＡＮ外に障害物４００が存在するときにモニタ４０に表示される画像ＩＭＧｃの別の例を示している。図９の符号ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の意味は、図６と同様である。図９の例では、センサ３０で検知された障害物４００は、表示範囲ＤＲＡＮ外に存在する。図９の破線の障害物４００ａは、センサ３０が検知した障害物４００ｂの前の状態（障害物４００、表示範囲ＤＲＡＮ、検知範囲ＳＲＡＮの相対的な位置関係）を示している。例えば、図９の状態では、センサ３０は、センサ３０の検知範囲ＳＲＡＮ外から検知範囲ＳＲＡＮ内に表示範囲ＤＲＡＮを通過せずに移動した障害物４００を検知している。

したがって、障害物４００ｂの過去の画像ＢＩＭＧａは、保持部１４０に保持されていない。このため、保持部１６０は、予め用意された警告用の画像（図９では、感嘆符が描かれた画像）を画像ＢＩＭＧｂとして保持している。すなわち、保持部１６０は、表示範囲ＤＲＡＮの画像ＩＭＧｂと警告用の画像とを保持している。このため、表示範囲ＤＲＡＮの画像ＩＭＧｂと画像ＢＩＭＧｂ（警告用の画像）とを含む画像ＩＭＧｃが、モニタ４０に表示される。

表示範囲ＤＲＡＮ内に障害物４００が存在しないため、画像ＩＭＧｂには、障害物４００は映っていない。また、障害物４００ｂの過去の画像ＢＩＭＧａが保持部１４０に保持されていないため、画像ＢＩＭＧｂは、例えば、感嘆符が描かれた警告用の画像である。

このように、障害物４００ｂの過去の画像ＢＩＭＧａが保持部１４０に保持されていない場合には、障害物４００ｂの画像ＢＩＭＧａの代わりに、障害物４００が表示範囲ＤＲＡＮ外に存在することを知らせる警告用の画像がモニタ４０に表示される。これにより、この実施形態では、障害物４００が検知範囲ＳＲＡＮ外から検知範囲ＳＲＡＮ内に表示範囲ＤＲＡＮを通過せずに移動したときにも、障害物４００の存在を運転者に提示することができる。

図１０は、センサ３０による障害物３０の検知の概要を示している。障害物４００（ｔ１）は、時刻ｔ１での障害物４００を示し、障害物４００（ｔ２）は、時刻ｔ２での障害物４００を示している。また、中心水平角度θｈ、中心垂直角度θｖ、距離Ｌ、横方向の大きさＷＤ（以下、幅ＷＤとも称する）、縦方向の大きさＨＴ（以下、高さＨＴとも称する）は、センサ３０の検知結果ＩＮＦａに含まれる情報の一例を示している。なお、符号θｈ、θｖ、Ｌ、ＷＤ、ＨＴの末尾の数字は、時刻ｔの末尾の数字に対応している。

例えば、センサ３０は、時刻ｔ１に検知した障害物４００（ｔ１）の検知結果ＩＮＦａとして、中心水平角度θｈ１、中心垂直角度θｖ１、距離Ｌ１、幅ＷＤ１、高さＨＴ１、時刻ｔ１を示す情報を画像処理装置５０の判定部１２０に転送する。また、例えば、センサ３０は、時刻ｔ２に検知した障害物４００（ｔ２）の検知結果ＩＮＦａとして、中心水平角度θｈ２、中心垂直角度θｖ２、距離Ｌ２、幅ＷＤ２、高さＨＴ２、時刻ｔ２を示す情報を画像処理装置５０の判定部１２０に転送する。

ここで、例えば、中心水平角度θｈは、障害物４００の検知範囲の中心とセンサ３０とを結ぶ線とＺ軸（センサ３０の向いている方向）との水平方向の角度である。また、中心垂直角度θｖは、障害物４００の中心とセンサ３０とを結ぶ線とＺ軸（センサ３０の向いている方向）との垂直方向の角度である。距離Ｌは、障害物４００の中心とセンサ３０との距離である。幅ＷＤは、障害物４００を垂直に伸びた板状の物体としたときの水平方向の大きさである。高さＨＴは、障害物４００を垂直に伸びた板状の物体としたときの垂直方向の大きさである。例えば、距離Ｌ、幅ＷＤ、高さＨＴの単位は、メートルである。

判定部１２０は、例えば、センサ３０から受けた前回（例えば、時刻ｔ１）の検知結果ＩＮＦａを保持している。そして、判定部１２０は、現在（例えば、時刻ｔ２）の検知結果ＩＮＦａをセンサ３０から受けたとき、前回（例えば、時刻ｔ１）の検知結果ＩＮＦａと今回（例えば、時刻ｔ２）の検知結果ＩＮＦａとを用いて、障害物４００を追跡できているか否かを判定する。なお、今回の検知結果ＩＮＦａは、次回の判定（障害物４００を追跡できているか否かの判定）に用いられるため、保持される。

障害物４００を追跡できているか否かは、例えば、前回および今回の検知結果ＩＮＦａから算出される障害物４００の中心位置の移動量と、前回および今回の検知結果ＩＮＦａから算出される障害物４００の大きさの変化率とに基づいて判定される。先ず、障害物４００の中心位置の移動量の算出について説明する。

センサ３０の位置を原点とし、センサ３０の向いている方向をＺ軸、Ｚ軸を法線ベクトルとする平面内で地面と平行な方向をＸ軸、Ｚ軸を法線ベクトルとする平面内でＸ軸に垂直な方向をＹ軸とする。すなわち、Ｘ軸、Ｙ軸、Ｚ軸は、センサ３０の座標系の軸である。また、前回検知された障害物４００（ｔ１）の中心位置を座標（ｘ１、ｙ１、ｚ１）とし、今回検知された障害物４００（ｔ２）の中心位置を座標（ｘ２、ｙ２、ｚ２）とする。

障害物４００（ｔ１）の中心位置（ｘ１、ｙ１、ｚ１）から障害物４００（ｔ２）の中心位置（ｘ２、ｙ２、ｚ２）までの移動量をＬｍとした場合、移動量Ｌｍは、式（１）で表される。

なお、障害物４００（ｔ１）の中心位置（ｘ１、ｙ１、ｚ１）は、中心水平角度θｈ１、中心垂直角度θｖ１、距離Ｌ１を用いて、式（２）、式（３）および式（４）で表される。

ｘ１＝Ｌ１・ｃｏｓ（θｖ１）・ｓｉｎ（θｈ１） ‥‥（２）
ｙ１＝Ｌ１・ｃｏｓ（θｈ１）・ｓｉｎ（θｖ１） ‥‥（３）
ｚ１＝Ｌ１・ｃｏｓ（θｈ１）・ｃｏｓ（θｖ１） ‥‥（４）
また、障害物４００（ｔ２）の中心位置（ｘ２、ｙ２、ｚ２）は、中心水平角度θｈ２、中心垂直角度θｖ２、距離Ｌ２を用いて、式（５）、式（６）および式（７）で表される。

ｘ２＝Ｌ２・ｃｏｓ（θｖ２）・ｓｉｎ（θｈ２） ‥‥（５）
ｙ２＝Ｌ２・ｃｏｓ（θｈ２）・ｓｉｎ（θｖ２） ‥‥（６）
ｚ２＝Ｌ２・ｃｏｓ（θｈ２）・ｃｏｓ（θｖ２） ‥‥（７）
ここで、車両３００を基準にした障害物４００の相対的な速さをＶｒとした場合、速さＶｒは、前回の検知時刻ｔ１および今回の検知時刻ｔ２を用いて、式（８）で表される。

Ｖｒ＝Ｌｍ／（ｔ２−ｔ１） ‥‥（８）
例えば、判定部１２０は、速さＶｒが所定値（例えば、秒速２メートル）以下の場合、時刻ｔ１、ｔ２で同じ障害物４００が検知されたと判断する。すなわち、時刻ｔ２で検知された障害物４００は、時刻ｔ１で検知された追跡中の障害物４００が移動したものであると判定される。

次に、前回および今回の検知結果ＩＮＦａから算出される障害物４００の大きさの変化率の算出について説明する。

障害物４００の大きさの変化率をＲとした場合、変化率Ｒは、前回検知された障害物４００（ｔ１）の幅ＷＤ１および高さＨＴ１と、今回検知された障害物４００（ｔ２）の幅ＷＤ２および高さＨＴ２と用いて、式（９）で表される。

Ｒ＝（ＷＤ２・ＨＴ２）／（ＷＤ１・ＨＴ１） ‥‥（９）
なお、式（９）は、障害物４００を板状の物体と仮定したときの面積の変化率Ｒを表している。センサ３０で検知される障害物４００の大きさ（幅ＷＤ、高さＨＴ）は、障害物４００の見る角度等の変化により、変化する。このため、例えば、判定部１２０は、変化率Ｒが所定の範囲内（例えば、±１０％（０．９から１．１））の場合、時刻ｔ１、ｔ２で同じ障害物４００が検知されたと判断する。

例えば、判定部１２０は、速さＶｒが所定値以下である条件と、変化率Ｒが所定の範囲内である条件との両方を満たしたときに、追跡中の障害物４００（前回検知した障害物４００と同じ障害物４００）を検知したと判定する。なお、判定部１２０は、速さＶｒが所定値以下である条件と、変化率Ｒが所定の範囲内である条件のうちの一方に基づいて、障害物４００を追跡できているか否かを判定してもよい。

図１１は、センサ３０により検知される障害物４００の大きさの一例を示している。図１１のＸ軸、Ｙ軸、Ｚ軸は、センサ３０の座標系の軸であり、図１０で説明したＸ軸、Ｙ軸、Ｚ軸と同様である。また、図１１の位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４は、障害物４００を板状の物体と仮定したときの障害物４００の四隅の位置（四角形の頂点）を示している。幅ＷＤおよび高さＨＴは、障害物４００を検知したセンサ３０の検知結果ＩＮＦａから得られる障害物４００の幅および高さに対応している。

例えば、Ｚ軸が障害物４００の中心を通過する場合、位置ＯＰ１−ＯＰ４のＺ座標は、障害物４００の中心とセンサ３０との距離Ｌで表される。したがって、Ｚ軸が障害物４００の中心を通過する場合、位置ＯＰ１−ＯＰ４の各座標（ｘ、ｙ、ｚ）は、幅ＷＤ、高さＨＴ、距離Ｌを用いて、式（１０）−式（１３）で表される。

ＯＰ１（ｘ、ｙ、ｚ）＝（−ＷＤ／２、ＨＴ／２、Ｌ） ‥‥（１０）
ＯＰ２（ｘ、ｙ、ｚ）＝（−ＷＤ／２、−ＨＴ／２、Ｌ） ‥‥（１１）
ＯＰ３（ｘ、ｙ、ｚ）＝（ＷＤ／２、ＨＴ／２、Ｌ） ‥‥（１２）
ＯＰ４（ｘ、ｙ、ｚ）＝（ＷＤ／２、−ＨＴ／２、Ｌ） ‥‥（１３）
ここで、障害物４００の中心が水平方向および垂直方向にそれぞれ中心水平角度θｈおよび中心垂直角度θｖだけ移動した場合、回転後の位置ＯＰ１−ＯＰ４は、角度θｈ、θｖの回転行列を用いて、式（１４）−（１７）で表される。

このように、障害物４００の四隅の位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４は、検知結果ＩＮＦａの幅ＷＤ、高さＨＴ、距離Ｌ、中心水平角度θｈおよび中心垂直角度θｖを用いて、センサ３０の座標系で表される。

図１２は、障害物４００の位置が表示範囲ＤＲＡＮ内か否かの判定の概要を示している。図１２のＵ軸、Ｖ軸、Ｓ軸は、車両３００の座標系の軸を示している。例えば、車両３００を上から見た場合の車両３００の中心で、地面の位置を原点とする。そして、車両３００の前方向をＶ軸、車両３００の右方向をＵ軸、上方向をＳ軸とする。例えば、図１２では、車両３００の座標系でのカメラ２０の座標（ｕ、ｖ、ｓ）を、座標（Ｕｃ、Ｖｃ、Ｓｃ）とし、車両３００の座標系でのセンサ３０の座標（ｕ、ｖ、ｓ）を、座標（Ｕｑ、Ｖｑ、Ｓｑ）とする。

また、角度ＰａｎＣ、ＰａｎＱは、車両３００の座標系のＵＶ平面でのカメラ２０およびセンサ３０のそれぞれのパン角度（Ｕ軸が０度）を示している。また、角度ＴｉｌｔＣ、ＴｉｌｔＱは、車両３００の座標系のＵＶ平面に対するカメラ２０およびセンサ３０のそれぞれのチルト角度（ＵＶ平面に交わる方向とＵＶ平面との角度）である。チルト角度は、例えば、ＵＶ平面より上をプラスとする。なお、図１２の例では、角度ＴｉｌｔＣ、ＴｉｌｔＱは、０度である。角度ＲｏｌｌＣ、ＲｏｌｌＱは、カメラ２０およびセンサ３０のそれぞれのロール角度である。例えば、角度ＲｏｌｌＣは、カメラ３０の向く方向の回りを回転するロール角度である。なお、図１２の例では、角度ＲｏｌｌＣ、ＲｏｌｌＱは、０度である。角度ＲｏｌｌＣが０度の場合、例えば、モニタ４０に表示される地面（画像ＩＭＧｂに表示される地面）に垂直な方向とモニタ４０の縦方向とがほぼ一致する。

画像処理装置５０は、例えば、障害物４００の四隅の位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の座標を、センサ３０の座標系から車両３００の座標系に変換する。センサ３０の座標系での位置ＯＰ１、ＯＰ２、ＯＰ３、ＯＰ４の座標は、図１１で説明したように、検知結果ＩＮＦａの幅ＷＤ、高さＨＴ、距離Ｌ、中心水平角度θｈおよび中心垂直角度θｖを用いて、式（１４）−式（１７）で表される。

なお、図１２では、位置ＯＰ１−ＯＰ４のセンサ３０の座標系での各座標（ｘ、ｙ、ｚ）を、座標（Ｘｏｐ１、Ｙｏｐ１、Ｚｏｐ１）、座標（Ｘｏｐ２、Ｙｏｐ２、Ｚｏｐ２）、座標（Ｘｏｐ３、Ｙｏｐ３、Ｚｏｐ３）、座標（Ｘｏｐ４、Ｙｏｐ４、Ｚｏｐ４）とする。また、位置ＯＰ１−ＯＰ４の車両３００の座標系での各座標（ｕ、ｖ、ｓ）を、座標（Ｕｏｐ１、Ｖｏｐ１、Ｓｏｐ１）、座標（Ｕｏｐ２、Ｖｏｐ２、Ｓｏｐ２）、座標（Ｕｏｐ３、Ｖｏｐ３、Ｓｏｐ３）、座標（Ｕｏｐ４、Ｖｏｐ４、Ｓｏｐ４）とする。

位置ＯＰ１−ＯＰ４に対するセンサ３０の座標系から車両３００の座標系への変換は、式（１８）−式（２１）で与えられる。

以下、式（１８）を導き出す過程を説明する。例えば、センサ３０の座標系のＸＺ平面の座標は、車両３００の座標系のＵＶ平面上で角度ＰａｎＱだけ回転させ、センサ３０のＵＶ平面での座標（Ｕｑ、Ｖｑ）に対応するオフセットを加算することにより、ＵＶ平面の座標に変換される。したがって、位置ＯＰ１のＵＶ平面での座標（Ｕｏｐ１、Ｖｏｐ１）は、位置ＯＰ１のＸＺ平面での座標（Ｘｏｐ１、Ｚｏｐ１）、角度ＰａｎＱ、センサ３０のＵＶ平面での座標（Ｕｑ、Ｖｑ）を用いて、式（２２）で表される。

また、車両３００の座標系での位置ＯＰ１のＳ座標（Ｓｏｐ１）は、センサ３０の座標系での位置ＯＰ１のＹ座標（Ｙｏｐ１）に、車両３００の座標系でのセンサ３０のＳ座標（Ｓｑ）を加算した値である。したがって、位置ＯＰ１のＳ座標（Ｓｏｐ１）は、位置ＯＰ１のＹ座標（Ｙｏｐ１）およびセンサ３０のＳ座標（Ｓｑ）を用いて、式（２３）で表される。

Ｓｏｐ１＝Ｙｏｐ１＋Ｓｑ ‥‥（２３）
式（２２）および式（２３）をまとめて行列式で表現すると、座標（Ｕｏｐ１、Ｖｏｐ１、Ｓｏｐ１）は、式（２４）で表される。

そして、式（２４）の座標（Ｕｑ、Ｖｑ、Ｓｑ）の加算部分を行列に組み込み、行列の掛け算のみで表現すると、式（１８）が導き出される。式（１９）−式（２１）も、式（１８）と同様に導き出される。

次に、位置ＯＰ１−ＯＰ４が表示範囲ＤＲＡＮ内か否かを判定する際の条件について説明する。画角φｗは、表示範囲ＤＲＡＮの水平方向の範囲を角度で表したときの画角を示している。この実施形態では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。したがって、画角φｗは、カメラ２０の水平方向の画角を示している。

例えば、表示範囲ＤＲＡＮ内のＵＶ平面の座標では、カメラ２０に向かう線分とＵ軸方向に沿う線分との角度は、角度“ＰａｎＣ−φｗ／２”以上で角度“ＰａｎＣ＋φｗ／２”以下である。したがって、カメラ２０の位置（Ｕｃ、Ｖｃ）から見た位置ＯＰ１−ＯＰ４のＵ軸に対する水平方向のそれぞれの角度が角度“ＰａｎＣ−φｗ／２”以上で角度“ＰａｎＣ＋φｗ／２”以下の場合、位置ＯＰ１−ＯＰ４は、表示範囲ＤＲＡＮ内に存在する。

カメラ２０の位置（Ｕｃ、Ｖｃ）から見た位置ＯＰ１−ＯＰ４のＵ軸に対する水平方向のそれぞれの角度をθｈｏｐ１、θｈｏｐ２、θｈｏｐ３、θｈｏｐ４とする。この場合、角度θｈｏｐ１、位置ＯＰ１のＵＶ平面における座標（Ｖｏｐ１、Ｕｏｐ１）およびカメラ２０のＵＶ平面における座標（Ｕｃ、Ｖｃ）の関係は、式（２５）で表される。

ｔａｎ（θｈｏｐ１）＝（Ｖｏｐ１−Ｖｃ）／（Ｕｏｐ１−Ｕｃ） ‥‥（２５）
角度θｈｏｐ２−θｈｏｐ４、位置ＯＰ２−ＯＰ４のＵＶ平面における座標およびカメラ２０のＵＶ平面における座標（Ｕｃ、Ｖｃ）の関係も、式（２５）と同様の関係式で表される。したがって、角度θｈｏｐ１−θｈｏｐ４は、式（２６）−式（２９）で表される。

θｈｏｐ１＝ｔａｎ^−１（（Ｖｏｐ１−Ｖｃ）／（Ｕｏｐ１−Ｕｃ）） ‥‥（２６）
θｈｏｐ２＝ｔａｎ^−１（（Ｖｏｐ２−Ｖｃ）／（Ｕｏｐ２−Ｕｃ）） ‥‥（２７）
θｈｏｐ３＝ｔａｎ^−１（（Ｖｏｐ３−Ｖｃ）／（Ｕｏｐ３−Ｕｃ）） ‥‥（２８）
θｈｏｐ４＝ｔａｎ^−１（（Ｖｏｐ４−Ｖｃ）／（Ｕｏｐ４−Ｕｃ）） ‥‥（２９）
例えば、画像処理装置５０の判定部１２０は、角度θｈｏｐ１−θｈｏｐ４の全てが角度“ＰａｎＣ−φｗ／２”以上で角度“ＰａｎＣ＋φｗ／２”以下の場合、表示範囲ＤＲＡＮの水平方向について、表示範囲ＤＲＡＮ内に障害物４００が存在すると判定する。なお、判定部１２０は、角度θｈｏｐ１、θｈｏｐ２の一方と角度θｈｏｐ３、θｈｏｐ４の一方とを確認することにより、表示範囲ＤＲＡＮのうちの水平方向の範囲に障害物４００が存在するか否かを判定してもよい。

次に、表示範囲ＤＲＡＮの垂直方向について説明する。画角φｖは、表示範囲ＤＲＡＮの垂直方向の範囲を角度で表したときの画角を示している。この実施形態では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。したがって、画角φｖは、カメラ２０の垂直方向の画角を示している。ここで、図１２では、カメラ２０のＳ方向の位置（高さ）がセンサ３０のＳ方向の位置（高さ）と同じであるとして説明する。

例えば、角度ＴｉｌｔＣが０度であるため、表示範囲ＤＲＡＮ内のＳ座標では、カメラ２０に向かう線分とＵＶ平面との角度は、角度“−φｖ／２”以上で角度“φｖ／２”以下である。位置ＯＰ１−ＯＰ４からカメラ２０に向かう線分とＵＶ平面とのそれぞれの角度をθｖｏｐ１、θｖｏｐ２、θｖｏｐ３、θｖｏｐ４とする。この場合、角度θｖｏｐ１、位置ＯＰ１の座標（Ｖｏｐ１、Ｕｏｐ１、Ｓｏｐ１）およびカメラ２０の座標（Ｕｃ、Ｖｃ、Ｓｃ）の関係は、式（３０）で表される。

なお、式（３０）の右辺の分母は、位置ＯＰ１とカメラ２０とのＵＶ平面における距離を表している。角度θｖｏｐ２−θｖｏｐ４、位置ＯＰ２−ＯＰ４の座標およびカメラ２０の座標（Ｕｃ、Ｖｃ、Ｓｃ）の関係も、式（３０）と同様の関係式で表される。したがって、角度θｖｏｐ１−θｖｏｐ４は、式（３１）−式（３４）で表される。

例えば、判定部１２０は、角度θｖｏｐ１−θｖｏｐ４の全てが角度“−φｖ／２”以上で角度“φｖ／２”以下の場合、表示範囲ＤＲＡＮの垂直方向について、表示範囲ＤＲＡＮ内に障害物４００が存在すると判定する。なお、判定部１２０は、角度θｖｏｐ１、θｖｏｐ３の一方と角度θｖｏｐ２、θｖｏｐ４の一方とを確認することにより、表示範囲ＤＲＡＮのうちの垂直方向の範囲に障害物４００が存在するか否かを判定してもよい。

このように、判定部１２０は、カメラ２０から見た位置ＯＰ（ＯＰ１−ＯＰ４）の水平および垂直方向の角度θｈｏｐ（θｈｏｐ１−θｈｏｐ４）、θｖｏｐ（θｖｏｐ１−θｖｏｐ４）に基づいて、障害物４００の位置が表示範囲ＤＲＡＮ内か否かを判定する。なお、判定部１２０は、障害物４００の少なくとも一部が表示範囲ＤＲＡＮ内に存在している場合、障害物４００が表示範囲ＤＲＡＮ内に存在していると判定してもよい。

また、例えば、判定部１２０は、以下に示す式（３５）−式（３８）の少なくとも１つを満たす位置ＯＰ（ＯＰ１−ＯＰ４）が存在する場合、障害物４００が画像ＩＭＧｂの端に存在すると判定する。

θｈｏｐ＝ＰａｎＣ−φｗ／２ ‥‥（３５）
θｈｏｐ＝ＰａｎＣ＋φｗ／２ ‥‥（３６）
θｖｏｐ＝−φｖ／２ ‥‥（３７）
θｖｏｐ＝φｖ／２ ‥‥（３８）
なお、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動するまでの撮影期間において、角度θｈｏｐ等が表示範囲ＤＲＡＮの端に完全に重なる状態が撮影されない場合もある。このため、判定部１２０は、所定の幅（例えば、±５度）の余裕を持って、式（３５）−式（３８）の少なくとも１つを満たすか判定してもよい。例えば、所定の幅をＭｈ、Ｍｖとした場合、判定部１２０は、以下に示す式（３９）−式（４２）の少なくとも１つを満たす位置ＯＰ（ＯＰ１−ＯＰ４）が存在する場合、障害物４００が画像ＩＭＧｂの端に存在すると判定する。

ＰａｎＣ−φｗ／２−Ｍｈ≦θｈｏｐ≦ＰａｎＣ−φｗ／２＋Ｍｈ ‥‥（３９）
ＰａｎＣ＋φｗ／２−Ｍｈ≦θｈｏｐ≦ＰａｎＣ＋φｗ／２＋Ｍｈ ‥‥（４０）
−φｖ／２−Ｍｖ≦θｖｏｐ≦−φｖ／２＋Ｍｖ ‥‥（４１）
φｖ／２−Ｍｖ≦θｖｏｐ≦φｖ／２＋Ｍｖ ‥‥（４２）
なお、所定の幅Ｍｈ、Ｍｖは、プラス側とマイナス側とで異なる値でもよい。障害物４００が画像ＩＭＧｂの端に存在すると判定された場合、図１３に示すように、障害物４００の画像ＢＩＭＧａが画像ＩＭＧａから抽出される。

また、判定部１２０は、例えば、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたか否かを角度θｈｏｐ、θｖｏｐに基づいて判定することにより、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定してもよい。この場合、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたと判定される前まで、障害物４００の画像ＢＩＭＧａは、画像ＩＭＧａから抽出される。そして、保持部１４０に保持されている画像ＢＩＭＧａは、抽出された画像ＢＩＭＧａに更新される。なお、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたと判定されたときには、障害物４００の画像ＢＩＭＧａは、抽出されない。すなわち、保持部１４０には、障害物４００の少なくとも一部が画像ＩＭＧｂの端を超えたと判定される前に抽出された障害物４００の画像ＢＩＭＧａが保持されている。

図１３は、障害物４００の画像ＢＩＭＧａの抽出の一例を示している。なお、図１３では、図７等との対応を容易にするために、保持部１００から読み出される画像ＩＭＧａは、鏡像処理（左右反転処理）が実行された画像として説明する。図１３では、画像ＩＭＧａの中心を原点とし、画像ＩＭＧａの横方向をＷ軸、画像ＩＭＧａの縦方向をＨ軸とする。また、画像ＩＭＧａの横幅ＳＣＷおよび縦幅ＳＣＨは、画像ＩＭＧａがビットマップ画像の場合、画像ＩＭＧａの横方向および縦方向の画素数をそれぞれ示している。

なお、カメラ２０のレンズの光軸に対する光の入射角は、例えば、入射した光の画像ＩＭＧａ上の投影位置から画像ＩＭＧａの中心までの距離と比例関係にある。例えば、図１２において、光の入射角が光軸（カメラの向き）に対して“φｗ／２”の場合、入射した光の画像ＩＭＧａ上の投影位置から画像ＩＭＧａの中心までのＷ方向に沿う距離は、“ＳＣＷ／２”画素に相当する距離である。すなわち、光の入射角が光軸（カメラの向き）に対して“φｗ／２”の場合、入射した光の画像ＩＭＧａ上の投影位置は、画像ＩＭＧａの端である。また、例えば、光の入射角が光軸（カメラの向き）に対して“φｗ／４”の場合、入射した光の画像ＩＭＧａ上の投影位置から画像ＩＭＧａの中心までのＷ方向に沿う距離は、“ＳＣＷ／４”画素に相当する距離である。

画像処理装置５０の抽出部１３０は、例えば、障害物４００が画像ＩＭＧｂの端に存在すると判定された場合、位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上の４つの点で囲まれる範囲（図１３の破線の枠内）の画像を、障害物４００の画像ＢＩＭＧａとして抽出する。例えば、位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上の各座標（Ｗ、Ｈ）を、座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）とする。

この場合、位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上の各座標（Ｗ、Ｈ）は、横幅ＳＣＷ、縦幅ＳＣＨ、図１２で説明した角度θｈｏｐ１−θｈｏｐ４、θｖｏｐ１−θｖｏｐ４、角度ＰａｎＣ、画角φｗ、φｖを用いて、式（４３）−式（５０）で表される。なお、式（４３）−式（５０）は、画像ＩＭＧａが鏡像である場合の位置ＯＰ１−ＯＰ４の画像ＩＭＧａ上で各座標（Ｗ、Ｈ）を表している。

ＯＰ１ｗ＝−（θｈｏｐ１−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４３）
ＯＰ１ｈ＝θｖｏｐ１・（ＳＣＨ／φｖ） ‥‥（４４）
ＯＰ２ｗ＝−（θｈｏｐ２−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４５）
ＯＰ２ｈ＝θｖｏｐ２・（ＳＣＨ／φｖ） ‥‥（４６）
ＯＰ３ｗ＝−（θｈｏｐ３−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４７）
ＯＰ３ｈ＝θｖｏｐ３・（ＳＣＨ／φｖ） ‥‥（４８）
ＯＰ４ｗ＝−（θｈｏｐ４−ＰａｎＣ）・（ＳＣＷ／φｗ） ‥‥（４９）
ＯＰ４ｈ＝θｖｏｐ４・（ＳＣＨ／φｖ） ‥‥（５０）
例えば、抽出部１３０は、式（４３）−式（５０）に基づいて、画像ＩＭＧａ上の座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）を算出する。そして、抽出部１３０は、画像ＩＭＧａ上の座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）で囲まれる範囲（図１３の破線の枠内）の画像を、障害物４００の画像ＢＩＭＧａとして抽出する。また、抽出部１３０は、抽出した画像ＢＩＭＧａを保持部１４０に保持する。

なお、抽出部１３０は、画像ＩＭＧｂから障害物４００の画像ＢＩＭＧａを抽出してもよい。また、画像ＩＭＧａ上の座標（ＯＰ１ｗ、ＯＰ１ｈ）、座標（ＯＰ２ｗ、ＯＰ２ｈ）、座標（ＯＰ３ｗ、ＯＰ３ｈ）、座標（ＯＰ４ｗ、ＯＰ４ｈ）は、判定部１２０で算出されてもよい。

以上、図１から図１３に示した実施形態の画像処理装置５０、システム１０および表示プログラムでは、障害物４００が画像ＩＭＧｂの端に存在するときの障害物４００の画像ＢＩＭＧａが画像ＩＭＧａ、ＩＭＧｂの少なくとも一方から抽出される。例えば、画像処理装置５０は、保持部１００、１４０、１６０、生成部１１０、判定部１２０、抽出部１３０および描画部１５０を有している。

例えば、生成部１１０は、カメラ２０で撮影された画像ＩＭＧａを保持部１００から読み出し、画像ＩＭＧａからモニタ４０に表示する画像ＩＭＧｂを生成する。判定部１２０は、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在するか否かを判定し、障害物４００が画像ＩＭＧｂに存在するとき、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。

抽出部１３０は、障害物４００が画像ＩＭＧｂの端に存在すると判定されたとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。そして、抽出部１３０は、障害物４００の画像ＢＩＭＧａを保持部１４０に保持する。これにより、保持部１４０は、障害物４００が表示範囲ＤＲＡＮ外に移動する直前の状態に近い状態の障害物４００の画像ＢＩＭＧａを保持できる。

描画部１５０は、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在しないと判定され、かつ、障害物４００の画像ＢＩＭＧが保持部１４０に保持されているとき、モニタ４０に表示する画像ＩＭＧｃに障害物４００の画像ＢＩＭＧａを追加する。これにより、表示範囲ＤＲＡＮの画像ＩＭＧｂと障害物の画像ＢＩＭＧａとがモニタ４０に表示される。

したがって、この実施形態では、表示範囲ＤＲＡＮ外に存在する障害物４００の過去の画像ＢＩＭＧａが保持部１４０に保持されているとき、表示範囲ＤＲＡＮの画像ＩＭＧｂのほかに障害物４００の画像ＢＩＭＧａをモニタ４０に表示できる。例えば、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、センサ３０が障害物４００を検知している間は、障害物４００を追跡できる。そして、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動した場合でも、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａを、モニタ４０に表示できる。

ここで、例えば、運転者が車室内のモニタ４０を見るために動かす視線の範囲は、運転者が車室外のサイドミラーを見るために動かす視線の範囲に比べて、狭い。このため、表示範囲ＤＲＡＮ内の画像ＩＭＧｂのみが表示されたモニタ４０を運転者が確認した場合、運転者が得る情報量は、サイドミラーを使用したときに比べて、減少するおそれがある。なお、この実施形態では、障害物４００が表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動したときにも、障害物４００の全体が映ったできるだけ新しい過去の画像ＢＩＭＧａをモニタ４０に表示できるため、運転者が得る情報量の減少分の一部を補うことができる。

例えば、この実施形態では、表示範囲ＤＲＡＮ内から表示範囲ＤＲＡＮ外に移動した障害物４００をセンサ３０が検知している間は、緊急の対応が必要な障害物４００か否かを判断する情報として、障害物４００の画像ＢＩＭＧａを継続的に運転者に提供できる。これにより、運転者は、モニタ４０に画像ＢＩＭＧａが表示されないカメラシステムを使用するときに比べて、緊急の対応が必要な障害物４００か否かを容易に判断できる。

このように、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。

図１４は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示した画像処理装置５０に抽出判定部１２２が追加された画像処理装置５０Ａを、画像処理装置５０の代わりに有している。システム１０および画像処理装置５０Ａのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

画像処理装置５０Ａは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ａの動作を実行させてもよい。

画像処理装置５０Ａは、例えば、保持部１００、１４０、１６０、生成部１１０、判定部１２０、抽出判定部１２２、抽出部１３０および描画部１５０を有している。抽出判定部１２２は、例えば、障害物４００が画像ＩＭＧｂの端に存在すると判定されたとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かを画像ＩＭＧｂ内の障害物４００の大きさに基づいて判定する。

例えば、抽出判定部１２２は、障害物４００が画像ＩＭＧｂの端に存在することを示す判定結果ＩＮＦｃを判定部１２０から受けたとき、画像ＩＭＧｂ内の障害物４００の大きさが予め決められた下限値以上か否かを判定する。そして、抽出判定部１２２は、例えば、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定する。障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かの判定結果ＩＮＦｄは、抽出部１３０に転送される。

例えば、抽出部１３０は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出することを示す判定結果ＩＮＦｄを抽出判定部１２２から受けたとき、保持部１００に保持されている画像ＩＭＧａを読み出す。そして、抽出部１３０は、センサ３０で検知された障害物４００の範囲に対応する画像ＢＩＭＧａを画像ＩＭＧａから抽出し、抽出した障害物４００の画像ＢＩＭＧａを保持部１４０に保持する。このように、抽出部１３０は、障害物４００が画像ＩＭＧｂの端に存在すると判定され、かつ、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上であると判定されたとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。

これにより、下限値以上の大きさの障害物４００がモニタ４０に表示される。この場合、障害物４００の画像ＢＩＭＧａがモニタ４０に表示されたときに、画像ＢＩＭＧａが小さくなることを防止できる。

なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ａの構成および動作は、この例に限定されない。例えば、抽出判定部１２２は、障害物４００が画像ＩＭＧｂの端に存在することを示す判定結果ＩＮＦｃを判定部１２０から受けたとき、画像ＩＭＧｂ内の障害物４００の大きさが予め決められた上限値以下か否かを判定してもよい。そして、抽出判定部１２２は、例えば、画像ＩＭＧｂ内の障害物４００の大きさが上限値以下のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定してもよい。例えば、モニタ４０の画像ＢＩＭＧｂの表示用の領域に合わせて上限値が設定されている場合、画像処理装置５０Ａは、画像ＢＩＭＧａを縮小することなく、適切な大きさの画像ＢＩＭＧａをモニタ４０に表示できる。

あるいは、抽出判定部１２２は、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上で上限値以下のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定してもよい。また、抽出判定部１２２は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かを画像ＩＭＧａ内の障害物４００の大きさに基づいて判定してもよい。また、抽出部１３０は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧｂから抽出してもよい。

以上、図１４に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。

さらに、この実施形態では、抽出判定部１２２は、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出するか否かを画像ＩＭＧｂ内の障害物４００の大きさに基づいて判定する。例えば、抽出判定部１２２は、画像ＩＭＧｂ内の障害物４００の大きさが下限値以上のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定する。この場合、下限値以上の大きさの障害物４００がモニタ４０に表示される。したがって、この実施形態では、障害物４００の画像ＢＩＭＧａがモニタ４０に表示されたときに、画像ＢＩＭＧａが小さくなることを防止できる。すなわち、この実施形態では、モニタ４０に表示される画像ＢＩＭＧａの解像度が不足することを防止できる。この結果、この実施形態では、鮮明な画像ＢＩＭＧａを運転者に提供できる。

また、例えば、抽出判定部１２２は、画像ＩＭＧｂ内の障害物４００の大きさが上限値以下のとき、障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出すると判定してもよい。この場合、この実施形態では、例えば、モニタ４０の画像ＢＩＭＧｂの表示用の領域に合わせて上限値を設定することにより、画像ＢＩＭＧａを縮小することなく、適切な大きさの画像ＢＩＭＧａをモニタ４０に表示できる。

図１５は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示したカメラ２０および画像処理装置５０の代わりに、カメラ２０Ａおよび画像処理装置５０Ｂを有している。この実施形態の画像処理装置５０Ｂでは、調整部１２４が図１に示した画像処理装置５０に追加されている。また、画像処理装置５０Ｂは、図１に示した生成部１１０の代わりに生成部１１０Ａを有している。システム１０および画像処理装置５０Ｂのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

画像処理装置５０Ｂは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｂの動作を実行させてもよい。

カメラ２０Ａの撮影範囲ＣＲＡＮに対応する画角は、例えば、センサ３０で障害物４００が検知されていないときに表示される画像ＩＭＧｂの表示範囲ＤＲＡＮに対応する画角より大きい。以下、センサ３０で障害物４００が検知されていないときに表示される画像ＩＭＧｂの表示範囲ＤＲＡＮを通常表示範囲ＤＲＡＮとも称する。また、通常表示範囲ＤＲＡＮの画角より広い画角の表示範囲ＤＲＡＮを、拡大表示範囲ＤＲＡＮとも称する。

拡大表示範囲ＤＲＡＮの画角は、例えば、撮影範囲ＣＲＡＮの画角とほぼ同じ大きさである。なお、拡大表示範囲ＤＲＡＮの画角は、撮影範囲ＣＲＡＮの画角より小さくてもよい。例えば、撮影範囲ＣＲＡＮの画角が通常表示範囲ＤＲＡＮの画角の２倍以上の場合、拡大表示範囲ＤＲＡＮの画角は、通常表示範囲ＤＲＡＮの画角の２倍以下でもよい。

画像処理装置５０Ｂは、例えば、保持部１００、１４０、１６０、生成部１１０Ａ、判定部１２０、調整部１２４、抽出部１３０および描画部１５０を有している。調整部１２４は、カメラ２０Ａの画角が画像ＩＭＧｂに反映されている表示範囲ＤＲＡＮの画角より大きく、かつ、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在しないと判定されたとき、表示範囲ＤＲＡＮの画角を広くする。

例えば、調整部１２４は、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮ内に存在しないことを示す判定結果ＩＮＦｂを判定部１２０から受けたとき、拡大表示範囲ＤＲＡＮの画角を示す情報ＩＮＦｅを生成部１１０Ａに転送する。なお、調整部１２４は、例えば、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮ内に存在することを示す判定結果ＩＮＦｂを判定部１２０から受けたとき、通常表示範囲ＤＲＡＮの画角を示す情報ＩＮＦｅを生成部１１０Ａに転送する。また、例えば、センサ３０で障害物４００が検知されていないとき、調整部１２４は、通常表示範囲ＤＲＡＮの画角を示す情報ＩＮＦｅを生成部１１０Ａに転送する。

生成部１１０Ａは、情報ＩＮＦｅが示す画角の画像ＩＭＧｂを、保持部１００に保持されている画像ＩＭＧａから生成する。例えば、情報ＩＮＦｅが通常表示範囲ＤＲＡＮの画角を示している場合、生成部１１０Ａは、通常表示範囲ＤＲＡＮの画像ＩＭＧｂを生成する。すなわち、情報ＩＮＦｅが通常表示範囲ＤＲＡＮの画角を示している場合、生成部１１０Ａは、図１に示した生成部１１０と同様の動作を実行する。

また、例えば、情報ＩＮＦｅが拡大表示範囲ＤＲＡＮの画角を示している場合、生成部１１０Ａは、拡大表示範囲ＤＲＡＮの画像ＩＭＧｂを生成する。これにより、通常表示範囲ＤＲＡＮより広い拡大表示範囲ＤＲＡＮの像が映っている画像ＩＭＧｂがモニタ４０に表示される。なお、モニタ４０に表示される画像ＩＭＧｂの大きさは、通常表示範囲ＤＲＡＮの画像ＩＭＧｂと拡大表示範囲ＤＲＡＮの画像ＩＭＧｂとでほぼ同じである。したがって、生成部１１０Ａは、例えば、拡大表示範囲ＤＲＡＮの画像ＩＭＧｂを生成する際、画像ＩＭＧｂの表示用の領域に合わせて、画像ＩＭＧｂを縮小する。

図１６は、表示範囲ＤＲＡＮを広げるときの一例を示している。図１６の通常表示範囲ＤＲＡＮｎは、センサ３０で障害物４００が検知されていないときにモニタ４０に表示される画像ＩＭＧｂの表示範囲ＤＲＡＮを示している。また、拡大表示範囲ＤＲＡＮｗは、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しないときにモニタ４０に表示される画像ＩＭＧｂの表示範囲ＤＲＡＮを示している。

画像ＩＭＧｂ（ｎ）は、センサ３０で障害物４００が検知されていないときにモニタ４０に表示される画像ＩＭＧｂを示している。画像ＩＭＧｂ（ｗ）は、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しないときにモニタ４０に表示される画像ＩＭＧｂを示している。また、画像処理装置５０Ｂは、障害物４００の画像ＢＩＭＧａを保持している場合、画像ＩＭＧｂ（ｗ）の他に、障害物４００の画像ＢＩＭＧａを画像ＢＩＭＧｂとしてモニタ４０に表示する。なお、画像処理装置５０Ｂは、障害物４００の画像ＢＩＭＧａを保持していない場合、障害物４００の画像ＢＩＭＧａの代わりに、警告用の画像（例えば、図７に示した画像ＢＩＭＧｂ）を画像ＢＩＭＧｂとしてモニタ４０に表示する。

図１６の例では、カメラ２０Ａの撮影範囲ＣＲＡＮは、通常表示範囲ＤＲＡＮｎより広く、拡大表示範囲ＤＲＡＮと同じである。したがって、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、カメラ２０で撮影された画像ＩＭＧａがモニタ４０に表示される。

このように、画像処理装置５０Ｂは、センサ３０で検知された障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、表示範囲ＤＲＡＮの画角を広げて、通常表示範囲ＤＲＡＮｎより広い拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂ（ｗ）をモニタ４０に表示する。例えば、画像処理装置５０Ｂの調整部１２４は、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しないとき、モニタ４０に表示する画像ＩＭＧｂの表示範囲ＤＲＡＮを通常表示範囲ＤＲＡＮｎより広くする。

ここで、画像ＩＭＧｂ（ｗ）内の破線の枠は、通常表示範囲ＤＲＡＮｎに対応する範囲を分かりやすくするために記載したものであり、モニタ４０には表示されない。なお、画像処理装置５０Ｂは、通常表示範囲ＤＲＡＮｎに対応する範囲を示す枠（例えば、画像ＩＭＧｂ（ｗ）内の破線の枠）を画像ＩＭＧｂ（ｗ）に重畳してモニタ４０に表示してもよい。

なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ｂの構成および動作は、この例に限定されない。例えば、表示範囲ＤＲＡＮを拡大表示範囲ＤＲＡＮｗに変更する条件は、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ外で拡大表示範囲ＤＲＡＮｗ内のときでもよい。この場合、画像処理装置５０Ｂは、障害物４００が映っている画像ＩＭＧｂ（ｗ）をモニタ４０に表示できる。

あるいは、画像処理装置５０Ｂは、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在しないとき、画像ＩＭＧｂに対する障害物４００の相対的な位置を算出する算出部を有してもよい。この場合、例えば、調整部１２４は、画像ＩＭＧａに反映されている撮影範囲がモニタ４０の画面以上であり、障害物４００の相対的な位置が画面内であるとき、画像ＩＭＧｂに反映される表示範囲の画角を画面に対応する画角まで広くしてもよい。

以上、図１５および図１６に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。

さらに、この実施形態では、調整部１２４は、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在しないとき、表示範囲ＤＲＡＮの画角を広くする。すなわち、この実施形態では、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、センサ３０で障害物４００が検知されていないときに比べて、車両３００の周辺の広い範囲を映した画像ＩＭＧｂ（ｗ）を運転者に提供できる。

図１７は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１５に示した画像処理装置５０Ｂに枠描画部１１２が追加された画像処理装置５０Ｃを、画像処理装置５０Ｂの代わりに有している。システム１０および画像処理装置５０Ｃのその他の構成は、図１５に示したシステム１０および画像処理装置５０Ｂと同様である。図１から図１６で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

画像処理装置５０Ｃは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｃの動作を実行させてもよい。

画像処理装置５０Ｃは、例えば、保持部１００、１４０、１６０、生成部１１０Ａ、枠描画部１１２、判定部１２０、抽出部１３０および描画部１５０を有している。枠描画部１１２は、画像ＩＭＧｂを生成部１１０Ａから受け、画像ＩＭＧｂ２を保持部１６０に保持する。例えば、枠描画部１１２は、画像ＩＭＧｂの表示範囲ＤＲＡＮが通常表示範囲ＤＲＡＮｎの場合、画像ＩＭＧｂを画像ＩＭＧｂ２として保持部１６０に保持する。

また、例えば、画像ＩＭＧｂの表示範囲ＤＲＡＮが拡大表示範囲ＤＲＡＮｗの場合、枠描画部１１２は、通常表示範囲ＤＲＡＮｎを示す枠を画像ＩＭＧｂに重畳した画像ＩＭＧｂ２を保持部１６０に保持する。例えば、枠描画部１１２は、拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂ上の通常表示範囲ＤＲＡＮｎの位置を算出し、通常表示範囲ＤＲＡＮｎを示す枠を画像ＩＭＧｂに重畳する。これにより、通常表示範囲ＤＲＡＮｎを示す枠が重畳された画像ＩＭＧｂ２が生成される。拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂに重畳される枠は、例えば、図１５に示した画像ＩＭＧｂ（ｗ）内の破線の枠である。なお、拡大表示範囲ＤＲＡＮｗの画像ＩＭＧｂに重畳される枠は、実線でもよい。

このように、枠描画部１１２は、表示範囲ＤＲＡＮの画角を広くする場合、表示範囲ＤＲＡＮの画角を広くする前の通常表示範囲ＤＲＡＮｎを示す枠を表示範囲ＤＲＡＮの画角を広くした画像ＩＭＧｂ内に表示する。

以上、図１７に示した実施形態においても、図１５および図１６に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。また、この実施形態では、センサ３０で検知されている障害物４００が通常表示範囲ＤＲＡＮｎ内に存在しない場合、センサ３０で障害物４００が検知されていないときに比べて、車両３００の周辺の広い範囲を映した画像ＩＭＧｂ（ｗ）を運転者に提供できる。

さらに、この実施形態では、枠描画部１１２は、表示範囲ＤＲＡＮの画角を広くする場合、表示範囲ＤＲＡＮの画角を広くする前の通常表示範囲ＤＲＡＮｎを示す枠を表示範囲ＤＲＡＮの画角を広くした画像ＩＭＧｂ内に表示する。このため、この実施形態では、通常表示範囲ＤＲＡＮｎ外に障害物４００が存在することを強調して運転者に伝えることができる。

図１８は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示したカメラ２０および画像処理装置５０の代わりに、カメラ２０Ａおよび画像処理装置５０Ｄを有している。この実施形態の画像処理装置５０Ｄは、図１に示した判定部１２０および描画部１５０の代わりに、判定部１２０Ａおよび描画部１５０Ａを有している。システム１０および画像処理装置５０Ｄのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１７で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

画像処理装置５０Ｄは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｄの動作を実行させてもよい。

カメラ２０Ａの撮影範囲ＣＲＡＮに対応する画角は、例えば、表示範囲ＤＲＡＮに対応する画角より大きい。したがって、カメラ２０Ａは、表示範囲ＤＲＡＮより広い撮影範囲ＣＲＡＮの像が映っている画像ＩＭＧａを、画像処理装置５０Ｄに転送する。

画像処理装置５０Ｄは、例えば、保持部１００、１４０、１６０、生成部１１０、判定部１２０Ａ、抽出部１３０および描画部１５０Ａを有している。生成部１１０は、表示範囲ＤＲＡＮより広い撮影範囲ＣＲＡＮの画像ＩＭＧａから表示範囲ＤＲＡＮの画像ＩＭＧｂを抽出する。

判定部１２０Ａは、センサ３０で検知された障害物４００が表示範囲ＤＲＡＮ内に存在しないとき、障害物４００がカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在するか否かを判定する。すなわち、判定部１２０Ａは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在しないとき、障害物４００が画像ＩＭＧａに存在するか否かを判定する。

なお、判定部１２０Ａの動作は、画像ＩＭＧｂに存在しない障害物４００が画像ＩＭＧａに存在するか否かを判定することを除いて、図１に示した判定部１２０と同様である。例えば、判定部１２０Ａは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在するとき、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。

判定部１２０Ａの判定結果ＩＮＦｃ、ＩＮＦｂ２は、例えば、抽出部１３０および描画部１５０Ａにそれぞれ転送される。例えば、判定部１２０Ａは、障害物４００が画像ＩＭＧｂの端に存在するか否かの判定結果ＩＮＦｃを抽出部１３０に転送する。また、例えば、判定部１２０Ａは、障害物４００が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂ２を描画部１５０Ａに転送する。なお、障害物４００が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂ２には、障害物４００が画像ＩＭＧａに存在するか否かの判定結果も含まれる。

描画部１５０Ａは、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、センサ３０により検知されている障害物４００が画像ＩＭＧａに存在するとき、画像ＩＭＧａから障害物４００の画像を抽出する。そして、描画部１５０Ａは、画像ＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する障害物４００の画像ＢＩＭＧａとして使用する。

すなわち、描画部１５０Ａは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在するとき、画像ＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧｂとして保持部１６０に保持する。

例えば、描画部１５０Ａは、障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在することを示す判定結果ＩＮＦｂ２を判定部１２０Ａから受けたとき、保持部１００に保持されている画像ＩＭＧａを読み出す。そして、描画部１５０Ａは、センサ３０で検知された障害物４００の範囲に対応する画像を画像ＩＭＧａから抽出し、抽出した障害物４００の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、障害物４００の新しい画像がモニタ４０に表示される。

描画部１５０Ａの動作は、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在するときの動作を除いて、図１に示した描画部１５０と同様である。

なお、システム１０の構成および動作は、この例に限定されない。また、画像処理装置５０Ｄの構成および動作は、この例に限定されない。例えば、描画部１５０Ａは、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されているときには、障害物４００が画像ＩＭＧａに存在するか否かに拘わらず、保持部１４０に保持されている画像ＢＩＭＧａを、画像ＢＩＭＧｂとして保持部１６０に保持してもよい。あるいは、描画部１５０Ａは、画像ＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧａとして保持部１４０に保持してもよい。

図１９は、モニタ４０に表示される画像ＩＭＧｃの一例を示している。図１９の障害物４００ａは、センサ３０が検知した障害物４００ｂの前の状態（障害物４００、表示範囲ＤＲＡＮ、検知範囲ＳＲＡＮの相対的な位置関係）を示している。障害物４００ｂが検知される前の状態では、センサ３０の検知範囲ＳＲＡＮ内に障害物４００が存在していないため、画像ＩＭＧｂおよび余白ＢＳＰを含む画像ＩＭＧｃ（ａ）がモニタ４０に表示される。なお、表示範囲ＤＲＡＮ内に障害物４００が存在しないため、画像ＩＭＧｂには、障害物４００は映っていない。

そして、例えば、障害物４００ａがセンサ３０の検知範囲ＳＲＡＮ外から検知範囲ＳＲＡＮ内に表示範囲ＤＲＡＮを通過せずに移動した場合、センサ３０は、検知範囲ＳＲＡＮ内の障害物４００ｂ（障害物４００ａの移動後の状態）を検知する。なお、センサ３０で検知された障害物４００ｂは、表示範囲ＤＲＡＮ外でカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在する。

このため、描画部１５０Ａは、画像ＩＭＧａから抽出した障害物４００ｂの画像を画像ＢＩＭＧｂとしてモニタ４０に表示する。すなわち、障害物４００ｂが映っていない画像ＩＭＧｂと障害物４００ｂが映っている画像ＢＩＭＧｂとを含む画像ＩＭＧｃ（ｂ）がモニタ４０に表示される。このように、画像処理装置５０Ｄは、表示範囲ＤＲＡＮ外に存在する障害物４００ｂがカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在するとき、障害物４００の新しい画像ＢＩＭＧｂをモニタ４０に表示できる。

なお、画像処理装置５０Ｄは、障害物４００ｂがカメラ２０Ａの撮影範囲ＣＲＡＮ内に存在するときには、障害物４００ｂの過去の画像ＢＩＭＧａが保持部１４０に保持されているか否かに拘わらず、障害物４００ｂの新しい画像ＢＩＭＧｂをモニタ４０に表示できる。

以上、図１８および図１９に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。

さらに、この実施形態では、描画部１５０Ａは、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＩＭＧａに存在するとき、画像ＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する。すなわち、この実施形態では、センサ３０で検知されている障害物４００が撮影範囲ＣＲＡＮ内に存在する限り、障害物４００の新しい画像をモニタ４０に表示できる。これにより、この実施形態では、障害物４００の新しい画像を運転者に提供できる。また、この実施形態では、障害物４００の過去の画像ＢＩＭＧａが保持部１４０に保持されていない場合でも、センサ３０で検知されている障害物４００が撮影範囲ＣＲＡＮ内に存在するときには、障害物４００の新しい画像をモニタ４０に表示できる。

図２０は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０では、図１に示したシステム１０にサブカメラ２２が追加されている。さらに、この実施形態のシステム１０は、図１に示した画像処理装置５０に保持部１４２が追加された画像処理装置５０Ｅを、画像処理装置５０の代わりに有している。また、画像処理装置５０Ｅは、図１に示した判定部１２０および描画部１５０の代わりに、判定部１２０Ｂおよび描画部１５０Ｂを有している。システム１０および画像処理装置５０Ｅのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図１９で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

画像処理装置５０Ｅは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｅの動作を実行させてもよい。

システム１０は、例えば、カメラ２０、サブカメラ２２、センサ３０、モニタ４０および画像処理装置５０Ｅを有している。例えば、サブカメラ２２は、カメラ２０の撮影範囲ＣＲＡＮ外を撮影できるように、車両３００の側面に配置される。サブカメラ２２で撮影された画像ＳＩＭＧａは、画像処理装置５０Ｅに転送される。したがって、画像処理装置５０Ｅは、カメラ２０で撮影された画像ＩＭＧａとサブカメラ２２で撮影された画像ＳＩＭＧａとセンサ３０の検知結果ＩＮＦａとを受ける。そして、画像処理装置５０Ｅは、画像ＩＭＧａ、ＳＩＭＧａ、検知結果ＩＮＦａ等に基づいて生成した画像ＩＭＧｃをモニタ４０に表示する。

画像処理装置５０Ｅは、例えば、保持部１００、１４０、１４２、１６０、生成部１１０、判定部１２０Ｂ、抽出部１３０および描画部１５０Ｂを有している。保持部１４２は、サブカメラ２２で撮影された画像ＳＩＭＧａを順次保持する。

判定部１２０Ｂは、センサ３０で検知された障害物４００が表示範囲ＤＲＡＮ内に存在しないとき、障害物４００がサブカメラ２２の撮影範囲に存在するか否かを判定する。すなわち、判定部１２０Ｂは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在しないとき、障害物４００が画像ＳＩＭＧａに存在するか否かを判定する。

なお、判定部１２０Ｂの動作は、画像ＩＭＧｂに存在しない障害物４００が画像ＳＩＭＧａに存在するか否かを判定することを除いて、図１に示した判定部１２０と同様である。例えば、判定部１２０Ｂは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在するとき、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。

判定部１２０Ｂの判定結果ＩＮＦｃ、ＩＮＦｂ３は、例えば、抽出部１３０および描画部１５０Ｂにそれぞれ転送される。例えば、判定部１２０Ｂは、障害物４００が画像ＩＭＧｂの端に存在するか否かの判定結果ＩＮＦｃを抽出部１３０に転送する。また、例えば、判定部１２０Ｂは、障害物４００が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂ３を描画部１５０Ｂに転送する。なお、障害物４００が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂ３には、障害物４００が画像ＳＩＭＧａに存在するか否かの判定結果も含まれる。

描画部１５０Ｂは、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、センサ３０により検知されている障害物４００が画像ＳＩＭＧａに存在するとき、画像ＳＩＭＧａから障害物４００の画像を抽出する。そして、描画部１５０Ｂは、画像ＳＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する障害物４００の画像ＢＩＭＧａとして使用する。

すなわち、描画部１５０Ｂは、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在するとき、画像ＳＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧｂとして保持部１６０に保持する。

例えば、描画部１５０Ｂは、障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在することを示す判定結果ＩＮＦｂ３を判定部１２０Ｂから受けたとき、保持部１４２に保持されている画像ＳＩＭＧａを読み出す。そして、描画部１５０Ｂは、センサ３０で検知された障害物４００の範囲に対応する画像を画像ＳＩＭＧａから抽出し、抽出した障害物４００の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。これにより、障害物４００の新しい画像がモニタ４０に表示される。

描画部１５０Ｂの動作は、センサ３０で検知された障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在するときの動作を除いて、図１に示した描画部１５０と同様である。

なお、システム１０の構成および動作は、この例に限定されない。また、画像処理装置５０Ｅの構成および動作は、この例に限定されない。例えば、描画部１５０Ｂは、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されているときには、障害物４００が画像ＳＩＭＧａに存在するか否かに拘わらず、保持部１４０に保持されている画像ＢＩＭＧａを、画像ＢＩＭＧｂとして保持部１６０に保持してもよい。あるいは、描画部１５０Ｂは、画像ＳＩＭＧａから抽出した障害物４００の画像を、画像ＢＩＭＧａとして保持部１４０に保持してもよい。

図２１は、カメラ２０の撮影範囲ＣＲＡＮとサブカメラ２２の撮影範囲ＣＲＡＮ２とセンサ３０の検知範囲ＳＲＡＮの一例を示している。例えば、自動車の左右のサイドミラーの代わりに、２つのシステム１０（カメラ２０、サブカメラ２２、センサ３０、モニタ４０および画像処理装置５０Ｅ）が車両３００に搭載されている。

２つのカメラ２０は、車両３００の右側面および左側面にそれぞれ配置されている。図２１の例では、カメラ２０の撮影範囲ＣＲＡＮは、表示範囲ＤＲＡＮと同じである。すなわち、カメラ２０で撮影された画像ＩＭＧａがモニタ４０に表示される。２つのセンサ３０は、車両３００の右側面および左側面にそれぞれ配置されている。この実施形態では、センサ３０の検知範囲ＳＲＡＮは、カメラ２０の撮影範囲ＣＲＡＮより広い。したがって、センサ３０は、カメラ２０の撮影範囲ＣＲＡＮの外側に存在する物体（例えば、障害物）を検知できる。

２つのサブカメラ２２は、車両３００の右側面および左側面にそれぞれ配置されている。例えば、サブカメラ２２は、カメラ２０の撮影範囲ＣＲＡＮ外を撮影できるように、車両３００の側面に配置される。すなわち、サブカメラ２２の撮影範囲ＣＲＡＮ２は、カメラ２０の撮影範囲ＣＲＡＮを補っている。これにより、画像処理装置５０Ｅは、センサ３０で検知された障害物４００がカメラ２０の撮影範囲ＣＲＡＮ内に存在しないときにも、障害物４００がサブカメラ２２の撮影範囲ＣＲＡＮ２内に存在する限り、障害物４００の新しい画像をモニタ４０に表示できる。

カメラ２０、サブカメラ２２およびセンサ３０は、例えば、ＥＣＵに接続され、画像ＩＭＧａ、ＳＩＭＧａおよび検知結果ＩＮＦａをＥＣＵにそれぞれ転送する。なお、ＥＣＵは、図２０に示した画像処理装置５０Ｅを有している。また、ＥＣＵは、モニタ４０に接続され、画像ＩＭＧｃをモニタ４０に表示する。例えば、右側に配置されたモニタ４０は、車両３００の右側面のカメラ２０、サブカメラ２２およびセンサ３０からのデータ（画像ＩＭＧａ、ＳＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。また、左側に配置されたモニタ４０は、車両３００の左側面のカメラ２０、サブカメラ２２およびセンサ３０からのデータ（画像ＩＭＧａ、ＳＩＭＧａ、検知結果ＩＮＦａ）に基づく画像ＩＭＧｃを表示する。

以上、図２０および図２１に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。

さらに、この実施形態では、システム１０は、カメラ２０の撮影範囲ＣＲＡＮを補うサブカメラ２２を有している。サブカメラ２２は、例えば、撮影した画像ＳＩＭＧａを画像処理装置５０Ｅに順次転送する。また、描画部１５０Ｂは、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在せず、かつ、障害物４００が画像ＳＩＭＧａに存在するとき、画像ＳＩＭＧａから抽出した障害物４００の画像を、モニタ４０に表示する。

すなわち、この実施形態では、センサ３０で検知されている障害物４００がカメラ２０の撮影範囲ＣＲＡＮ内に存在しないときにも、障害物４００がサブカメラ２２の撮影範囲ＣＲＡＮ２内に存在する限り、障害物４００の新しい画像をモニタ４０に表示できる。これにより、この実施形態では、障害物４００の新しい画像を運転者に提供できる。また、この実施形態では、障害物４００の過去の画像ＢＩＭＧａが保持部１４０に保持されていない場合でも、センサ３０で検知されている障害物４００がサブカメラ２２の撮影範囲ＣＲＡＮ２内に存在するときには、障害物４００の新しい画像をモニタ４０に表示できる。

図２２は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示した画像処理装置５０に算出部１２６が追加された画像処理装置５０Ｆを、画像処理装置５０の代わりに有している。また、画像処理装置５０Ｆは、外挿部１１４を含む生成部１１０Ｂを、図１に示した生成部１１０の代わりに有している。システム１０および画像処理装置５０Ｆのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図２１で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

画像処理装置５０Ｆは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｆの動作を実行させてもよい。

画像処理装置５０Ｆは、例えば、保持部１００、１４０、１６０、生成部１１０Ｂ、判定部１２０、算出部１２６、抽出部１３０および描画部１５０を有している。判定部１２０は、例えば、障害物４００が画像ＩＭＧｂに存在するか否かの判定結果ＩＮＦｂを算出部１２６に転送する。なお、画像ＩＭＧｂは、図１等で説明したように、画像ＩＭＧａから抽出される表示範囲ＤＲＡＮの画像ＩＭＧｂである。カメラ２０の撮影範囲ＣＲＡＮと表示範囲ＤＲＡＮとが一致する場合、表示範囲ＤＲＡＮの画像ＩＭＧｂは、画像ＩＭＧａである。

算出部１２６は、例えば、障害物４００が画像ＩＭＧｂに存在しないことを示す判定結果ＩＮＦｂを受けたとき、モニタ４０の画面上の画像ＢＩＭＧｂ（障害物４００の画像ＢＩＭＧａや警告用の画像）の表示位置を算出する。そして、算出部１２６は、モニタ４０の画面上の画像ＢＩＭＧｂの表示位置等を示す情報ＰＩＮＦ１、ＰＩＮＦ２を描画部１５０および生成部１１０Ｂにそれぞれ転送する。

情報ＰＩＮＦ１は、例えば、画面上の画像ＢＩＭＧｂの表示位置を示す情報である。また、情報ＰＩＮＦ２は、例えば、空白領域、あるいは、画像ＢＩＭＧｂの表示領域を示す情報である。ここで、空白領域は、例えば、画像ＢＩＭＧｂおよび画像ＩＭＧｂのいずれも表示されない画面内の領域である。すなわち、空白領域は、表示範囲ＤＲＡＮ外に対応する画面上の領域から画像ＩＭＧｂの表示領域を除いた領域である。

なお、障害物４００が画像ＩＭＧｂに存在する場合、例えば、算出部１２６は、障害物４００が画像ＩＭＧｂに存在することを示す情報ＰＩＮＦ１、ＰＩＮＦ２を描画部１５０および生成部１１０Ｂにそれぞれ転送する。

例えば、算出部１２６は、センサ３０により検知されている障害物４００が画像ＩＭＧｂに存在しないとき、画像ＩＭＧｂに対する障害物４００の相対的な位置を算出する。なお、画像ＩＭＧｂに対する障害物４００の相対的な位置がモニタ４０の画面外である場合、算出部１２６は、画像ＢＩＭＧｂの表示位置をモニタ４０の画面内の位置に決定する。この場合、例えば、画像ＢＩＭＧｂの表示位置（モニタ４０の画面上の位置）は、予め設定された固定位置でもよいし、画像ＩＭＧａに対する障害物４００の相対的な位置に応じてモニタ４０の画面内で調整される位置でもよい。

描画部１５０は、例えば、算出部１２６からの情報ＰＩＮＦ１が示す表示位置に画像ＢＩＭＧｂが表示されるように、画像ＢＩＭＧｂを保持部１６０に保持する。すなわち、描画部１５０は、モニタ４０の画面が画像ＩＭＧｂより大きく、障害物４００の相対的な位置が画面内であるとき、画面上の障害物４００の相対的な位置に、障害物４００の画像ＢＩＭＧａを表示させる。

例えば、描画部１５０は、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されているとき、情報ＰＩＮＦ１が示す表示位置に画像ＢＩＭＧａが表示されるように、画像ＢＩＭＧａを画像ＢＩＭＧｂとして保持部１６０に保持する。また、例えば、描画部１５０は、障害物４００の画像ＢＩＭＧａが保持部１４０に保持されていないとき、情報ＰＩＮＦ１が示す表示位置に警告用の画像が表示されるように、警告用の画像を画像ＢＩＭＧｂとして保持部１６０に保持する。

生成部１１０Ｂは、例えば、外挿部１１４を有している。生成部１１０Ｂの動作は、外挿部１１４に関する動作を除いて、図１に示した生成部１１０と同様である。したがって、生成部１１０Ｂの外挿部１１４以外の動作については、詳細な説明を省略する。

外挿部１１４は、モニタ４０の画面が画像ＩＭＧｂより大きく、障害物４００の相対的な位置が画面内であるとき、画面のうち、画像ＩＭＧｂおよび障害物４００の画像ＢＩＭＧａのいずれも表示されない空白領域の画像を、画像ＩＭＧｂに基づいて生成する。例えば、外挿部１１４は、算出部１２６からの情報ＰＩＮＦ２が示す空白領域に表示する画像を、画像ＩＭＧｂを外挿して生成する。

なお、外挿部１１４は、情報ＰＩＮＦ２が画像ＢＩＭＧｂの表示領域を示す情報である場合、情報ＰＩＮＦ２が示す画像ＢＩＭＧｂの表示領域と、画像ＩＭＧｂの表示領域とに基づいて、空白領域を算出してもよい。

生成部１１０Ｂにより生成された画像ＩＭＧｂ３は、保持部１６０に保持される。例えば、生成部１１０Ｂは、画像ＩＭＧｂに対する障害物４００の相対的な位置がモニタ４０の画面内の場合、画像ＩＭＧｂを外挿して空白領域を埋めた画像ＩＭＧｂ３を、保持部１６０に保持する。また、例えば、生成部１１０Ｂは、画像ＩＭＧｂに対する障害物４００の相対的な位置がモニタ４０の画面外の場合、画像ＩＭＧｂを画像ＩＭＧｂ３として保持部１６０に保持する。なお、センサ３０で検知されている障害物４００が画像ＩＭＧｂに存在するときにも、生成部１１０Ｂは、画像ＩＭＧｂを画像ＩＭＧｂ３として保持部１６０に保持する。

これにより、保持部１６０には、画像ＩＭＧｂ３を含む画像ＩＭＧｃ２が保持される。なお、保持部１６０に画像ＢＩＭＧｂが保持されている場合、画像ＩＭＧｃ２は、画像ＩＭＧｂ３および画像ＢＩＭＧｂを含む画像である。

図２３は、表示範囲ＤＲＡＮの画像ＩＭＧｂを外挿して空白領域ＥＡＲＥに画像を表示する処理の一例を示している。モニタ４０（ａ）は、画像ＩＭＧｂ、ＢＩＭＧｂおよび空白領域ＥＡＲＥのモニタ４０の画面上の位置関係を示している。なお、モニタ４０の画面に表示される画像は、画像ＩＭＧｂ外の障害物４００の相対的な位置が画面内である場合、モニタ４０（ｂ）に示すように、空白領域ＥＡＲＥが埋められた画像ＩＭＧｃ２である。モニタ４０（ｂ）は、画像ＩＭＧｂを外挿して空白領域ＥＡＲＥを埋めた画像ＩＭＧｂ３と画像ＢＩＭＧｂとを含む画像ＩＭＧｃ２が表示されたモニタ４０の画面を示している。

図２３の符号ＰＸ（ＰＸｏ、ＰＸｅ）は、モニタ４０の画面内の画素を示している。また、画素ＰＸｏ（ＰＸｏ１、ＰＸｏ２、ＰＸｏ３）は、画像ＩＭＧｂ内の画素ＰＸを示し、画素ＰＸｅ（ＰＸｅ１−ＰＸｅ７）は、空白領域ＥＡＲＥの画素ＰＸを示している。図２３では、着目する１つの画素ＰＸｅと消失点Ｐｄとを結ぶ直線（画面の端まで延長した線）上の画素ＰＸｅでは、同じ画像が連続すると仮定した場合の処理を説明する。なお、消失点Ｐｄは、例えば、車両走行時に画像が流れ込む中心の座標である。

先ず、外挿部１１４は、カメラ２０の取り付け位置や向きに基づいて、画像が流れ込む中心の座標（消失点Ｐｄ）を算出する。例えば、外挿部１１４は、カメラ２０の取り付け位置や向きを示す情報を判定部１２０から取得する。そして、外挿部１１４は、車両３００が直進する場合のカメラ２０の向きに対する移動方向等に基づいて、画像ＩＭＧａの消失点を算出する。そして、外挿部１１４は、画像ＩＭＧｂの表示領域および表示位置等に基づいて、モニタ４０の画面上での消失点Ｐｄを画像ＩＭＧａの消失点から算出する。

次に、外挿部１１４は、例えば、空白領域ＥＡＲＥから１つの画素ＰＸｅを選択し、選択した画素ＰＸｅ（例えば、画素ＰＸｅ１）と消失点Ｐｄとを結ぶ直線（図２３の破線の矢印）を算出する。以下、画素ＰＸｅ１が選択されたものとして説明する。

外挿部１１４は、画素ＰＸｅ１と消失点Ｐｄとを結ぶ直線と、画像ＩＭＧｂの境界とが交わる箇所を算出する。そして、外挿部１１４は、直線と画像ＩＭＧｂの境界とが交わる箇所の画素ＰＸｏ１の色を取得する。また、外挿部１１４は、直線と画像ＩＭＧｂの境界とが交わる箇所の画素ＰＸｏ１から消失点Ｐｄに向かって数個の画素ＰＸｏ（例えば、画素ＰＸｏ２、ＰＸｏ３）の色を取得する。

そして、外挿部１１４は、取得した数個の画素ＰＸｏ１−ＰＸｏ３の色の平均を算出する。外挿部１１４は、画素ＰＸｏ１−ＰＸｏ３の色を平均した色を、画素ＰＸｅ１の色として描画する。これにより、画素ＰＸｏ１−ＰＸｏ３の色を平均した色が、モニタ４０の画素ＰＸｅ１に表示される。なお、この実施形態では、ノイズ対策として、画素ＰＸｏ１−ＰＸｏ３の色を平均している。したがって、ノイズ対策を別に実行する場合等では、外挿部１１４は、数個の画素ＰＸｏの色の平均を使用せずに、画素ＰＸｏ１の色を画素ＰＸｅ１の色として描画してもよい。

画素ＰＸｅ１に対して実行された処理は、空白領域ＥＡＲＥの全ての画素ＰＸｅが描画されるまで、空白領域ＥＡＲＥの各画素ＰＸｅに対して実行される。これにより、空白領域ＥＡＲＥが埋められた画像ＩＭＧｃ２がモニタ４０に表示される。この結果、この実施形態では、空白領域ＥＡＲＥの画像が欠落することに対する運転者の違和感を緩和できる。

なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ｆの構成および動作は、この例に限定されない。例えば、画像処理装置５０Ｆは、生成部１１０Ｂの外部に外挿部１１４を有してもよい。また、外挿部１１４は、画像ＢＩＭＧｂが表示されない画面内の領域を外挿して埋めてもよい。この場合、描画部１５０は、例えば、画像ＩＭＧｂ３が保持部１６０に保持された後に、算出部１２６からの情報ＰＩＮＦ１が示す表示位置に画像ＢＩＭＧｂを上書きする。

また、着目する１つの画素ＰＸｅと消失点Ｐｄとを結ぶ直線上の画素ＰＸｅでは、同じ画像が連続すると仮定した場合、外挿部１１４は、直線上の１つの画素ＰＸｅの色を算出し、算出した色を直線上の残りの画素ＰＸｅの色としてもよい。

あるいは、画像処理装置５０Ｆは、画像ＩＭＧｂの境界を示す枠（例えば、画像ＩＭＧｃ２内の破線の枠）を画像ＩＭＧｃ２に重畳してモニタ４０に表示してもよい。例えば、画像処理装置５０Ｆは、図１７に示した枠描画部１１２と同様のモジュールを有してもよい。

また、外挿部１１４は、カメラ２０の撮影範囲ＣＲＡＮに対応する画角が表示範囲ＤＲＡＮに対応する画角より大きい場合、空白領域ＥＡＲＥと重なる部分の画像ＩＭＧａを、外挿の画像として使用してもよい。この場合、画像ＩＭＧａと重ならない空白領域ＥＡＲＥの部分の色が、画像ＩＭＧａあるいは画像ＩＭＧｂを外挿することにより算出される。

以上、図２２および図２３に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。

さらに、この実施形態では、外挿部１１４は、障害物４００の相対的な位置がモニタ４０の画面内であるとき、空白領域ＥＡＲＥの画像を画像ＩＭＧｂに基づいて生成する。これにより、この実施形態では、空白領域ＥＡＲＥを埋めた画像ＩＭＧｃ２をモニタ４０に表示できる。この結果、この実施形態では、空白領域ＥＡＲＥの画像が欠落することに対する運転者の違和感を緩和できる。

図２４は、画像処理装置およびシステムの別の実施形態を示している。この実施形態のシステム１０は、図１に示した画像処理装置５０の代わりに、画像処理装置５０Ｇを有している。また、画像処理装置５０Ｇは、図１に示した判定部１２０、抽出部１３０、保持部１４０および描画部１５０の代わりに、判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃを有している。システム１０および画像処理装置５０Ｇのその他の構成は、図１に示したシステム１０および画像処理装置５０と同様である。図１から図２３で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

画像処理装置５０Ｇは、ハードウエアのみで実現されてもよく、ハードウエアをソフトウエアにより制御することにより実現されてもよい。例えば、表示プログラム等のソフトウエアは、プロセッサに画像処理装置５０Ｇの動作を実行させてもよい。

画像処理装置５０Ｇは、例えば、保持部１００、１４０Ａ、１６０、生成部１１０、判定部１２０Ｃ、抽出部１３０Ａおよび描画部１５０Ｃを有している。判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃは、複数の障害物４００に対して処理を実行できる。判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃのその他の動作は、図１に示した判定部１２０、抽出部１３０、保持部１４０および描画部１５０と同様である。

例えば、判定部１２０Ｃは、センサ３０により検知されている障害物４００が複数の場合、複数の障害物４００のそれぞれに対して、障害物４００が画像ＩＭＧｂに存在するか否かを判定する。そして、判定部１２０Ｃは、画像ＩＭＧｂに存在する障害物４００に対して、障害物４００が画像ＩＭＧｂの端に存在するか否かを判定する。

また、判定部１２０Ｃは、複数の障害物４００のそれぞれに対して、追跡中の障害物４００か否かを判定する。そして、判定部１２０Ｃは、新たな障害物４００（追跡中の障害物４００と異なる障害物４００）と判定した障害物４００に対しては、識別情報を付与する。このように、画像処理装置５０Ｇは、識別情報を用いて、複数の障害物４００を管理する。

抽出部１３０Ａは、画像ＩＭＧｂの端に存在すると判定されたそれぞれの障害物４００の画像ＢＩＭＧａを画像ＩＭＧａから抽出する。なお、各障害物４００の画像ＢＩＭＧａも各障害物４００に付与された識別情報により管理される。保持部１４０Ａは、抽出部１３０Ａで抽出されたそれぞれの障害物４００の画像ＢＩＭＧａを保持する。すなわち、保持部１４０Ａは、複数の画像ＢＩＭＧａを保持できる。

描画部１５０Ｃは、例えば、画像ＩＭＧｂに存在しないと判定された障害物４００に対応する障害物４００の画像ＢＩＭＧａが保持部１４０Ａに保持されているか否かを、障害物４００に付与された識別情報に基づいて判定する。そして、描画部１５０Ｃは、画像ＩＭＧｂに存在しないと判定された障害物４００に対応し、かつ、保持部１４０Ａに保持されている障害物４００の画像ＢＩＭＧａを、モニタ４０に表示する画像ＩＭＧｃに追加する。また、例えば、描画部１５０Ｃは、画像ＩＭＧｂに存在しないと判定された障害物４００の少なくとも１つが、画像ＢＩＭＧａが保持部１４０Ａに保持されていない障害物４００である場合、モニタ４０に表示する画像ＩＭＧｃに警告用の画像を追加してもよい。

なお、システム１０の動作および構成は、この例に限定されない。また、画像処理装置５０Ｇの構成および動作は、この例に限定されない。例えば、図１４から図２３で説明した画像処理装置５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆに、複数の障害物４００を管理する機能を追加してもよい。

以上、図２４に示した実施形態においても、図１から図１３に示した実施形態と同様の効果を得ることができる。例えば、この実施形態では、システム１０の利用者に伝える情報（例えば、車両３００の周辺の情報）の低減を抑制できる。

さらに、この実施形態では、センサ３０により検知されている障害物４００が複数の場合でも、判定部１２０Ｃ、抽出部１３０Ａ、保持部１４０Ａおよび描画部１５０Ｃは、複数の障害物４００に対して処理を実行できる。これにより、この実施形態では、センサ３０で複数の障害物４００が検知された場合でも、表示範囲ＤＲＡＮ外の複数の障害物４００に対応する画像ＢＩＭＧｂをモニタ４０に表示できる。これにより、この実施形態では、複数の障害物４００が車両３００の周辺に存在することを運転者に伝えることができる。

図２５は、画像処理装置のハードウエア構成の一例を示している。なお、図１から図２４で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

コンピュータ装置ＣＰは、プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦと、光学ドライブ装置ＯＤＲとを有している。プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦと、光学ドライブ装置ＯＤＲとは、バスを介して互いに接続されている。

プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦとは、例えば、画像処理装置５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇのいずれかの機能を実現する。例えば、プロセッサＰＵと、メモリＭＥＭと、ハードディスク装置ＨＤＤと、入出力インタフェースＩＦとは、ＥＣＵ内に配置されている。

光学ドライブ装置ＯＤＲは、光ディスク等のリムーバブルディスクＤＩＳを装着可能であり、装着したリムーバブルディスクＤＩＳに記録された情報の読み出しおよび記録を行う。

コンピュータ装置ＣＰは、入出力インタフェースＩＦを介してカメラ２０およびセンサ３０に接続されている。これにより、プロセッサＰＵは、入出力インタフェースＩＦを介して、カメラ２０で撮影された画像ＩＭＧａやセンサ３０の検知結果ＩＮＦａを受け取ることができる。なお、プロセッサＰＵ等が画像処理装置５０Ｅの機能を実現する場合、図２０に示したサブカメラ２２も入出力インタフェースＩＦを介してコンピュータ装置ＣＰに接続される。

メモリＭＥＭは、例えば、コンピュータ装置ＣＰのオペレーティングシステムを格納している。また、メモリＭＥＭは、例えば、例えば、画像処理装置５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇのいずれかの動作をプロセッサＰＵが実行するための表示プログラム等のアプリケーションプログラムを格納している。

表示プログラム等のアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスクＤＩＳに記録して頒布することができる。例えば、コンピュータ装置ＣＰは、表示プログラム等のアプリケーションプログラムを、リムーバブルディスクＤＩＳから光学ドライブ装置ＯＤＲを介して読み出し、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。また、コンピュータ装置ＣＰは、表示プログラム等のアプリケーションプログラムを、インターネット等のネットワークに接続する通信装置(図示せず)を介してダウンロードし、メモリＭＥＭやハードディスク装置ＨＤＤに格納してもよい。

画像処理装置のハードウエア構成は、この例に限定されない。例えば、コンピュータ装置ＣＰは、光学ドライブ装置ＯＤＲが省かれてもよい。

以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
カメラと物体を検知するセンサとからのデータを用いて、画像をモニタに表示する画像処理装置であって、
前記カメラで撮影された第１画像を保持する第１保持部と、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
を備えていることを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理装置において、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する第２判定部を備えていることを特徴とする画像処理装置。
（付記３）
付記１または付記２に記載の画像処理装置において、
前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする調整部を備えていることを特徴とする画像処理装置。
（付記４）
付記３に記載の画像処理装置において、
前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する第２生成部を備えていることを特徴とする画像処理装置。
（付記５）
付記１または付記２に記載の画像処理装置において、
前記第１画像に反映されている撮影範囲は、前記第２画像に反映されている表示範囲より大きく、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とする画像処理装置。
（付記６）
付記１または付記２に記載の画像処理装置において、
前記カメラとは別のカメラである第２カメラで撮影された第３画像を保持する第３保持部を備え、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とする画像処理装置。
（付記７）
付記１または付記２に記載の画像処理装置において、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成する外挿部とを備え、
前記描画部は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
ことを特徴とする画像処理装置。
（付記８）
付記７に記載の画像処理装置において、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する第２生成部を備えていることを特徴とする画像処理装置。
（付記９）
付記１ないし付記８のいずれか１項に記載の画像処理装置において、
前記判定部は、前記センサにより検知されている前記障害物が複数の場合、前記複数の障害物のそれぞれに対して、前記障害物が前記第２画像に存在するか否かを判定し、前記第２画像に存在する前記障害物に対して、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記抽出部は、前記第２画像の端に存在すると判定されたそれぞれの前記障害物の画像を前記第１画像から抽出し、
前記第２保持部は、前記抽出部で抽出されたそれぞれの前記障害物の画像を保持し、
前記描画部は、前記第２画像に存在しないと判定された前記障害物に対応し、かつ、前記第２保持部に保持されている前記障害物の画像を、前記モニタに表示する画像に追加する
ことを特徴とする画像処理装置。
（付記１０）
付記１または付記２に記載の画像処理装置において、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記第１画像に反映されている撮影範囲が前記モニタの画面以上であり、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像に反映される表示範囲の画角を前記画面に対応する画角まで広くする調整部と
を備えていることを特徴とする画像処理装置。
（付記１１）
カメラ、センサ、画像処理装置およびモニタを備え、
前記画像処理装置は、
前記カメラで撮影された第１画像を保持する第１保持部と、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
を備えていることを特徴とするシステム。
（付記１２）
付記１１に記載のシステムにおいて、
前記画像処理装置は、前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する第２判定部を備えていることを特徴とするシステム。
（付記１３）
付記１１または付記１２に記載のシステムにおいて、
前記画像処理装置は、前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする調整部を備えていることを特徴とするシステム。
（付記１４）
付記１３に記載のシステムにおいて、
前記画像処理装置は、前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する第２生成部を備えていることを特徴とするシステム。
（付記１５）
付記１１または付記１２に記載のシステムにおいて、
前記第１画像に反映されている撮影範囲は、前記第２画像に反映されている表示範囲より大きく、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とするシステム。
（付記１６）
付記１１または付記１２に記載のシステムにおいて、
前記カメラとは別のカメラである第２カメラを備え、
前記画像処理装置は、前記第２カメラで撮影された第３画像を保持する第３保持部を備え、
前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
ことを特徴とするシステム。
（付記１７）
付記１１または付記１２に記載のシステムにおいて、
前記画像処理装置は、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成する外挿部とを備え、
前記描画部は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
ことを特徴とするシステム。
（付記１８）
付記１７に記載のシステムにおいて、
前記画像処理装置は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する第２生成部を備えていることを特徴とするシステム。
（付記１９）
付記１１ないし付記１８のいずれか１項に記載のシステムにおいて、
前記判定部は、前記センサにより検知されている前記障害物が複数の場合、前記複数の障害物のそれぞれに対して、前記障害物が前記第２画像に存在するか否かを判定し、前記第２画像に存在する前記障害物に対して、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記抽出部は、前記第２画像の端に存在すると判定されたそれぞれの前記障害物の画像を前記第１画像から抽出し、
前記第２保持部は、前記抽出部で抽出されたそれぞれの前記障害物の画像を保持し、
前記描画部は、前記第２画像に存在しないと判定された前記障害物に対応し、かつ、前記第２保持部に保持されている前記障害物の画像を、前記モニタに表示する画像に追加する
ことを特徴とするシステム。
（付記２０）
付記１１または付記１２に記載のシステムにおいて、
前記画像処理装置は、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
前記第１画像に反映されている撮影範囲が前記モニタの画面以上であり、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像に反映される表示範囲の画角を前記画面に対応する画角まで広くする調整部と
を備えていることを特徴とするシステム。
（付記２１）
カメラと物体を検知するセンサとからのデータを用いて画像をモニタに表示する処理をコンピュータに実行させる表示プログラムであって、
前記カメラで撮影された第１画像を保持し、
前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成し、
前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出し、
前記抽出部で抽出された前記障害物の画像を保持し、
前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する
処理をコンピュータに実行させることを特徴とする表示プログラム。
（付記２２）
付記２１に記載の表示プログラムにおいて、
前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する処理をコンピュータに実行させる表示プログラム。
（付記２３）
付記２１または付記２２に記載の表示プログラムにおいて、
前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする処理をコンピュータに実行させる表示プログラム。
（付記２４）
付記２３に記載の表示プログラムにおいて、
前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する処理をコンピュータに実行させる表示プログラム。
（付記２５）
付記２１または付記２２に記載の表示プログラムにおいて、
前記第１画像に反映されている撮影範囲が、前記第２画像に反映されている表示範囲より大きい場合、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する処理をコンピュータに実行させる表示プログラム。
（付記２６）
付記２１または付記２２に記載の表示プログラムにおいて、
前記カメラとは別のカメラである第２カメラで撮影された第３画像を保持し、
前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
処理をコンピュータに実行させる表示プログラム。
（付記２７）
付記２１または付記２２に記載の表示プログラムにおいて、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出し、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成し、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
処理をコンピュータに実行させる表示プログラム。
（付記２８）
付記２７に記載の表示プログラムにおいて、
前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する処理をコンピュータに実行させる表示プログラム。
（付記２９）
付記２１ないし付記２８のいずれか１項に記載の表示プログラムにおいて、
前記センサにより検知されている前記障害物が複数の場合、前記複数の障害物のそれぞれに対して、前記障害物が前記第２画像に存在するか否かを判定し、前記第２画像に存在する前記障害物に対して、前記障害物が前記第２画像の端に存在するか否かを判定し、
前記第２画像の端に存在すると判定されたそれぞれの前記障害物の画像を前記第１画像から抽出し、
前記抽出部で抽出されたそれぞれの前記障害物の画像を保持し、
前記第２画像に存在しないと判定された前記障害物に対応し、かつ、前記第２保持部に保持されている前記障害物の画像を、前記モニタに表示する画像に追加する
処理をコンピュータに実行させる表示プログラム。
（付記３０）
付記２１または付記２２に記載の表示プログラムにおいて、
前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出し、
前記第１画像に反映されている撮影範囲が前記モニタの画面以上であり、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像に反映される表示範囲の画角を前記画面に対応する画角まで広くする
処理をコンピュータに実行させる表示プログラム。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

１０‥システム；２０、２０Ａ‥カメラ；２２‥サブカメラ；３０‥センサ；４０‥モニタ；５０、５０Ａ、５０Ｂ、５０Ｃ、５０Ｄ、５０Ｅ、５０Ｆ、５０Ｇ‥画像処理装置；１００、１４０、１４０Ａ、１４２、１６０‥保持部；１１０、１１０Ａ、１１０Ｂ‥生成部；１１２‥枠描画部；１１４‥外挿部；１２０、１２０Ａ、１２０Ｂ‥判定部；１２２‥描画判定部；１２４‥調整部；１２６‥算出部；１３０、１３０Ａ‥抽出部；１５０、１５０Ａ、１５０Ｂ‥描画部；ＣＰ‥コンピュータ装置；ＤＩＳ‥リムーバブルディスク；ＨＤＤ‥ハードディスク装置；ＩＦ‥入出力インタフェース；ＭＥＭ‥メモリ；ＯＤＲ‥光学ドライブ装置；ＰＵ‥プロセッサ

Claims (10)

1. カメラと物体を検知するセンサとからのデータを用いて、画像をモニタに表示する画像処理装置であって、
   前記カメラで撮影された第１画像を保持する第１保持部と、
   前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
   前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
   前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
   前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
   前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
   を備えていることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出するか否かを前記第２画像内の前記障害物の大きさに基づいて判定する第２判定部を備えていることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記カメラの画角が前記第２画像に反映されている表示範囲の画角より大きく、かつ、前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定されたとき、前記表示範囲の画角を広くする調整部を備えていることを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記表示範囲の画角を広くする場合、前記表示範囲の画角を広くする前の前記表示範囲を示す枠を前記表示範囲の画角を広くした前記第２画像内に表示する第２生成部を備えていることを特徴とする画像処理装置。
5. 請求項１または請求項２に記載の画像処理装置において、
   前記第１画像に反映されている撮影範囲は、前記第２画像に反映されている表示範囲より大きく、
   前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第１画像に存在するとき、前記第１画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
   ことを特徴とする画像処理装置。
6. 請求項１または請求項２に記載の画像処理装置において、
   前記カメラとは別のカメラである第２カメラで撮影された第３画像を保持する第３保持部を備え、
   前記描画部は、前記センサにより検知されている前記障害物が前記第２画像に存在せず、かつ、前記センサにより検知されている前記障害物が前記第３画像に存在するとき、前記第３画像から前記障害物の画像を抽出し、抽出した前記障害物の画像を前記モニタに表示する前記障害物の画像として使用する
   ことを特徴とする画像処理装置。
7. 請求項１または請求項２に記載の画像処理装置において、
   前記センサにより検知されている前記障害物が前記第２画像に存在しないとき、前記第２画像に対する前記障害物の相対的な位置を算出する算出部と、
   前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記第２画像および前記障害物の画像のいずれも表示されない領域の画像を、前記第２画像に基づいて生成する外挿部とを備え、
   前記描画部は、前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面上の前記障害物の相対的な位置に、前記障害物の画像を表示させる
   ことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置において、
   前記モニタの画面が前記第２画像より大きく、前記障害物の相対的な位置が前記画面内であるとき、前記画面に表示される前記第２画像の境界に枠を表示する第２生成部を備えていることを特徴とする画像処理装置。
9. カメラ、センサ、画像処理装置およびモニタを備え、
   前記画像処理装置は、
   前記カメラで撮影された第１画像を保持する第１保持部と、
   前記第１保持部に保持されている前記第１画像から前記モニタに表示する第２画像を生成する生成部と、
   前記センサの検知結果を受け、前記センサにより検知された物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定する判定部と、
   前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出する抽出部と、
   前記抽出部で抽出された前記障害物の画像を保持する第２保持部と、
   前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が前記第２保持部に保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する描画部と
   を備えていることを特徴とするシステム。
10. カメラと物体を検知するセンサとからのデータを用いて画像をモニタに表示する処理をコンピュータに実行させる表示プログラムであって、
    前記カメラで撮影された第１画像を保持し、
    保持されている前記第１画像から前記モニタに表示する第２画像を生成し、
    前記センサの検知結果を受け、前記センサにより検知された前記物体である障害物が前記第２画像に存在するか否かを判定し、前記障害物が前記第２画像に存在するとき、前記障害物が前記第２画像の端に存在するか否かを判定し、
    前記障害物が前記第２画像の端に存在すると判定されたとき、前記障害物の画像を前記第１画像から抽出し、
    抽出された前記障害物の画像を保持し、
    前記センサにより検知されている前記障害物が前記第２画像に存在しないと判定され、かつ、前記障害物の画像が保持されているとき、前記モニタに表示する画像に前記障害物の画像を追加する
    処理をコンピュータに実行させることを特徴とする表示プログラム。

Images