JP6740867B2 - 画像処理方法 - Google Patents

Description

本発明は、画像処理方法に関する。

従来より、車両の周辺の画像を所定の時間間隔で撮影し、データベースに記録するシステムがある。車速が高い場合には風景の変化が大きくなるため、撮影及び記録の頻度を高くし、車速が低い場合には風景の変化が少ないため、撮影及び記録の頻度を低くすることにより、車両の周辺の画像を車速に応じて撮影し、記録している（例えば、特許文献１参照）。

特開２００９−０９９０３３号公報

ところで、従来のシステムは、撮影によって得られる画像のフレームデータをすべてデータベースに記録するため、データ量が膨大になる。また、時系列的に隣り合うフレームの画像には、重複した画像が含まれる場合があるため、本来必要としていない部分の画像まで重複的に記録している可能性がある。また、データベースの容量には限りがあるため、記録できる画像のデータ量にも限りがある。

そこで、重複部分を削除することにより、データベースに記録できる撮影時間を長くした、画像処理方法を提供することを目的とする。

本発明の実施の形態の画像処理方法は、車両の側方の画像を取得する画像取得部に接続されるコンピュータが実行する画像処理方法であって、
前記画像取得部によって取得される第１フレームの画像と、前記第１フレームよりも後に取得される第２フレームの画像との重複部分があるかを判定する対象領域を、前記車両の車速に基づいて求める導出ステップと、
前記対象領域に含まれる画像情報に基づいて前記重複部分があるかを判定する判定ステップと、
前記重複部分がある場合に、前記重複部分を前記第１フレームの画像と、前記第２フレームの画像とのいずれか一方から削除する削除ステップと、
前記第１フレームの画像と、前記第２フレームの画像とのうちの前記重複部分が削除されたいずれか一方と、前記重複部分が削除されていないいずれか他方とをデータ格納部に格納する格納ステップと、
を備える画像処理方法。

このため、データ格納部に画像の重複部分を格納することを抑制し、データ格納部のデータ容量を有効的に利用し、より多くの場面で取得した画像を格納することができる。

従って、重複部分を削除することにより、データベースに記録できる撮影時間を長くした、画像処理方法を提供することができる。

重複部分を削除することにより、データベースに記録できる撮影時間を長くした、画像処理方法を提供することができる。

実施の形態１の画像処理装置１００を示す図である。 制御部１１０が行う画像処理を説明する図である。 車速に基づいて画像に設定する判定対象領域を説明する図である。 実施の形態１の画像処理方法を実現するフローチャートを示す図である。 実施の形態２の画像処理装置２００を示す図である。 制御部２１０が行う画像処理を説明する図である。 画像情報を示す図である。 ベース画像としての画像７０と、差分画像７１Ａ１、７１Ｂと、画像情報とから画像７１を復元する方法を示す図である。 実施の形態２の画像処理方法を実現するフローチャートを示す図である。 画像を復元する処理を示すフローチャートである。

以下、本発明の画像処理方法を適用した実施の形態について説明する。

＜実施の形態１＞
図１は、実施の形態１の画像処理装置１００を示す図である。画像処理装置１００は、車両に搭載される。車両は、内燃機関（例えば、ガソリンエンジン又はディーゼルエンジン等）、ＨＶ(Hybrid Vehicle)、ＥＶ(Electric Vehicle)、又は燃料電池車（ＦＣＶ:Fuel Cell Vehicle）等である。

画像処理装置１００は、ゲートウェイＥＣＵ(Electronic Control Unit)であり、ＣＰＵ(Central Processing Unit)、ＲＡＭ(Random Access Memory)、ＲＯＭ(Read Only Memory)、ＨＤＤ（Hard Disk Drive）、クロック生成部、入出力インターフェース、通信インターフェース、送受信部、及び内部バス等を含むコンピュータによって実現される。画像処理装置１００は、一例として、通信プロトコルとしてEthernetプロトコルを用いている。

図１には、画像処理装置１００の構成要素として、制御部１１０、メモリ１２０、ＨＤＤ１３０を示す。画像処理装置１００には、カメラ５０と車速センサ６０が配線５０Ａ及び６０Ａを介して接続される。配線５０Ａ及び６０Ａは、ＶＬＡＮ(Virtual Local Area Network)ではなく、物理的なケーブルである。

カメラ５０は、車両の側方を向けて設置され、カメラ５０の撮影処理等の制御を行う画像撮影部５１を有する。画像撮影部５１は、例えば、ＣＰＵチップ又はマイクロコンピュータである。カメラ５０は、一例として、フレームレートが３０フレーム／秒の画像を撮影することができるデジタルビデオカメラである。カメラ５０は、実際には、車両の進行方向に対する左側方及び右側方を撮影できるように、左右に１つずつ設置される。車速センサ６０は、車軸の回転数等に基づいて車両の速度を検出する。このようなカメラ５０は、画像取得部の一例である。

制御部１１０は、主制御部１１１、画像取得部１１２、車速取得部１１３、重複部分導出部１１４、削除処理部１１５、及びパノラマ処理部１１６を有する。

主制御部１１１は、制御部１１０の処理を統括する制御部である。主制御部１１１は、画像取得部１１２、車速取得部１１３、重複部分導出部１１４、削除処理部１１５、及びパノラマ処理部１１６が行う処理以外の制御部１１０の処理を行う。

画像取得部１１２は、カメラ５０の画像撮影部５１によって撮影（取得）される画像のデータを配線５０Ａを介して取得する。また、車速取得部１１３は、車速センサ６０によって検出される車速を表すデータを配線６０Ａを介して取得する。

重複部分導出部１１４は、カメラ５０から画像取得部１１２が取得する最新のフレームの画像と、１つ前のフレームの画像とについて、重複部分があるかどうかの判定を行う判定対象領域を設定し、判定対象領域の画像同士が重複するかどうかを判定する。重複部分導出部１１４は、車速センサ６０から車速取得部１１３が取得する車速に基づいて、判定対象領域を設定する。

重複部分導出部１１４は、重複部分があると判定すると、最新のフレームの画像と、１つ前のフレームの画像との重複部分を導出する。車両が走行している際に車両の側方に向けられたカメラ５０から取得される最新のフレームの画像と、１つ前のフレームの画像とに重複部分がある場合と、重複部分がない場合とがある。

重複部分があるとは、最新のフレームの画像と、１つ前のフレームの画像とが重複する部分を有することであり、２つの画像の判定対象領域に含まれる部分の画像同士が互いに等しいことである。判定対象領域に含まれる部分の画像同士が画像が互いに等しいとは、ここでは、パターンマッチングによる画像処理において、最新のフレームの画像のうちの判定対象領域に含まれる部分の画像と、１つ前のフレームの画像のうちの判定対象領域に含まれる部分の画像とが互いに一致すると判定されることをいう。このようにして、重複部分導出部１１４は、重複部分を導出する。

削除処理部１１５は、重複部分導出部１１４によって重複部分があると判定されると、１つ前のフレームの画像から、重複部分を削除する画像処理を行う。

パノラマ処理部１１６は、最新のフレームの画像と、重複部分が削除された１つ前のフレームの画像とを合成し、車両の走行方向に延ばされたパノラマ画像を作成する。パノラマ画像を作成する際には、最新のフレームの画像が、重複部分が削除された１つ前のフレームの画像の前面に配置される。

メモリ１２０は、制御部１１０が画像処理に用いる画像を一時的に保持する格納部（第１格納部）の一例であり、制御部１１０のＲＡＭによって構成される。ＨＤＤ１３０は、制御部１１０が画像処理を行って得るパノラマ画像等を格納するデータ格納部（第２格納部）の一例である。

図２は、制御部１１０が行う画像処理を説明する図である。図２では、横軸方向に時間軸（右が正）を取る。車両は、時間の経過とともに走行し、車両の左側方の画像を取得するカメラ５０から得られる画像を処理する場合について説明する。

車両の左側方の画像では、車両の走行に従って、画像の右側から左側に向けて被写体が移動する。このため、１フレーム目の画像１１には白い壁が写っていても、２フレーム目の画像１２の右端にはグレーの模様１２Ａが現れ、３フレーム目の画像１３にはグレーの模様１２Ａのさらに右に黒い模様１３Ａが現れる。

このような場合に、車速に基づいて、１フレーム目の画像１１の右端から所定幅の判定対象領域と、２フレーム目の画像１２の左端から所定幅の判定対象領域とに重複部分があるかどうかを判定する。車両の走行方向が画像の横方向に対応するため、判定対象領域は、縦方向については画像の下端から上端まで延在しており、横方向の幅は、車速によって決まる。

そして、重複部分があれば、１フレーム目の画像１１から重複部分を削除した画像と、２フレーム目の画像１２とを合成してパノラマ画像２１を生成する。この結果、パノラマ画像２１の右端には、グレーの模様１２Ａが含まれる。

また、パノラマ画像２１の右端から所定幅の判定対象領域と、３フレーム目の画像１３の左端から所定幅の判定対象領域とが一致するかどうか（パノラマ画像２１と、３フレーム目の画像１３とが重複部分を有するかどうか）を判定する。そして、重複部分があれば、パノラマ画像２１から重複部分を削除した画像と、３フレーム目の画像１３とを合成してパノラマ画像２２を生成する。パノラマ画像２２の右端には、グレーの模様１２Ａと黒い模様１３Ａが含まれる。

実施の形態１の画像処理方法では、このようにして生成したパノラマ画像２１、２２を順次ＨＤＤ１３０に格納することにより、ＨＤＤ１３０に画像の重複部分を格納することを抑制し、ＨＤＤ１３０のデータ容量を有効的に利用し、より多くの場面で取得した画像を格納できるようにする。

図３は、車速に基づいて画像に設定する判定対象領域を説明する図である。ピクセルはＸＹ座標で表され、画像の左上を原点として、右方向にＸ軸の正方向を取り、下方向にＹ軸の正方向を取る。

最新のフレーム３１の画像と、１つ前のフレームの画像に基づくパノラマ画像４１とがあるとする。最新のフレーム３１の画像とは、カメラ５０によって取得された最新のフレームの画像であり、現在の画像である。

１つ前のフレームの画像に基づくパノラマ画像４１は、図２に示す３フレーム目の画像１３を最新のフレームの画像とした場合に、３フレーム目の画像１３に対するパノラマ画像２２のように、２フレーム目の画像１２に基づいて生成されるパノラマ画像である。

カメラ５０のフレームレートと、車速とを用いると、フレーム間に車両が走行する距離Ａを求めることができる。さらに、カメラ５０の水平方向（横方向）の視野角と、１つのフレームの画像に写る横方向の範囲（長さ）と、１つのフレームの画像に含まれる横方向のピクセル数Ｗとに基づいて、距離Ａを画像の中の距離Ｘに換算することができる。距離Ｘはピクセル数で表される。

ここで、最新のフレーム３１の画像の車両の走行方向（図３における横方向）の幅はピクセル数Ｗであるため、最新のフレーム３１の画像のうち、フレーム間の走行分の新たな部分は、右端から距離Ｘの範囲である。

このため、１つ前のフレームの画像に基づくパノラマ画像４１と最新のフレーム３１とについて、一致する部分があるかどうかの判定処理を行う判定対象領域は、最新のフレーム３１については右端側の距離Ｘの範囲を除いた残りのＷ−Ｘの範囲であり、パノラマ画像４１については右端からＷ−Ｘの範囲である。なお、判定対象領域は、縦方向については画像の下端から上端まで延在する。車両の走行方向が画像の横方向に対応するからである。

実施の形態１の画像処理方法では、最新のフレーム３１の画像の右端側の距離Ｘの範囲を除いた残りのＷ−Ｘの範囲と、１つ前のフレームの画像に基づくパノラマ画像４１の右端からＷ−Ｘの範囲とが一致するかどうか（最新のフレーム３１と、１つ前のフレームの画像に基づくパノラマ画像４１とが重複部分を有するかどうか）を判定する。

なお、距離Ｘが１フレームの画像の横方向のピクセル数Ｗよりも大きいと、判定対象領域が存在しないことになり、重複部分も存在しないことになる。また、距離Ｘが１フレームの画像の横方向のピクセル数Ｗ以下であって判定対象領域が存在しても、１つ前のフレームの撮影をしてから最新のフレームの撮影を行うまでの間の期間に、判定対象領域内に、例えば、人間が突然出現したような場合には、重複部分が存在しないことになる。

図４は、実施の形態１の画像処理方法を実現するフローチャートを示す図である。図４に示すフローは、制御部１１０によって実行される。

主制御部１１１は、処理をスタートする（スタート）。主制御部１１１は、例えば、車両のイグニッションスイッチがオンにされたときに、処理をスタートする。主制御部１１１は、ループ処理を行う（ステップＳ１）。ループ処理は、ステップＳ１からＳ１９までであり、車両のイグニッションスイッチがオフにされるまで繰り返し実行される。

画像取得部１１２は、カメラ５０に撮影を行わせる（ステップＳ２）。主制御部１１１は、ＨＤＤ１３０のデータ領域が一杯であるかどうかを判定する（ステップＳ３）。主制御部１１１は、データ領域が一杯である（Ｓ２：ＹＥＳ）と判定すると、最も古い１フレームの画像をＨＤＤ１３０から削除する（ステップＳ４）。主制御部１１１は、ステップＳ４を終えるとフローをステップＳ５に進行させる。なお、主制御部１１１は、ステップＳ２においてデータ領域が一杯ではない（Ｓ２：ＮＯ）と判定した場合にもフローをステップＳ５に進行させる。

主制御部１１１は、カメラ５０によって取得された画像をメモリ１２０に一時的に格納する（ステップＳ５）。主制御部１１１は、撮影開始から１フレーム目であるかどうかを判定する（ステップＳ６）。主制御部１１１は、撮影開始から１フレーム目である（Ｓ６：ＹＥＳ）と判定すると、フローをステップＳ１９に進行させる（ステップＳ１９）。この場合は、ループ処理の１週分が終了し、再びステップＳ１から処理が行われる。

ステップＳ６において、主制御部１１１が撮影開始から１フレーム目ではない（Ｓ６：ＮＯ）と判定すると、車速取得部１１３は、車速センサ６０から車速データを取得する（ステップＳ７）。

重複部分導出部１１４は、車速を用いて、フレーム間に車両が走行する距離Ａを算出する（ステップＳ８）。重複部分導出部１１４は、カメラ５０の水平方向の視野角と、１つのフレームの画像に写る横方向の範囲（長さ）と、１つのフレームの画像に含まれる横方向のピクセル数Ｗとを取得する（ステップＳ９）。なお、これらのデータは、カメラ５０から取得してもよく、ＨＤＤ１３０に格納されているデータを取得してもよい。

重複部分導出部１１４は、水平方向の視野角と、１つのフレームの画像に写る横方向の範囲（長さ）と、ピクセル数Ｗとに基づいて、距離Ａを画像の中の距離Ｘに換算する（ステップＳ１０）。

重複部分導出部１１４は、１つ前のフレームの画像に基づくパノラマ画像、又は、１つ前のフレームの画像の右端からＷ−Ｘの範囲を判定対象領域に設定する（ステップＳ１１）。ステップＳ１１では、１つ前のフレームの画像に基づくパノラマ画像がＨＤＤ１３０に格納されていれば、１つ前のフレームの画像に基づくパノラマ画像に判定対象領域を設定し、１つ前のフレームの画像に基づくパノラマ画像がＨＤＤ１３０に格納されていなければ、ＨＤＤ１３０に格納されている１つ前のフレームの画像に判定対象領域を設定する。なお、１つ前のフレームの画像に基づくパノラマ画像がＨＤＤ１３０に格納されていない場合とは、１つ前のフレームの画像に基づくパノラマ画像が生成されなかった場合である。

次いで、重複部分導出部１１４は、最新のフレームの画像の右端側の距離Ｘの範囲を除いた残りのＷ−Ｘの範囲を判定対象領域に設定する（ステップＳ１２）。

重複部分導出部１１４は、ステップＳ１１とＳ１２で設定した２つの判定対象領域についてパターンマッチング処理を行う（ステップＳ１３）。重複部分があるかどうかを判定する（ステップＳ１４）。

重複部分導出部１１４は、重複部分がある（Ｓ１４：ＹＥＳ）と判定すると、１つ前のフレームの画像に基づくパノラマ画像から重複部分を削除した画像と、最新のフレームの画像とを合成してパノラマ画像を生成する（ステップＳ１５）。

重複部分導出部１１４は、生成したパノラマ画像をＨＤＤ１３０に格納する（ステップＳ１６）。

重複部分導出部１１４は、重複部分がない（Ｓ１４：ＮＯ）と判定すると、１つ前のフレームの画像に基づくパノラマ画像、又は、１つ前のフレームの画像をＨＤＤ１３０に格納する（ステップＳ１７）。１つ前のフレームの画像を格納する場合は、１つ前のフレームの画像に基づくパノラマ画像が生成されなかった場合である。

主制御部１１１は、最新のフレームの画像をメモリ１２０に一時的に格納する（ステップＳ１８）。次いで、主制御部１１１は、ステップＳ１９において、車両のイグニッションスイッチがオフにされていなければ、フローをステップＳ１にリターンしてループ処理を再び実行する（ステップＳ１９）。車両のイグニッションスイッチがオフにされていれば、ループ処理を終えてステップＳ２０に進行する。

主制御部１１１は、最新のフレームの画像をＨＤＤ１３０に格納する（ステップＳ２０）。以上により、一連の処理が終了する（エンド）。

以上、実施の形態１によれば、車速に基づいて、最新のフレームの画像と、１つ前のフレームの画像に基づくパノラマ画像、又は、１つ前のフレームの画像とに判定対象領域を設定し、２つの判定対象領域の画像が一致すると、１つ前のフレームの画像に基づくパノラマ画像、又は、１つ前のフレームの画像の判定対象領域（最新のフレームの画像との重複部分）を削除して、パノラマ画像を生成する。

このため、ＨＤＤ１３０に画像の重複部分を格納することを抑制し、ＨＤＤ１３０のデータ容量を有効的に利用し、より多くの場面で取得した画像を格納することができる。

従って、重複部分を削除することにより、データベースに記録できる撮影時間を長くした、画像処理方法を提供することができる。

なお、ここでは、画像処理装置１００に配線５０Ａ及び６０Ａを介してカメラ５０及び車速センサ６０が接続される形態を示すが、画像処理装置１００には、ＶＬＡＮによって実現される回線を介してＥＣＵ(Electronic Control Unit)が接続されていてもよく、カメラ５０及び車速センサ６０はＥＣＵに接続されていてもよい。

また、以上では、１つ前のフレームの画像に基づくパノラマ画像、又は、１つ前のフレームの画像の判定対象領域（最新のフレームの画像との重複部分）を削除して、パノラマ画像を生成する形態について説明した。

しかしながら、最新のフレームの画像から判定対象領域（重複部分）を削除して、１つ前のフレームの画像に基づくパノラマ画像、又は、１つ前のフレームの画像の判定対象領域（重複部分）を残してもよい。

＜実施の形態２＞
図５は、実施の形態２の画像処理装置２００を示す図である。画像処理装置２００の制御部２１０は、実施の形態１の制御部１１０の削除処理部１１５、パノラマ処理部１１６の代わりに、差分処理部２１５、カメラ情報取得部２１６を含む。その他の構成要素は同様であるため、同様の構成要素には同一符号を付し、その説明を省略する。

重複部分導出部１１４は、ベースになる画像（ベース画像）と、処理対象になる画像（最新のフレームの画像）との重複部分を導出する。処理対象になる画像は、ベース画像のフレームよりも時系列的に１フレーム又は複数フレームだけ後のフレームの画像である。

差分処理部２１５は、重複部分導出部１１４によってベース画像と処理対象になる画像とに重複部分があると判定されると、処理対象になる画像の重複部分を幅方向に複数に短冊状に分解し、短冊画像のうちベース画像と一致する短冊画像を削除し、一致しない短冊画像をＨＤＤ１３０に格納する画像処理を行う。

図６は、制御部２１０が行う画像処理を説明する図である。図６では、横軸方向に時間軸（右が正）を取る。車両は、時間の経過とともに走行し、車両の左側方の画像を取得するカメラ５０から得られる画像を処理する場合について説明する。

まず、カメラ５０が取得する画像７０（撮影画像）を記録画像としてＨＤＤ１３０に格納する。記録画像としての画像７０は、画像７０よりも後のフレームの画像と重複部分の有無を判断するベースになる画像（ベース画像）である。

次に、次のフレームの画像７１について、画像７０と重複する重複部分７１Ａを求める。重複部分７１Ａは、図３の画像３１の幅Ｗ−Ｘに相当する部分であり、重複していない部分７１Ｂは、図３の画像３１の幅Ｘに相当する部分である。

そして、重複部分７１Ａを所定幅の短冊状の画像（図６では、７つの短冊画像）に分解し、短冊画像毎に、記録画像としての画像７０と一致する短冊画像（○で示す）と、一致しない短冊画像（×で示す）とに分ける。そして、一致しない短冊画像７１Ａ１と、重複していない部分７１Ｂとを画像情報とともにＨＤＤ１３０に格納する。一致しない短冊画像７１Ａ１と、重複していない部分７１Ｂとは、ベース画像としての画像７０との差分を表す（以下、差分画像７１Ａ１、７１Ｂとも称す）。

実施の形態２の画像処理方法では、このようにして生成した差分画像７１Ａ１、７１Ｂを順次画像情報とともにＨＤＤ１３０に格納することにより、ＨＤＤ１３０に画像の重複部分を格納することを抑制し、ＨＤＤ１３０のデータ容量を有効的に利用し、より多くの場面で取得した画像を格納できるようにする。

図７は、画像情報を示す図である。画像情報は、ファイル名、タイムスタンプ、車速、ベース画像のポインタ、画像の右端のＸ座標を含む。ファイル名は、フレーム毎に付与する。また、１つのフレームから差分画像が複数得られた場合は連番にする。タイムスタンプは、ゲートウェイＥＣＵ２００が用いているタイムスタンプであり、ベース画像については絶対値（ＵＴＣ日付＋ＵＴＣ時間）を用い、差分画像についてはベース画像との時間差（相対値）を用いる。ベース画像のポインタは、ＨＤＤ１３０に格納するアドレスを示す。画像の右端のＸ座標は、ピクセル値で表される。なお、ピクセルはＸＹ座標で表され、画像の左上を原点として、右方向にＸ軸の正方向を取り、下方向にＹ軸の正方向を取る。

図８は、ベース画像としての画像７０と、差分画像７１Ａ１、７１Ｂと、画像情報とから画像７１を復元する方法を示す図である。

まず、図８（Ａ）に示すように、ベース画像としての画像７０と、差分画像７１Ａ１、７１Ｂと、画像情報とから画像７１をＨＤＤ１３０から読み出す。なお、差分画像７１Ａ１と７１Ｂの位置関係は、元の画像７１に含まれていたときの位置関係を保持している。

次に、図８（Ｂ）に示すように、画像情報（図７参照）を用いて、ベース画像としての画像７０と、差分画像７１Ａ１、７１Ｂとの位置を合わせる。位置合わせに際しては、画像情報に含まれる、画像７０と差分画像７１Ａ１、７１Ｂの時間差と、車速とに基づいて、進んだ距離Ｘを求める。時間差は、画像情報に含まれるタイムスタンプに基づいて求めることができる。このような距離Ｘの幅を有する領域７０Ａを画像７０の右端よりも右側に画定する。また、画像７０の左端から右側にも距離Ｘの幅を有する領域７０Ｂを画定する。

そして、領域７０Ａに差分画像７１Ｂを当て嵌め、このときに差分画像７１Ａ１と７１Ｂの位置関係を保ったまま、差分画像７１Ａ１を画像７０の上に合成する。さらに、画像７０の領域７０Ｂの部分を削除する。

この結果、図８（Ｃ）に示すように画像７１が復元される。以上のような処理を行えば、ＨＤＤ１３０に画像７０と、差分画像７１Ａ１、７１Ｂと、画像情報とを格納しておけば、画像７１を復元することができる。

図９は、実施の形態２の画像処理方法を実現するフローチャートを示す図である。図９に示すフローは、制御部２１０によって実行される。図４に示す処理と同一のステップには、同一のステップ数を付し、その説明を省略する。

主制御部１１１は、ステップＳ５の処理を終えると、ベース画像がメモリ１２０に格納されているかどうかを判定する（ステップＳ３６）。主制御部１１１は、ベース画像がメモリ１２０に格納されていない（Ｓ３６：ＮＯ）と判定すると、最新のフレームの画像（処理対象の画像）をベース画像に設定する（ステップＳ３７）。ステップＳ３７では、ベース画像に設定された画像がメモリ１２０に格納される。主制御部１１１は、ステップＳ３７の処理を終えると、フローをステップＳ５１に進行させる。この場合は、ループ処理の１週分が終了し、再びステップＳ１から処理が行われる。

ステップＳ３６において、主制御部１１１がベース画像がメモリ１２０に格納されている（Ｓ３６：ＹＥＳ）と判定すると、車速取得部１１３は、車速センサ６０から車速データを取得する（ステップＳ７）。

重複部分導出部１１４は、１つのフレームの画像に含まれる横方向のピクセル数Ｗと、タイムスタンプとを取得する（ステップＳ３８）。なお、ピクセル数Ｗは、カメラ５０から取得してもよく、ＨＤＤ１３０に格納されているデータを取得してもよい。重複部分導出部１１４は、車速とタイムスタンプを用いて、ベース画像の撮影時よりも車両が走行した距離Ｘを算出する（ステップＳ３９）。

重複部分導出部１１４は、ピクセル数Ｗと距離Ｘとから、ベース画像と処理対象の画像との重複部分を求める（ステップＳ４０）。重複部分は、Ｗ−Ｘの幅を有し、実施の形態１の図３に示すグレーのＷ−Ｘの幅の部分と同様である。

重複部分導出部１１４は、処理対象の画像について、重複部分を所定幅の短冊画像に分解する（ステップＳ４１）。所定幅は、予め設定しておけばよい。

差分処理部２１５は、短冊画像の比較処理を行う（ステップＳ４２）。ステップＳ４２からステップＳ４６は、ループ処理である。まず、差分処理部２１５は、ベース画像との一致があるかどうかを判定する（ステップＳ４３）。ステップＳ４３の処理は、各短冊画像とベース画像をパターンマッチングで比較し、一致する部分があるかどうかを判定する。

差分処理部２１５は、ベース画像との一致がない（Ｓ４３：ＮＯ）と判定すると、一致がない部分を有する短冊画像にタイムスタンプを付与してメモリ１２０に格納する（ステップＳ４４）。差分処理部２１５は、ステップＳ４４の処理を終えると、未判定の短冊画像があれば、ループ処理を行うべくフローをステップＳ４３にリターンする（ステップＳ４６）。

また、差分処理部２１５は、ベース画像との一致がある（Ｓ４３：ＹＥＳ）と判定すると、ベース画像との一致がある短冊画像を削除する（ステップＳ４５）。一致がある短冊画像は不要だからである。

差分処理部２１５は、未判定の短冊画像がなくなると、フローをステップＳ４７に進行させ、ベース画像との一致がある短冊画像の中に含まれる一致する部分が短冊画像の半分未満であるかどうかを判定する（ステップＳ４７）。ベース画像との一致がある短冊画像の中に含まれる一致部分が短冊画像の半分未満であるとは、ベース画像とパターンが一致するピクセルが短冊画像のすべてのピクセルのうちの半分未満であるかどうかという意味である。

差分処理部２１５は、一致部分が短冊画像の半分未満である（Ｓ４６：ＹＥＳ）と判定すると、メモリ１２０に格納されているベース画像と短冊画像をＨＤＤ１３０に格納する（ステップＳ４８）。一致部分が少ないため、ベース画像を新たなベース画像に入れ替えるために、現在メモリ１２０に格納して使っているベース画像をＨＤＤ１３０に格納することにしたものである。これにより、メモリ１２０にはベース画像が格納されていない状態になる。なお、ステップＳ４８の処理が終了すると、主制御部１１１は、フローをステップＳ４９に進行させる。

一方、差分処理部２１５によって一致部分が短冊画像の半分未満ではない（Ｓ４６：ＮＯ）と判定されると、主制御部１１１は、フローをステップＳ４９に進行させる。

主制御部１１１は、ステップＳ４９において、車両のイグニッションスイッチがオフにされていなければ、フローをステップＳ１にリターンしてループ処理を再び実行する（ステップＳ４９）。車両のイグニッションスイッチがオフにされていれば、ループ処理を終えてステップＳ５０に進行する。

主制御部１１１は、メモリ１２０に残っている画像があればＨＤＤ１３０に格納する（ステップＳ５０）。以上により、一連の処理が終了する（エンド）。

図１０は、画像を復元する処理を示すフローチャートである。ここでは、画像処理装置２００の利用者の操作入力によって、復元したい差分画像が特定されているものとする。

主制御部１１１は、復元する差分画像の画像情報に記録されているベース画像のポインタを参照する（ステップＳ６１）。

主制御部１１１は、ポインタによって特定される参照先に画像があるかどうかを判定する（ステップＳ６２）。主制御部１１１によって参照先に画像がある（Ｓ６２：ＹＥＳ）と判定されると、重複部分導出部１１４は、差分画像に関連付けられている車速とタイムスタンプを用いて、進んだ距離Ｘを計算する（ステップＳ６３）。

差分処理部２１５は、ベース画像に距離Ｘによって画定される領域を足し合わせる（ステップＳ６４）。この処理は、図８（Ｂ）に示す画像７０に領域７０Ａを足し合わせる処理に相当する。距離Ｘによって画定される領域は、ベース画像の車両の進行方向側に足し合わされる。このような処理は、すべてピクセル値を用いて行われる。

差分処理部２１５は、距離Ｘによって画定される領域の車両の進行方向側の端部から、画像７０の幅Ｗだけ車両の走行方向における後方側に取った領域を差分画像の撮影範囲とする（ステップＳ６５）。この処理は、図８（Ｂ）に示す画像７０に領域７０Ａを足し合わせ、領域７０Ｂを差し引いた領域を差分画像の撮影範囲とする処理に相当する。

差分処理部２１５は、ループ処理による復元処理を行う（ステップＳ６６）。復元処理は、差分画像毎に行う。

差分処理部２１５は、差分画像の撮影範囲のＸ座標と、差分画像の車両の走行方向側の端部のＸ座標の位置を合わせる（ステップＳ６７）。この処理は、図８（Ｂ）に示す領域７０Ａの右端（１９２０ピクセル）と、差分画像７１Ａ１、７１Ｂの右端（１９２０ピクセル）を合わせる処理に相当する。

差分処理部２１５は、差分画像を前面に配置して、ベース画像と差分画像を合成する（ステップＳ６８）。

差分処理部２１５は、すべての差分画像について合成処理を終えると、ループ処理を終える（ステップＳ６９）。

以上、実施の形態２によれば、車速に基づいて、最新のフレームの画像と、ベース画像との重複部分を求め、重複部分を短冊状に分割し、一致しない部分の短冊画像をベース画像と関連付けてＨＤＤ１３０に格納する。すなわち、重複部分のうち、一致する短冊画像は重複的に格納せずに削除する。

このため、ＨＤＤ１３０に画像の重複部分を格納することを抑制し、ＨＤＤ１３０のデータ容量を有効的に利用し、より多くの場面で取得した画像を格納することができる。

従って、重複部分を削除することにより、データベースに記録できる撮影時間を長くした、画像処理方法を提供することができる。

以上、本発明の例示的な実施の形態の画像処理方法について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

５０ カメラ（画像取得部）
６０ 車速センサ
１００ 画像処理装置
１１０ 制御部
１１１ 主制御部
１１２ 画像取得部
１１３ 車速取得部
１１４ 重複部分導出部
１１５ 削除処理部
１１６ パノラマ処理部
１２０ メモリ
１３０ ＨＤＤ
２００ 画像処理装置
２１０ 制御部
２１５ 差分処理部
２１６ カメラ情報取得部

Claims (1)

1. 車両の側方の画像を取得する画像取得部に接続されるコンピュータが実行する画像処理方法であって、
   前記画像取得部によって取得される第１フレームの画像と、前記第１フレームよりも後に取得される第２フレームの画像との重複部分があるかを判定する対象領域を、前記車両の車速に基づいて求める導出ステップと、
   前記対象領域に含まれる画像情報に基づいて前記重複部分があるかを判定する判定ステップと、
   前記重複部分がある場合に、前記重複部分を前記第１フレームの画像と、前記第２フレームの画像とのいずれか一方から削除する削除ステップと、
   前記第１フレームの画像と、前記第２フレームの画像とのうちの前記重複部分が削除されたいずれか一方と、前記重複部分が削除されていないいずれか他方とをデータ格納部に格納する格納ステップと、
   を備える画像処理方法。