JP6537851B2 - 画像処理装置および方法 - Google Patents

Description

本発明は、画像処理が停止したこと知らせる画面を表示させる画像処理装置および方法に関する。

従来から、画像メモリに格納された現フレーム情報と前フレーム情報とを比較することにより、画像メモリの更新異常を検知し、異常を検知したときに警告画像を表示する画像処理装置（例えば、特許文献１参照。）や、連続して伝送された画像フレームの撮像された時刻を示すタイムスタンプを比較し、撮像された時刻が同じ場合に警告メッセージを出力するようにした画像表示システム（例えば、特許文献２参照。）が知られている。

特開２００８−２８３４３１号公報 特開２００４−１０４２５８号公報

ところで、上述した特許文献１に開示された画像処理装置や特許文献２に開示された画像表示システムでは、演算や専用のハードウエアを用いて画像の異常を検出して警告を行っており、表示画像の更新が停止したことを利用者に知らせるために、処理や構成の冗長性が増してこれらが複雑化し、コスト上昇につながるという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、処理や構成を簡素化しつつ表示画像の更新が停止したことを利用者に知らせることができる画像処理装置および方法を提供することにある。

上述した課題を解決するために、本発明の画像処理装置は、所定の画像処理を行う画像処理手段と、画像処理手段によって処理された後の画像を格納する画像格納手段と、画像格納手段に格納された画像を読み出して表示装置に表示する表示処理手段と、画像格納手段に格納された画像を表示処理手段によって読み出した後であって、画像処理手段によって画像格納手段に画像を格納する前に、画像処理手段による画像処理内容とは関係のない特定画像を画像格納手段に書き込む特定画像書き込み手段とを備えている。

また、本発明の画像処理方法は、所定の画像処理を画像処理手段によって行う画像処理ステップと、画像処理手段によって処理された後の画像を画像格納手段に格納する画像格納ステップと、画像格納手段に格納された画像を読み出して表示処理手段によって表示装置に表示する表示処理ステップと、画像格納手段に格納された画像を表示処理手段によって読み出した後であって、画像処理手段によって画像格納手段に画像を格納する前に、画像処理手段による画像処理内容とは関係のない特定画像を画像格納手段に特定画像書き込み手段によって書き込む特定画像書き込みステップとを有している。

画像格納手段から表示用画像を読み出して表示を行った後、次の表示用画像を書き込む前に、表示用画像とは無関係の特定画像を書き込むことにより、画像処理が停止した際に、同じ表示用画像が表示された状態が維持されるのではなく、特定画像が表示されるようになるため、異常検出のための特別な演算や専用のハードウエアが不要であり、処理や構成を簡素化しつつ表示画像の更新が停止したことを利用者に知らせることができる。

また、上述した画像格納手段は、２つのフレームバッファであり、一のフレームバッファに対して画像処理手段によって画像を書き込む第１の動作と、他のフレームバッファから表示処理手段によって画像を読み出し、その後、この他のフレームバッファに対して特定画像書き込み手段によって特定画像を書き込む第２の動作とが並行して行われることが望ましい。２つのバッファ構成とすることにより、表示用画像の書き込み動作と、表示用画像の読み出しおよび特定画像の書き込み動作とを別々のフレームバッファに対して行えばよいため、各フレームバッファに対する画像の読み書き動作を簡略化することができる。

また、他のフレームバッファに対する特定画像の書き込み動作は、表示処理手段による画像の読み出し動作が終了した後の表示装置のブランキング期間に行われることが望ましい。これにより、従来から行われている表示用画像の読み書きタイミングに影響を与えることなく、特定画像の書き込みを行うことが可能となる。

また、上述した特定画像は、所定の色または模様を有する画像であることが望ましい。あるいは、上述した特定画像は、画像処理手段による画像格納手段に対する画像の書き込み動作が停止したことを知らせる画像であることが望ましい。このような特定画像を用いることにより、画像処理が停止したことを確実に利用者に知らせることができる。

また、上述した画像格納手段は、ラインメモリであり、ラインメモリから表示処理手段による画像の読み出し動作と、ラインメモリに対する画像処理手段による画像の書き込み動作の間に、ラインメモリに対する特定画像書き込み手段による特定画像の書き込み動作が行われることが望ましい。これにより、ラインメモリを用いて表示を行う場合であっても、画像処理が停止したときに、画面を構成する各ラインを順次特定画像に置き換えることができ、画像処理が停止したことを利用者に知らせることができる。

また、上述した画像処理手段と特定画像書き込み手段は、別々の処理装置によって実現されることが望ましい。あるいは、上述した画像処理手段と特定画像書き込み手段は、マルチタスクで動作する１つの処理装置によって実現されることが望ましい。これにより、画像処理が停止した場合であっても確実に特定画像の書き込みを行うことができる。

また、車両に搭載されて、画像処理手段によって処理された後の画像を表示装置に表示することにより車両運転支援が行われることが望ましい。これにより、表示によって車両運転支援を行う場合に、画像処理が停止して表示内容の信頼性が低下したことを確実に利用者（運転者）に知らせることができる。

一実施形態の車両運転支援装置の構成を示す図である。 後方カメラ、右側方カメラ、左側方カメラの設置位置と撮像範囲を示す図である。 画像合成部によって合成された後の画像を示す図である。 異常が発生していない正常時における表示用画像の書き込みおよび読み出しのタイミングを示す説明図である。 異常発生時の表示用画像の書き込みおよび読み出しのタイミングを示す流れ図である。 ラインメモリを用いた変形例を示す図である。

以下、本発明の画像処理装置を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。

図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示すように、本実施形態の車両運転支援装置１は、後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌ、画像格納部１２Ｂ、１２Ｒ、１２Ｌ、画像処理部２０、表示装置３０を備えている。この車両運転支援装置１は、車両に搭載されており、後方カメラ１０Ｂによって撮像された画像の左右に右側方カメラ１０Ｒで撮像した画像や左側方カメラ１０Ｌによって撮像された画像を並べて表示する。後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌのそれぞれは、自車両の後方を広角レンズ（例えば、魚眼レンズ）を通して撮像する。

図２は、後方カメラ１０Ｂ、右側方カメラ１０Ｒ、左側方カメラ１０Ｌの設置位置と撮像範囲を示す図である。自車両１００の後部の例えばトランクドア周囲やナンバープレート上部に後方カメラ１０Ｂが設置されている。また、右側のドアミラーに右側方カメラ１０Ｒが、左側のドアミラーに左側方カメラ１０Ｌがそれぞれ設置されている。

後方カメラ１０Ｂは、１８０度の視野角を有する魚眼レンズを通して車両後方を撮像する。また、右側方カメラ１０Ｒと左側方カメラ１０Ｌのそれぞれは、車両の右側面あるいは左側面よりも外側の車両後方を撮像する。

１８０度の視野角を有する後方カメラ１０Ｂの撮像範囲は、右側方カメラ１０Ｒの撮像範囲や左側方カメラ１０Ｌの撮像範囲と部分的に重複するが、本実施形態では、後方カメラ１０Ｂの撮像によって得られた画像についてはこの重複部分は使用せず、右側方カメラ１０Ｒや左側方カメラ１０Ｌによって撮像された画像が用いられる。なお、隣接する画像の境界は、必ずしも図２に示すように右側面および左側面に沿った位置にする必要はなく、適宜変更するようにしてもよい。

後方カメラ１０Ｂによる撮像によって得られた画像は画像格納部１２Ｂに格納される。同様に、右側方カメラ１０Ｒによる撮像によって得られた画像は画像格納部１２Ｒに格納される。左側方カメラ１０Ｌによる撮像によって得られた画像は画像格納部１２Ｌに格納される。

画像処理部２０は、後方カメラ１０Ｂで車両後方を撮像した画像（第１の画像）と、右側方カメラ１０Ｒ、左側方カメラ１０Ｌで車両後方を撮像した画像（第２の画像）とを並べて合成して表示装置３０に表示する。このために、画像処理部２０は、画像合成部２２、フレームバッファ２４Ａ、２４Ｂ、表示処理部２６、特定画像書き込み部２８を備えている。

画像合成部２２は、後方カメラ１０Ｂで車両後方を撮像した第１の画像と、右側方カメラ１０Ｒ、左側方カメラ１０Ｌで車両後方を撮像した第２の画像とを並べたときに、隣接する領域において重複した部分画像が第１および第２の画像のそれぞれに含まれる場合に、第１および第２の画像のいずれか一方に含まれる部分画像を除去する。

なお、本実施形態では、後方カメラ１０Ｂによって撮像された画像の左右に右側方カメラ１０Ｒで撮像した画像や左側方カメラ１０Ｌによって撮像された画像を並べて配置するため、撮像された画像の縮尺や視点位置を必要に応じて調整する必要がある。例えば、魚眼レンズを通して撮像された後方カメラ１０Ｂの画像や右側方カメラ１０Ｒおよび左側方カメラ１０Ｌの画像の歪みを除去するとともに縮尺を調整する処理が画像合成部２２によって行われる。

図３は、画像合成部２２によって合成された後の画像を示す図である。図３において、部分画像２００Ｂは後方カメラ１０Ｂによる撮像によって得られた第１の画像に対応する。また、部分画像２００Ｒは、右側方カメラ１０Ｒによる撮像によって得られた第２の画像に対応する。部分画像２００Ｌは、左側方カメラ１０Ｌによる撮像によって得られた第２の画像に対応する。このようにして、表示１画面分の画像が合成される。

本実施形態では、このようにして合成された１画面分の画像が、ダブルバッファ構成の２つのフレームバッファ２４Ａ、２４Ｂに交互に書き込まれる。フレームバッファ２４Ａ、２４Ｂのそれぞれは、１画面分の画像を格納可能な容量を有しており、一方のフレームバッファ２４Ａに合成画像が書き込まれている間に、他方のフレームバッファ２４Ｂから表示用に合成画像が読み出される。その後、他方のフレームバッファ２４Ｂに合成画像が書き込まれている間に、一方のフレームバッファ２４Ａから表示用に合成画像が読み出される。

表示処理部２６は、フレームバッファ２４Ａ、２４Ｂのそれぞれから表示用の画像を読み出して表示装置３０に表示する。

特定画像書き込み部２８は、フレームバッファ２４Ａ、２４Ｂに格納された画像を表示処理部２６によって読み出した後であって、画像合成部２２によってフレームバッファ２４Ａ、２４Ｂに画像を格納する前に、画像合成部２２による画像処理内容とは関係のない特定の画像をフレームバッファ２４Ａ、２４Ｂに書き込む。特定画像としては、所定の色または模様を有する画像や、フレームバッファ２４Ａ、２４Ｂに対する画像の書き込み動作が停止したことを知らせる画像が用いられる。また、特定画像の書き込みは、フレームバッファ２４Ａ、２４Ｂから表示用画像の読み出しが終了してから次に表示用画像の書き込みが始まるまでのブランキング期間に行うことが望ましい。

ところで、画像合成部２２と特定画像書き込み部２８は、別々の処理装置（プロセッサや専用のハードウエア）によって実現することが望ましい。あるいは、画像合成部２２と特定画像書き込み部２８は、１つの処理装置（プロセッサ）によって実現するようにしてもよいが、その場合はマルチタスクで動作する処理装置を用いることが望ましい。このようにすることで、画像合成処理等の画像処理が停止した場合であっても確実に特定画像の書き込みを行うことができる。

上述した画像合成部２２が画像処理手段に、フレームバッファ２４Ａ、２４Ｂが画像格納手段に、表示処理部２６が表示処理手段に、特定画像書き込み部２８が特定画像書き込み手段にそれぞれ対応する。

本実施形態の車両運転支援装置はこのような構成を有しており、次に、その表示動作について説明する。

図４は、異常が発生していない正常時における表示用画像の書き込みおよび読み出しのタイミングを示す説明図である。図４において、「ＦＢ２４Ａ」は一方のフレームバッファ２４Ａにおける画像の書き込みおよび読み出しのタイミングを、「ＦＢ２４Ｂ」は他方のフレームバッファ２４Ｂにおける画像の書き込みおよび読み出しのタイミングを示している。また、ａ、ｂ、ｃ、・・・のそれぞれは合成画像を、Ｔ１、Ｔ２、Ｔ３、・・・のそれぞれは処理サイクルを示している。

図４に示すように、最初の処理サイクルＴ１において、一方のフレームバッファ２４Ａに合成画像ａが書き込まれる。

次の処理サイクルＴ２では、他方のフレームバッファ２４Ｂに合成画像ｂが書き込まれる。また、この処理サイクルＴ２の前半では、一方のフレームバッファ２４Ａに書き込まれた合成画像ａが表示処理部２６によって読み出されて表示動作が行われ、処理サイクルＴ２の後半では、一方のフレームバッファ２４Ａに特定画像書き込み部２８によって特定画像が書き込まれる。

次の処理サイクルＴ３では、一方のフレームバッファ２４Ａに合成画像ｃが書き込まれる。また、この処理サイクルＴ３の前半では、他方のフレームバッファ２４Ｂに書き込まれた合成画像ｂが表示処理部２６によって読み出されて表示動作が行われ、処理サイクルＴ３の後半では、他方のフレームバッファ２４Ｂに特定画像書き込み部２８によって特定画像が書き込まれる。

このようにして、各処理サイクルの後半では特定画像が書き込まれるが、次の処理サイクルでこの特定画像に次の合成画像が上書きされるため、特定画像が表示されることなく、合成画像ａ、ｂ、ｃ、・・・の表示が所定の間隔で行われる。

図５は、異常発生時の表示用画像の書き込みおよび読み出しのタイミングを示す流れ図である。例えば、処理サイクルＴ２の終了時に画像合成部２２の動作が停止（フリーズ）し、フレームバッファ２４Ａに対して合成画像ｃの書き込みができなくなった場合が示されている。

この場合には、処理サイクルＴ２の後半においてフレームバッファ２４Ａに書き込まれた特定画像がそのまま維持される。また、処理サイクルＴ３の前半では、他方のフレームバッファ２４Ｂに書き込まれた合成画像ｂが読み出されて表示され、処理サイクルＴ３の後半では、他方のフレームバッファ２４Ｂに特定画像が書き込まれるが、次の処理サイクルＴ４では新たな合成画像ｃは書き込まれずにこの特定画像が以後維持される。

したがって、処理サイクルＴ４以降では、フレームバッファ２４Ａ、２４Ｂの両方に格納された特定画像が読み出されて表示装置３０に表示される。利用者は、この特定画像が表示されていることを確認することにより、画像処理が停止して画面がフリーズしたことを知ることになる。

このように、本実施形態の車両運転支援装置１では、フレームバッファ２４Ａ、２４Ｂから表示用画像を読み出して表示を行った後、次の表示用画像を書き込む前に、表示用画像とは無関係の特定画像を書き込むことにより、画像処理が停止した際に、同じ表示用画像が表示された状態が維持されるのではなく、特定画像が表示されるようになるため、異常検出のための特別な演算や専用のハードウエアが不要であり、処理や構成を簡素化しつつ表示画像の更新が停止したことを利用者に知らせることができる。

また、複数（２つ）のバッファ構成とすることにより、表示用画像の書き込み動作と、表示用画像の読み出しおよび特定画像の書き込み動作とを別々のフレームバッファに対して行えばよいため、各フレームバッファに対する画像の読み書き動作を簡略化することができる。

また、フレームバッファ２４Ａ、２４Ｂに対する特定画像の書き込み動作をブランキング期間に行うことにより、従来から行われている表示用画像の読み書きタイミングに影響を与えることなく、特定画像の書き込みを行うことが可能となる。

また、特定画像を、所定の色または模様を有する画像、あるいは、表示用画像の書き込み動作が停止したことを知らせる画像とすることにより、画像処理が停止したことを確実に利用者に知らせることができる。

また、本実施形態の車両運転支援装置のように、表示によって車両運転支援を行う場合に、画像処理が停止して表示内容の信頼性が低下したことを確実に利用者（運転者）に知らせることができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、２つのフレームバッファ２４Ａ、２４Ｂを含むダブルバッファの構成について説明したが、表示用画像を読み出した後であって次の表示用画像を書き込む前に特定画像を書き込むことができるのであれば、１つあるいは３つ以上のフレームバッファを用いる場合にも本発明を適用することができる。

また、上述した実施形態では、車両運転支援装置１における合成画像の表示について本発明を適用したが、画像処理の内容は画像合成以外であってもよく、広く表示画面の更新が停止（フリーズ）する場合に本発明を適用することができる。

また、上述した実施形態では、フレームバッファ２４Ａ、２４Ｂを画像格納手段として用いた場合について説明したが、表示１行分（あるいは複数行分）のラインメモリを画像格納手段として用いる場合にも本発明を適用することができる。

図６は、ラインメモリを用いた変形例を示す図である。図６において、ラインメモリ３００は、表示１ライン分の画像（画素データ）を格納する。リードカウンタ３１０は、ラインメモリ３００の読み出しアドレスを生成する。アドレス減算器３１２は、リードカウンタ３１０によって生成された読み出しアドレスから１を減じて、１つ前の読み出しアドレスと同じ値を有する書き込みアドレスを生成する。ライトカウンタ３２０は、ラインメモリ３００の書き込みアドレスを生成する。セレクタ３３０は、ライトカウンタ３２０から出力される書き込みアドレスと、アドレス減算器３１２から出力される書き込みアドレスとが入力され、いずれかを選択して出力する。セレクタ３３２は、ライトデータ（表示用の書き込み画素データ）と、例えば黒画素を表す“０”とが入力されており、いずれかを選択して出力する。リードカウンタ３１０、アドレス減算器３１２、セレクタ３１２、３３２が特定画像書き込み手段に対応する。

正常時には、リードカウンタ３１０で生成された読み出しアドレスで指定された画素データがラインメモリ３００から順番に読み出される。各画素の画素データが読み出されると、１つ前のアドレスを書き込みアドレスとして指定して黒画素が書き込まれる（セレクタ３３０によってアドレス減算器３１２の出力が選択され、セレクタ３３２によって黒画素“０”が選択される）。このようにして、１ライン分の画素データの読み出し、黒画素の書き込みが終了した後、セレクタ３３０、３３２が切り替えられて、次の１ライン分の画素データの書き込みが行われる。このように、正常時には、画素データの読み出しが終了した後、黒画素の書き込みが行われるが、その後次の１ライン分の画素データが黒画素に上書きされるため、従来通りのラインメモリ３００を用いた表示動作が行われる。

ところが、異常が発生して表示用画像の書き込みが停止すると、次の１ライン分の画素データが黒画素に上書きされなくなるため、表示内容として黒画素（特定画像）が維持されることになる。利用者は、この特定画像が表示されていることを確認することにより、画像処理が停止して画面がフリーズしたことを知ることができる。

このように、ラインメモリ３００を用いて表示を行う場合であっても、画像処理が停止したときに、画面を構成する各ラインを順次特定画像に置き換えることができ、画像処理が停止したことを利用者に知らせることができる。

上述したように、本発明によれば、画像格納手段から表示用画像を読み出して表示を行った後、次の表示用画像を書き込む前に、表示用画像とは無関係の特定画像を書き込むことにより、画像処理が停止した際に、同じ表示用画像が表示された状態が維持されるのではなく、特定画像が表示されるようになるため、異常検出のための特別な演算や専用のハードウエアが不要であり、処理や構成を簡素化しつつ表示画像の更新が停止したことを利用者に知らせることができる。

１ 車両運転支援装置
１０Ｂ 後方カメラ
１０Ｒ 右側方カメラ
１０Ｌ 左側方カメラ
１２Ｂ、１２Ｒ、１２Ｌ 画像格納部
２０ 画像処理部
２２ 画像合成部
２４Ａ、２４Ｂ フレームバッファ
２６ 表示処理部
２８ 特定画像書き込み部
３０ 表示装置

Claims (10)

1. 所定の画像処理を行う画像処理手段と、
   前記画像処理手段によって処理された後の画像を格納する画像格納手段と、
   前記画像格納手段に格納された画像を読み出して表示装置に表示する表示処理手段と、
   前記画像格納手段に格納された画像を前記表示処理手段によって読み出した後であって、前記画像処理手段によって前記画像格納手段に画像を格納する前に、前記画像処理手段による画像処理内容とは関係のない特定画像を前記画像格納手段に書き込む特定画像書き込み手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１において、
   前記画像格納手段は、２つのフレームバッファであり、
   一の前記フレームバッファに対して前記画像処理手段によって画像を書き込む第１の動作と、他の前記フレームバッファから前記表示処理手段によって画像を読み出し、その後、この他の前記フレームバッファに対して前記特定画像書き込み手段によって前記特定画像を書き込む第２の動作とが並行して行われることを特徴とする画像処理装置。
3. 請求項２において、
   他の前記フレームバッファに対する前記特定画像の書き込み動作は、前記表示処理手段による画像の読み出し動作が終了した後の前記表示装置のブランキング期間に行われることを特徴とする画像処理装置。
4. 請求項１〜３のいずれか一項において、
   前記特定画像は、所定の色または模様を有する画像であることを特徴とする画像処理装置。
5. 請求項１〜３のいずれか一項において、
   前記特定画像は、前記画像処理手段による前記画像格納手段に対する画像の書き込み動作が停止したことを知らせる画像であることを特徴とする画像処理装置。
6. 請求項１において、
   前記画像格納手段は、ラインメモリであり、
   前記ラインメモリから前記表示処理手段による画像の読み出し動作と、前記ラインメモリに対する前記画像処理手段による画像の書き込み動作の間に、前記ラインメモリに対する前記特定画像書き込み手段による前記特定画像の書き込み動作が行われることを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項において、
   前記画像処理手段と前記特定画像書き込み手段は、別々の処理装置によって実現されることを特徴とする画像処理装置。
8. 請求項１〜６のいずれか一項において、
   前記画像処理手段と前記特定画像書き込み手段は、マルチタスクで動作する１つの処理装置によって実現されることを特徴とする画像処理装置。
9. 請求項１〜８のいずれか一項において、
   車両に搭載されて、前記画像処理手段によって処理された後の画像を前記表示装置に表示することにより車両運転支援が行われることを特徴とする画像処理装置。
10. 所定の画像処理を画像処理手段によって行う画像処理ステップと、
    前記画像処理手段によって処理された後の画像を画像格納手段に格納する画像格納ステップと、
    前記画像格納手段に格納された画像を読み出して表示処理手段によって表示装置に表示する表示処理ステップと、
    前記画像格納手段に格納された画像を前記表示処理手段によって読み出した後であって、前記画像処理手段によって前記画像格納手段に画像を格納する前に、前記画像処理手段による画像処理内容とは関係のない特定画像を前記画像格納手段に特定画像書き込み手段によって書き込む特定画像書き込みステップと、
    を有することを特徴とする画像処理方法。

Images