WO2011108278A1

WO2011108278A1 - 監視システム、その制御方法及び半導体集積回路

Info

Publication number: WO2011108278A1
Application number: PCT/JP2011/001274
Authority: WO
Inventors: 和久来田; 晃宏柴田; 下田　直之; 岳志遠藤
Original assignee: パナソニック株式会社
Priority date: 2010-03-05
Filing date: 2011-03-03
Publication date: 2011-09-09
Also published as: US20130088596A1; JP2011188134A; CN102783146A

Abstract

　監視システムが備える画像比較部は、動作検知部から入力された出力信号を基に、車両が動作していると判別された場合、現在の画像データと、少なくとも１つ前の周期で得られた過去の画像データとを比較する。画像比較部は、この比較の結果を基に、カメラ又は画像処理部に故障が発生しているか否かを判定する。故障が発生している場合、画像比較部は、故障有りを伝える出力信号を画像処理部に出力する。画像処理部は、この出力信号を受けると、故障時における画像処理を行い、故障情報を画像信号に乗せて伝達することにより、表示装置を単色表示又は警告表示に変更する。したがって、前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ドライバに対し、その故障を伝えることができる。

Description

監視システム、その制御方法及び半導体集積回路

　本発明は、移動体を監視する監視システム、その制御方法及び半導体集積回路に関する。

　移動体を監視する監視システムとして、近年、カメラから得られた車両周辺の画像データ、又はこれらの画像を合成処理した画像データを表示装置に表示する監視システムが普及してきている。図１３は、従来の監視システムの構成を示すブロック図である。図１３に示す監視システムは、カメラ１、画像処理部２及び表示装置３を備える。画像処理部２は、カメラ１が撮影した画像データを処理する。表示装置３は、画像処理部２から入力された画像を表示する。当該監視システムが搭載された車両のドライバは、表示装置３に表示される情報を基に、安全を確認しながら前進や後退を行う。

　このような監視システムは、例えば、特許文献１に示す構成に適用される。具体的には、視野を広げ、ドライバが表示装置のみを確認しながら後退できるような合成画像を表示する監視システムがある。また、自車の直近周囲の位置関係を分かりやすくするために、周囲の様子をあたかも自車の上方から見下ろしたような画像を表示するだけでなく、自車の近傍の情報を同時にドライバに提示する監視システムもある。

日本国特開２００２－１２５２２４号公報

　しかし、上記従来の監視システムによれば、カメラ等から得られた情報が表示装置に的確に伝わらない場合に問題が発生するおそれがある。このような状況を排除することにより、更なる安全性の向上を図り、フェールセーフ機能の強化を図る必要がある。

　具体的には、監視システムの故障時に、ドライバにとってはあたかも正しく見える画像が表示装置に表示されている場合の対処を的確に行う必要がある。例えば、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合のフェールセーフ機能が必要である。

　明らかに故障と分かる画像が表示装置に表示されている場合、ドライバは、監視システムの故障に気付く。このとき、ドライバは、バックミラー等の補助機能を使用して車両を安全な場所に一時退避させることで、事故を回避可能である。しかし、本来出力されるべき画像の前の画像が表示装置に表示されたままの状態でドライバが車両を運転し続けると、接触事故等が発生する可能性が高まる。

　本発明の目的は、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに対して監視システムの故障を伝えることができる監視システム、その制御方法及び半導体集積回路を提供することである。

　本発明は、移動体を監視する監視システムであって、周辺画像を撮影して画像信号を出力するカメラと、前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、前記移動体が動作していることを検知する動作検知部と、前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された第１の画像データと、前記第１の画像データより少なくとも１つ前の周期で生成された第２の画像データとを比較する画像比較部と、を備え、前記画像比較部は、前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有する監視システムを提供する。
　これにより、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに注意を促すことができ、監視システムの故障を伝えることができる。したがって、移動体として車両に適用された場合、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して安全な場所に車を一時退避させることで、事故を回避できる。これにより、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

　また、本発明は、前記画像処理部によって生成された画像データを記憶する第１のメモリと第２のメモリを有し、前記第１のメモリは前記第１の画像データを記憶し、前記第２のメモリは前記第２の画像データを記憶する監視システムを提供する。
　これによって、２つの画像データをそれぞれ比較することで、連続した画像比較を行うことが出来、故障が発生した場合、即座にユーザに注意を促すことができる。

　また、本発明は、前記第１のメモリおよび前記第２のメモリは、それぞれ少なくとも２以上の画像データを記憶する監視システムを提供する。
　これによって、２つの画像データをそれぞれ比較することで、連続した画像比較を行うことが出来、故障が発生した場合、即座にユーザに注意を促すことができるとともに、複数回の周期にわたる画像データの蓄積が可能であり、これら蓄積された画像データを比較に使用することで、故障か一時的な障害であるかの判定が容易になる。

　また、本発明は、故障を検知した場合、前記画像比較部は画像比較を停止する監視システムを提供する。
　これによって、画像処理部によって生成された警告画面と先の画像データとが比較され、画像の不一致により故障無し、と判断される場合を防止することができる。

　また、本発明は、前記第２のメモリは前記画像比較部内にある監視システムを提供する。
　これによって、信号の伝送距離を短く出来、信号伝送の遅延を防止することが可能である。また、半導体集積回路を実装する基板の面積の小型化、消費電力の低減といった効果がある。

　また、本発明は、前記画像比較部から伝達される故障情報は、前記画像処理部を介して前記表示装置に伝達される監視システムを提供する。
　これによって、画像処理部を介して故障情報を伝達することで、表示画面に警告情報を重畳させたり、警告時の表示画面の色や輝度などの表示態様を変化させることができ、ユーザに注意を喚起することが容易となる。

　また、本発明は、前記表示装置と別に故障を報知する装置を有し、前記画像比較部から伝達される前記故障情報は前記画像処理部を介さずに前記故障を報知する装置に伝達される監視システムを提供する。
　これによって、画像処理部を介することなく故障情報を表示装置に出力でき、画像処理部の機能を全て信頼できなくても故障の有無を知らせることができる。すなわち、故障が伝達された場合、画像処理部において画像処理を行って表示装置に出力する部分に故障がある場合でも、確実にドライバに注意を促すことができる。

　また、本発明は、前記表示装置は、前記伝達部によって伝達された故障情報に基づき、単色表示又は警告表示を行う監視システムを提供する。
　これによって、ユーザは容易に故障に気付くことができる。

　また、本発明は、前記移動体が車両である場合、前記動作検知部は、タイヤの回転信号、速度計の速度信号又は動作信号を使用し、前記車両が動作していることを検知する監視システムを提供する。
　これによって、車両が動いている時に監視システムの故障をドライバに伝えることができ、事故を回避できる。

　また、本発明は、前記画像処理部は、撮像画像処理部と警告表示画像生成部と表示画像選択部とを備え、前記表示画像選択部は、前記画像比較部で故障していると判定された場合、前記撮像画像処理部によって生成された画像データに優先して、前記警告表示画像生成部が生成した画像データを前記表示装置に表示させる監視システムを提供する。
　これによって、警告表示画像生成部が生成した画像データを用いて故障情報を伝達することで、ユーザにわかりやすく注意を喚起することが容易となる。

　また、本発明は、少なくとも前記画像処理部と前記動作検知部と前記画像比較部とは１の半導体集積回路基板上で実現される監視システムを提供する。
　これによって、信号の伝送距離を短く出来、信号伝送の遅延を防止することが可能である。また、半導体集積回路を実装する基板の面積の小型化、消費電力の低減といった効果がある。

　また、本発明は、前記第１のメモリまたは前記第２のメモリの少なくとも１つは前記半導体集積回路基板外にある外部メモリである監視システムを提供する。
　これによって、半導体集積回路の小型化を図ることが可能である。

　また、本発明は、前記画像比較部に対し、前記所定の周期に相当する信号を発生する信号発生部を有し、前記信号発生部は、前記周期を可変自在なハードウェア、又はハードウェアとソフトウェアの組み合わせで構成される監視システムを提供する。
　これによって、移動体の動きに合わせた周期で、監視システムの故障の検知が可能となる。

　また、本発明は、移動体を監視する監視システムの制御方法であって、前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、前記移動体が動作していることを検知する動作検知ステップと、前記画像処理ステップで生成された画像データが所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時、前記画像処理ステップで生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較ステップと、前記比較の結果、前記カメラ又は画像処理部が故障しているか否かを判定する判定ステップと、前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、を有する監視システムの制御方法を提供する。
　これにより、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに注意を促すことができ、監視システムの故障を伝えることができる。したがって、移動体として車両に適用された場合、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して安全な場所に車を一時退避させることで、事故を回避できる。これにより、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

　また、本発明は、カメラから入力された画像信号を処理して画像データを生成する画像処理部と、前記移動体が動作していることを検知する動作検知部と、前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された第１の画像データと、前記第１の画像データより少なくとも１つ前の周期で生成された第２の画像データとを比較する画像比較部と、を備え、前記画像比較部は、前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部を有し、前記判定部によって故障していると判定された場合、故障情報を出力する半導体集積回路を提供する。
　これにより、本来出力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに注意を促すことができ、監視システムの故障を伝えることができる。したがって、移動体として車両に適用された場合、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して安全な場所に車を一時退避させることで、事故を回避できる。これにより、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

　本発明に係る監視システム、その制御方法及び半導体集積回路によれば、本来入力されるべき画像の前の画像が表示装置に表示されたまま、監視システムが何らかの故障で止まった場合、ユーザに対して監視システムの故障を伝えることができる。したがって、移動体として車両に適用された場合、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して安全な場所に車を一時退避させることで、事故を回避できる。これにより、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

第１の実施形態の監視システムの構成を示すブロック図画像処理部の構成を示すブロック図画像メモリの構成を示すブロック図画像処理部における画像処理の周期を示すタイミング図監視システムの動作手順を示すタイミング図監視システムの動作手順を示すタイミング図監視システムの動作手順を示すタイミング図画像比較が行われる周期を変更する際の構成を示すブロック図監視システムの動作手順を示すフローチャート第２の実施形態の監視システムの構成を示すブロック図第３の実施形態の監視システムの構成を示すブロック図第４の実施形態の監視システムの構成を示すブロック図従来の監視システムの構成を示すブロック図

　本発明に係る監視システム、その制御方法及び半導体集積回路の実施の形態について、図面を参照して説明する。本実施形態の監視システムは、車両に設置したカメラで自車の直近周囲を監視する監視システムに適用される。

（第１の実施形態）
　図１は、第１の実施形態の監視システムの構成を示すブロック図である。図１に示すように、第１の実施形態の監視システムは、カメラ１０と、画像処理部２０、周期信号発生器４０、画像比較演算部５０および動作検知部６０とからなる半導体集積回路１００と、画像メモリ７０と、表示装置３０とを備える。また、当該監視システムはＣＰＵ及びメモリを備え、ＣＰＵがメモリに格納された制御プログラムを実行することにより、ハードウェアと共に上記各部の機能を実現する。なお、全ての機能をハードウェアで実現することも可能である。

　カメラ１０は、少なくとも１台設けられ、車両を含むその周囲を撮影する。画像処理部２０は、カメラ１０から入力された複数の画像信号を合成することにより合成画像を生成し、これを出力して画像メモリ７０に記憶する。次いで、画像メモリ７０から出力された画像信号（画像データ）は表示装置３０に出力され、表示装置３０が信号に応じた画像を表示するとともに、この画像信号は画像比較演算部５０にも出力され、画像比較演算部５０が備える画像メモリ５１に記憶される。動作検知部６０は、車両が動作しているか否かを検知し、検知結果を画像比較演算部５０に出力する。

　まず、図２を用いて画像処理部２０の構成及び動作について説明する。画像処理部２０は、カメラ１０から出力された画像信号を処理する撮像画像処理部２１と、故障がある場合に画像比較演算部５０から出力された出力信号ｐ１が入力される故障フラグ２２と、故障を知らせる警告表示画像を出力する警告表示画像生成部２３と、撮像画像処理部２１が出力した信号と警告表示画像生成部２３が出力した信号のいずれか表示装置３０に表示すべき画像信号を選択する表示画像選択部２４からなる。また、画像比較演算部５０は、故障の有無を伝える出力信号ｐ１を、表示画像選択部２４に出力する。

　故障フラグ２２は出力信号ｐ１が画像が一致していることを示す状態となった場合にセットされ、故障がリセットされるまではその状態を保持する。故障がリセットされると故障フラグ２２もリセットされる。

　表示画像選択部２４は、出力信号ｐ１に画像が一致していることを示す状態を検知した場合、もしくは故障フラグがセットされている場合、警告表示画面生成部２３が出力した信号を選択して画像メモリ７０に入力する。それ以外の場合、すなわち故障が発生していない通常の状態の場合は撮像画像処理２１が出力した画像を画像メモリ７０に出力する。

　画像メモリ７０および画像比較演算部５０は、図３に示すように、予め定められた周期で更新される、少なくとも２枚分の画像データを記憶するフレーム１及びフレーム２をそれぞれ有する。

　次に画像処理部２０の処理のタイミングについて図４を用いて説明する。カメラ１０から出力された画像信号は画像処理部２０に入力され、順次処理が実行される。その際、図４に示すように、ｎ－１の画像処理実行後の画像が出力されると同時に、その次の画像であるｎの画像処理を平行して行うことが可能である。

　このような構成を用いて画像比較演算部５０は、動作検知部６０によって車両の動作が確認された時、予め定められた周期で、現在の画像データと少なくとも１つ前の周期で得られた過去の画像データとを比較し、カメラ１０又は画像処理部２０が故障していないか否かを常に確認する。

　上記の故障検知手段について図５～図７に示すタイミング図を用いて詳述する。
　まず、図５に示すように、画像処理部２０はカメラ１０から入力される画像信号を順次処理し、これを出力する。出力された画像ｎ－１、ｎ、ｎ＋１．．．はそれぞれ画像メモリ７０のフレーム１もしくはフレーム２に交互に記憶され、順次表示装置３０に出力される。これと同時に画像メモリ７０は画像比較演算部５０に対しても画像を出力し、画像比較演算部５０は画像メモリ５１のフレーム１もしくはフレーム２に入力された画像を交互に記憶する。ここで、画像メモリ７０のフレーム１に記憶された画像は画像メモリ５１のフレーム１に、画像メモリ７０のフレーム２に記憶された画像は画像メモリ５１のフレーム２にそれぞれ記憶される。画像メモリ７０のフレーム１が画像ｎ－１を記憶しているタイミングにおいて、画像メモリ５１には遅れて画像データが入力されるため、画像メモリ５１のフレーム１には、画像ｎ－３が記憶されている。ここで、動作検知部６０において、動作していることが確認されている際に、画像比較演算部５０は、一定の周期で画像メモリ７０のフレーム１と画像メモリ５１のフレーム１、画像メモリ７０のフレーム２と画像メモリ５１のフレーム２に記憶されている画像の比較を行い、これらの画像が不一致であれば、故障は無いと判断する。

　一方、図６に示すように、画像処理部に故障が発生した場合、画像メモリに記憶される画像が更新されないため、画像比較演算部５０において、それぞれのフレームに記憶されている画像を比較した場合、その画像が一致することになる。これらの画像が一致した場合には、故障有りと判断し、図７に示すように、表示装置３０に画像を入力する画像メモリ７０のフレーム１およびフレーム２にはドライバに故障を知らせるための警告表示画像が格納される。

　前述したように、この故障の検知では、画像比較演算部５０で画像マッチングが行われ、比較される２枚の画像データ（現在の画像データと過去の画像データ）の類似性が判断される。すなわち、２枚の画像の相関が強い場合、２枚の画像はほぼ同じであると判断され、車両の周囲の状況が変わっても変化しないため、故障有りと判定される。一方、２枚の画像の相関が弱い場合、２枚の画像は異なると判断され、故障無しと判定される。また、故障時には、画像比較演算部５０は、故障有りを伝える出力信号ｐ１を画像処理部２０に出力する。

　画像処理部２０は、故障有りを伝える出力信号ｐ１が入力されると、カメラ１０又は画像処理部２０の故障時における画像処理を行う。すなわち、画像処理部２０は、警告表示画像の画像信号を出力することにより、表示装置３０の表示を単色表示又は警告表示に変更する。なお、画像処理部２０が故障時の画像処理を行い、故障情報を表示装置３０に伝える部分の機能については正常であって、故障が無いことが前提である。

　なお、画像処理部２０は出力信号ｐ１から一旦画像が一致したことを通知する信号を受取ると、故障の状態がリセットされるまでは画像出力を停止する。このとき、表示装置３０は画像メモリ７０に格納された警告表示画像を表示し続ける。また、画像比較演算部５０は出力信号ｐ１に一旦画像が一致したことを通知する信号を出力すると、故障の状態がリセットされるまで画像比較を停止しても良い。

　また、画像比較演算部５０が比較を行う際、予め定められた周期は、ブレーキをかけようとする人の反応時間と車両が止まるまでの機械的な時間とを足し合わせた反応時間よりきわめて短い周期に設定される。また、故障か一時的な障害かについては、前述したように、ある一定時間の動作確認を複数回の周期にわたって確認することで、判定が可能となる。

　動作検知部６０には、異なる検知方式により車両の動作をそれぞれ検知する複数の回路のいずれか１つを選択する選択回路８０が設けられている。選択回路８０には、異なる検知方式により車両の動作を検知する回路として、タイヤの回転信号ｋ１を伝える回転確認回路８１、速度計の速度信号ｋ２を伝える速度確認回路８２、及びその他の動作信号ｋ３を伝える動作確認回路８３が接続されている。動作検知部６０は、選択回路８０によって選択された回路から入力された信号を基に、車両が動作しているか否かを示す出力信号ｐ２を画像比較演算部５０に繰り返し供給する。

　また、画像比較演算部５０には、所定の周期に相当する信号を発生する周期信号発生器４０が接続されている。画像比較演算部５０が比較を行う際の周期は、予め定められた周期として固定の値でなく、周期信号発生器４０からの出力信号ｐ３に従って、適宜、最良の周期に変更可能である。

　本実施形態では、周期信号発生器４０には、少なくとも１本以上（Ｎ本）の周期選択端子４１が設けられている。この周期選択端子４１への入力信号を、例えばＨ／Ｌレベルに切り替えることで、ハードウェアのみで周期を段階的に変更できる。すなわち、周期選択端子４１が１本である場合、２段階の周期を周期信号発生器４０で選択できる。また、Ｎ本(整数)である場合、２Ｎ段階の周期を周期信号発生器４０で選択できる。周期信号発生器４０で選択された出力信号ｐ３が供給された画像比較演算部５０は、選択された出力信号ｐ３に対応する周期で現在の画像データと、少なくとも１つ前の周期で得られた過去の画像データとを比較する。

　なお、周期選択端子４１にＨ／Ｌレベルの信号を入力する代わりに、アナログボリュームで可変自在なレベルの信号を入力しても良い。この場合、周期信号発生器４０と１本の周期選択端子４１の間に、アナログデジタル変換回路（ＡＤＣ）を設けることで、連続的な周期の変更が可能である。

　また、画像比較演算部５０が比較を行う際の周期をソフトウェアで変更しても良い。図８は、画像比較演算部５０によって比較が行われる周期をソフトウェアで変更する際の構成を示すブロック図である。周期信号発生器４０には、周期選択レジスタ４２が接続されている。周期選択レジスタ４２は、ソフトウェアによって設定された値に応じて、周期信号発生器４０に周期を選択するための出力信号ｐ４を出力する。

　周期選択レジスタ４２によって選択される周期の幅（選択幅）は、周期選択レジスタ４２から入力された出力信号ｐ４の本数に依存する。出力信号ｐ４の本数がＭ本である場合、周期信号発生器４０は、２Ｍ段階の周期を選択できる。また、周期信号発生器４０によって選択された出力信号ｐ３を画像比較演算部５０に供給することで、画像比較演算部５０は、選択された出力信号ｐ３に対応する周期で、前述したように、現在の画像データと少なくとも１つ前の周期で得られた過去の画像データとを比較する。

　次に、上記構成の監視システムの動作について説明する。図９は、監視システムの動作手順を示すフローチャートである。この動作は、監視システムに搭載されたマイクコンピュータ内のＣＰＵがメモリに格納された制御プログラムを実行することにより機能として実現され、画像比較演算部５０によって予め定められた周期で繰り返し行われる。

　まず、画像比較演算部５０は、動作検知部６０から入力された出力信号ｐ２に基づいて、車両が動作しているか否かを判別する（ステップＳ１）。車両が動作していないと判別された場合、画像比較演算部５０は、そのまま本処理を終了する。一方、車両が動作していると判別された場合、画像比較演算部５０は、現在の画像データと、少なくとも１つ前の周期で得られた過去の画像データとを比較する（ステップＳ２）。なお、比較される画像データの組み合わせは、前述したものに限らず、複数通りの中から適宜選択可能である。

　画像比較演算部５０は、画像データの比較結果に基づいて、カメラ１０又は画像処理部２０に故障が発生しているか否かを判定する（ステップＳ３）。故障が発生していない場合、画像比較演算部５０はそのまま本処理を終了する。一方、故障が発生している場合、画像比較演算部５０は、故障有りを伝える出力信号ｐ１を画像処理部２０に出力する（ステップＳ４）。画像処理部２０は、出力信号ｐ１が入力されると、カメラ１０又は画像処理部２０の故障時における画像処理を行い、その画像処理情報（故障情報）を示す画像信号ｇ２を出力することにより、表示装置３０を単色表示又は警告表示に変更する。この後、画像比較演算部５０は本処理を終了する。

　第１の実施形態の監視システムによれば、本来出力されるべき画像の前の画像が表示装置３０に表示されたまま、監視システムが何らかの故障で止まった場合、ドライバに対して監視システムの故障を伝えることができる。したがって、ドライバは、監視システムの故障に気付くことができ、バックミラー等の補助機能を使用して車両を安全な場所に一時退避させることで、事故を回避できる。その結果、車両の安全性を向上させることができ、安全性重視のシステムの構築が実現される。

　また、画像処理部２０を介して故障情報を伝達することで、表示画面に警告情報を重畳させたり、警告時の表示画面の色や輝度などの表示態様を変化させることができ、ドライバに注意を喚起することが容易となる。また、車両が動いている時に監視システムの故障をドライバに伝えることができ、事故を回避できる。また、周期を可変にすることで、車両などの移動体の動きに合わせた周期で、監視システムの故障の検知が可能となる。

　なお、画像処理部２０の故障原因としては、ハードウェアやソフトウェアのバグの他、画像処理部２０が別の処理も担当しており、処理量が一時的に増加したことで画像処理が追いつかなくなったような場合も含まれる。

　なお、本実施形態では、故障時の警告を表示装置３０の表示画面で報知していたが、さらに、他の方法を併用して報知することも可能である。

（第２の実施形態）
　図１０は、第１の実施形態の構成に他の警告を報知する装置が付加された監視システムの構成を示すブロック図である。第１の実施形態と同一の構成要素については同一の符号を付すことによりその説明を省略する。以下、第１の実施形態と異なる構成及び動作について説明する。

　図１０に示す監視システムでは、警告発生手段として、画像比較演算部５０からの出力信号ｐ１が入力される警告表示器９０及び警告音発生器９１が設けられている。

　本実施形態においては、画像比較演算部５０によって、画像処理部２０に故障有りを伝える出力信号ｐ１が入力されると共に、警告表示機９０及び警告音発生器９１にも出力信号ｐ１が入力される。表示装置３０による警告表示とは別に、警告表示器９０は警告表示を行う。さらに、警告音発生器９１は警告音を発する。なお、警告表示器９０及び警告音発生器９１のいずれか一方だけが設けられ、動作しても良い。

　これにより、表示装置３０による警告表示とは別に、警告表示器９０が警告表示を行い、さらに、警告音発生器９１が警告音を発することで、ドライバに確実に故障があることの注意を促すことができる。特に、出力信号ｐ１を画像比較演算部５０から直接入力することで、画像処理部２０と表示装置３０との間の機能に故障がある場合でも、ドライバに注意を確実に促すことができる。また、出力信号ｐ１が画像処理部２０、画像メモリ７０を介さず、直接警告表示機９０、警告音発生器９１に入力されることで、故障が検知された際に即座にドライバに故障を知らせることが可能である。

（第３の実施形態）
　図１１は、第３の実施形態の監視システムの構成を示すブロック図である。第１の実施形態と同一の構成要素については説明を省略し、第１の実施形態と異なる構成及び動作について説明する。

　本実施形態においては、第１の実施形態で画像比較演算部５０の中に組み込まれていた画像メモリ７０が画像比較演算部５０の内部ではなく、半導体集積回路２００の外に画像メモリ５１を有する。ここで、画像メモリ７０は画像処理部２０が出力した画像信号を記憶し、それを表示装置３０、画像メモリ５１および画像比較演算部５０に出力する。

　画像メモリ５１は、画像メモリ７０が出力した画像信号を記憶し、それを画像比較演算部５０に出力する。この際、画像比較演算部５０には、画像メモリ７０から入力された画像ｎと画像メモリ５１から入力された画像ｎの一つ前の周期の画像ｎ－１が同時に入力される。そして、画像比較演算部５０は、動作検知部６０によって車両の動作が確認された時、予め定められた周期で、これら画像ｎと画像ｎ－１の比較し、カメラ１０又は画像処理部５０が故障していないか否かを常に確認する。

　この故障の検知では、画像比較演算部５０で画像マッチングが行われ、比較される２枚の画像データ（現在の画像データと過去の画像データ）の類似性が判断される。すなわち、２枚の画像の相関が強い場合、２枚の画像はほぼ同じであると判断され、車両の周囲の状況が変わっても変化しないため、故障有りと判定される。一方、２枚の画像の相関が弱い場合、２枚の画像は異なると判断され、故障無しと判定される。また、故障時には、画像比較演算部５０は、故障有りを伝える出力信号ｐ１を画像処理部２０に出力する。

　画像処理部２０は、出力信号ｐ１が入力されると、カメラ１０又は画像処理部２０の故障時における画像処理を行う。すなわち、画像処理部２０は、画像処理情報（故障情報）を示す画像信号を出力することにより、表示装置３０の表示を単色表示又は警告表示に変更する。なお、画像処理部２０が故障時の画像処理を行い、故障情報を表示装置３０に伝える部分の機能については正常であって、故障が無いことが前提である。

　なお、画像比較演算部５０において故障を検知した場合、以降は画像比較を停止する。その際、表示装置３０は優先して警告表示を行う。

　このように、画像メモリ５１を画像比較演算部５０の内部に画像メモリを持たせるのではなく、半導体集積回路２００の外部メモリを活用することで、半導体集積回路の小型化を図ることが可能である。

　なお、第１の実施形態と同様に、画像比較演算部５０に周期信号発生器４０を接続しても良い。画像比較演算部５０が比較を行う際の周期は、予め定められた周期として固定の値でなく、周期信号発生器４０からの出力信号ｐ３に従って、適宜、最良の周期に変更しても良い。また、その際、周期信号発生器４０に周期選択端子４１又は周期選択レジスタを接続して周期を変更しても良い。また、第１の実施形態と同様に、表示装置３０による警告表示とは別に、警告表示器９０による警告表示又は警告音発生器９１による警告音を発しても良い。

（第４の実施形態）
　図１２は、第４の実施形態の監視システムの構成を示すブロック図である。第１の実施形態と同一の構成要素については説明を省略し、第１の実施形態と異なる構成及び動作について説明する。

　本実施形態においては、第１の実施形態で半導体集積回路の外にあった画像メモリ７０を半導体集積回路３００の内部に有する。その他の実行・処理については第１の実施形態と同様である。

　このように、画像メモリ７０を半導体集積回路の内部に有することで、信号の伝送距離を短く出来、信号伝送の遅延を防止することが可能である。また、半導体集積回路を実装する基板の面積の小型化、消費電力の低減といった効果がある。

　上記第１から第４の実施形態においては、監視システムは車両に適用された場合を示したが、本発明は車両以外の移動体にも同様に適用可能である。車両以外の移動体には、可動式監視カメラ等も含まれる。

　また、上記第１から第４の実施形態では、監視システムは、単に全体として構成されるものとして説明したが、外部のカメラと、外部の表示装置と、その他の各部を内蔵する監視装置とがそれぞれ別体に構成されるものであっても良い。

　なお、本発明は、上記第１から第４の実施形態の構成に限られるものではなく、特許請求の範囲で示した機能、又は上記第１から第４の実施形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。また、本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

　本出願は、2010年3月5日出願の日本特許出願（特願2010－049740）に基づくものであり、その内容はここに参照として取り込まれる。

　本発明に係る監視システムは、本来出力されるべき画像の前の画像が表示装置に表示された際にユーザに故障を伝える監視システム等として有用である。

１、１０　カメラ
２、２０　画像処理部
２１　撮像画像処理部
２２　故障フラグ
２３　警告表示画像生成部
２４　表示画像選択部
３、３０　表示装置
４０　周期信号発生器
４１　周期選択端子
４２　周期選択レジスタ
５０　画像比較演算部
５１　画像メモリ
５１１　画像メモリ５１の中のフレーム１
５２２　画像メモリ５１の中のフレーム２
６０　動作検知部
７０　画像メモリ
７１　画像メモリ７０の中のフレーム１
７２　画像メモリ７０の中のフレーム２
８０　選択回路
８１　回転確認回路
８２　速度確認回路
８３　動作確認回路
９０　警告表示器
９１　警告音発生器
１００、２００、３００　半導体集積回路

Claims

　移動体を監視する監視システムであって、
　周辺画像を撮影して画像信号を出力するカメラと、
　前記カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
　前記画像処理部によって生成された画像データに応じた画像を表示する表示装置と、
　前記移動体が動作していることを検知する動作検知部と、
　前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された第１の画像データと、前記第１の画像データより少なくとも１つ前の周期で生成された第２の画像データとを比較する画像比較部と、を備え、
　前記画像比較部は、
　前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部と、
　前記判定部によって故障していると判定された場合、前記表示装置に故障情報を伝達する伝達部と、を有することを特徴とする監視システム。
　前記画像処理部によって生成された画像データを記憶する第１のメモリと第２のメモリを有し、
　前記第１のメモリは前記第１の画像データを記憶し、
　前記第２のメモリは前記第２の画像データを記憶することを特徴とする請求項１に記載の監視システム。
　前記第１のメモリおよび前記第２のメモリは、それぞれ少なくとも２以上の画像データを記憶することを特徴とする請求項２に記載の監視システム。
　故障を検知した場合、前記画像比較部は画像比較を停止することを特徴とする請求項１から３のいずれか１項に記載の監視システム。
　前記第２のメモリは前記画像比較部内にあることを特徴とする請求項２または３に記載の監視システム。
　前記画像比較部から伝達される故障情報は、前記画像処理部を介して前記表示装置に伝達されることを特徴とする請求項１から５のいずれか１項に記載の監視システム。
　前記表示装置と別に故障を報知する装置を有し、前記画像比較部から伝達される前記故障情報は前記画像処理部を介さずに前記故障を報知する装置に伝達されることを特徴とする請求項６に記載の監視システム。
　前記表示装置は、前記伝達部によって伝達された故障情報に基づき、単色表示又は警告表示を行うことを特徴とする請求項１から７のいずれか１項に記載の監視システム。
　前記移動体が車両である場合、前記動作検知部は、タイヤの回転信号、速度計の速度信号又は動作信号を使用し、前記車両が動作していることを検知することを特徴とする請求項１から７のいずれか１項に記載の監視システム。
　前記画像処理部は、撮像画像処理部と警告表示画像生成部と表示画像選択部とを備え、
　前記表示画像選択部は、前記画像比較部で故障していると判定された場合、
　前記撮像画像処理部によって生成された画像データに優先して、前記警告表示画像生成部が生成した画像データを前記表示装置に表示させることを特徴とする請求項１から９のいずれか１項に記載の監視システム。
　少なくとも前記画像処理部と前記動作検知部と前記画像比較部とは１の半導体集積回路基板上で実現されることを特徴とする請求項１から１０のいずれか１項に記載の監視システム。
　前記第１のメモリまたは前記第２のメモリの少なくとも１つは前記半導体集積回路基板外にある外部メモリであることを特徴とする請求項１１に記載の監視システム。
　前記画像比較部に対し、前記所定の周期に相当する信号を発生する信号発生部を有し、
　前記信号発生部は、前記周期を可変自在なハードウェア、又はハードウェアとソフトウェアの組み合わせで構成されることを特徴とする請求項１乃至３のいずれか１項に記載の監視システム。
　移動体を監視する監視システムの制御方法であって、
　前記移動体を撮影して画像信号を出力するカメラから入力された画像信号を処理して画像データを生成する画像処理ステップと、
　前記画像処理ステップで生成された画像データに応じた画像を表示する表示ステップと、
　前記移動体が動作していることを検知する動作検知ステップと、
　前記画像処理ステップで生成された画像データが所定の周期で入力され、前記動作検知ステップで前記移動体が動作していることが検知された時、前記画像処理ステップで生成された現在の画像データと、当該画像データの生成より少なくとも１つ前の周期で生成された過去の画像データとを比較する画像比較ステップと、
　前記比較の結果、前記カメラ又は画像処理部が故障しているか否かを判定する判定ステップと、
　前記判定ステップで故障していると判定された場合、前記表示装置に故障情報を伝達する伝達ステップと、
を有することを特徴とする監視システムの制御方法。
　カメラから入力された画像信号を処理して画像データを生成する画像処理部と、
　前記移動体が動作していることを検知する動作検知部と、
　前記画像処理部によって生成された画像データが所定の周期で入力され、前記動作検知部によって前記移動体が動作していることが検知された時、前記画像処理部によって生成された第１の画像データと、前記第１の画像データより少なくとも１つ前の周期で生成された第２の画像データとを比較する画像比較部と、を備え、
　前記画像比較部は、
　前記比較の結果、前記カメラ又は前記画像処理部が故障しているか否かを判定する判定部を有し、
　前記判定部によって故障していると判定された場合、故障情報を出力することを特徴とする半導体集積回路。