JP4463126B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4463126B2
JP4463126B2 JP2005038094A JP2005038094A JP4463126B2 JP 4463126 B2 JP4463126 B2 JP 4463126B2 JP 2005038094 A JP2005038094 A JP 2005038094A JP 2005038094 A JP2005038094 A JP 2005038094A JP 4463126 B2 JP4463126 B2 JP 4463126B2
Authority
JP
Japan
Prior art keywords
signal
abnormality
unit
video signal
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005038094A
Other languages
English (en)
Other versions
JP2006229341A (ja
Inventor
隆平 天野
益孝 井上
章弘 前中
治彦 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2005038094A priority Critical patent/JP4463126B2/ja
Publication of JP2006229341A publication Critical patent/JP2006229341A/ja
Application granted granted Critical
Publication of JP4463126B2 publication Critical patent/JP4463126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Description

本発明は、CCD(Charge Coupled Devices)などを用いて撮像対象を撮像する撮像装置に関し、特に、撮像状態の異常を検出する機能を備えた撮像装置に関する。
自動車事故の状況及び原因を客観的に検証するために、自動車に取付けられた撮像装置を用いて事故発生時における周囲の画像(撮像対象の映像情報)を記録する手法が、既に提案されている。この種の撮像装置は、画像(映像情報)を記録するための記録部を有しており、ドライビングレコーダと呼ばれることもある。
この種の撮像装置の撮像によって得られた画像は、常に表示装置に表示されるといったものではなく、通常、事故発生時の前後一定時間の画像が記録部に記録される。この記録部に記録された画像は、事故の原因究明に用いられる。画像が、常に表示装置に表示されるものではないという性質から、仮に撮像装置に何らかの異常が発生していても、その異常の発生を即座に知ることができない。このため、必要な時に正常な画像記録がなされないといった問題が発生しうる。
この問題を解消するべく、下記特許文献1は、撮像装置または記録装置に異常が生じた場合に警告を発することを提案している。
特開平4−245886号公報
画像(映像情報)が正常に記録部に記録されないといった異常状況は、様々な原因によって引き起こされるが、その異常状況を様々な方面から検証し、異常が発生した場合には、自動車の運転者等に異常の発生を確実に知らしめることが重要である。
尚、上記特許文献1に開示された技術では、上記の異常状況の発生を、正確に認識することはできない。
そこで本発明は、撮像部の異常の発生を使用者に確実に知らせることを可能とする撮像装置を提供することを目的とする。
上記目的を達成するために本発明に係る撮像装置は、撮像対象を撮像する撮像部と、前記撮像部から出力される映像信号を映像情報として記録する記録部と、前記映像信号に基づいて該映像信号の異常を検出する信号異常検出部と、前記映像信号に基づいて前記撮像部の視界の異常を検出する視界異常検出部と、前記映像信号の異常及び前記視界の異常の少なくとも一方が検出されたとき、その検出された異常に対応した報知を行う報知部と、を備えたことを特徴とする。
これにより、映像信号の異常や視界の異常に起因して撮像対象を正しく記録できない状況を、使用者に知らせることができる。
具体的には、例えば、前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する輝度信号を含むものであり、前記視界異常検出部は、前記輝度信号に基づいて画素ごとに輝度のエッジ成分を算出するエッジ成分算出部と、前記再生画面の所定範囲内の画素におけるエッジ成分の総和に応じた値を算出するエッジ成分合算部と、を備えており、前記視界異常検出部は、その総和に応じた値が予め定めた第1期間以上、継続して所定の第1閾値以下となるとき、前記視界が異常であると判断する。
また、具体的には、例えば、前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する輝度信号を含むものであり、前記信号異常検出部は、前記再生画面の所定範囲内の画素における輝度の総和に応じた値を算出する輝度レベル検出部を備えており、前記信号異常検出部は、その総和に応じた値が予め定めた第2期間以上、継続して所定の第2閾値以下となるとき、前記映像信号が異常であると判断する。
また、具体的には、例えば、前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する輝度信号を含むものであり、前記信号異常検出部は、前記再生画面の所定範囲内の画素における輝度の変動成分の大きさを、画素ごとに算出した後、各変動成分の大きさの総和に応じた値を算出する輝度変動検出部を備えており、前記信号異常検出部は、その総和に応じた値が予め定めた第3期間以上、継続して所定の第3閾値以下となるとき、前記映像信号が異常であると判断する。
また、具体的には、例えば、前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する第1色差信号及び第2色差信号を含むものであり、前記信号異常検出部は、前記再生画面の所定範囲内の画素における第1色差信号の値と所定の第1基準値との差に相当する第1差分値の大きさを、画素ごとに算出した後、各第1差分値の大きさの総和に応じた値を算出する色差変動検出部を備えており、前記信号異常検出部は、その総和に応じた値が予め定めた第4期間以上、継続して所定の第4閾値以下となるとき、前記映像信号が異常であると判断する。
また、具体的には、例えば、前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する第1色差信号及び第2色差信号を含むものであり、前記信号異常検出部は、前記再生画面の所定範囲内の画素における第1色差信号の値と所定の第1基準値との差に相当する第1差分値の大きさを、画素ごとに算出した後、各第1差分値の大きさの総和に応じた値を算出するとともに、前記所定範囲内の画素における第2色差信号の値と所定の第2基準値との差に相当する第2差分値の大きさを、画素ごとに算出した後、各第2差分値の大きさの総和に応じた値を算出する色差変動検出部を備えており、前記信号異常検出部は、第1差分値の総和に応じた値が予め定めた第4期間以上、継続して所定の第4閾値以下となり、且つ、第2差分値の総和に応じた値が予め定めた第5期間以上、継続して所定の第5閾値以下となるとき、前記映像信号が異常であると判断する。
また、具体的には、例えば、前記信号異常検出部は、前記映像信号に含まれている同期信号が異常であるか否かを検出する同期異常検出部を備えており、前記信号異常検出部は、前記同期信号が異常であると判断されるとき、前記映像信号が異常であると判断する。
上記視界異常検出部についての記載中、及び上記信号異常検出部についての記載中にある「総和に応じた値」とは、例えば、総和そのものであり、また例えば、総和を上記所定範囲内の画素の個数で割った値(総和に比例する値)であり、また例えば、総和に何らかの補正値を加算した値である。
また、例えば、前記撮像装置は、エンジンを有した移動体に取付けられ、前記報知部は、前記エンジンの始動時に前記報知を行うようにしてもよい。
これにより、使用者は異常の発生を確実に知ることができると共に、撮像装置に何らかのメンテナンスを施そうとする意欲が増大する。これにより、撮像装置が正常に保たれる確率が増大し、事故が発生した際の原因究明が促進される。
また、例えば、前記エンジンの始動時における前記報知が行われた後、その報知に対応する異常が解消されることなく前記エンジンの始動がn回行われたとき(nは自然数)、前記報知部は、前記報知と異なる内容の報知を行うようにしてもよい。
例えば、「前記報知と異なる内容の報知」を、使用者にメンテナンス等の必要性を強く訴える内容とすれば、メンテナンスを施そうとする意欲がより増大する。これにより、撮像装置が正常に保たれる確率が増大し、事故が発生した際の原因究明が促進される。
また、例えば、前記報知部は、当該撮像装置の修理情報を提供可能な窓口に関する情報を、外部の表示装置に表示させることにより、前記報知を行うようにしてもよい。
上記の報知を行う事は、撮像装置に何らかのメンテナンスを施そうとする意欲の増大に寄与する。
また、例えば、前記視界の異常が検出されたとき、その視界の異常を解消するための洗浄動作を行う洗浄手段を、更に備えるようにしてもよい。
また、例えば、前記記録部は、前記映像信号の異常及び前記視界の異常の少なくとも一方が検出されたとき、その検出された異常に対応した情報を前記映像情報に関連付けて記録するようにしてもよい。
上記のようにすれば、事故の原因を究明するべく記録部に記録された映像情報を利用する際、上記の異常に対応した情報を映像情報とあわせて参照することができる。何らかの異常が存在していたときの映像情報は、証拠としての信頼性が比較的低い。つまり、上記のように構成することにより、記録された映像情報の信頼性が評価可能となる。
上述した通り、本発明に係る撮像装置によれば、撮像部の異常の発生を使用者に確実に知らせることが可能となる。
以下、本発明の実施形態につき、図面に沿って具体的に説明する。図1は、本発明の実施の形態に係る撮像装置1が車両60に取付けられている様子を示す図である。
車両60にはルームミラー61が運転席の前方に備えられており、撮像装置1は、車両60の前方(進行方向)にある撮像対象(風景)を撮像(撮影)できるように、ルームミラー61の裏側などに取付けられる。車両60における撮像装置1の取付け場所は、ルームミラー61に限られない。例えば、車両60のルーフやサイドミラー(不図示)等に取付けてもよい。また、必要に応じて、車両60の後方(進行方向と反対側)にある撮像対象(風景)を撮像できるように、車両60の任意の箇所に撮像装置1を取付けても良いし、車両60内外のその他の方向の撮像対象(風景)を撮像できるように、車両60の任意の箇所に撮像装置1を取付けるようにしても良い。
車両60には、撮像装置1と撮像対象との間に配置されるフロントガラス63と、車両60を前方や後方に移動させるためのエンジン66と、エンジン66を始動させるためのイグニッションスイッチ65と、車両60の加速度を検出する加速度センサ62と、カーナビゲーションシステム等に用いられる液晶ディスプレイ等の表示装置64と、フロントガラス63の撮像対象側(車両60の外側)に付着した水滴等を拭き取るためのワイパー67と、が備えられている。
図2は、図1の撮像装置1の構成を表すブロック図である。図1の撮像装置1は、撮像部2と、撮像部2の視界の異常を検出する視界異常検出部3と、撮像部2から出力される映像信号の異常を検出する信号異常検出部4と、視界異常検出部3の検出結果及び信号異常検出部4の検出結果に基づいて撮像部2の異常状態を判定し、その判定結果を報知部6、信号処理部7、判定履歴記録部9及び比較部10に伝達する異常状態判定部5と、撮像部2に異常があったとき、その旨を使用者に報知する報知部6と、撮像部2から出力される映像信号に適切な処理を施して映像情報を作成し、それを記録部8に出力するとともに、撮像部2に異常があったときには、その異常内容を映像情報に関連付けて記録部8に出力する信号処理部7と、信号処理部7の出力を受け、撮像部2からの映像信号を映像情報として記録する記録部8と、異常状態判定部5による判定結果を判定履歴として記録する判定履歴記録部9と、その判定履歴と現時点の異常状態判定部5の判定結果とを比較する比較部10と、洗浄部11と、を有して構成される。
図3は、撮像部2の構成を示す図である。レンズ21は、撮像対象に応じた画像を3つのCCD(Charge Coupled Devices)23、24、25に結像させる。尚、レンズ21の撮像対象側に、レンズ21を保護するためのレンズ保護カバー(不図示)などを配置させてもよい。ダイクロイックプリズム22は、レンズ21を介して入射した光束を赤(R)、緑(G)、青(B)の3原色に分光する。CCD23は、赤の分光成分を受光し、それを電気信号に変換する。CCD24は、緑の分光成分を受光し、それを電気信号に変換する。CCD25は、青の分光成分を受光し、それを電気信号に変換する。
画像処理回路26は、CCD23にて変換された電気信号、CCD24にて変換された電気信号、及びCCD25にて変換された電気信号に基づいて、NTSC(National Television Standards Committee)方式の映像信号を生成する。この映像信号は、撮像部2からの映像信号として、信号処理部7、信号異常検出部3及び視界異常検出部4に供給される。尚、説明の具体化のため、画像処理回路26が生成する映像信号がNTSC方式に従ったものであるとして説明するが、他の方式に従って映像信号を生成しても構わない。また、撮像部2として3板式の構成を例示したが、カラーフィルタを用いた単板式の撮像部(不図示)などを撮像部2として採用してもよいのは勿論である。また、画像処理回路26は、CCD23、24及び25の動作の制御も行っている。
画像処理回路26にて生成され、出力される映像信号には、輝度信号Y、色差信号R−Y、色差信号B−Y、及び同期信号(水平同期信号と垂直同期信号)が含まれている。CCD23が受光する赤の分光成分の強度を示す値、CCD24が受光する緑の分光成分の強度を示す値及びCCD25が受光する青の分光成分の強度を示す値を、それぞれER、EG及びEBとし、輝度信号Yの強度を示す値、色差信号R−Yの強度を示す値及び色差信号B−Yの強度を示す値を、それぞれEY、ER-Y及びEB-Yとする。また、色差信号G−Yの強度を示す値を、EG-Yとする。そうすると、例えば、4つの等式から成る下式(1)が成立する。
Y = 0.3ER+0.59EG+0.11EB
R-Y = 0.7ER−0.59EG−0.11EB
G-Y =−0.3ER+0.41EG−0.11EB
B-Y =−0.3ER+0.41EG+0.89EB ・・・(1)
信号処理部7(図2)は、撮像部2からの映像信号に対して画質補正や画像圧縮などの処理を施す。その画質補正などが経て得られた映像情報(上記映像信号をデータで表したもの)は、記録部8に与えられ、その映像情報は記録部8によって記録される。記録部8は、例えば、メモリカードやビデオテープ等の記録媒体である。
上述の如く、車両60には加速度センサ62が備えられており、検出された加速度が所定の閾値を超えたとき、事故などが発生したものとして記録指令信号が加速度センサ62から撮像装置1に伝送される。撮像装置1は、記録指令信号を受けた時点を基準として、前後一定時間の映像信号(映像情報)を記録部8に記録させるようにしている。この記録部8に記録された映像信号(映像情報)は、事故発生時の前後の状況を表す証拠として残されることになる。尚、上記の一定時間の映像情報の記録を可能とするために、信号処理部7と記録部8との間には、DRAM(Dynamic Random Access Memory)等の半導体メモリから成るバッファメモリが備えられている(不図示)。このバッファメモリは、信号処理部7から与えられる映像信号(映像情報)を一時的に記憶する。一時的に記憶された映像信号(映像情報)の一部が、上記記録指令信号に応じて記録部8に記録されることになる。また、上記の一定時間以外における映像信号(映像情報)を記録部8に記録させるようにしても構わない。以下の説明における記録部8の映像信号(映像情報)の記録動作は、任意のタイミングにおける記録動作である。
(視界異常検出部)
図4は、撮像部2から出力される映像信号を、表示装置64などの表示装置に画像として表示させた場合の再生画面(再生画像)を表している。図4の再生画面は、二次元配列された複数の画素(例えば、640×480の画素)から構成されている。但し、図4における4本の点線は、視界異常検出部3の動作を説明するために設けたものであって、実際の再生画面には現れない。
視界異常検出部3は、映像信号に含まれる輝度信号Yに基づいて、撮像部2の視界の異常を検出する。図4の再生画面を参照しながら、視界異常検出部3の動作について説明する。視界異常検出部3は、図4の再生画面を9つの領域A1、A2、A3、A4、A5、A6、A7、A8及びA9に分割し、夫々の領域ごとに、エッジ成分の総和を算出する。図5は、視界異常検出部3の構成を示すものである。視界異常検出部3は、映像信号に含まれる輝度信号Yに基づいて画素ごとに輝度のエッジ成分を算出するエッジ成分算出部31と、エッジ成分の総和を分割された領域ごとに算出するエッジ成分合算部32と、を有して構成される。
視界異常検出部3の動作を、あるタイミングにおける領域A5に着目して説明する。このタイミングにおいては、撮像部2の視界は正常であったとする(以下、このタイミングを「視界正常時」という)。図6(a)は、視界正常時における領域A5の各画素の輝度を表したものである。図6(b)は、視界正常時における領域A5の各画素のエッジ成分を表したものである。図6(c)は、視界正常時における領域A5の各画素のエッジ成分を二値化したものを表している。
領域A5は、画素D1、D2、D3、D4、D5、D6、D7、D8及びD9から構成されている。画素D1、D2、D3、D4、D5、D6、D7、D8及びD9のエッジ成分を、それぞれGD1、GD2、GD3、GD4、GD5、GD6、GD7、GD8及びGD9とする。実際は、領域A5及び他の各領域は、(数10〜数100)×(数10〜数100)の二次元配列された画素を有して構成されている。
今、説明の簡略化のため、輝度信号Yにて表される各画素D1〜D9の輝度が、4ビットの0〜15にて数値化されるものとして考える。輝度の数値が大きければ大きいほど、輝度が大きいものとする。実際の輝度は、8ビットや10ビット等にて数値化される。画素D5を基準として、画素D2側を左側、画素D8側を右側、画素D4側を上側、画素D6側を下側と定める。
図6(a)に示す如く、画素D1、D2、D3、D4、D5、D6、D7、D8及びD9の輝度が、それぞれ1、1、2、10、8、8、1、0及び0であったとする。つまり、画素D4、D5及びD6を結ぶ線上に、比較的輝度の高い線があったとする。
この場合、エッジ成分算出部31は、画素D4のエッジ成分GD4を、等式:GD4=(−1)×(画素D1の輝度)+2×(画素D4の輝度)+(―1)×(画素D7の輝度)、に基づいて算出する。このため、GD4=(−1)×1+2×10+(−1)×1=18となる。同様に、エッジ成分算出部31は、画素D5のエッジ成分GD5を、等式:GD5=(−1)×(画素D2の輝度)+2×(画素D5の輝度)+(―1)×(画素D8の輝度)、に基づいて算出する。このため、GD5=(−1)×1+2×8+(−1)×0=15となる。同様に、エッジ成分算出部31は、画素D6のエッジ成分GD6を、等式:GD6=(−1)×(画素D3の輝度)+2×(画素D6の輝度)+(―1)×(画素D9の輝度)、に基づいて算出する。このため、GD6=(−1)×2+2×8+(−1)×0=14となる。
このように、エッジ成分算出部31は、エッジ成分を求めるべき算出対象画素の輝度をEYo、その算出対象画素の左側に隣接する画素の輝度をEYL、その算出対象画素の右側に隣接する画素の輝度をEYRとした場合、算出対象画素のエッジ成分GDoを、下式(2)に従って算出する。
Do=(−1)×EYL+2×EYo+(−1)×EYR ・・・(2)
画素D1、D2及びD3のエッジ成分を算出する際は、領域A5の左側に隣接する領域A2の右端の画素の輝度が用いられる。画素D7、D8及びD9のエッジ成分を算出する際は、領域A5の右側に隣接する領域A8の左端の画素の輝度が用いられる。上記の式(2)に従って、他のエッジ成分GD1、GD2、GD3、GD7、GD8及びGD9も算出されるが、説明の簡略化上、それらは全て3であったとする。
エッジ成分算出部31は、算出した各エッジ成分を、所定の閾値で二値化する。今、この閾値を、例えば8とする。8以上のエッジ成分は「1」とされ、7以下のエッジ成分は「0」とされる。これにより、画素D1、D2、D3、D4、D5、D6、D7、D8及びD9の二値化されたエッジ成分は、図6(c)に示す如く、それぞれ、0、0、0、1、1、1、0、0、0となる。
エッジ成分合算部32は、この二値化されたエッジ成分の総和(以下「総和S1」という)を算出する。上記の例においては、領域A5における二値化されたエッジ成分の総和S1は、0+0+0+1+1+1+0+0+0=3となる。視界異常検出部3は、この総和S1を予め定めた視界閾値(第1閾値)と比較する。この視界閾値は、例えば、2となっている。この場合、総和S1が視界閾値より大きいため(3>2が成立するため)、視界異常検出部3は、撮像部2の領域A5に対応する視界に異常はないと判断する。エッジ成分の総和S1が比較的多いということは、撮像部2が撮像対象の輪郭を正確に捉えていると判断できるからである。そして、視界異常検出部3は、領域A5に関連付けられた視界異常フラグをリセットする(既にリセットされている場合は、その状態を保持)。
視界異常検出部3は、領域A5以外の各領域A1〜A4及びA6〜A9についても、領域A5と同様に、二値化されたエッジ成分の総和を算出し、その総和を視界閾値と比較する。そして、二値化されたエッジ成分の総和が視界閾値より大きいとき、着目した領域に対応する視界に異常はないと判断すると共に、着目した領域に関連付けられた視界異常フラグをリセットする。
尚、視界閾値は、領域A1〜A9間で互いに異なっていてもよいし、互いに一致していてもよい。また、一部が一致し且つ残部が異なっていてもよい。また、視界異常フラグの状態は、例えば、視界異常検出部3の内部メモリ又は異常状態判定部5の内部メモリなどに記憶されている。
次に、レンズ21の表面に、或いはレンズ21を保護するためのレンズ保護カバー(不図示)がある場合は該レンズ保護カバーの表面に、泥や埃などの異物が付着し、その異物が領域A5上に現れた場合(以下、「視界異常時」という)について考える。レンズ21の表面やレンズ保護カバーの表面に傷がついた場合も、上記の視界異常時と同様になる。図7(a)は、視界異常時における領域A5の各画素の輝度を表したものである。図7(b)は、視界異常時における領域A5の各画素のエッジ成分を表したものである。図7(c)は、視界異常時における領域A5の各画素のエッジ成分を二値化したものを表している。
撮像部2は、レンズ21又はCCD23等を基準として、車両60の進行方向側に数10cm(或いは数m)〜数100m程度離れた位置にある撮像対象を、CCD23、24及び25の撮像面上に結像させるように構成されているため、レンズ21の表面等に異物が付着した場合、撮像部2は、その異物の輪郭を捉えることができない。つまり、異物にピントを合わせることができず、映像信号中において異物の輪郭や凹凸は、ぼやけてしまう(エッジと判断されない)。
このため、隣接する画素間の輝度の差異は、全体的に小さくなる。例えば、図7(a)に示す如く、視界異常時における画素D1、D2、D3、D4、D5、D6、D7、D8及びD9の輝度は、それぞれ3、4、3、4、4、5、5、4及び5となる。
この場合、エッジ成分算出部31にて算出される画素D4のエッジ成分GD4は、上記式(2)に従い、GD4=(−1)×3+2×4+(−1)×5=0となる。画素D5のエッジ成分GD5は、GD5=(−1)×4+2×4+(−1)×4=0となる。画素D6のエッジ成分GD6は、GD6=(−1)×3+2×5+(−1)×5=2となる。上記の式(2)に従って、視界異常時における他のエッジ成分GD1、GD2、GD3、GD7、GD8及びGD9も算出されるが、説明の簡略化上、それらは全て2であったとする。
エッジ成分算出部31は、算出した各エッジ成分を、所定の閾値で二値化する。この閾値は、視界正常時の説明と同じく「8」とする。8以上のエッジ成分は「1」とされ、7以下のエッジ成分は「0」とされる。これにより、画素D1、D2、D3、D4、D5、D6、D7、D8及びD9の二値化されたエッジ成分は、図7(c)に示す如く、全て0となる。
エッジ成分合算部32は、この二値化されたエッジ成分の総和S1を算出する。上記の視界異常時では、領域A5における二値化されたエッジ成分の総和S1は、0+0+0+0+0+0+0+0+0=0となる。視界異常検出部3は、この総和S1を上記視界閾値(第1閾値)と比較する。この視界閾値は、例えば、2となっている。この場合、二値化されたエッジ成分の総和S1が視界閾値以下となっているため(或いは視界閾値未満となっているため)、視界異常検出部3は、領域A5に関連付けられた視界異常フラグをセットする(既にセットされている場合は、その状態を保持)。
撮像部2からの映像信号は、例えば毎秒30回、視界異常検出部3に送られてきており、視界異常検出部3は、映像信号ごとに或いは所定の間隔を置いて繰り返し領域A5における総和S1と上記視界閾値とを比較する。そして、領域A5に関連付けられた視界異常フラグが、所定の第1期間(例えば、数10秒〜数分)以上、継続してセットされたままであるとき、即ち、領域A5に対応する二値化されたエッジ成分の総和S1が、第1期間以上、継続して視界閾値以下となっているとき(或いは視界閾値未満となっているとき)、視界異常検出部3は、撮像部2の視界が異常であると判断する。より詳しくは、領域A5に対応する視界が異常であると判断する。撮像部2が撮像対象の輪郭を正確に捉えていなければ、エッジ成分の総和が比較的小さくなる。その状態が一定時間以上継続しておれば、撮像部2の視界が異物等によって遮られている可能性が高いと判断できる。
視界異常検出部3は、領域A5以外の各領域A1〜A4及びA6〜A9についても、領域A5と同様に、二値化されたエッジ成分の総和を算出し、その総和を視界閾値と比較する。着目した領域において、二値化されたエッジ成分の総和が視界閾値以下となっているならば、着目した領域に関連付けられた視界異常フラグをセットする。着目した領域に関連付けられた視界異常フラグが、第1期間以上、継続してセットされたままであるとき、視界異常検出部3は、撮像部2の視界が異常であると判断する。より詳しくは、着目した領域に対応する視界が異常であると判断する。
撮像部2の視界が異常であると判断した場合、視界異常検出部3は、撮像部2の視界が異常であることを示す情報(以下、「視界異常情報」という)を異常状態判定部5に伝達する。この際、どの領域に対応する視界が異常であるかをも含めて異常状態判定部5に伝達するようにしてもよい。一方、撮像部2の視界は異常ではない(即ち、正常である)と判断した場合、視界異常検出部3は、撮像部2の視界が正常であることを示す情報(以下、を視界正常情報という)を異常状態判定部5に伝達する。
視界異常情報を受けた異常状態判定部5は、撮像部2の視界に異常が発生していることに対応する報知を報知部6に行わせる。また、視界異常情報は、異常状態判定部5を介して信号処理部7に伝達され、信号処理部7は映像信号に対応する映像情報に視界異常情報を付加する。記録部8は、視界異常時における映像情報と視界異常情報を関連付けて記録することになる。この視界異常情報を映像情報と合わせて参照することにより、記録部8の映像情報の信頼性が評価可能となる。視界異常時に記録された映像情報は、証拠としての信頼性が比較的低いといえる。
尚、再生画面を9つの領域A1〜A9に分割する例を示したが、分割する領域の数は、幾つであってもよい。場合によっては、再生画面を分割する必要もない。この場合、再生画面全体を対象として、エッジ成分の総和を算出し、その総和を上記視界閾値と比較することになる。
また、二値化されたエッジ成分の総和S1を、領域A5に含まれる画素の個数で割った値、即ち、領域A5における各画素の二値化されたエッジ成分の平均値を、視界閾値と比較しても構わない。この場合、図6(c)の視界正常時における該平均値は「3/9」、図7(c)の視界異常時における該平均値は「0/9」となるため、これに対応させて視界閾値を、それらの区別しうる「2/9」などに設定すればよい。
また、算出したエッジ成分を二値化することは必ずしも必要でなく、二値化前のエッジ成分を総和し、その総和した値を視界閾値と比較してもよい。図6(b)で示した視界正常時におけるエッジ成分の総和は、「3+3+3+18+15+14+3+3+3=65」となり、図7(b)で示した視界異常時におけるエッジ成分の総和は、「2+2+2+0+0+2+2+2+2=14」となるため、これに対応させて視界閾値を、それらの区別しうる「27」などに設定すればよい。
また、二値化前のエッジ成分の総和を、領域A5に含まれる画素の個数で割った値、即ち、領域A5における各画素のエッジ成分(二値化前のエッジ成分)の平均値を、視界閾値と比較しても構わない。この場合、図6(c)の視界正常時における該平均値は「65/9」、図7(c)の視界異常時における該平均値は「14/9」となるため、これに対応させて視界閾値を、それらの区別しうる「3」などに設定すればよい。
また、各画素のエッジ成分を算出する方法として、式(2)のような手法を例示したが、本発明はこのようなエッジ成分の算出法に限定されず、様々な公知のエッジ成分算出法を適用可能である。或る画素についてのエッジ成分を算出する際、左右方向に隣接する画素の輝度との相関を評価するのではなく、上下方向や斜め方向の画素の輝度との相関を評価してもよい。また、これらを組み合わせてもエッジ成分を算出しても構わない。
(信号異常検出部)
次に、信号異常検出部4の動作について説明する。図8は、信号異常検出部4の構成を示すブロック図である。信号異常検出部4は、輝度信号Yに基づいて映像信号が異常であるか否かを判断する輝度レベル検出部41と、輝度信号Yに基づいて映像信号が異常であるか否かを判断する輝度変動検出部42と、色差信号R−Y及び/又は色差信号B−Yに基づいて映像信号が異常であるか否かを判断する色差変動検出部43と、映像信号に含まれる同期信号に基づいて映像信号が異常であるか否かを判断する同期異常検出部44と、を有して構成される。
まず、輝度レベル検出部41の動作について説明する。輝度レベル検出部41は、図4に示されるような再生画面に含まれる所定の範囲内の画素(以下、「評価画素」という)の輝度に着目する。輝度レベル検出部41には、次々と撮像部2から映像信号が送られてくる。輝度レベル検出部41は、輝度信号Yに表されている評価画素の輝度の総和(以下、「総和S2」という)を、映像信号ごと或いは一定の間隔をおいて算出する。
そして、総和S2が、所定の第2期間(例えば、数10秒〜数分)以上、継続して輝度レベル閾値(第2閾値)以下となっているとき(或いは輝度レベル閾値未満となっているとき)、視界異常検出部3は、撮像部2からの映像信号が異常であると判断する。より詳しくは、輝度信号Yが異常であると判断する。
輝度レベル閾値は、再生画面の黒レベルに近い値に設定される。例えば、輝度が4ビットの0〜15にて数値化され、数値の大きい方が輝度の大きい方に対応するとし、且つ評価画素を含む上記所定の範囲を領域A5とするならば、輝度レベル閾値は「9」とされる。輝度が図6(a)のような状態となっているとき、総和S2は、1+1+2+10+8+8+1+0+0=31、となる。31>9であるから、この状態における映像信号は正常であると判断される。他方、総和S2が、4や5となる状態が第2期間以上継続すれば、映像信号は異常であると判断される。総和S2が黒レベルに近い状態が一定時間以上継続しておれば、映像信号が異常である可能性が高い(換言すれば、撮像部2が故障している可能性が高い)からである。
また、総和S2を評価画素の個数で割った値、即ち、輝度の平均値を、輝度レベル閾値と比較しても構わない。この場合、輝度レベル閾値は、上記の例より小さく設定される(例えば、「1」)。
また、総和S2が、所定の期間(例えば、数10秒〜数分)以上、継続して所定の閾値以上となっているときも、撮像部2からの映像信号が異常であると判断するようにしてもよい。より詳しくは、輝度信号Yが異常であると判断するようにしてもよい。この場合の閾値は、再生画面の白レベルに近い値に設定される。
次に、輝度変動検出部42の動作について説明する。輝度変動検出部42は、上記評価画素の輝度の変動成分に着目する。輝度変動検出部42には、次々と撮像部2から映像信号が送られてくる。輝度変動検出部42は、輝度信号Yに表されている評価画素の輝度の変動成分の大きさ(絶対値)を、評価画素ごとに算出した後、各評価画素における変動成分の大きさの総和(以下、「総和S3」という)を算出する。この総和S3の算出は、映像信号ごと或いは一定の間隔をおいて行われる。
例えば、図6の画素D1、D2、D4及びD5が評価画素である場合を考える。前画面(前フレーム)における画素D1、D2、D4及びD5の輝度が、図9(a)に示す如く、それぞれ1、1、10及び8であって、現画面(現フレーム)における画素D1、D2、D4及びD5の輝度が、図9(b)に示す如く、それぞれ4、2、6及び8であるとする。この場合、画素D1、D2、D4及びD5の変動成分(差分値)の大きさは、図9(c)に示す如く、それぞれ、|4−1|=3、|2−1|=1、|6−10|=4、及び|8−8|=0、となる。そうすると、前画面(前フレーム)と現画面(現フレーム)との間における総和S3は、3+1+4+0=8、となる。このように、連続するフレームである前画面(前フレーム)と現画面(現フレーム)との間における総和S3を、次々と算出する。
そして、総和S3が、所定の第3期間(例えば、数10秒〜数分)以上、継続して輝度変動閾値(第3閾値)以下となっているとき(或いは輝度変動閾値未満となっているとき)、視界異常検出部3は、撮像部2からの映像信号が異常であると判断する。より詳しくは、輝度信号Yが異常であると判断する。総和S3が輝度変動閾値以下となっている状態、即ち、輝度があまり変化しない状態が一定時間以上継続しておれば、映像信号が異常である可能性が高い(換言すれば、撮像部2が故障している可能性が高い)からである。
輝度変動閾値は、映像信号の異常と正常を判別しうる値に設定される。例えば、輝度が4ビットの0〜15にて数値化され、数値の大きい方が輝度の大きい方に対応するとすれば、輝度変動閾値は「2」とされる。
また、総和S3を評価画素の個数で割った値、即ち、輝度の変動成分の大きさの平均値を、輝度変動閾値と比較しても構わない。この場合、輝度変動閾値は、上記の例より小さく設定される(例えば、「2/9」)。
次に、色差変動検出部43の動作について説明する。上述のように、撮像部2からの映像信号には、色差信号R−Yと色差信号B−Yが含まれている。表示装置64などの表示装置は、輝度信号Y、色差信号R−Y、色差信号B−Y及び同期信号に基づいて、図4のような再生画面を表示する。色差変動検出部43は、上記評価画素における色差信号の値に着目する。
ここで、色差信号の値とは、上記式(1)にて表される強度ER-Yの値(以下、単に「色差信号値ER-Y」という)及び強度EB-Yの値(以下、単に「色差信号値EB-Y」という)を指す。色差信号値ER-Y及び色差信号値EB-Yは、8ビットにて表現され、夫々0〜255の値をとりうる、として説明する。この場合、色差信号値ER-Yと色差信号値EB-Yの双方が128(或いは128に近い値)と一致する状態は、評価画素を含む領域に色成分がない状態に相当する。尚、色差信号値ER-Y及び色差信号値EB-Yが、−127〜128の値をとりうるようにする変形や、10ビットにて表現されるようにする変形は、もちろん可能である。
色差変動検出部43には、次々と撮像部2から映像信号が送られてくる。色差変動検出部43は、評価画素における色差信号値ER-Yと所定の第1基準値との差分値(以下、「第1差分値」という)の大きさを、評価画素ごとに算出した後、各評価画素における第1差分値の大きさの総和(以下、「総和S4」という)を算出する。同様に、色差変動検出部43は、評価画素における色差信号値EB-Yと所定の第2基準値との差分値(以下、「第2差分値」という)の大きさを、評価画素ごとに算出した後、各評価画素における第2差分値の大きさの総和(以下、「総和S5」という)を算出する。総和S4及びS5の算出は、映像信号ごと或いは一定の間隔をおいて行われる。
ここで、第1基準値と第2差分値は、双方128に設定されている。但し、第1基準値を128と異なる値に設定しても構わないし、第2基準値を128と異なる値に設定しても構わない。また、第1基準値と第2基準値を異なる値としても構わない。
例えば、図6の画素D1、D2、D4及びD5が評価画素である場合を考える。或るフレームにおける画素D1、D2、D4及びD5の色差信号値ER-Yが、図10(a)に示す如く、それぞれ215、108、160及び83である場合、画素D1、D2、D4及びD5の第1差分値の大きさは、図10(b)に示す如く、それぞれ、|215−128|=87、|108−128|=20、|160−128|=32、及び|83−128|=45、となる。そうすると、総和S4は、87+20+32+45=184、となる。同様に、総和S5も算出される。
そして、総和S4が、所定の第4期間(例えば、数10秒〜数分)以上、継続して色差変動閾値α(第4閾値)以下となっており(或いは色差変動閾値α未満となっており)、且つ、総和S5が、所定の第5期間(例えば、数10秒〜数分)以上、継続して色差変動閾値β(第5閾値)以下となっている(或いは色差変動閾値β未満となっている)とき、視界異常検出部3は、撮像部2からの映像信号が異常であると判断する。より詳しくは、色差信号(色差信号R−Y及び色差信号B−Y)が異常であると判断する。総和S4が色差変動閾値α以下であり且つ総和S5が色差変動閾値β以下である状態、即ち、評価画素に含む領域に色成分がない(或いは色成分が殆どない)状態が一定時間以上継続しておれば、映像信号が異常である可能性が高い(換言すれば、撮像部2が故障している可能性が高い)からである。
色差変動閾値αと色差変動閾値βは、映像信号の異常と正常を判別しうる値に設定される。例えば、色差変動閾値αと色差変動閾値βは、1〜20の範囲内で設定される。色差変動閾値αと色差変動閾値βは互いに一致していても良いし、互いに異なっていてもよい。
また、総和S4を評価画素の個数で割った値、即ち、色差信号値ER-Yの大きさの平均値を、色差変動閾値αと比較しても構わない。この場合、色差変動閾値αは、上記の例より小さく設定される(例えば、1〜5)。同様に、総和S5を評価画素の個数で割った値、即ち、色差信号値EB-Yの大きさの平均値を、色差変動閾値βと比較しても構わない。この場合、色差変動閾値βは、上記の例より小さく設定される(例えば、1〜5)。
また、総和S5の如何に拘わらず、総和S4が、所定の第4期間(例えば、数10秒〜数分)以上、継続して色差変動閾値α(第4閾値)以下となっている(或いは色差変動閾値α未満となっている)という条件の成立を以って、映像信号が異常であると判断しても構わない。逆に、総和S4の如何に拘わらず、総和S5が、所定の第5期間(例えば、数10秒〜数分)以上、継続して色差変動閾値β(第5閾値)以下となっている(或いは色差変動閾値β未満となっている)という条件の成立を以って、映像信号が異常であると判断しても構わない。但し、映像信号の異常の誤検出を確実に防止するという観点から、上述の如く、総和S4とS5の双方の値を評価することが望ましい。
輝度レベル検出部41が着目する評価画素を含む領域と、輝度変動検出部42が着目する評価画素を含む領域と、色差変動検出部43が着目する評価画素を含む領域は、全て一致しているとして、上記の説明を行ったが、それらは、互いに異なっていても構わない。また、輝度変動検出部42が着目する評価画素と、色差変動検出部43が着目する評価画素は、単一の画素であっても構わない。評価画素が単一の画素の場合、総和S3は評価画素における輝度の変動成分の大きさと一致し、総和S4は評価画素における第1差分値の大きさと一致し、総和S5は評価画素における第2差分値の大きさと一致することになる。
次に、同期異常検出部44の動作について説明する。同期異常検出部44は、撮像部2からの映像信号に含まれる同期信号(水平同期信号及び/又は垂直同期信号)に異常があるか否かを検出する。そして、同期信号に異常があると判断されるとき、視界異常検出部3は、撮像部2からの映像信号が異常であると判断する。より詳しくは、同期信号(水平同期信号及び/又は垂直同期信号)が異常であると判断する。
撮像部2を構成するCCD23、24及び25の画素数や、フレームレートは予め決まっているため、水平同期信号や垂直同期信号の本来あるべき波形(即ち、水平同期信号や垂直同期信号が正常である場合の波形;以下「基準波形」という)は、おのずと決まる。同期異常検出部44は、この基準波形の位相と撮像部2からの映像信号の位相とを比較することにより、同期信号が異常であるか否かを判断する。例えば、一定以上の位相のずれが検出されるときに、同期信号が異常であると判断する。
また、このような手法に代えて、水平同期信号(又は垂直同期信号)が所定の期間内に幾つ存在しているかを計数し、その計数した数を所定の基準値と比較するようにしてもよい。水平同期信号(又は垂直同期信号)が正常である場合において、上記の所定の期間内に存在することになる水平同期信号(又は垂直同期信号)の数が、上記基準値として設定される。CCD23、24及び25における画素の行方向と列方向の配列状況と、フレームレートが定まれば、上記基準値は、おのずと定まる。例えば、所定の期間内における水平同期信号(又は垂直同期信号)の数が、上記基準値から一定値以上、乖離する場合、同期信号が異常であると判断する。
(信号異常時の動作)
輝度レベル検出部41によって検出された「映像信号(輝度信号Y)に異常が発生していることを示す情報(以下、輝度レベル異常情報という)」、輝度変動検出部42によって検出された「映像信号(輝度信号Y)に異常が発生していることを示す情報(以下、輝度変動異常情報という)」、色差変動検出部43によって検出された「映像信号(色差信号)に異常が発生していることを示す情報(以下、色差異常情報という)」、及び同期異常検出部44によって検出された「映像信号(同期信号)に異常が発生していることを示す情報(以下、同期異常情報という)」は、それぞれ異常状態判定部5に伝達される。輝度レベル異常情報、輝度変動異常情報、色差異常情報及び同期異常情報を統括したものを、以下「信号異常情報」という。また。信号異常検出部4によって「映像信号に異常が発生している」と判断されているタイミングを、以下「信号異常時」という。
信号異常情報を受けた異常状態判定部5は、映像信号に異常が発生していることに対応する報知、或るいは撮像部2の故障発生を知らせるための報知を、報知部6に行わせる。この際、受けた異常情報に応じて報知内容を異ならせるようにしてもよい。
信号異常検出部3から送出された輝度レベル異常情報、輝度変動異常情報、色差異常情報及び同期異常情報は、異常状態判定部5を介して信号処理部7に伝達される。信号処理部7は映像信号に対応した映像情報に、伝達された輝度レベル異常情報、輝度変動異常情報、色差異常情報及び同期異常情報を付加する。この際、輝度レベル異常情報、輝度変動異常情報、色差異常情報及び同期異常情報を、区別することなく、単に映像信号の異常を示す情報を付加するようにしても構わない。信号異常時における映像情報に信号異常情報が付加されるので、記録部8は、その映像情報と信号異常情報を関連付けて記録することになる。この信号異常情報を映像情報と合わせて参照することにより、記録部8の映像情報の信頼性が評価可能となる。
(報知部)
報知部6は、撮像部2の視界に異常が発生していることに対応する報知や、映像信号に異常が発生していることに対応する報知(以下、それらを統括して「異常報知」という)を、LED(Light Emitting Diode)等の発光素子による発光や音声の出力などによって行う。
また、上記の発光等と同時に或いは上記の発光等に代えて、車両60に備えられた表示装置64に、撮像部2の視界に異常が発生していることを示す表示や、映像信号に異常が発生していることを示す表示を行わせるようにしてもよい。これらの表示も「異常報知」の一種である。表示装置64は、報知部6からの制御信号によって制御される外部装置(撮像装置1の外部装置)と捉えることができる。上記の制御信号は、報知部6から有線又は無線によって表示装置64の伝達される。尚、表示装置64は、報知部6に備えられているものと考えても良い。この場合、撮像装置1は表示装置64をも含んで構成されることになる。また、図1の状況とは異なるが、表示装置64自体を、撮像装置1の内部に組み込んでもよい。
報知部6は、上記の異常報知を、エンジン66(図1参照)の始動時に行う。より詳しくは、イグニッションスイッチ65をオンすることにより、エンジン66が動作していない状態から動作している状態に切り換わった時点、或いはその時点から所定時間(例えば、数ミリ秒〜数秒)の経過後、異常報知を開始する。これにより、車両60の運転者等は視界異常の発生等を確実に知ることができると共に、撮像装置1に何らかのメンテナンスを施そうとする意欲が増大する。また、エンジン66の始動時であれば、表示装置64を異常報知用に用いても、ナビゲーションシステムの動作を阻害するといったことはない。
尚、この異常報知は、使用者の操作によって解除することができる。また、エンジン66の始動時でなくとも、上記の異常報知を報知部6に行わせるようにしてもよい。例えば、異常状態判定部5が視界異常情報や信号異常情報を受けた際、直ちに報知部6に異常報知を行わせてもよい。
異常状態判定部5が受けた視界異常情報及び信号異常情報は、履歴として判定履歴記録部9に記録される。今、視界異常または信号異常が検出され、エンジン66の始動時に1回目の異常報知(以下、「第1の異常報知」という)が行われた後、エンジン66が停止したとする。次回、エンジン66の始動が行われると、比較部10は判定履歴記録部9の記録内容と現状の視界の状態及び映像信号の状態(即ち、現時点における視界異常情報及び信号異常情報の有無)とを比較する。そして、第1の異常報知で示した異常内容が、解消されていないとき、比較部10は異常状態判定部5と協働して、第1の異常報知と異なる内容の異常報知(以下、「第2の異常報知」という)を行わせる。
例えば、第1の異常報知において、視界の異常に関する報知を行ったにも拘わらず、次回のエンジン66始動以降における視界異常検出部3の動作によって、視界の異常が再度検出された場合、第1の異常報知と異なる内容の第2の異常報知を行うのである。第2の異常報知は、車両60の運転者等にメンテナンス等の必要性を強く訴える内容又はメンテナンスを施そうとする意欲をより増大させる内容とする。例えば、撮像装置1の修理情報(修理等を行うために必要な情報)を提供可能な窓口(所謂サービスセンターなど)に関する情報(連絡先及び/又は場所;以下「窓口情報」という)を、報知内容に含ませる。表示装置64と協働すれば、その窓口情報を表示することができる。窓口情報は、例えば、記録部8や図示されない他の記録部などに予め記録されている。また、上記の窓口が複数存在する場合、その全ての窓口に関する窓口情報を報知可能なように構成しておくとよい。但し、第2の異常報知だけでなく第1の異常報知にも、窓口情報の報知を含ませても構わない。
また、表示装置64(又は撮像装置1)が、GPS(Global Positioning System)衛星から送られてくる位置情報(車両60、表示装置64又は撮像装置1の現在値を知るための情報)を受信する受信部(不図示)と、DVD(Digital Versatile Disk)などから、車両60、表示装置64又は撮像装置1の周辺の地図に関する地図情報を取得可能な地図取得部(不図示)と、受信した位置情報に基づいて車両60、表示装置64又は撮像装置1の現在地を計測する現在地計測部(不図示)と、を有していて、受信した位置情報、取得した地図情報及び計測された現在地に基づいて車両60、表示装置64又は撮像装置1の周辺地図及び上記現在地を表示可能となっている場合、それらの機能を用い、最寄りの窓口の窓口情報を、車両60の運転者等に提供することによって、異常報知(第1の異常報知及び/又は第2の異常報知)を行ってもよい。この際、車両60を、その最寄りの窓口まで誘導するような表示(所謂ナビゲーション)を行っても良い。上記位置情報と上記地図情報と上記現在地に基づいて、複数ある窓口の中から最寄りの窓口が割り出される。
第1の異常報知を行った後、次にエンジン66を始動した際において第1の異常報知で示した異常内容が解消されていないとき、第2の異常報知を行う例を上述したが、エンジン66の始動を複数回繰り返しても第1の異常報知で示した異常内容が解消されないときに、初めて第2の異常報知を行うようにしても構わない。つまり、第1の異常報知が行われた後、その第1の異常報知に対応する異常が解消されることなく、エンジン66の始動がn回(nは任意の自然数)行われたときに、初めて第2の異常報知を行うようにしてもよい。尚、一旦第2の異常報知が行われた後は、その第2の異常報知に対応する異常が解消されるまで、行われる異常報知は第2の異常報知とされる。
(洗浄部)
次に、洗浄部11(図2参照)の動作について説明する。視界異常検出部3によって撮像部2の視界が異常であると判断されたとき、視界異常検出部3(又は異常状態判定部5)は、洗浄部11に洗浄指令信号を出力する。これを受けた洗浄部11は、視界の異常を解消するための洗浄動作を行う。
洗浄部11は、例えば、レンズ21(図3)の撮像対象側の表面に付着した泥や埃などの異物を拭き取るためのワイパー(不図示)である。また、例えば、その異物の付着を剥離するために気体を送出(噴射)する気体送出器(ブロア;不図示)である。また、レンズ21の撮像対象側に、レンズ21を保護するためのレンズ保護カバー(不図示)が配置されている場合、上記ワイパーはレンズ保護カバーの撮像対象側の表面に付着した異物を拭き取る役目を担うことになり、上記気体送出器はレンズ保護カバーの撮像対象側の表面に付着した異物を剥離する役目を担う。尚、上記のワイパー及び気体送出器の双方を備えるようにしても構わない。また、上記のワイパーの動作を行う際には、洗浄液を併用するようにするとよい。
また、撮像装置1が、図1に示す如く、フロントガラス63にワイパー67を備えた車両60の内側に取付けられ、そのワイパー67が横切る領域のフロントガラス63を介して車両60の進行方向に位置する撮像対象を撮像するものである場合、ワイパー67を動作させることによって、上記洗浄動作を行っても良い。具体的には、例えば、車両60にワイパー67の動作を制御する制御部(不図示)を備えるようにし、撮像部2の視界が異常であると判断されたとき、洗浄部11は、ワイパー駆動信号を有線又は無線にて上記制御部に送出する。そして、ワイパー駆動信号を受けた制御部は、ワイパー67を一定時間、動作させる。これにより、撮像対象の撮像を阻害する異物がフロントガラス63から除去される。
撮像装置1の設置状況等によっては、フロントガラス63に付着した異物の輪郭は、撮像においてぼやけてしまう。つまり、撮像部2の視界が異常であると判断せしめる原因は、フロントガラス63に付着した異物である可能性がある。従って、上記のようにワイパー67を動作させることにより、視界異常が解消する場合がある。
(変形例)
撮像部2の視界が異常であると判断されたときや、映像信号が異常であると判断されたとき、記録部8は、その異常に対応した情報(上記視界異常情報など)を映像情報に関連付けて記録する、と上述した。これに代えて、撮像部2の視界が異常であると判断されたときや、映像信号が異常であると判断されたときには、記録部8よる記録動作を停止するようにしてもよい。
本発明に係る実施形態の説明において、図2に示すような撮像装置1を例示したが、本発明において、判定履歴記録部9及び比較部10は、必ずしも必要ではない。同様に、本発明において、洗浄部11は必ずしも必要ではない。
また、本発明に係る撮像装置は、自動車や二輪車(所謂オートバイや電動自転車)等の車両の他、様々な移動体に搭載することが可能である。また、本発明に係る撮像装置は、移動体以外にも取付け可能である。例えば、信号機や標識等に取付けるようにしてもよい。
また、撮像装置1と加速度センサ62が別体である実施形態を例示したが(図1参照)、加速度センサ62を撮像装置1に内蔵させても構わない。
本発明に係る撮像装置によれば、撮像部の異常の発生を使用者に確実に知らせることが可能となる。
本発明の実施の形態に係る撮像装置が車両に取付けられている様子を示す図である。 図1の撮像装置の構成を表すブロック図である。 図2の撮像部の構成を示す図である。 図2の撮像部から出力される映像信号を画像として表示させた場合の再生画面の一例を示す図である。 図2の視界異常検出部の構成を示す図である。 図2の視界異常検出部の動作を説明するための図である。 図2の視界異常検出部の動作を説明するための図である。 図2の信号異常検出部の構成を示す図である。 図8の輝度変動検出部の動作を説明するための図である。 図8の色差変動検出部の動作を説明するための図である。
符号の説明
1 撮像装置
2 撮像部
3 視界異常検出部
4 信号異常検出部
5 異常状態判定部
6 報知部
7 信号処理部
8 記録部
9 判定履歴記録部
10 比較部
11 洗浄部
21 レンズ
22 ダイクロイックプリズム
23、24、25 CCD
26 画像処理回路
31 エッジ成分算出部
32 エッジ成分合算部
41 輝度レベル検出部
42 輝度変動検出部
43 色差変動検出部
44 同期異常検出部
60 車両
61 ルームミラー
62 加速度センサ
63 フロントガラス
64 表示装置
65 イグニッションスイッチ
66 エンジン
67 ワイパー
D1〜D9 画素

Claims (11)

  1. 撮像対象を撮像し、複数の画素から構成された再生画面に対する輝度信号を含む映像信号を出力する撮像部と、
    前記撮像部から出力される映像信号を映像情報として記録する記録部と、
    前記映像信号に基づいて該映像信号の異常を検出する信号異常検出部と、
    前記映像信号に基づいて前記撮像部の視界の異常を検出する視界異常検出部と、
    前記映像信号の異常及び前記視界の異常の少なくとも一方が検出されたとき、その検出された異常に対応した報知を行う報知部と、を備え、
    前記視界異常検出部は、前記輝度信号に基づいて画素ごとに輝度のエッジ成分を算出するエッジ成分算出部と、前記再生画面の所定範囲内の画素におけるエッジ成分の総和に応じた値を算出するエッジ成分合算部をさらに備え、当該エッジ成分の総和に応じた値が予め定めた第1期間以上、継続して所定の第1閾値以下となるとき、前記視界が異常であると判断することを特徴とする撮像装置。
  2. 前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する輝度信号を含むものであり、
    前記信号異常検出部は、前記再生画面の所定範囲内の画素における輝度の総和に応じた値を算出する輝度レベル検出部を備えており、
    前記信号異常検出部は、その総和に応じた値が予め定めた第2期間以上、継続して所定の第2閾値以下となるとき、前記映像信号が異常であると判断することを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する輝度信号を含むものであり、
    前記信号異常検出部は、前記再生画面の所定範囲内の画素における輝度の変動成分の大きさを、画素ごとに算出した後、各変動成分の大きさの総和に応じた値を算出する輝度変動検出部を備えており、
    前記信号異常検出部は、その総和に応じた値が予め定めた第3期間以上、継続して所定の第3閾値以下となるとき、前記映像信号が異常であると判断することを特徴とする請求項1に記載の撮像装置。
  4. 前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する第1色差信号及び第2色差信号を含むものであり、
    前記信号異常検出部は、前記再生画面の所定範囲内の画素における第1色差信号の値と所定の第1基準値との差に相当する第1差分値の大きさを、画素ごとに算出した後、各第1差分値の大きさの総和に応じた値を算出する色差変動検出部を備えており、
    前記信号異常検出部は、その総和に応じた値が予め定めた第4期間以上、継続して所定の第4閾値以下となるとき、前記映像信号が異常であると判断することを特徴とする請求項1に記載の撮像装置。
  5. 前記撮像部から出力される前記映像信号は、複数の画素から構成された再生画面に対する第1色差信号及び第2色差信号を含むものであり、
    前記信号異常検出部は、前記再生画面の所定範囲内の画素における第1色差信号の値と所定の第1基準値との差に相当する第1差分値の大きさを、画素ごとに算出した後、各第1差分値の大きさの総和に応じた値を算出するとともに、前記所定範囲内の画素における第2色差信号の値と所定の第2基準値との差に相当する第2差分値の大きさを、画素ごとに算出した後、各第2差分値の大きさの総和に応じた値を算出する色差変動検出部を備えており、
    前記信号異常検出部は、第1差分値の総和に応じた値が予め定めた第4期間以上、継続して所定の第4閾値以下となり、且つ、第2差分値の総和に応じた値が予め定めた第5期間以上、継続して所定の第5閾値以下となるとき、前記映像信号が異常であると判断することを特徴とする請求項1に記載の撮像装置。
  6. 前記信号異常検出部は、前記映像信号に含まれている同期信号が異常であるか否かを検出する同期異常検出部を備えており、
    前記信号異常検出部は、前記同期信号が異常であると判断されるとき、前記映像信号が異常であると判断することを特徴とする請求項1に記載の撮像装置。
  7. 当該撮像装置は、エンジンを有した移動体に取付けられ、
    前記報知部は、前記エンジンの始動時に前記報知を行うことを特徴とする請求項1〜請求項6の何れかに記載の撮像装置。
  8. 前記エンジンの始動時における前記報知が行われた後、その報知に対応する異常が解消されることなく前記エンジンの始動がn回行われたとき(nは自然数)、
    前記報知部は、前記報知と異なる内容の報知を行うことを特徴とする請求項7に記載の撮像装置。
  9. 前記報知部は、当該撮像装置の修理情報を提供可能な窓口に関する情報を、外部の表示装置に表示させることにより、前記報知を行うことを特徴とする請求項1〜請求項6の何れかに記載の撮像装置。
  10. 前記視界の異常が検出されたとき、その視界の異常を解消するための洗浄動作を行う洗浄手段を、更に備えた
    ことを特徴とする請求項1〜請求項6の何れかに記載の撮像装置。
  11. 前記記録部は、前記映像信号の異常及び前記視界の異常の少なくとも一方が検出されたとき、その検出された異常に対応した情報を前記映像情報に関連付けて記録することを特徴とする請求項1〜請求項6の何れかに記載の撮像装置。
JP2005038094A 2005-02-15 2005-02-15 撮像装置 Active JP4463126B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005038094A JP4463126B2 (ja) 2005-02-15 2005-02-15 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005038094A JP4463126B2 (ja) 2005-02-15 2005-02-15 撮像装置

Publications (2)

Publication Number Publication Date
JP2006229341A JP2006229341A (ja) 2006-08-31
JP4463126B2 true JP4463126B2 (ja) 2010-05-12

Family

ID=36990339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005038094A Active JP4463126B2 (ja) 2005-02-15 2005-02-15 撮像装置

Country Status (1)

Country Link
JP (1) JP4463126B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012141691A (ja) * 2010-12-28 2012-07-26 Fujitsu Ten Ltd 映像処理装置
JP6117634B2 (ja) * 2012-07-03 2017-04-19 クラリオン株式会社 レンズ付着物検知装置、レンズ付着物検知方法、および、車両システム
JP2014187496A (ja) * 2013-03-22 2014-10-02 Denso Corp 故障検出装置
JP6374238B2 (ja) * 2014-07-01 2018-08-15 クラリオン株式会社 車載装置
JP2017224876A (ja) * 2016-06-13 2017-12-21 アイシン精機株式会社 撮影画像判定装置
JP2018128974A (ja) * 2017-02-10 2018-08-16 トヨタ自動車株式会社 ドライバ状態監視装置
JP7262043B2 (ja) * 2019-02-13 2023-04-21 パナソニックIpマネジメント株式会社 異常検出システム、移動体、異常検出方法、及びプログラム
WO2021002429A1 (ja) * 2019-07-03 2021-01-07 日本精機株式会社 検査装置、検査方法及びヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
JP2006229341A (ja) 2006-08-31

Similar Documents

Publication Publication Date Title
JP4463126B2 (ja) 撮像装置
US9117123B2 (en) Vehicular rear view camera display system with lifecheck function
US10397564B2 (en) Image monitoring apparatus, image display system, and vehicle
EP2351351A1 (en) A method and a system for detecting the presence of an impediment on a lens of an image capture device to light passing through the lens of an image capture device
JP5112131B2 (ja) 車両用異常検出装置
US8208022B2 (en) Apparatus and method for removing blooming of camera image
JP2008283431A (ja) 画像処理装置
WO2011043030A1 (ja) 車両用周囲監視装置
US10783665B2 (en) Apparatus and method for image processing according to vehicle speed
CN101635837B (zh) 显示装置
US20200130583A1 (en) Smart camera mode intelligent rearview mirror
EP3107063A1 (en) Method for processing camera images
KR101459794B1 (ko) 디지털 클러스터의 불량 감지시스템
JP5032072B2 (ja) 監視装置
JP2009126493A (ja) 障害物検出装置
US10755423B2 (en) In-vehicle camera device, monitoring system and method for estimating moving speed of vehicle
JP2008155862A (ja) カーセキュリティ装置
JP3945333B2 (ja) 撮像表示システム
JP6960393B2 (ja) 信号検出装置
CN101211473A (zh) 车辆事故信息存储装置及后方监视装置
JP2005143052A (ja) 背景画像変化検出機能を有する監視装置
JPH10322684A (ja) カメラ装置
JP5407785B2 (ja) 撮像装置及び画像処理状態判断方法
KR102336049B1 (ko) 자동차 안전 주행을 위한 카메라 영상 떨림 보정 장치
JP5606774B2 (ja) 映像表示装置及び映像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100119

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4463126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350