JPWO2019159321A1

JPWO2019159321A1 - 異常検出装置及び異常検出方法

Info

Publication number: JPWO2019159321A1
Application number: JP2019571912A
Authority: JP
Inventors: 周作 ▲高▼本; 偉雄藤田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2018-02-16
Filing date: 2018-02-16
Publication date: 2020-05-28
Anticipated expiration: 2038-02-16
Also published as: US11146784B2; DE112018006861B4; JP6678844B2; US20210067768A1; CN111699677A; WO2019159321A1; DE112018006861T5; CN111699677B

Abstract

異常検出装置（１００）は、ユーザが車両（１）に乗り込む前のタイミングにて車室内撮像用のカメラ（３）により撮像された画像である第２画像におけるエッジ強度の総和を示す指標値を算出する指標値算出部（１８）と、第２画像が撮像されるよりも先に第２画像の撮像条件と同等の撮像条件にてカメラ（３）により撮像された画像である基準画像におけるエッジ強度の総和を示す指標値と指標値算出部（１８）により算出された指標値との差分値を算出する差分値算出部（１９）と、差分値が閾値以上であるか否かを判定する第２判定部（２０）と、第２判定部（２０）により差分値が閾値以上であると判定された場合、警告を出力する制御を実行する警告出力制御部（２１）とを備える。

Description

本発明は、異常検出装置及び異常検出方法に関する。

従来、カメラによる撮像画像における特徴量を指標値に用いて、当該カメラのレンズにおける異常（例えば、水滴の付着、指紋などの汚れの付着、又は傷など）の発生を検出する技術が開発されている。例えば、特許文献１には、車外撮像用のカメラによる撮像画像における輝度分散値を指標値に用いて、当該カメラのレンズに対する汚れの付着を検出する技術が開示されている。

特開２００６−１５７７３９号公報

近年、いわゆる「乗員モニタリングシステム」において車室内撮像用のカメラが用いられている。車室内撮像用のカメラのレンズに汚れの付着又は傷などの異常が発生した場合、撮像画像のうちの異常に対応する領域におけるエッジ強度が低下して、いわゆる「ボケ」が発生する。ボケの発生により、当該領域に対する画像処理の精度が低下する。このため、レンズにおける異常の発生を検出する技術を適用するのが好適である。

通常、ユーザの服装及びユーザが身に着けている装飾品などは、ユーザが車両に乗り込む度毎に異なるものとなる。したがって、ユーザが車両に乗り込んだ後のタイミングにおける車室内撮像用のカメラによる被写体は、ユーザが車両に乗り込む度毎に異なるものとなる。この結果、撮像画像における特徴量もユーザが車両に乗り込む度毎に異なるものとなる。車室内撮像用のカメラに従来の異常検出技術を適用した場合、かかる被写体の変化に応じた特徴量の変動に起因して、レンズに異常が発生していないにもかかわらず当該異常の発生が検出されたり、又はレンズに異常が発生しているにもかかわらず当該異常の発生が検出されなかったりする問題があった。すなわち、検出精度が低い問題があった。

本発明は、上記のような課題を解決するためになされたものであり、車室内撮像用のカメラによる撮像画像における特徴量を指標値に用いて当該カメラのレンズにおける異常の発生を検出する装置及び方法において、検出精度を向上することを目的とする。

本発明の異常検出装置は、ユーザが車両に乗り込む前のタイミングにて車室内撮像用のカメラにより撮像された画像である第２画像におけるエッジ強度の総和を示す指標値を算出する指標値算出部と、第２画像が撮像されるよりも先に第２画像の撮像条件と同等の撮像条件にてカメラにより撮像された画像である基準画像におけるエッジ強度の総和を示す指標値と指標値算出部により算出された指標値との差分値を算出する差分値算出部と、差分値が閾値以上であるか否かを判定する第２判定部と、第２判定部により差分値が閾値以上であると判定された場合、警告を出力する制御を実行する警告出力制御部とを備えるものである。

本発明によれば、上記のように構成したので、車室内撮像用のカメラによる撮像画像における特徴量を指標値に用いて当該カメラのレンズにおける異常の発生を検出する装置及び方法において、検出精度を向上することができる。

本発明の実施の形態１に係る異常検出装置を含む制御装置が車両に設けられている状態を示すブロック図である。キーレスエントリーシステム用の受信機による受信可能エリアの一例を示す説明図である。図３Ａは、本発明の実施の形態１に係る異常検出装置を含む制御装置の要部のハードウェア構成を示すブロック図である。図３Ｂは、本発明の実施の形態１に係る異常検出装置を含む制御装置の要部の他のハードウェア構成を示すブロック図である。本発明の実施の形態１に係る異常検出装置を含む制御装置の動作を示すフローチャートである。本発明の実施の形態１に係る他の異常検出装置を含む制御装置が車両に設けられている状態を示すブロック図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、実施の形態１に係る異常検出装置を含む制御装置が車両に設けられている状態を示すブロック図である。図１を参照して、実施の形態１の異常検出装置１００について説明する。

車両１の車室内前方部には、乗員モニタリングシステム用の撮像装置２が設けられている。撮像装置２は、カメラ３及び光源４を有している。カメラ３は車室内撮像用のカメラであり、例えば赤外線カメラ又は可視光カメラにより構成されている。光源４はカメラ３による撮像用の光源であり、例えばＬＥＤ（ＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）により構成されている。

カメラ３による撮像対象となる座席は、車両１の運転席、車両１の運転席及び助手席（以下、総称して「前部座席」という。）、又は、車両１の前部座席及び後部座席（以下、総称して「全座席」という。）である。前部座席又は全座席が撮像対象である場合、カメラ３は、車両１の車室内前方部において車両１の左右方向に対する中心部に配置されている。運転席が撮像対象である場合、カメラ３は、車両１の車室内前方部において運転席に対する正面部に配置されている。

車両１には、キーレスエントリーシステム５用の受信機６が設けられている。車両１のユーザ（以下、単に「ユーザ」という。）は、キーレスエントリーシステム５用の送信機７を携帯している。受信機６は、送信機７により送信された開錠用の電波信号又は赤外線信号（以下「開錠信号」という。）を受信するものである。また、受信機６は、送信機７により送信された施錠用の電波信号又は赤外線信号（以下「施錠信号」という。）を受信するものである。キーレスエントリーシステム５は、受信機６が開錠信号を受信したとき、車両１の各ドアを開錠するものである。また、キーレスエントリーシステム５は、受信機６が施錠信号を受信したとき、車両１の各ドアを施錠するものである。

図２に、受信機６が開錠信号及び施錠信号を受信可能なエリア（以下「受信可能エリア」という。）の一例を示す。図２に示す如く、車両１はいわゆる「右ハンドル」の車両であり、車両１の運転席側のドア周辺のエリアＡ１、車両１の助手席側のドア周辺のエリアＡ２、及び車両１に対する後方のエリアＡ３が受信可能エリアに設定されている。

受信機６は、開錠信号を受信したとき、所定の信号（以下「出力信号」という。）を接近検出部１１に出力する機能を有している。接近検出部１１は、受信機６による出力信号を用いて、ユーザが車両１に接近したこと、より具体的にはユーザが受信可能エリア内に入ったことを検出するものである。すなわち、接近検出部１１によりユーザの接近が検出されるタイミングは、ユーザが車両１に乗り込む前のタイミングである。

消灯制御部１２は、接近検出部１１によりユーザの接近が検出されたとき、光源４を消灯させるものである。第１撮像制御部１３は、接近検出部１１によりユーザの接近が検出されたとき、カメラ３に画像（以下「第１画像」という。）の撮像を指示するものである。すなわち、第１画像は、ユーザが車両１に乗り込む前のタイミングにて撮像されるものである。また、第１画像は、光源４が消灯している状態にて撮像されるものである。

輝度値検出部１４は、第１画像を示す画像データ（以下「第１画像データ」という。）をカメラ３から取得するものである。輝度値検出部１４は、第１画像データを用いて、第１画像における輝度値を検出するものである。

第１判定部１５は、輝度値検出部１４により検出された輝度値を用いて、車両１の車外から車両１の車室内に差し込む外光（以下、単に「外光」という。）の量が所定量（以下「基準量」という。）未満であるか否かを判定するものである。

より具体的には、第１判定部１５には、輝度値検出部１４により検出された輝度値に対する比較対象となる値（以下「基準値」という。）が予め記憶されている。この基準値は、基準量に対応する値に設定されている。第１判定部１５は、予め記憶されている基準値と輝度値検出部１４により検出された輝度値とを比較して、輝度値が基準値未満であるか否かを判定する。第１判定部１５は、輝度値が基準値未満である場合、外光の量が基準量未満であると判定する。

点灯制御部１６は、第１判定部１５により外光の量が基準量未満であると判定された場合、光源４を点灯させるものである。第２撮像制御部１７は、第１判定部１５により外光の量が基準量未満であると判定された場合、カメラ３に画像（以下「第２画像」という。）の撮像を指示するものである。すなわち、第２画像は、ユーザが車両１に乗り込む前のタイミングにて撮像されるものである。また、第２画像は、外光の量が基準量未満であり、かつ、光源４が点灯している状態にて撮像されるものである。

指標値算出部１８は、第２画像を示す画像データ（以下「第２画像データ」という。）をカメラ３から取得するものである。指標値算出部１８は、第２画像データを用いて、第２画像におけるエッジ強度の総和を示す指標値を算出するものである。

差分値算出部１９には、車両１の工場出荷時にカメラ３により撮像された画像（以下「基準画像」という。）におけるエッジ強度の総和を示す指標値が予め記憶されている。差分値算出部１９は、予め記憶されている指標値と指標値算出部１８により算出された指標値との差分値を算出するものである。差分値算出部１９により算出される差分値は、基準画像におけるエッジ強度に対する第２画像におけるエッジ強度の低下量を示すものである。

ここで、基準画像は、第２画像の撮像条件と同等の撮像条件にて撮像されたものである。すなわち、基準画像は、ユーザが車両１に乗り込んでおらず（より具体的には、カメラ３による撮像対象となる座席に人間が着座しておらず）、かつ、外光の量が基準量未満であり、かつ、光源４が点灯している状態にて撮像されたものである。

換言すれば、第２画像は、基準画像の撮像条件と同等の撮像条件にて撮像されるものである。すなわち、第２画像は、ユーザが車両１に乗り込む前のタイミングにて撮像されるものである。また、第２画像は、外光の量が基準量未満であり、かつ、光源４が点灯している状態にて撮像されるものである。

第２判定部２０には、差分値算出部１９により算出された差分値に対する比較対象となる閾値が予め記憶されている。この閾値は、カメラ３のレンズにおける異常（例えば、水滴の付着、指紋などの汚れの付着、又は傷など）の発生の有無を識別可能な値に設定されている。第２判定部２０は、予め記憶されている閾値と差分値算出部１９により算出された差分値とを比較して、差分値が閾値以上であるか否かを判定するものである。すなわち、第２判定部２０は、基準画像におけるエッジ強度に対する第２画像におけるエッジ強度の低下量が閾値以上であるか否かを判定するものである。

警告出力制御部２１は、第２判定部２０により差分値が閾値以上であると判定された場合、出力装置８を用いて警告を出力する制御を実行するものである。

具体的には、例えば、出力装置８はディスプレイにより構成されている。警告出力制御部２１は、第２判定部２０により差分値が閾値以上であると判定された場合、カメラ３のレンズの掃除又は点検などを促す内容を含む画像（以下「警告画像」という。）を当該ディスプレイに表示させる。

または、例えば、出力装置８はスピーカーにより構成されている。警告出力制御部２１は、第２判定部２０により差分値が閾値以上であると判定された場合、カメラ３のレンズの掃除又は点検などを促す内容を含む音声（以下「警告音声」という。）を当該スピーカーに出力させる。

または、例えば、出力装置８は専用のインジケーター（以下「警告インジケーター」という。）により構成されている。警告出力制御部２１は、第２判定部２０により差分値が閾値以上であると判定された場合、警告インジケーターを点灯させる。

接近検出部１１、消灯制御部１２、第１撮像制御部１３、輝度値検出部１４、第１判定部１５、点灯制御部１６、第２撮像制御部１７、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１により、制御装置９の要部が構成されている。また、接近検出部１１、輝度値検出部１４、第１判定部１５、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１により、異常検出装置１００の要部が構成されている。

次に、図３を参照して、制御装置９の要部のハードウェア構成について説明する。

図３Ａに示す如く、制御装置９はコンピュータにより構成されており、当該コンピュータはプロセッサ３１及びメモリ３２を有している。メモリ３２には、当該コンピュータを接近検出部１１、消灯制御部１２、第１撮像制御部１３、輝度値検出部１４、第１判定部１５、点灯制御部１６、第２撮像制御部１７、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１として機能させるためのプログラムが記憶されている。メモリ３２に記憶されているプログラムをプロセッサ３１が読み出して実行することにより、接近検出部１１、消灯制御部１２、第１撮像制御部１３、輝度値検出部１４、第１判定部１５、点灯制御部１６、第２撮像制御部１７、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１の機能が実現される。

プロセッサ３１は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、マイクロプロセッサ、マイクロコントローラ又はＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などを用いたものである。メモリ３２は、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（ＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）若しくはＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄ−ＯｎｌｙＭｅｍｏｒｙ）などの半導体メモリ、磁気ディスク、光ディスク又は光磁気ディスクなどを用いたものである。

または、図３Ｂに示す如く、接近検出部１１、消灯制御部１２、第１撮像制御部１３、輝度値検出部１４、第１判定部１５、点灯制御部１６、第２撮像制御部１７、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１の機能が専用の処理回路３３により実現されるものであっても良い。処理回路３３は、例えば、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）又はシステムＬＳＩ（Ｌａｒｇｅ−ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）などを用いたものである。

または、接近検出部１１、消灯制御部１２、第１撮像制御部１３、輝度値検出部１４、第１判定部１５、点灯制御部１６、第２撮像制御部１７、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１のうちの一部の機能がプロセッサ３１及びメモリ３２により実現されて、残余の機能が処理回路３３により実現されるものであっても良い。

次に、図４のフローチャートを参照して、制御装置９の動作について説明する。なお、初期状態において、ユーザは車両１の車外におり、かつ、車両１の各ドアは施錠されているものとする。

まず、ステップＳＴ１にて、接近検出部１１は、受信機６による出力信号を用いて、ユーザが車両１に接近したこと、より具体的にはユーザが受信可能エリア内に入ったことを検出する。接近検出部１１によりユーザの接近が検出されたとき、制御装置９の処理はステップＳＴ２に進む。

次いで、ステップＳＴ２にて、消灯制御部１２は光源４を消灯させる。

次いで、ステップＳＴ３にて、第１撮像制御部１３は、カメラ３に第１画像の撮像を指示する。これにより、第１画像が撮像される。

次いで、ステップＳＴ４にて、輝度値検出部１４は、第１画像データをカメラ３から取得する。輝度値検出部１４は、第１画像データを用いて、第１画像における輝度値を検出する。

次いで、ステップＳＴ５にて、第１判定部１５は、輝度値検出部１４により検出された輝度値を用いて、外光の量が基準量未満であるか否かを判定する。より具体的には、第１判定部１５は、予め記憶されている基準値と輝度値検出部１４により検出された輝度値とを比較して、輝度値が基準値未満であるか否かを判定する。第１判定部１５は、輝度値が基準値未満である場合、外光の量が基準量未満であると判定する。

第１判定部１５により輝度値が基準値未満であると判定された場合（ステップＳＴ５“ＹＥＳ”）、ステップＳＴ６にて、点灯制御部１６は光源４を点灯させる。

次いで、ステップＳＴ７にて、第２撮像制御部１７は、カメラ３に第２画像の撮像を指示する。これにより、第２画像が撮像される。

次いで、ステップＳＴ８にて、指標値算出部１８は、第２画像データをカメラ３から取得する。指標値算出部１８は、第２画像データを用いて、第２画像におけるエッジ強度の総和を示す指標値を算出する。

次いで、ステップＳＴ９にて、差分値算出部１９は、予め記憶されている指標値と指標値算出部１８により算出された指標値との差分値を算出する。差分値算出部１９により算出される差分値は、基準画像におけるエッジ強度に対する第２画像におけるエッジ強度の低下量を示すものである。

次いで、ステップＳＴ１０にて、第２判定部２０は、予め記憶されている閾値と差分値算出部１９により算出された差分値とを比較して、差分値が閾値以上であるか否かを判定する。すなわち、第２判定部２０は、基準画像におけるエッジ強度に対する第２画像におけるエッジ強度の低下量が閾値以上であるか否かを判定する。

第２判定部２０により差分値が閾値以上であると判定された場合（ステップＳＴ１０“ＹＥＳ”）、ステップＳＴ１１にて、警告出力制御部２１は、出力装置８を用いて警告を出力する制御を実行する。例えば、警告出力制御部２１は、ディスプレイに警告画像を表示させたり、スピーカーに警告音声を出力させたり、又は警告インジケーターを点灯させたりする。他方、第２判定部２０により差分値が閾値未満であると判定された場合（ステップＳＴ１０“ＮＯ”）、ステップＳＴ１１の処理はキャンセルされて、制御装置９の処理は終了する。

なお、第１判定部１５により輝度値が基準値以上であると判定された場合（ステップＳＴ５“ＮＯ”）、ステップＳＴ６以降の処理はキャンセルされて、制御装置９の処理は終了する。

仮に外光の量が基準量以上である状態にて第２画像が撮像される場合、外光の影響により第２画像におけるエッジ強度が変動する。この変動により、カメラ３のレンズに異常が発生していないにもかかわらず差分値算出部１９により算出される差分値が閾値以上となり、不要な警告が出力される可能性がある。これに対して、外光の量が基準量以上である場合はステップＳＴ６以降の処理をキャンセルすることにより、かかる不要な警告が出力されるのを回避することができる。

なお、接近検出部１１による接近の検出に用いられる信号は、キーレスエントリーシステム５用の受信機６による出力信号に限定されるものではない。接近検出部１１は、車両１用の何らかのシステム又は車両１内の何らかのネットワークにより出力された信号を用いて車両１に対するユーザの接近を検出するものであれば良い。

また、基準画像は、第２画像が撮像されるよりも先に第２画像の撮像条件と同等の撮像条件にて撮像された画像であれば良く、車両１の工場出荷時に撮像された画像に限定されるものではない。

また、基準画像撮像時の撮像条件と第２画像撮像時の撮像条件とは少なくとも一部の条件について互いに同等であれば良く、全ての条件について互いに同等でなければならないものではない。例えば、車室内におけるユーザの有無、外光の量が基準量未満であるか否か、及び光源４の点灯の有無以外の撮像条件については、基準画像の撮像時と第２画像の撮像時とで互いに異なるものであっても良い。

また、接近検出部１１、輝度値検出部１４及び第１判定部１５の各々は、図１に示す如く異常検出装置１００内に設けられているものであっても良く、又は異常検出装置１００外に設けられているものであっても良い。例えば、図５に示す如く、接近検出部１１、輝度値検出部１４及び第１判定部１５が異常検出装置１００外に設けられており、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１により異常検出装置１００の要部が構成されているものであっても良い。

また、接近検出部１１、輝度値検出部１４、第１判定部１５、指標値算出部１８、差分値算出部１９、第２判定部２０及び警告出力制御部２１の各々は、車両１に搭載自在な車載情報機器、車両１に持ち込み自在な携帯情報端末、又は、当該車載情報機器若しくは当該携帯情報端末と通信自在なサーバ装置のうちのいずれかに設けられているものであっても良い。すなわち、当該車載情報機器、当該携帯情報端末又は当該サーバ装置のうちのいずれか二以上により、異常検出システムの要部が構成されているものであっても良い。

以上のように、実施の形態１の異常検出装置１００は、ユーザが車両１に乗り込む前のタイミングにて車室内撮像用のカメラ３により撮像された画像である第２画像におけるエッジ強度の総和を示す指標値を算出する指標値算出部１８と、第２画像が撮像されるよりも先に第２画像の撮像条件と同等の撮像条件にてカメラ３により撮像された画像である基準画像におけるエッジ強度の総和を示す指標値と指標値算出部１８により算出された指標値との差分値を算出する差分値算出部１９と、差分値が閾値以上であるか否かを判定する第２判定部２０と、第２判定部２０により差分値が閾値以上であると判定された場合、警告を出力する制御を実行する警告出力制御部２１とを備える。ユーザが車両１に乗り込む前のタイミングにて撮像された第２画像を用いることにより、被写体の変化（より具体的には、ユーザの服装及びユーザが身に着けている装飾品などの変化）に応じたエッジ強度の変動に起因する誤検出の発生を抑制することができる。この結果、カメラ３のレンズに異常が発生していないにもかかわらず警告が出力されるのを回避したり、又はカメラ３のレンズに異常が発生しているにもかかわらず警告が出力されなくなるのを回避したりすることができる。

また、異常検出装置１００は、車両１の車外から車両１の車室内に差し込む外光の量が基準量未満であるか否かを判定する第１判定部１５を備え、第２画像は、外光の量が基準量未満であり、かつ、カメラ３による撮像用の光源４が点灯している状態にてカメラ３により撮像された画像である。外光の量が基準量未満である状態にて撮像された第２画像を用いることにより、外光の影響による誤検出の発生を抑制することができる。また、光源４の光量は一定であるため、外光の影響が基準値未満、かつ光源４が点灯している状態にて撮像された第２画像を用いることにより、撮影時の光量は外光よりも光源４の影響が支配的となり、基準画像と第２画像の照明環境の変動を抑えることができ、撮影時の照明環境の変化に応じたエッジ強度の変動に起因する誤検出の発生を抑制することができる。この結果、カメラ３のレンズに異常が発生していないにもかかわらず警告が出力されるのを回避したり、又はカメラ３のレンズに異常が発生しているにもかかわらず警告が出力されなくなるのを回避したりすることができる。

また、異常検出装置１００は、キーレスエントリーシステム５用の受信機６による出力信号を用いて、車両１に対するユーザの接近を検出する接近検出部１１を備え、ユーザが車両１に乗り込む前のタイミングは、接近検出部１１により車両１に対するユーザの接近が検出されたタイミングである。キーレスエントリーシステム５を用いることにより、車両１の駐停車中における電力消費量を抑制しつつ、ユーザが車両１に乗り込む前のタイミングを検出することができる。

また、異常検出装置１００は、ユーザが車両１に乗り込む前のタイミングにて、かつ、光源４が消灯している状態にてカメラ３により撮像された画像である第１画像における輝度値を検出する輝度値検出部１４を備え、第１判定部１５は、輝度値が基準値未満である場合、外光の量が基準量未満であると判定する。これにより、カメラ３による撮像画像を用いて外光の量が基準量未満であるか否かを判定することができる。すなわち、外光の量が基準量未満であるか否かを判定するための専用のカメラ又はセンサなどを不要とすることができる。

また、基準画像は、車両１の工場出荷時にカメラ３により撮像された画像である。これにより、車両１の工場出荷時の状態におけるカメラ３による撮像画像を基準画像に設定することができる。すなわち、第２画像に対する比較に適した画像を基準画像に設定することができる。

また、実施の形態１の異常検出方法は、指標値算出部１８が、ユーザが車両に乗り込む前のタイミングにて車室内撮像用のカメラ３により撮像された画像である第２画像におけるエッジ強度の総和を示す指標値を算出するステップＳＴ８と、差分値算出部１９が、第２画像が撮像されるよりも先に第２画像の撮像条件と同等の撮像条件にてカメラ３により撮像された画像である基準画像におけるエッジ強度の総和を示す指標値と指標値算出部１８により算出された指標値との差分値を算出するステップＳＴ９と、第２判定部２０が、差分値が閾値以上であるか否かを判定するステップＳＴ１０と、警告出力制御部２１が、第２判定部２０により差分値が閾値以上であると判定された場合、警告を出力する制御を実行するステップＳＴ１１とを備える。これにより、異常検出装置１００による上記効果と同様の効果を得ることができる。

なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

本発明の異常検出装置は、例えば、乗員モニタリングシステムに応用することができる。

１車両、２撮像装置、３カメラ、４光源、５キーレスエントリーシステム、６受信機、７送信機、８出力装置、９制御装置、１１接近検出部、１２消灯制御部、１３第１撮像制御部、１４輝度値検出部、１５第１判定部、１６点灯制御部、１７第２撮像制御部、１８指標値算出部、１９差分値算出部、２０第２判定部、２１警告出力制御部、３１プロセッサ、３２メモリ、３３処理回路、１００異常検出装置。

Claims

ユーザが車両に乗り込む前のタイミングにて車室内撮像用のカメラにより撮像された画像である第２画像におけるエッジ強度の総和を示す指標値を算出する指標値算出部と、
前記第２画像が撮像されるよりも先に前記第２画像の撮像条件と同等の撮像条件にて前記カメラにより撮像された画像である基準画像におけるエッジ強度の総和を示す指標値と前記指標値算出部により算出された指標値との差分値を算出する差分値算出部と、
前記差分値が閾値以上であるか否かを判定する第２判定部と、
前記第２判定部により前記差分値が前記閾値以上であると判定された場合、警告を出力する制御を実行する警告出力制御部と、
を備える異常検出装置。
前記車両の車外から前記車両の車室内に差し込む外光の量が基準量未満であるか否かを判定する第１判定部を備え、
前記第２画像は、前記外光の量が前記基準量未満であり、かつ、前記カメラによる撮像用の光源が点灯している状態にて前記カメラにより撮像された画像である
ことを特徴とする請求項１記載の異常検出装置。
キーレスエントリーシステム用の受信機による出力信号を用いて、前記車両に対する前記ユーザの接近を検出する接近検出部を備え、
前記ユーザが前記車両に乗り込む前のタイミングは、前記接近検出部により前記車両に対する前記ユーザの接近が検出されたタイミングである
ことを特徴とする請求項１記載の異常検出装置。
前記ユーザが前記車両に乗り込む前のタイミングにて、かつ、前記光源が消灯している状態にて前記カメラにより撮像された画像である第１画像における輝度値を検出する輝度値検出部を備え、
前記第１判定部は、前記輝度値が基準値未満である場合、前記外光の量が前記基準量未満であると判定する
ことを特徴とする請求項２記載の異常検出装置。
前記基準画像は、前記車両の工場出荷時に前記カメラにより撮像された画像であることを特徴とする請求項１から請求項４のうちのいずれか１項記載の異常検出装置。
指標値算出部が、ユーザが車両に乗り込む前のタイミングにて車室内撮像用のカメラにより撮像された画像である第２画像におけるエッジ強度の総和を示す指標値を算出するステップと、
差分値算出部が、前記第２画像が撮像されるよりも先に前記第２画像の撮像条件と同等の撮像条件にて前記カメラにより撮像された画像である基準画像におけるエッジ強度の総和を示す指標値と前記指標値算出部により算出された指標値との差分値を算出するステップと、
第２判定部が、前記差分値が閾値以上であるか否かを判定するステップと、
警告出力制御部が、前記第２判定部により前記差分値が前記閾値以上であると判定された場合、警告を出力する制御を実行するステップと、
を備える異常検出方法。