JP7262043B2 - 異常検出システム、移動体、異常検出方法、及びプログラム - Google Patents

異常検出システム、移動体、異常検出方法、及びプログラム Download PDF

Info

Publication number
JP7262043B2
JP7262043B2 JP2019023708A JP2019023708A JP7262043B2 JP 7262043 B2 JP7262043 B2 JP 7262043B2 JP 2019023708 A JP2019023708 A JP 2019023708A JP 2019023708 A JP2019023708 A JP 2019023708A JP 7262043 B2 JP7262043 B2 JP 7262043B2
Authority
JP
Japan
Prior art keywords
pixel
value
unit
pixel value
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019023708A
Other languages
English (en)
Other versions
JP2020136731A (ja
Inventor
真幸 福山
雅美 木岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019023708A priority Critical patent/JP7262043B2/ja
Publication of JP2020136731A publication Critical patent/JP2020136731A/ja
Application granted granted Critical
Publication of JP7262043B2 publication Critical patent/JP7262043B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、異常検出システム、移動体、異常検出方法、及びプログラムに関する。より詳細には、本開示は、撮像部から入力される画像データの異常を検出する異常検出システム、移動体、異常検出方法、及びプログラムに関する。
特許文献1は、カメラ(撮像部)と、カメラからの画像の濃度を認識する画像認識部と、画像認識部の認識結果に基づいて露出値を制御する露出値制御部と、画像認識部で演算処理された画像データを画像として表示するモニタとを有する画像処理装置を開示する。露出値制御部は、露出値を自動制御している露出値自動制御期間中に、露出値を最大露出値とする最大露出値期間および最小露出値とする最小露出値期間を挿入する。画像認識部は、露出値自動制御期間中に撮像された画像において所定の異常状態が検出された後に、当該異常状態が最小露出値期間又は最大露出値期間に撮像された画像においても検出された場合、当該異常状態がカメラの異常に起因するものと判定する。
特開2005-143083号公報
特許文献1の画像処理装置では、画像に発生した異常状態がカメラの異常に起因するものか否かを判定するために、露出値自動制御期間中にカメラの露出値を最大露出値及び最小露出値にそれぞれ調整する必要があった。
本開示の目的は、撮像部を調整することなく、撮像部で撮影された画像の異常を検出可能な異常検出システム、移動体、異常検出方法、及びプログラムを提供することにある。
本開示の一態様の異常検出システムは、移動体に搭載される異常検出システムであって、受付部と、判断部と、を備える。前記受付部は、撮像部で撮影された画像の画像データを受け付ける。前記判断部は、互いに異なるタイミングで前記受付部が受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する。前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含む。前記異常検出システムは、周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定部を更に備える。前記環境情報は、周囲の照度に関する情報を含む。前記判断部は、前記移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する。
本開示の一態様の移動体は、移動する移動体本体と、前記移動体本体に搭載される前記異常検出システムと、を備える。
本開示の一態様の異常検出方法は、受付処理と、判断処理と、を含む。前記受付処理では、撮像部で撮影された画像の画像データを受け付ける。前記判断処理では、互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する。前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含む。前記異常検出方法は、周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定処理を更に含む。前記環境情報は、周囲の照度に関する情報を含む。前記判断処理は、移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する。
本開示の一態様のプログラムは、コンピュータシステムに、受付処理と、判断処理と、を実行させるためのプログラムである。前記受付処理では、撮像部で撮影された画像の画像データを受け付ける。前記判断処理では、互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する。前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含む。前記プログラムは、コンピュータシステムに、周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定処理を更に実行させる。前記環境情報は、周囲の照度に関する情報を含む。前記判断処理は、移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断させる。
本開示によれば、撮像部を調整することなく、撮像部で撮影された画像の異常を検出可能な異常検出システム、移動体、異常検出方法、及びプログラムを提供することができる。
図1は、本開示の一実施形態の異常検出システムを含む全体システムのブロック図である。 図2は、同上の異常検出システムを搭載した移動体の概略的な説明図である。 図3は、同上の異常検出システムが受け付ける前方カメラの画像の説明図である。 図4は、同上の異常検出システムが受け付ける後方カメラの画像の説明図である。 図5は、同上の異常検出システムの動作を説明するフローチャートである。
以下に説明する実施形態は、本開示の種々の実施形態の一つに過ぎない。本開示の実施形態は、下記実施形態に限定されることはなく、この実施形態以外も含み得る。また、下記の実施形態は、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。
(実施形態)
(1)概要
本実施形態の異常検出システム1は、図1に示すように、受付部11と、判断部12とを備える。
受付部11は、撮像部31で撮影された画像の画像データを受け付ける。
判断部12は、複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。複数の画像は、互いに異なるタイミングで受付部11によって受け付けられる。
以下では、本実施形態の異常検出システム1が、自動車のような移動体100(図2参照)に搭載され、移動体100の撮像部31(前方カメラ311及び後方カメラ312)で撮像される画像の画像データが異常であるか否かを判断する場合を例に説明を行う。
ここで、撮像部31及び撮像部31の画像データを異常検出システム1に出力するための回路(例えば、撮像部31の画像データについてノイズ除去等の前処理を行う前処理部32、及び撮像部31から異常検出システム1までの伝送路90等)が正常に動作していれば、受付部11が受け付ける画像データにおいて注目画素の画素値には明るさの変化等に応じて時間的な変化が発生する。したがって、判断部12は、互いに異なるタイミングで受付部11が受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、注目画素の画素値が異常か否かを判断することができる。また、判断部12は、注目画素の画素値の時間的な変化量に基づいて異常の有無を判断しているので、特許文献1の画像処理装置のように、撮像部31を調整することなく、撮像部31で撮影された画像の異常を検出することができる。また、撮像部31で撮像された画像を表示装置51に表示する場合、特許文献1のように撮像部31の露出値を最大露出値又は最小露出値とする期間を設けていないので、表示装置51の表示がちらついたり、ユーザの視認性が低下したりする可能性を低減できる。
(2)詳細
本実施形態の異常検出システム1を含めた全体システムについて図1を参照して説明する。本実施形態の異常検出システム1は、自動車のような移動体100(図2参照)に用いられる。すなわち、本実施形態の移動体100は、移動する移動体本体101と、移動体本体101に搭載される異常検出システム1と、を備える。
(2.1)構成
本実施形態に係る異常検出システム1を含む全体システムについて図1~図5を参照して説明する。
移動体100の移動体本体101には、異常検出システム1と、カメラシステム30と、照明システム40と、表示システム50と、センサ60と、ECU(Electronic Control Unit)70とが搭載されている。異常検出システム1と、照明システム40と、センサ60と、ECU70とは、移動体100に設けられたCAN(Controller Area Network)80を介して通信を行う。また、カメラシステム30は、例えば、LVDS(Low voltage differential signaling)、又はMIPI(Mobile Industry Processor Interface)等の規格に準拠した伝送路90を介して画像データを表示システム50に送信する。異常検出システム1は、カメラシステム30から伝送路90を介して送信される画像データを受け付ける。以下、各部の構成について説明する。
(2.1.1)異常検出システム
異常検出システム1は、処理部10と、通信部21と、通知部22と、記憶部23と、を備える。
処理部10は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、異常検出システム1の機能(例えば、受付部11、判断部12、決定部13、及び不点灯検知部14等の機能)が実現される。プログラムは、コンピュータシステムのメモリ又は記憶部23に予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
受付部11は、撮像部31で撮影された画像の画像データを、カメラシステム30から伝送路90を介して、定期的に受け付ける。なお、受付部11は、撮像部31の画像データを、撮像部31のフレームレート(例えば、60[fps])ごとに受け取ってもよいし、不定期の時間間隔で受け取ってもよい。
判断部12は、互いに異なるタイミングで受付部11が受け付ける複数の画像(同じ撮像部31が異なる時点で撮影した2つの画像)の間での、注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。本実施形態では、注目画素は、受付部11が受け付ける画像の一部(例えば、移動体100の前照灯411(図2参照)によって照明される範囲が映る部分等)を構成する複数の画素を含む。判断部12は、複数の画素の各々について判断条件に基づいて注目画素の画素値が異常であるか否かを判断する。なお、注目画素は、受付部11が受け付ける画像の全部を構成する複数の画素でもよく、判断部12は、画像の全部を構成する複数の画素の各々について判断条件に基づいて注目画素の画素値が異常であるか否かを判断してもよい。
また、判断条件は、注目画素の画素値の変化量が基準値以下であるという条件を含む。画素値の変化量についての基準値は、撮像部31に入射する光の揺らぎ等で注目画素に発生する画素値の変化量より小さく、注目画素に対応する部分が黒潰れ又は白とびしている場合に注目画素に発生する画素値の変化量より大きい値に設定されている。ここで、注目画素の画素値の変化量が基準値以下であるという判断条件が成立すると、判断部12は、受付部11が受け付けた画像において少なくとも注目画素の画素値が異常(例えば、黒潰れ又は白とび等の異常)であると判断する。「黒潰れ」とは、撮像部31、前処理部32又は伝送路90等の異常によって受付部11が受け付ける画像及び表示装置51に表示される画像の一部又は全部が黒色、つまり画素値が最も暗い値(又は最も暗い値を含む所定の範囲)となる状態である。「白とび」とは、撮像部31、前処理部32又は伝送路90等の異常によって受付部11が受け付ける画像及び表示装置51に表示される画像の一部又は全部が白色、つまり画素値が最も明るい値(又は最も明るい値を含む所定の範囲)となる状態である。なお、撮像部31のレンズ等に汚れが付着している場合も、レンズ等に付着した汚れによって注目画素の画素値に変化が発生しないため、判断部12は、注目画素の画素値の変化量に基づいて、撮像部31のレンズ等に汚れが付着している場合も異常と判断できる。一方、注目画素の画素値の変化量が基準値を超えていると、判断部12は、受付部11が受け付けた画像において注目画素の画素値が正常であると判断する。
決定部13は、周囲環境に関する環境情報に基づいて、判断条件を決定する。ここで、周囲環境は撮像部31の周囲の環境である。本実施形態では撮像部31が移動体100に搭載されているので、環境情報は、撮像部31を搭載する移動体100に関する第1情報と、移動体100の周囲の環境に関する第2情報とを含む。第1情報は、移動体100に関する情報であり、例えば移動体100の動作状態(移動体100に設けられた照明システム40の動作状態等)に関する情報を含む。第2情報は、例えば移動体100の周囲の照度に関する情報、及び、移動体100が走行する道路の状況に関する情報等を含む。本実施形態では、移動体100に設けられたセンサ60によって、周囲の照度に関する情報(第2情報)が測定されており、環境情報は周囲の照度に関する情報を含む。
決定部13は、移動体100に関する第1情報をECU70から通信部21を介して取得し、移動体100の周囲の環境に関する第2情報をセンサ60から通信部21を介して取得する。決定部13は、ECU70から取得した第1情報に基づいて判断条件を決定しており、例えば、移動体100の前照灯411が点灯している場合と消灯している場合とで画素値の変化量の基準値を変更する。また、決定部13は、ECU70から取得した第2情報に基づいて判断条件を決定しており、例えば、夜間又はトンネル内を走行中で周囲が暗い場合と明るい場合とで画素値の変化量の基準値を変更する。
不点灯検知部14は、受付部11が受け付ける画像に基づいて、移動体100に設けられた光源41が点灯しているはずの状態で、光源41が点灯していない不点灯状態が発生しているか否かを検知する。不点灯検知部14は、例えばECU70から通信部21を介して光源41を点灯させているか否かを示す状態情報を取得する。また、不点灯検知部14は、受付部11が受け付ける画像において、光源41が存在する範囲又は光源41の照明範囲に対応する画素の画素値に基づいて、光源41が点灯しているか消灯しているかを判断する。そして、不点灯検知部14は、ECU70から取得した状態情報が光源41の点灯中であるのに、受付部11が受け付けた画像をもとに光源41が点灯していないと判断すると、光源41の不点灯状態が発生したと検知する。また、不点灯検知部14は、受付部11が受け付ける画像において、光源41が存在する範囲又は光源41の照明範囲に対応する画素の画素値に基づいて、夜間又はトンネル内を走行中に光源41が点灯していないこと(無灯火状態)を検知することができる。不点灯検知部14は、光源41の不点灯状態又は無灯火状態を検知すると、例えば通信部21を介してECU70に不点灯状態又は無灯火状態の検知信号を送信したり、後述する通知部22に不点灯状態又は無灯火状態の通知処理を行わせたりする。
通信部21は、CAN80を介してECU70等と通信を行うための通信インタフェースを有する。また、通信部21は、伝送路90を介してカメラシステム30等と通信を行うための通信インタフェースを更に有している。
通知部22は、例えば、ブザー又はスピーカ等の音を出力する出力装置を有する。処理部10の判断部12が注目画素の画素値が異常であると判断すると、処理部10は、注目画素の画素値が異常であることを通知する通知信号を通知部22に出力する。通知部22は、処理部10から通知信号が入力されると、注目画素の画素値が異常であることを通知するための通知音又は音声メッセージを出力装置から出力させる。なお、通知部22は、例えば表示ランプ等を点灯又は点滅させることによって、注目画素の画素値が異常であることを通知してもよい。また、通知部22は、表示システム50の表示装置51に、注目画素の画素値が異常であることを示す文字又は記号等を表示させてもよい。すなわち、通知部22は、音と、表示ランプ等の光と、表示装置51等を用いた表示との少なくとも1つの態様で異常を通知すればよい。
また、不点灯検知部14が光源41又は照明制御部42の異常を検知すると、通知部22は、光源41又は照明制御部42の異常を通知するための通知音又は音声メッセージを出力装置から出力させる。また、不点灯検知部14が光源41の無灯火状態を検知すると、通知部22は、無灯火状態であることを通知するための通知音又は音声メッセージを出力装置から出力させる。なお、通知部22は、例えば表示ランプ等を点灯又は点滅させることによって、光源41又は照明制御部42の異常、あるいは無灯火状態を通知してもよい。また、通知部22は、表示システム50の表示装置51に、光源41又は照明制御部42の異常、あるいは無灯火状態を通知する文字又は記号等を表示させてもよい。
記憶部23は、ROM(Read Only Memory)、RAM(Random Access Memory)、又はEEPROM(Electrically Erasable Programmable Read Only Memory)等から選択されるデバイスで構成される。記憶部23は、例えば、受付部11がカメラシステム30から受け付けた画像の画像データを記憶する。
なお、異常検出システム1が、決定部13、不点灯検知部14及び通知部22を有することは必須ではなく、決定部13、不点灯検知部14及び通知部22は適宜省略が可能である。
(2.1.2)カメラシステム
カメラシステム30は、移動体100に搭載される撮像部31と、撮像部31が撮影した画像の画像データを前処理する前処理部32とを備える。
撮像部31は、移動体本体101の前方を撮影する前方カメラ311と、移動体本体101の後方を撮影する後方カメラ312とを含む(図2参照)。撮像部31(前方カメラ311及び後方カメラ312)は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのようなイメージセンサを有する。撮像部31(前方カメラ311及び後方カメラ312)は所定のフレームレートで撮影対象を撮影し、画像の画像データを前処理部32に出力する。前方カメラ311は、移動体本体101において人が乗る室内空間102の前側部分に配置され、移動体本体101の前面ガラスを通して移動体本体101の前方を撮影する。図3は前方カメラ311が撮影した画像G1の一例であり、前方カメラ311の画像G1には移動体本体101の前部に設けられた前照灯411が映っている。後方カメラ312は、移動体本体101の後部に配置され、移動体本体101の後部のガラスを通して、移動体本体101の後方を撮影する。図4は後方カメラ312が撮影した画像G2の一例である。後方カメラ312は、移動体本体101のすぐ後ろに人等の物体が存在するか否かを確認できるように、広角レンズを用いて移動体本体101の後方を撮影する。したがって、後方カメラ312の画像G2には、移動体本体101の後部(例えばブレーキランプ414等)が映っている。
前処理部32は、撮像部31の画像データを前処理する画像処理用のプロセッサを含む。前処理部32は、撮像部31から入力される画像データを前処理し、前処理後の画像データを伝送路90を介して異常検出システム1及び表示システム50に出力する。
なお、撮像部31はCMOSイメージセンサのようなイメージセンサを有するものに限らず、CCD(Charge Coupled Device)イメージセンサ等のイメージセンサを有するものでもよい。
また、撮像部31は前方カメラ311及び後方カメラ312を含んでいるが、室内空間102を撮影するカメラを更に含んでもよい。また、撮像部31が複数のカメラを含むことは必須ではなく、撮像部31は1つのカメラのみを含むものでもよい。
また、カメラシステム30が前処理部32を備えることは必須ではなく、前処理部32は適宜省略が可能である。この場合、カメラシステム30の撮像部31が、伝送路90を介して、異常検出システム1及び表示システム50に画像データを出力すればよい。なお、本実施形態では、画像データのデータ量が大きいため、カメラシステム30は、専用の伝送路90を介して異常検出システム1及び表示システム50に画像データを出力しているが、専用の伝送路90を介して画像データを出力することは必須ではない。
(2.1.3)照明システム
照明システム40は、光源41と、照明制御部42と、を備える。
光源41は、移動体100の移動体本体101に設けられている。光源41は、図2に示すように、移動体100の前方を照明する前照灯411と、後進時に移動体100の後方を照明するバックライト412と、方向指示器413と、ブレーキランプ414とを含む。なお、光源41は車幅灯又は尾灯等を含んでもよい。
ECU70は、例えば移動体100に乗っているユーザ200(例えば運転者)の操作に応じて、光源41の点灯及び消灯を制御する照明制御信号をCAN80を介して照明制御部42に出力する。照明制御部42は、ECU70からCAN80を介して入力される照明制御信号に応じて、光源41の点灯及び消灯を制御する。
(2.1.4)表示システム
表示システム50は、表示装置51と、表示制御部52とを備える。
表示装置51は、例えば液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の薄型の表示デバイスを有する。表示装置51は、例えば、移動体100のダッシュボード103等、移動体100を運転するユーザ200が見やすい場所に取り付けられている。
表示制御部52は、表示装置51の表示内容を制御する。
表示制御部52は、例えば、カメラシステム30から伝送路90を介して入力された画像データに基づいて、撮像部31が撮影した画像を表示装置51に表示させる。表示制御部52は、例えばユーザ200の切替操作又はECU70からの制御信号に応じて、前方カメラ311の画像データ又は後方カメラ312の画像データに基づく画像を表示装置51に表示させる。
なお、表示制御部52は、例えば移動体100に設けられたナビゲーションシステムから入力されるナビゲーション画面を表示装置51に表示してもよい。ナビゲーション画面は、例えばユーザ200が設定した目的地までの経路を案内するための画面である。
(2.1.5)センサ
センサ60は、移動体100に設けられた各種のセンサである。センサ60は、移動体100の周囲環境に関する環境情報、具体的には移動体100の周囲の環境に関する第2情報を検出する。センサ60は、例えば、環境情報(第2情報)として周囲の照度を検知する照度センサ、環境情報(第2情報)として周囲の温度を検知する温度センサ、環境情報(第2情報)として降雨状況を検知する降雨センサ等を含む。また、センサ60は、移動体100の周辺の物体を検知するための超音波センサ、ドップラーレーダ等を含んでもよい。センサ60はCAN80を介してECU70又は異常検出システム1に検知結果を出力する。
(2.1.6)ECU
ECU70は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、ECU70の機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
ECU70は、移動体100の全体的な制御を行う。ECU70は、例えば、ユーザ200の運転操作に応じて、移動体100の運転に関わる駆動システム、制動システム、及び操舵システムの動作を制御する。駆動システムは、原動機(エンジン又は電動モータ等)によって駆動輪を回転させることで移動体100を前進又は後進させる。操舵システムは操舵輪の向きを変えることによって、移動体100の進行方向を所定の方向に変化させる。制動システムは、移動体100の前輪又は後輪の少なくとも一方に制動力を加える。
また、ECU70は、カメラシステム30から入力される撮像部31の画像をもとに、移動体100の周囲に存在する障害物(例えば人、他の移動体、又は建物等)を検出し、障害物との衝突を回避するために移動体100を制御する機能を有している。すなわち、撮像部31の画像は、移動体100の制御に関する処理に用いられる。
(2.2)動作
本実施形態の異常検出システム1の動作を図5のフローチャート等に基づいて説明する。以下では、異常検出システム1の判断部12が、カメラシステム30から入力される前方カメラ311の画像データに異常があるか否かを判断する場合の動作について説明する。なお、異常検出システム1の判断部12が、後方カメラ312の画像データに異常があるか否かを判断する場合の動作は、前方カメラ311の画像データに異常があるか否かを判断する場合の動作と同様であるので、その説明は省略する。
カメラシステム30の前方カメラ311は所定のフレームレートごとに撮影対象を撮影し、撮影した画像の画像データを前処理部32に出力する。前処理部32は、前方カメラ311から画像データが入力されると、画像データに前処理(例えばノイズ除去等の処理)を施し、前処理後の画像データを伝送路90を介して異常検出システム1及び表示システム50に出力する。
カメラシステム30の前処理部32が伝送路90を介して表示システム50に画像データを送信すると、表示システム50の表示制御部52は、カメラシステム30から送信された画像データに基づく画像を表示装置51に表示させる。
また、カメラシステム30の前処理部32が伝送路90を介して異常検出システム1に画像データを送信すると、異常検出システム1の受付部11が、カメラシステム30から送信された画像データを通信部21を介して受け付ける受付処理を行う(S1)。受付部11は、カメラシステム30から画像データを受け付けると、受け付けた画像データを記憶部23に記憶させる。
受付部11がカメラシステム30から前方カメラ311の画像の画像データを受け付けると、判断部12が、受付部11が受け付けた画像データにおいて注目画素の画素値が異常であるか否かを判断する判断処理を行う。まず、判断部12は、ステップS1で受け付けた画像データの画像(以下、第1画像とも言う)と、記憶部23に記憶されている、1つ前のフレームでの画像データの画像(以下、第2画像とも言う)との間で注目画素の画素値の変化量を算出する(S2)。ここで、注目画素は、例えば前方カメラ311の画像G1のうちの一部(例えば前照灯411の照明範囲)の部分画像G13(図3参照)を構成する複数の画素である。図3に示す部分画像は一例であり、撮像部31が撮像した画像G1においてどの画素を注目画素とするかは適宜変更が可能である。注目画素は、前方カメラ311の画像G1のうちの一部(例えば前照灯411が存在する範囲)の部分画像G11又はG12(図3参照)を構成する複数の画素でもよい。
判断部12が、第1画像と第2画像との間で注目画素に含まれる複数の画素の各々について画素値の変化量を求めると、画素値の変化量と基準値との高低を比較する(S3)。ここで、前方カメラ311及び前方カメラ311の画像データを異常検出システム1に出力するための回路(例えば前処理部32及び伝送路90等)の動作が正常であれば、第1画像と第2画像との間で注目画素の画素値の変化量が基準値を超えるような値に基準値は設定されている。
ステップS3の判断処理において、判断部12は、第1画像と第2画像との間で発生する注目画素の画素値の変化量が基準値以下になると(S3:Yes)、注目画素の画素値が異常であると判断する。判断部12が、注目画素の画素値、つまり受付部11が受け付けた画像データを異常と判断すると、処理部10は通知部22に異常を通知する通知処理を行わせ(S4)、異常の有無を判断する処理を終了する。通知部22は、例えば、受付部11が受け付けた画像データが異常であることを通知する通知音又は音声メッセージをスピーカ等から出力させることによって、画像データが異常であることを通知する。なお、通知部22は、表示ランプを点灯又は点滅させたり、表示装置51に異常を通知する文字又は記号を表示させたりすることで、画像データが異常であることを通知してもよい。これにより、前方カメラ311、前処理部32及び伝送路90等の異常によって受付部11が受け付ける画像データが異常になると、通知部22が画像データの異常を通知するので、ユーザ200は、表示装置51に表示される画像の異常を把握できる。例えば、夜間又はトンネル走行中のように移動体100の周囲が暗い場合に、表示装置51の画面の一部又は全体が黒色になるような異常が発生した場合、ユーザ200は、周囲が暗いために表示装置51の画面が黒色になっていると誤解する可能性がある。すなわち、ユーザ200は、画像データの異常によって表示装置51の画面が異常になっていることに気付きにくいという問題がある。本実施形態では、判断部12が注目画素の画素値が異常であると判断すると、通知部22が異常を通知する通知処理を行っているので、ユーザ200は、画像データの異常によって表示装置51の画面が黒色になっていることを把握できる。
一方、ステップS3の判断において、判断部12は、第1画像と第2画像との間で発生する画素値の変化量が基準値を超えると(S3:No)、前方カメラ311及び前方カメラ311の画像データを異常検出システム1に出力するための回路(例えば前処理部32及び伝送路90等)の動作を正常と判断し、ステップS5の処理に移行する。
ステップS5では、判断部12は、注目画素に含まれる複数の画素のうち、異常の有無を判断する判断処理を行っていない他の画素があるか否かを判断する。ここで、判断処理を行っていない他の画素があれば(S5:Yes)、判断部12は、ステップS2に戻って異常の有無を判断する処理を継続する。一方、注目画素に含まれる複数の画素の全てについて異常の有無を判断する処理が終了していれば(S5:No)、判断部12は、異常の有無を判断する処理を終了する。
また、異常検出システム1では、撮像部31が撮像した画像の画像データを受付部11が受け付けるたびに、ステップS2からステップS5までの処理を実行しており、受付部11が受け付けた画像の画像データに異常があるか否かを判断することができる。
(3)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、異常検出システム1と同様の機能は、異常検出方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る異常検出方法は、受付処理と、判断処理とを含む。受付処理では、撮像部31で撮影された画像の画像データを受け付ける。判断処理では、互いに異なるタイミングで受付処理にて受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、受付処理と、判断処理と、を実行させるためのプログラムである。
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。なお、以下では、上記実施形態を「基本例」と呼ぶこともある。
本開示における異常検出システム1は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における異常検出システム1としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、異常検出システム1における複数の機能が、1つの筐体内に集約されていることは異常検出システム1に必須の構成ではなく、異常検出システム1の構成要素は、複数の筐体に分散して設けられていてもよい。さらに、異常検出システム1の少なくとも一部の機能、例えば、判断部12、決定部13、及び不点灯検知部14等の一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
(3.1)変形例1
基本例の異常検出システム1は、判断部12が、受付部11が受け付ける画像の黒潰れ又は白とびの異常を検出しているのに対して、変形例1では、判断部12が、受付部11が受け付ける画像の黒潰れの異常を検出しており、この点で両者は相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例1の異常検出システム1では、判断条件が、注目画素の画素値が示す明るさが所定の暗領域の閾値(第1閾値)よりも暗く、かつ、注目画素の画素値の変化量が基準値以下であるという条件を含む。ここで、暗領域の閾値(第1閾値)は、注目画素に対応する画像が黒潰れしている暗領域であるか否かを判定するための境界値であり、注目画素に対応する画像が黒潰れしている場合の画素値よりも大きい値に設定されている。
判断部12は、判断条件に基づいて注目画素の画素値が異常であるか否かを判断する。
ここで、注目画素の画素値が示す明るさが第1閾値以上に明るくなるか、又は、注目画素の画素値の変化量が基準値よりも大きくなると、判断部12は、注目画素の画像が黒潰れしていないと判断する。
一方、注目画素の画素値が示す明るさが第1閾値よりも暗くなり、かつ、注目画素の画素値の変化量が基準値以下になると、判断部12は、注目画素の画像が黒潰れする異常が発生していると判断する。
このように、判断部12が、注目画素の画素値が示す明るさが所定の暗領域の閾値(第1閾値)よりも暗く、かつ、注目画素の画素値の変化量が基準値以下であるという条件を含む判断条件に基づいて、注目画像の画素値が異常であるか否かを判断するので、黒潰れの異常を検知できる。
なお、変形例1において、決定部13が、環境情報に基づいて、明るさの閾値(第1閾値)と画素値の変化量の基準値とを変更してもよく、例えば移動体100の周囲の照度に応じて、周囲の照度が明るいほど閾値をより高い値に設定してもよい。なお、決定部13は、閾値と基準値との両方を決定するものに限定されない。決定部13は、周囲環境に関する環境情報に基づいて、閾値と基準値との少なくとも一方を決定すればよく、環境情報に基づいて閾値又は基準値を最適な値に設定できる。
また、変形例1において、判断条件が、注目画素の画素値が示す明るさが所定の明領域の閾値(第2閾値)よりも明るく、かつ、注目画素の画素値の変化量が基準値以下であるという条件を含んでもよい。ここで、明領域の閾値(第2閾値)は、注目画素に対応する画像が白とびしている明領域であるか否かを判定するための境界値である。第2閾値は、第1閾値よりも大きい値であって、注目画素に対応する画像が白とびしている場合の画素値よりも小さい値に設定されている。
判断部12は、判断条件に基づいて注目画素の画素値が異常であるか否かを判断する。
ここで、注目画素の画素値が示す明るさが第2閾値以下に暗くなるか、又は、注目画素の画素値の変化量が基準値よりも大きくなると、判断部12は、注目画素の画像が白とびしていないと判断する。
一方、注目画素の画素値が示す明るさが第2閾値よりも明るくなり、かつ、注目画素の画素値の変化量が基準値以下になると、判断部12は、注目画素の画像が白とびする異常が発生していると判断できる。
このように、判断部12が、注目画素の画素値が示す明るさが所定の明領域の閾値(第2閾値)よりも明るく、かつ、注目画素の画素値の変化量が基準値以下であるという条件を含む判断条件に基づいて、注目画像の画素値が異常であるか否かを判断するので、白とびの異常を検知できる。
(3.2)変形例2
変形例2の異常検出システム1は、注目画素が、画像の一部又は全部を構成する複数の画素を含む画素群であり、判断部12が、判断条件に基づいて画素群の画素値が異常であるか否かを判断する点で、基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
注目画素は、受付部11が受け付ける画像の一部又は全部を構成する複数の画素を含む画素群である。変形例2では、注目画素は、例えば、受付部11が受け付ける画像において、移動体100の前照灯411(図2参照)によって照明される範囲が映る部分画像を構成する複数の画素を含む画素群である。
判断部12は、所定の判断条件に基づいて、画素群の画素値が異常であるか否かを判断する。ここで、判断条件は、受付部11が異なるタイミングで受け付けた複数の画像の間で、画素群を構成する複数の画素の画素値の変化量の総和が所定の基準値以下であるという条件である。判断部12は、受付部11が異なるタイミングで受け付ける複数の画像の間で、画素群を構成する複数の画素の画素値の変化量を求め、複数の画素の画素値の変化量の総和を求める。そして、判断部12は、複数の画素の画素値の変化量の総和が基準値を超えていれば、注目画素の画素値が異常ではないと判断する。また、判断部12は、複数の画素の画素値の変化量の総和が基準値以下であれば、注目画素の画素値が異常であると判断する。
このように、変形例2では、判断部12は、複数の画素の集まりである画素群の単位で、画素群を構成する複数の画素の画素値の変化量に基づいて、画素群を構成する複数の画素の画素値が異常であるか否かを判断する。これにより、画素群を構成する複数の画素の画素値が平均化されるので、ノイズ等による誤判断が発生しにくくなるという利点がある。
(3.3)変形例3
変形例3の異常検出システム1は、判断部12の判断条件が、互いに異なるタイミングで受付部11が受け付ける2つの画像の間での注目画素の画素値の変化量が基準値以下になる状態が、所定期間(第1所定期間)に所定回数以上発生するという条件を含む点で基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
判断部12は、互いに異なるタイミングで受付部11が受け付ける2つの画像の間で、注目画素の画素値の変化量に基づいて、注目画素の画素値が異常であるか否かを判断する。より詳細には、注目画素の画素値の変化量が基準値以下になる状態が、第1所定期間(例えば、受付部11が数フレーム分(例えば5フレーム分)の画像を受け付ける期間)に所定回数(例えば3回)以上発生すると、判断部12は、注目画素の画素値が異常であると判断する。これにより、注目画素の画素値の変化量が1回基準値以下になっただけでは、判断部12は注目画素の画素値が異常であると判断しないので、単発的な画素値の変化を異常と誤判断する可能性を低減できる。
なお、上記の第1所定期間及び所定回数は、撮像部31が設置される移動体100の種類と使用時間帯との少なくとも一方に応じて変更されてもよい。また、撮像部31が建物等に設置される固定カメラの場合、上記の第1所定期間及び所定回数は、撮像部31の設置場所と時間帯との少なくとも一方に応じて変更されてもよい。
(3.4)変形例4
変形例4の異常検出システム1は、判断部12の判断条件が、注目画素の画素値の変化量を所定期間(第2所定期間)にわたって累積した累積値が、累積基準値以下であるという条件を含む点で基本例と相違する。
変形例4では、判断部12は、受付部11が互いに異なるタイミングで受け付けた2つの画像の間で、注目画素に含まれる複数の画素の各々について画素値の変化量を求め、各画素の画素値の変化量を記憶部23に記憶させる。そして、判断部12は、注目画素に含まれる複数の画素の各々について、画素値の変化量を所定期間(第2所定期間)にわたって累積した累積値を求め、累積値が累積基準値以下であれば、画素値が異常であると判断する。撮像部31及び撮像部31の画像データを異常検出システム1に出力するための回路(例えば前処理部32及び伝送路90等)が正常であれば、注目画素を構成する複数の画素の各々では、画素値に変化が発生し、画素値の変化量を第2所定期間にわたって累積した累積値は累積基準値を上回る。したがって、判断部12は、注目画素を構成する複数の画素の各々について、画素値の変化量を第2所定期間にわたって累積した累積値が累積基準値以下になると、画素値が異常であると判断しており、撮像部31、前処理部32、又は伝送路90等の異常を検知できる。
(3.5)変形例5
変形例5の異常検出システム1は、判断部12が、周囲環境の照度が変化するタイミングで、注目画素の画素値が異常であるか否かを判断する点で、上記の基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
判断部12は、ECU70から通信部21を介して取得した制御情報に基づいて光源41が点灯又は消灯することを検知したタイミングで、注目画素の画素値の変化量に基づいて注目画素の画素値が異常であるか否かを判断してもよい。例えば、光源41が点灯又は消灯すると、光源41により照明される範囲の明るさが変化する。したがって、判断部12は、光源41の照明範囲に対応する画素を注目画素として、注目画素の画素値の変化量が所定の第1判定値以下であれば、注目画素の画素値が異常であると判断することができる。
また、判断部12は、センサ60から通信部21を介して取得した環境情報である周囲の照度の情報に基づいて、周囲環境の照度が変化するタイミングを検知し、このタイミングで、注目画素の画素値が異常であるか否かを判断してもよい。撮像部31及び撮像部31の画像データを異常検出システム1に出力するための回路(例えば前処理部32及び伝送路90等)が正常であれば、周囲環境の照度が変化すると、周囲環境の照度変化に応じて注目画素の画素値も変化する。したがって、判断部12は、周囲環境の照度が変化するタイミングで、注目画素の画素値の変化量が所定の第2判定値以下であれば、注目画素の画素値が異常であると判断することができる。
また、判断部12は、センサ60から通信部21を介して取得した環境情報である位置情報に基づいて、道路灯の設置場所付近を通過するタイミングに基づいて、周囲環境の照度が変化するタイミングを検知してもよい。撮像部31及び撮像部31の画像データを異常検出システム1に出力するための回路(例えば前処理部32及び伝送路90等)が正常であれば、周囲環境の照度が変化すると、周囲環境の照度変化に応じて注目画素の画素値も変化する。したがって、判断部12は、周囲環境の照度が変化するタイミングで、注目画素の画素値の変化量が所定の第2判定値以下であれば、注目画素の画素値が異常であると判断することができる。
(3.6)その他の変形例
基本例では、判断部12は、受付部11が今回受け付けた画像と受付部11が前回受け付けた画像との間で注目画素の画素値の変化量を求めているが、受付部11が互いに異なるタイミングで受け付けた複数の画像の間で注目画素の画素値の変化量を求めればよい。例えば、判断部12は、受付部11が今回受け付けた画像と、受付部11が前回よりも前のタイミング(例えば数回前のタイミング)で受け付けた画像との間で、注目画素の画素値の変化量を求めてもよい。そして、判断部12は、画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断してもよい。
また、基本例において、表示システム50は、カメラシステム30から異常検出システム1を介して入力された画像データに基づいて、撮像部31が撮像した画像を表示装置51に表示させてもよい。表示制御部52は、異常検出システム1によって異常の有無が判断された後の画像データに基づいて、撮像部31が撮影した画像を表示装置51に表示させることができる。また、ECU70は、カメラシステム30から異常検出システム1を介して入力された画像データに基づいて障害物を検出する処理等を行ってもよい。ECU70は、異常検出システム1によって異常の有無が判断された後の画像データに基づいて、撮像部31が撮影した画像から障害物を検出する処理を行うことができる。
また、ECU70は、カメラシステム30から入力される撮像部31の画像をもとに、移動体100の周囲に存在する障害物(例えば人、他の移動体、又は建物等)を検出し、障害物との衝突を回避するために移動体100を制御する機能を有している。すなわち、撮像部31の画像は、移動体100の制御に関する処理に用いられる。
また、基本例では、移動体100が自家用の自動車であったが、移動体100はタクシー又はバス等の運送用の車両でもよい。異常検出システム1は、移動体100において、客を乗せる室内空間を撮像する撮像部の画像データが異常であるか否かを検出してもよい。また、移動体100は、例えば、鉄道車両、船舶、航空機等の自動車以外の移動体でもよい。
また、基本例では、異常検出システム1は、移動体100に搭載された撮像部31で撮像される画像の画像データが異常であるか否かを判断しているが、監視カメラ等の固定カメラで撮像される画像の画像データが異常であるか否かを判断するものでもよい。
上記の基本例において、画素値等の2値の比較において、「より明るく」としているところは「同じか又はより明るく」であってもよいし、「より暗く」としているところは「同じか又はより暗く」であってもよい。つまり、2値の比較において、2値が等しい場合を含むか否かは、基準値等の設定次第で任意に変更できるので、「より明るく」か「同じか又はより明るく」かに技術上の差異はないし、「より暗く」か「同じか又はより暗く」かに技術上の差異はない。また、2値の比較において、「以下」としているところは、「より小さい(暗い)」でもよい。
(まとめ)
以上説明したように、第1の態様に係る異常検出システム(1)は、受付部(11)と、判断部(12)と、を備える。受付部(11)は、撮像部(31)で撮影された画像の画像データを受け付ける。判断部(12)は、互いに異なるタイミングで受付部(11)が受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。
この態様によれば、判断部(12)は、注目画素の画素値の時間的な変化量に関する判断条件に基づいて異常の有無を判断しており、受付部(11)が受け付ける画像データ自体は変更されていない。したがって、撮像部(31)を調整することなく、画像の異常を検出可能な異常検出システム(1)を提供できる。
第2の態様に係る異常検出システム(1)は、第1の態様において、周囲環境に関する環境情報に基づいて判断条件を決定する決定部(13)を更に備える。
この態様によれば、判断部(12)は、環境情報に基づいて決定部(13)が決定した判断条件に基づいて注目画素の画素値が異常であるか否かを判断することができる。
第3の態様に係る異常検出システム(1)では、第1の態様において、判断条件は、注目画素の画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、注目画素の画素値の変化量が基準値以下であるという条件を含む。
この態様によれば、判断部(12)は、注目画素の画素値が示す明るさが暗領域の閾値(第1閾値)よりも暗く、かつ、注目画素の画素値の変化量が基準値以下であるような異常を検出することができる。
第4の態様に係る異常検出システム(1)では、第1の態様において、判断条件は、注目画素の画素値が示す明るさが所定の明領域の閾値よりも明るく、かつ、注目画素の画素値の変化量が基準値以下であるという条件を含む。
この態様によれば、判断部(12)は、注目画素の画素値が示す明るさが明領域の閾値(第2閾値)よりも明るく、かつ、注目画素の画素値の変化量が基準値以下であるような異常を検出することができる。
第5の態様に係る異常検出システム(1)は、第3又は第4の態様において、決定部(13)を更に備える。決定部(13)は、周囲環境に関する環境情報に基づいて、閾値と基準値との少なくとも一方を決定する。
この態様によれば、判断部(12)は、環境情報に基づいて決定部(13)が閾値と基準値との少なくとも一方を決定した判断条件に基づいて注目画素の画素値が異常であるか否かを判断することができる。
第6の態様に係る異常検出システム(1)では、第2又は第5の態様において、環境情報は、周囲の照度に関する情報を含む。
この態様によれば、決定部(13)は、周囲の照度に関する情報に基づいて判断条件を決定できる。
第7の態様に係る異常検出システム(1)では、第1~第6のいずれかの態様において、注目画素は画像の一部又は全部を構成する複数の画素である。判断部(12)は、複数の画素の各々について判断条件に基づいて注目画素の画素値が異常であるか否かを判断する。
この態様によれば、判断部(12)は、複数の画素の各々について画素値が異常であるか否かを判断することができる。
第8の態様に係る異常検出システム(1)では、第1~第6のいずれかの態様において、注目画素は、画像の一部又は全部を構成する複数の画素を含む画素群である。判断部(12)は、判断条件に基づいて画素群の画素値が異常であるか否かを判断する。
この態様によれば、判断部(12)は、複数の画素を含む画素群の単位で画素値が異常であるか否かを判断することができる。
第9の態様に係る異常検出システム(1)では、第1~第8のいずれかの態様において、判断条件は、互いに異なるタイミングで受付部(11)が受け付ける2つの画像の間での注目画素の画素値の変化量が基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む。
この態様によれば、判断部(12)は、注目画素の画素値の変化量が基準値以下になる状態が、所定期間に所定回数以上発生しない場合は、注目画素の画素値が異常であると判断しないので、誤判断を低減できる。
第10の態様に係る異常検出システム(1)では、第1~第8のいずれかの態様において、判断条件は、注目画素の画素値の変化量を所定期間にわたって累積した累積値が、累積基準値以下であるという条件を含む。
この態様によれば、判断部(12)は、注目画素の画素値の変化量を所定期間にわたって累積した累積値が、累積基準値を超えていれば、注目画素の画素値が異常であると判断しないので、誤判断を低減できる。
第11の態様に係る異常検出システム(1)では、第1~第10のいずれかの態様において、判断部(12)は、周囲環境の照度が変化するタイミングで、注目画素の画素値が異常であるか否かを判断する。
この態様によれば、判断部(12)は、周囲環境の照度変化に伴い、注目画素の画素値が変化するタイミングで、注目画素の画素値の変化量に関する判断条件に基づいて注目画素の画素値が異常であるか否かを判断することができる。
第12の態様に係る異常検出システム(1)では、第1~第11のいずれかの態様において、撮像部(31)が、移動体(100)に搭載される。
この態様によれば、判断部(12)は、移動体(100)に搭載される撮像部(31)から受付部(11)が受け付ける画像データの画素値が異常であるか否かを判断することができる。
第13の態様に係る異常検出システム(1)では、第12の態様において、撮像部(31)の画像は、移動体(100)の制御に関する処理に用いられる。
この態様によれば、判断部(12)は、移動体(100)の制御に関わる処理に用いられる画像の画素値が異常であるか否かを判断することができる。
第14の態様に係る移動体(100)は、移動する移動体本体(101)と、移動体本体(101)に搭載される第12又は第13の態様に係る異常検出システム(1)と、を備える。
この態様によれば、移動体(100)に搭載される撮像部(31)から受付部(11)が受け付ける画像データの画素値が異常であるか否かを判断することができる移動体(100)を提供できる。
第15の態様に係る異常検出方法は、受付処理と、判断処理とを含む。受付処理では、撮像部(31)で撮影された画像の画像データを受け付ける。判断処理では、互いに異なるタイミングで受付処理にて受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。
この態様によれば、判断処理では、注目画素の画素値の時間的な変化量に関する判断条件に基づいて異常の有無を判断しており、受付処理において受け付ける画像データ自体は変更されていない。したがって、撮像部(31)を調整することなく、画像の異常を検出可能な異常検出方法を提供できる。
第16の態様に係るプログラムは、コンピュータシステムに、受付処理と、判断処理とを実行させるためのプログラムである。受付処理では、撮像部(31)で撮影された画像の画像データを受け付ける。判断処理では、互いに異なるタイミングで受付処理にて受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。
この態様によれば、判断処理では、注目画素の画素値の時間的な変化量に関する判断条件に基づいて異常の有無を判断しており、受付処理において受け付ける画像データ自体は変更されていない。したがって、撮像部(31)を調整することなく、画像の異常を検出可能なプログラムを提供できる。
第17の態様に係る異常検出システム(1)では、第1~第13のいずれかの態様において、判断条件は、注目画素の画素値の変化量が基準値以下であるという条件を含む。
この態様によれば、判断部(12)は、注目画素の画素値の変化量が基準値以下であることから、注目画素の画素値が異常であると判断することができる。
上記態様に限らず、上記の実施形態に係る異常検出システム(1)の種々の構成(変形例を含む)は、異常検出方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
第2~第13、及び第17の態様に係る構成については、異常検出システム(1)に必須の構成ではなく、適宜省略可能である。
1 異常検出システム
11 受付部
12 判断部
13 決定部
31 撮像部
100 移動体
101 移動体本体

Claims (13)

  1. 移動体に搭載される異常検出システムであって、
    撮像部で撮影された画像の画像データを受け付ける受付部と、
    互いに異なるタイミングで前記受付部が受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断部と、を備え、
    前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含み、
    周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定部を更に備え、
    前記環境情報は、周囲の照度に関する情報を含み、
    前記判断部は、前記移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する、
    異常検出システム。
  2. 前記決定部は、周囲環境に関する前記環境情報に基づいて前記判断条件を決定する、
    請求項1に記載の異常検出システム。
  3. 前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の明領域の閾値よりも明るく、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含む、
    請求項1に記載の異常検出システム。
  4. 前記注目画素は前記画像の一部又は全部を構成する複数の画素であり、
    前記判断部は、前記複数の画素の各々について前記判断条件に基づいて前記注目画素の前記画素値が異常であるか否かを判断する、
    請求項1~3のいずれか1項に記載の異常検出システム。
  5. 前記注目画素は、前記画像の一部又は全部を構成する複数の画素を含む画素群であり、
    前記判断部は、前記判断条件に基づいて前記画素群の前記画素値が異常であるか否かを判断する、
    請求項1~4のいずれか1項に記載の異常検出システム。
  6. 前記判断条件は、互いに異なるタイミングで前記受付部が受け付ける2つの前記画像の間での前記注目画素の前記画素値の変化量が基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む、
    請求項1~5のいずれか1項に記載の異常検出システム。
  7. 前記判断条件は、前記注目画素の前記画素値の変化量を所定期間にわたって累積した累積値が、累積基準値以下であるという条件を含む、
    請求項1~6のいずれか1項に記載の異常検出システム。
  8. 前記判断部は、周囲環境の照度が変化するタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する、
    請求項1~7のいずれか1項に記載の異常検出システム。
  9. 前記撮像部が、前記移動体に搭載される、
    請求項1~8のいずれか1項に記載の異常検出システム。
  10. 前記撮像部の前記画像は、前記移動体の制御に関わる処理に用いられる、
    請求項9に記載の異常検出システム。
  11. 移動する移動体本体と、
    前記移動体本体に搭載される請求項9又は10に記載の前記異常検出システムと、を備える、
    移動体。
  12. 撮像部で撮影された画像の画像データを受け付ける受付処理と、
    互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、を含み、
    前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含み、
    周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定処理を更に含み、
    前記環境情報は、周囲の照度に関する情報を含み、
    前記判断処理は、移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する、
    異常検出方法。
  13. コンピュータシステムに、
    撮像部で撮影された画像の画像データを受け付ける受付処理と、
    互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、を実行させるためのプログラムであって、
    前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含み、
    周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定処理を更に実行させ、
    前記環境情報は、周囲の照度に関する情報を含み、
    前記判断処理は、移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断させる、
    プログラム。
JP2019023708A 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム Active JP7262043B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019023708A JP7262043B2 (ja) 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019023708A JP7262043B2 (ja) 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020136731A JP2020136731A (ja) 2020-08-31
JP7262043B2 true JP7262043B2 (ja) 2023-04-21

Family

ID=72263747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019023708A Active JP7262043B2 (ja) 2019-02-13 2019-02-13 異常検出システム、移動体、異常検出方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP7262043B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127901B1 (ja) 2021-05-24 2022-08-30 Necプラットフォームズ株式会社 情報処理端末、制御方法、及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003104123A (ja) 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 車両用ミラー装置
JP2006229341A (ja) 2005-02-15 2006-08-31 Sanyo Electric Co Ltd 撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003104123A (ja) 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 車両用ミラー装置
JP2006229341A (ja) 2005-02-15 2006-08-31 Sanyo Electric Co Ltd 撮像装置

Also Published As

Publication number Publication date
JP2020136731A (ja) 2020-08-31

Similar Documents

Publication Publication Date Title
JP4738778B2 (ja) 画像処理装置、運転支援装置および運転支援システム
JP5437855B2 (ja) 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法
WO2015118806A1 (ja) 画像解析装置、および画像解析方法
US20130088598A1 (en) Obstacle detection system and method, and obstacle detection apparatus
US20180015879A1 (en) Side-view mirror camera system for vehicle
JP6969488B2 (ja) 画像表示装置
JP5441450B2 (ja) 車両用撮像装置
JP2010537330A (ja) 画像評価適応走行制御システムのセンサ画像における輝度値を評価するための方法およびシステム
US10516848B2 (en) Image processing device
JP7262043B2 (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
JP7262044B2 (ja) 異常検出システム、移動体、異常検出方法、及びプログラム
JP2001008195A (ja) 車両後方監視装置
KR101969856B1 (ko) 주변 광의 검출 방법 및 시스템
KR102284128B1 (ko) 차량용 카메라
EP3484144B1 (en) Captured image display system, electronic mirror system, and captured image display method
JP2013172378A (ja) 画像処理装置及び車両
JP6866212B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
WO2020049806A1 (ja) 画像処理装置および画像処理方法
JP2008171097A (ja) 車両用認識装置
JP2007253781A (ja) 車載表示システム
JP6844575B2 (ja) 車載システム及び表示装置
EP4191998A1 (en) Infrared image capturing device, and infrared image capturing system
US20230394844A1 (en) System for avoiding accidents caused by wild animals crossing at dusk and at night
JP3929420B2 (ja) 車両用光量検出装置及び車両用照明制御装置
US20230110938A1 (en) Vehicular vision system with remote display feature

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230331

R151 Written notification of patent or utility model registration

Ref document number: 7262043

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03