JP7262043B2 - 異常検出システム、移動体、異常検出方法、及びプログラム - Google Patents
異常検出システム、移動体、異常検出方法、及びプログラム Download PDFInfo
- Publication number
- JP7262043B2 JP7262043B2 JP2019023708A JP2019023708A JP7262043B2 JP 7262043 B2 JP7262043 B2 JP 7262043B2 JP 2019023708 A JP2019023708 A JP 2019023708A JP 2019023708 A JP2019023708 A JP 2019023708A JP 7262043 B2 JP7262043 B2 JP 7262043B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- unit
- pixel value
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 125
- 230000008859 change Effects 0.000 claims description 92
- 230000002159 abnormal effect Effects 0.000 claims description 83
- 238000003384 imaging method Methods 0.000 claims description 81
- 238000000034 method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 31
- 230000007613 environmental effect Effects 0.000 claims description 23
- 230000001186 cumulative effect Effects 0.000 claims description 13
- 230000005856 abnormality Effects 0.000 description 119
- 238000007781 pre-processing Methods 0.000 description 22
- 230000005540 biological transmission Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000012986 modification Methods 0.000 description 16
- 230000015654 memory Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000005286 illumination Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
(1)概要
本実施形態の異常検出システム1は、図1に示すように、受付部11と、判断部12とを備える。
本実施形態の異常検出システム1を含めた全体システムについて図1を参照して説明する。本実施形態の異常検出システム1は、自動車のような移動体100(図2参照)に用いられる。すなわち、本実施形態の移動体100は、移動する移動体本体101と、移動体本体101に搭載される異常検出システム1と、を備える。
本実施形態に係る異常検出システム1を含む全体システムについて図1~図5を参照して説明する。
異常検出システム1は、処理部10と、通信部21と、通知部22と、記憶部23と、を備える。
カメラシステム30は、移動体100に搭載される撮像部31と、撮像部31が撮影した画像の画像データを前処理する前処理部32とを備える。
照明システム40は、光源41と、照明制御部42と、を備える。
表示システム50は、表示装置51と、表示制御部52とを備える。
センサ60は、移動体100に設けられた各種のセンサである。センサ60は、移動体100の周囲環境に関する環境情報、具体的には移動体100の周囲の環境に関する第2情報を検出する。センサ60は、例えば、環境情報(第2情報)として周囲の照度を検知する照度センサ、環境情報(第2情報)として周囲の温度を検知する温度センサ、環境情報(第2情報)として降雨状況を検知する降雨センサ等を含む。また、センサ60は、移動体100の周辺の物体を検知するための超音波センサ、ドップラーレーダ等を含んでもよい。センサ60はCAN80を介してECU70又は異常検出システム1に検知結果を出力する。
ECU70は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、ECU70の機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
本実施形態の異常検出システム1の動作を図5のフローチャート等に基づいて説明する。以下では、異常検出システム1の判断部12が、カメラシステム30から入力される前方カメラ311の画像データに異常があるか否かを判断する場合の動作について説明する。なお、異常検出システム1の判断部12が、後方カメラ312の画像データに異常があるか否かを判断する場合の動作は、前方カメラ311の画像データに異常があるか否かを判断する場合の動作と同様であるので、その説明は省略する。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、異常検出システム1と同様の機能は、異常検出方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る異常検出方法は、受付処理と、判断処理とを含む。受付処理では、撮像部31で撮影された画像の画像データを受け付ける。判断処理では、互いに異なるタイミングで受付処理にて受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、受付処理と、判断処理と、を実行させるためのプログラムである。
基本例の異常検出システム1は、判断部12が、受付部11が受け付ける画像の黒潰れ又は白とびの異常を検出しているのに対して、変形例1では、判断部12が、受付部11が受け付ける画像の黒潰れの異常を検出しており、この点で両者は相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例2の異常検出システム1は、注目画素が、画像の一部又は全部を構成する複数の画素を含む画素群であり、判断部12が、判断条件に基づいて画素群の画素値が異常であるか否かを判断する点で、基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例3の異常検出システム1は、判断部12の判断条件が、互いに異なるタイミングで受付部11が受け付ける2つの画像の間での注目画素の画素値の変化量が基準値以下になる状態が、所定期間(第1所定期間)に所定回数以上発生するという条件を含む点で基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例4の異常検出システム1は、判断部12の判断条件が、注目画素の画素値の変化量を所定期間(第2所定期間)にわたって累積した累積値が、累積基準値以下であるという条件を含む点で基本例と相違する。
変形例5の異常検出システム1は、判断部12が、周囲環境の照度が変化するタイミングで、注目画素の画素値が異常であるか否かを判断する点で、上記の基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
基本例では、判断部12は、受付部11が今回受け付けた画像と受付部11が前回受け付けた画像との間で注目画素の画素値の変化量を求めているが、受付部11が互いに異なるタイミングで受け付けた複数の画像の間で注目画素の画素値の変化量を求めればよい。例えば、判断部12は、受付部11が今回受け付けた画像と、受付部11が前回よりも前のタイミング(例えば数回前のタイミング)で受け付けた画像との間で、注目画素の画素値の変化量を求めてもよい。そして、判断部12は、画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断してもよい。
以上説明したように、第1の態様に係る異常検出システム(1)は、受付部(11)と、判断部(12)と、を備える。受付部(11)は、撮像部(31)で撮影された画像の画像データを受け付ける。判断部(12)は、互いに異なるタイミングで受付部(11)が受け付ける複数の画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。
11 受付部
12 判断部
13 決定部
31 撮像部
100 移動体
101 移動体本体
Claims (13)
- 移動体に搭載される異常検出システムであって、
撮像部で撮影された画像の画像データを受け付ける受付部と、
互いに異なるタイミングで前記受付部が受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断部と、を備え、
前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含み、
周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定部を更に備え、
前記環境情報は、周囲の照度に関する情報を含み、
前記判断部は、前記移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する、
異常検出システム。 - 前記決定部は、周囲環境に関する前記環境情報に基づいて前記判断条件を決定する、
請求項1に記載の異常検出システム。 - 前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の明領域の閾値よりも明るく、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含む、
請求項1に記載の異常検出システム。 - 前記注目画素は前記画像の一部又は全部を構成する複数の画素であり、
前記判断部は、前記複数の画素の各々について前記判断条件に基づいて前記注目画素の前記画素値が異常であるか否かを判断する、
請求項1~3のいずれか1項に記載の異常検出システム。 - 前記注目画素は、前記画像の一部又は全部を構成する複数の画素を含む画素群であり、
前記判断部は、前記判断条件に基づいて前記画素群の前記画素値が異常であるか否かを判断する、
請求項1~4のいずれか1項に記載の異常検出システム。 - 前記判断条件は、互いに異なるタイミングで前記受付部が受け付ける2つの前記画像の間での前記注目画素の前記画素値の変化量が基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む、
請求項1~5のいずれか1項に記載の異常検出システム。 - 前記判断条件は、前記注目画素の前記画素値の変化量を所定期間にわたって累積した累積値が、累積基準値以下であるという条件を含む、
請求項1~6のいずれか1項に記載の異常検出システム。 - 前記判断部は、周囲環境の照度が変化するタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する、
請求項1~7のいずれか1項に記載の異常検出システム。 - 前記撮像部が、前記移動体に搭載される、
請求項1~8のいずれか1項に記載の異常検出システム。 - 前記撮像部の前記画像は、前記移動体の制御に関わる処理に用いられる、
請求項9に記載の異常検出システム。 - 移動する移動体本体と、
前記移動体本体に搭載される請求項9又は10に記載の前記異常検出システムと、を備える、
移動体。 - 撮像部で撮影された画像の画像データを受け付ける受付処理と、
互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、を含み、
前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含み、
周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定処理を更に含み、
前記環境情報は、周囲の照度に関する情報を含み、
前記判断処理は、移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断する、
異常検出方法。 - コンピュータシステムに、
撮像部で撮影された画像の画像データを受け付ける受付処理と、
互いに異なるタイミングで前記受付処理にて受け付ける複数の前記画像の間での注目画素の画素値の変化量に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、を実行させるためのプログラムであって、
前記判断条件は、前記注目画素の前記画素値が示す明るさが所定の暗領域の閾値よりも暗く、かつ、前記注目画素の前記画素値の変化量が基準値以下であるという条件を含み、
周囲環境に関する環境情報に基づいて、前記閾値と前記基準値との少なくとも一方を決定する決定処理を更に実行させ、
前記環境情報は、周囲の照度に関する情報を含み、
前記判断処理は、移動体に設けられた光源が点灯又は消灯することを検知したタイミングで、前記注目画素の前記画素値が異常であるか否かを判断させる、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023708A JP7262043B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023708A JP7262043B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020136731A JP2020136731A (ja) | 2020-08-31 |
JP7262043B2 true JP7262043B2 (ja) | 2023-04-21 |
Family
ID=72263747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019023708A Active JP7262043B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7262043B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7127901B1 (ja) | 2021-05-24 | 2022-08-30 | Necプラットフォームズ株式会社 | 情報処理端末、制御方法、及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003104123A (ja) | 2001-09-28 | 2003-04-09 | Matsushita Electric Ind Co Ltd | 車両用ミラー装置 |
JP2006229341A (ja) | 2005-02-15 | 2006-08-31 | Sanyo Electric Co Ltd | 撮像装置 |
-
2019
- 2019-02-13 JP JP2019023708A patent/JP7262043B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003104123A (ja) | 2001-09-28 | 2003-04-09 | Matsushita Electric Ind Co Ltd | 車両用ミラー装置 |
JP2006229341A (ja) | 2005-02-15 | 2006-08-31 | Sanyo Electric Co Ltd | 撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020136731A (ja) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4738778B2 (ja) | 画像処理装置、運転支援装置および運転支援システム | |
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
US20130088598A1 (en) | Obstacle detection system and method, and obstacle detection apparatus | |
US20180015879A1 (en) | Side-view mirror camera system for vehicle | |
JP2015149614A (ja) | 画像解析装置、および画像解析方法 | |
JP6969488B2 (ja) | 画像表示装置 | |
JP5441450B2 (ja) | 車両用撮像装置 | |
JP2010537330A (ja) | 画像評価適応走行制御システムのセンサ画像における輝度値を評価するための方法およびシステム | |
US10516848B2 (en) | Image processing device | |
JP7262043B2 (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
JP7262044B2 (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
KR101969856B1 (ko) | 주변 광의 검출 방법 및 시스템 | |
KR102284128B1 (ko) | 차량용 카메라 | |
EP3484144B1 (en) | Captured image display system, electronic mirror system, and captured image display method | |
JP2013172378A (ja) | 画像処理装置及び車両 | |
JP6866212B2 (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
WO2020049806A1 (ja) | 画像処理装置および画像処理方法 | |
JP2008171097A (ja) | 車両用認識装置 | |
JP2007253781A (ja) | 車載表示システム | |
JP6844575B2 (ja) | 車載システム及び表示装置 | |
EP4191998A1 (en) | Infrared image capturing device, and infrared image capturing system | |
US20230394844A1 (en) | System for avoiding accidents caused by wild animals crossing at dusk and at night | |
JP3929420B2 (ja) | 車両用光量検出装置及び車両用照明制御装置 | |
US20230110938A1 (en) | Vehicular vision system with remote display feature | |
JP2022133156A (ja) | 車両用周辺監視装置及び車両用周辺監視システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7262043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |