JP7262044B2 - 異常検出システム、移動体、異常検出方法、及びプログラム - Google Patents
異常検出システム、移動体、異常検出方法、及びプログラム Download PDFInfo
- Publication number
- JP7262044B2 JP7262044B2 JP2019023709A JP2019023709A JP7262044B2 JP 7262044 B2 JP7262044 B2 JP 7262044B2 JP 2019023709 A JP2019023709 A JP 2019023709A JP 2019023709 A JP2019023709 A JP 2019023709A JP 7262044 B2 JP7262044 B2 JP 7262044B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- unit
- pixel value
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 105
- 230000002159 abnormal effect Effects 0.000 claims description 74
- 238000003384 imaging method Methods 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 32
- 230000007613 environmental effect Effects 0.000 claims description 19
- 238000005286 illumination Methods 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 description 99
- 238000004891 communication Methods 0.000 description 16
- 238000007781 pre-processing Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 12
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
Description
(1)概要
本実施形態の異常検出システム1は、図1に示すように、受付部11と、判断部12とを備える。
本実施形態の異常検出システム1を含めた全体システムについて図1を参照して説明する。本実施形態の異常検出システム1は、自動車のような移動体100(図2参照)に用いられる。すなわち、本実施形態の移動体100は、移動する移動体本体101と、移動体本体101に搭載される異常検出システム1と、を備える。
本実施形態に係る異常検出システム1を含む全体システムについて図1~図5を参照して説明する。
異常検出システム1は、処理部10と、通信部21と、通知部22と、記憶部23と、を備える。
カメラシステム30は、移動体100に搭載される撮像部31と、撮像部31が撮影した画像の画像データを前処理する前処理部32とを備える。
照明システム40は、光源41と、照明制御部42と、を備える。
表示システム50は、表示装置51と、表示制御部52とを備える。
センサ60は、移動体100に設けられた各種のセンサである。センサ60は、移動体100の周囲環境に関する環境情報、具体的には移動体100の周囲の環境に関する第2情報を検出する。センサ60は、例えば、環境情報(第2情報)として周囲の照度を検知する照度センサ、環境情報(第2情報)として周囲の温度を検知する温度センサ、環境情報(第2情報)として降雨状況を検知する降雨センサ等を含む。また、センサ60は、移動体100の周辺の物体を検知するための超音波センサ、ドップラーレーダ等を含んでもよい。センサ60はCAN80を介してECU70又は異常検出システム1に検知結果を出力する。
ECU70は、例えば、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、ECU70の機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されている。なお、プログラムは、電気通信回線を通じて提供されてもよいし、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。
本実施形態の異常検出システム1の動作を図5のフローチャート等に基づいて説明する。以下では、異常検出システム1の判断部12が、カメラシステム30から入力される前方カメラ311の画像データに異常があるか否かを判断する場合の動作について説明する。なお、異常検出システム1の判断部12が、後方カメラ312の画像データに異常があるか否かを判断する場合の動作は、前方カメラ311の画像データに異常があるか否かを判断する場合の動作と同様であるので、その説明は省略する。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、異常検出システム1と同様の機能は、異常検出方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る異常検出方法は、受付処理と、判断処理とを含む。受付処理では、撮像部31で撮影された画像の画像データを受け付ける。判断処理では、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。注目画素は、画像を構成する複数の画素のうち、少なくとも光源41が存在する範囲の画素である。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、受付処理と、判断処理と、を実行させるためのプログラムである。
変形例1の異常検出システム1は、判断部12が、上記の判断条件に基づいて、複数の注目画素を含む画素群について、画素群の画素値が異常であるか否かを判断する点で、上記の基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
変形例2の異常検出システム1は、判断部12の判断条件が、注目画素の画素値が基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む点で基本例と相違する。なお、異常検出システム1を含む全体システムの構成は上記の基本例と同様であるので、その説明は省略する。
上記の基本例において、判断部12は、光源41が点灯している状態で、光源41の照明範囲を含む部分画像において、画素値が所定のしきい値よりも明るくなる領域の形状に基づいて、注目画素の画素値が異常か否かを判断してもよい。光源41の点灯時には、光源41の照明範囲において、光源41の光が照射される範囲の画素値が所定のしきい値よりも明るくなるため、画素値が所定のしきい値よりも明るい範囲の形状は所定の配光パターンとなる。したがって、判断部12は、光源41の点灯時に、光源41の照明範囲において画素値がしきい値よりも明るくなる領域の形状が所定の配光パターンに一致しなければ、注目画素の画素値が異常であると判断することができる。
以上説明したように、第1の態様に係る異常検出システム(1)は、受付部(11)と、判断部(12)と、を備える。受付部(11)は、撮像部(31)で撮影された画像の画像データを受け付ける。判断部(12)は、注目画素の画素値に関する判断条件に基づいて、少なくとも注目画素の画素値が異常であるか否かを判断する。注目画素は、画像を構成する複数の画素のうち、少なくとも光源(41)が存在する範囲の画素である。
11 受付部
12 判断部
13 決定部
31 撮像部
41 光源
100 移動体
101 移動体本体
Claims (9)
- 撮像部で撮影された画像の画像データを受け付ける受付部と、
前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断部と、
周囲環境に関する環境情報に基づいて前記判断条件を決定する決定部と、を備え、
前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含み、
前記部分画像は、前記光源による照明範囲を更に含み、
前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含み、
前記判断部は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断し、
前記環境情報は、周囲の照度に関する情報を含み、
前記決定部は、前記周囲の照度に関する情報に基づいて前記基準値を変更する、
異常検出システム。 - 前記判断条件は、前記注目画素の前記画素値が前記基準値以下になる状態が、所定期間に所定回数以上発生するという条件を含む、
請求項1に記載の異常検出システム。 - 前記判断部は、前記判断条件に基づいて、複数の前記注目画素の各々について前記画素値が異常であるか否かを判断する、
請求項1又は2に記載の異常検出システム。 - 前記判断部は、前記判断条件に基づいて、複数の前記注目画素を含む画素群について、前記画素群の前記画素値が異常であるか否かを判断する、
請求項1~3のいずれか1項に記載の異常検出システム。 - 前記撮像部が、移動体に搭載される、
請求項1~4のいずれか1項に記載の異常検出システム。 - 前記撮像部の前記画像は、前記移動体の制御に関わる処理に用いられる、
請求項5に記載の異常検出システム。 - 移動する移動体本体と、
前記移動体本体に搭載される請求項5又は6に記載の前記異常検出システムと、を備える、
移動体。 - 撮像部で撮影された画像の画像データを受け付ける受付処理と、
前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、
周囲環境に関する環境情報に基づいて前記判断条件を決定する決定処理と、を含み、
前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含み、
前記部分画像は、前記光源による照明範囲を更に含み、
前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含み、
前記判断処理は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断し、
前記環境情報は、周囲の照度に関する情報を含み、
前記決定処理は、前記周囲の照度に関する情報に基づいて前記基準値を変更する、
異常検出方法。 - コンピュータシステムに、
撮像部で撮影された画像の画像データを受け付ける受付処理と、
前記画像を構成する複数の画素のうち、少なくとも光源が存在する範囲の注目画素の画素値に関する判断条件に基づいて、少なくとも前記注目画素の前記画素値が異常であるか否かを判断する判断処理と、
周囲環境に関する環境情報に基づいて前記判断条件を決定する決定処理と、を実行させるためのプログラムであって、
前記注目画素は、前記画像から抽出された、前記光源が存在する範囲の部分画像を構成する画素を含み、
前記部分画像は、前記光源による照明範囲を更に含み、
前記判断条件は、前記注目画素の前記画素値が基準値以下であるという条件を含み、
前記判断処理は、前記注目画素の前記画素値が前記基準値以下の場合に前記注目画素の前記画素値が異常であると判断し、
前記環境情報は、周囲の照度に関する情報を含み、
前記決定処理は、前記周囲の照度に関する情報に基づいて前記基準値を変更する、
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023709A JP7262044B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019023709A JP7262044B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020136732A JP2020136732A (ja) | 2020-08-31 |
JP7262044B2 true JP7262044B2 (ja) | 2023-04-21 |
Family
ID=72279106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019023709A Active JP7262044B2 (ja) | 2019-02-13 | 2019-02-13 | 異常検出システム、移動体、異常検出方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7262044B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005143083A (ja) | 2003-10-15 | 2005-06-02 | Fujitsu Ten Ltd | 画像処理装置、運転支援装置および運転支援システム |
JP2010140171A (ja) | 2008-12-10 | 2010-06-24 | Toyota Motor Corp | 前照灯システム、故障検出方法 |
JP2017022671A (ja) | 2015-07-15 | 2017-01-26 | ソニー株式会社 | 撮像装置および撮像方法、並びにプログラム |
-
2019
- 2019-02-13 JP JP2019023709A patent/JP7262044B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005143083A (ja) | 2003-10-15 | 2005-06-02 | Fujitsu Ten Ltd | 画像処理装置、運転支援装置および運転支援システム |
JP2010140171A (ja) | 2008-12-10 | 2010-06-24 | Toyota Motor Corp | 前照灯システム、故障検出方法 |
JP2017022671A (ja) | 2015-07-15 | 2017-01-26 | ソニー株式会社 | 撮像装置および撮像方法、並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020136732A (ja) | 2020-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5437855B2 (ja) | 障害物検知装置およびそれを備えた障害物検知システム、並びに障害物検知方法 | |
JP4496964B2 (ja) | 車両用トンネル検出装置および車両用ライト制御装置 | |
JP4738778B2 (ja) | 画像処理装置、運転支援装置および運転支援システム | |
US20180334099A1 (en) | Vehicle environment imaging systems and methods | |
WO2015118806A1 (ja) | 画像解析装置、および画像解析方法 | |
US20130088598A1 (en) | Obstacle detection system and method, and obstacle detection apparatus | |
JP2006298362A (ja) | 暗い領域に到達したことを早期に検出する方法 | |
JP4927647B2 (ja) | 車両周辺監視装置 | |
US20150085118A1 (en) | Method and camera assembly for detecting raindrops on a windscreen of a vehicle | |
US10735667B1 (en) | Vehicle surroundings monitoring apparatus | |
JP7262043B2 (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
JP7262044B2 (ja) | 異常検出システム、移動体、異常検出方法、及びプログラム | |
JP6642280B2 (ja) | 画像表示システム | |
CN109987025A (zh) | 用于夜晚环境的车辆驾驶辅助系统及方法 | |
CN111216636A (zh) | 行驶控制装置、控制方法以及存储程序的存储介质 | |
EP3484144B1 (en) | Captured image display system, electronic mirror system, and captured image display method | |
JP2012118929A (ja) | 外部環境判定装置及び外部環境判定プログラム | |
JP2013172378A (ja) | 画像処理装置及び車両 | |
JP2008171097A (ja) | 車両用認識装置 | |
JP2007253781A (ja) | 車載表示システム | |
CN110942044A (zh) | 远光灯违规检测方法、装置、电子设备及存储介质 | |
US20230394844A1 (en) | System for avoiding accidents caused by wild animals crossing at dusk and at night | |
JP6844575B2 (ja) | 車載システム及び表示装置 | |
JP2018182540A (ja) | 表示制御装置、表示制御方法及びカメラモニタリングシステム | |
CN115398883B (zh) | 红外线拍摄装置以及红外线拍摄系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230331 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7262044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |