JP6731645B2 - 画像監視装置、画像監視方法および画像監視プログラム - Google Patents

画像監視装置、画像監視方法および画像監視プログラム Download PDF

Info

Publication number
JP6731645B2
JP6731645B2 JP2017150375A JP2017150375A JP6731645B2 JP 6731645 B2 JP6731645 B2 JP 6731645B2 JP 2017150375 A JP2017150375 A JP 2017150375A JP 2017150375 A JP2017150375 A JP 2017150375A JP 6731645 B2 JP6731645 B2 JP 6731645B2
Authority
JP
Japan
Prior art keywords
block
flat
maximum value
image monitoring
minimum value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017150375A
Other languages
English (en)
Other versions
JP2019029948A (ja
Inventor
釣部　智行
智行 釣部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017150375A priority Critical patent/JP6731645B2/ja
Priority to PCT/JP2018/023612 priority patent/WO2019026457A1/ja
Publication of JP2019029948A publication Critical patent/JP2019029948A/ja
Priority to US16/656,205 priority patent/US10701352B2/en
Application granted granted Critical
Publication of JP6731645B2 publication Critical patent/JP6731645B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Description

本発明は、画像監視装置、画像監視方法および画像監視プログラムに関する。
車両にカメラを搭載し、得られた画像を解析して他の車両や人を検出することが行われている。カメラに泥などの汚れが付着すると正確な検出ができなくなるため、カメラの汚れを検知することも行われている（例えば、特許文献１）。本特許文献１では、異なるタイミングで得られた映像信号のフレーム間差分を順次積算し、積算値が所定値以下となる領域が大きい場合に、レンズに汚れが付着していると判断する。
しかしながら、この手法では、必ずしも精度よく汚れを検知できるとは限らない。また、フレーム間差分を積算して判断するため、汚れ付着の判断に時間を要している。
特許第３８０７３３１号公報
本開示の課題は、精度よく時間遅延なくカメラの汚れを検知できる画像監視装置、画像監視方法および画像監視プログラムを提供することである。
本開示の一態様によれば、レンズを通して得られた映像信号のうちの１フレーム内に設定されるブロックを構成する画素のうち、輝度の最大値および最小値を算出する最大値最小値算出部と、前記最大値および前記最小値に基づいて、各ブロックの輝度が平坦なブロックか否かを判定する平坦ブロック判定部と、前記１フレーム内の平坦ブロックの数を計数する平坦ブロック計数部と、前記平坦ブロックの数に基づいて前記レンズに汚れが付着しているか否かを判定する汚れ付着判定部と、を備える画像監視装置が提供される。
露光制御による映像信号の輝度の変動があっても精度よく、かつ、複数フレームの差分を積算する手法と比べて時間遅延なくカメラの汚れを検知できる。
一実施形態に係る画像監視装置の概略構成を示すブロック図。 画像処理部５の構成を詳細に示すブロック図。 ブロックを説明する図。 図１の画像監視装置の処理動作の一例を示すフローチャート。
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
図１は、一実施形態に係る画像監視装置の概略構成を示すブロック図である。画像監視装置は、映像信号処理部３と、露光制御部４と、画像処理部５と、画像メモリ６とを備えている。映像信号処理部３には、レンズ１を通って撮像素子２に結像した光による映像信号が入力される。そして、映像信号処理部３は、露光制御部４の制御に基づき、外光に応じて映像信号に対する増幅処理などを行う。映像信号処理部３から出力された映像信号はフレームごとに画像メモリ６に記憶される。画像処理部５は、画像メモリ６に記憶された１フレームを用いて、レンズ１に汚れが付着しているか否かを判定する。
図２は、画像処理部５の構成を詳細に示すブロック図である。画像処理部５は、最大値最小値算出部５１と、平坦判定部５２と、平坦ブロック計数部５３と、汚れ付着検知部５４とを有する。
本実施形態では、１フレームの映像が仮想的に複数ブロックに分割されている（図３参照）。言い換えると、１フレーム内に複数ブロックが設定されている。そして、各ブロックは複数画素から構成される。一例として、１フレームが６４０×４８０画素である場合、各ブロックは３２×３２画素あるいは６４画素×６４画素などから構成されてよい。そして、画像処理部５は、映像信号のうち、バンパー等が写っていない有効領域（予め定められている）を処理する。
図２において、最大値最小値算出部５１は、処理対象ブロックを構成する複数画素のうち、輝度の最大値および最小値を算出する。平坦判定部５２は、輝度の最大値および最小値に基づいて、処理対象ブロックが平坦ブロックであるか否かを判定する。平坦ブロック計数部５３は１フレーム内の平坦ブロック数を計数する。汚れ付着検知部５４は、平坦ブロック数に基づいて、レンズ１に汚れが付着しているか否かを判定する。
なお、図１および図２に示す各機能部の一部または全部は、ハードウェアで実装されてもよいし、ソフトウェアで実現されてもよい。後者の場合、プロセッサが所定の画像監視プログラムを実行することで各機能部が実現され得る。また、図１の全体が１つの装置内にあってもよいし、複数装置に分散していてもよい。
図４は、図１の画像監視装置の処理動作の一例を示すフローチャートである。まず、画像処理部５内の平坦ブロック計数部５３は、平坦ブロック数を０に予め初期化しておく（ステップＳ１）。
映像信号処理部３は、露光制御部４の制御に基づいて、撮像素子２からの映像信号を処理する。例えば、映像全体が暗い場合、映像信号処理部３は映像全体が明るくなるよう映像信号を増幅する（ステップＳ２）。これにより、露光制御が行われた映像信号が画像処理部５に入力され、画像メモリ６に記憶される。以下、映像信号の１フレームに対して、汚れ付着検知処理が行われる。
画像処理部５の最大値最小値算出部５１は、１フレーム内における１つのブロックを処理対象ブロックと定める。そして、処理対象ブロックを構成する複数画素のうち、輝度の最大値および最小値を算出する（ステップＳ３）。
続いて、平坦判定部５２は、輝度の最大値および最小値に基づいて、処理対象ブロックの輝度が平坦なブロックであるか否かを判定する。より具体的には、最大値−最小値が予め定めた閾値ＴＨ１以下である場合（ステップＳ４のＹＥＳ）、平坦判定部５２は処理対象ブロックが平坦ブロックであると判定する。一方、最大値−最小値が閾値ＴＨ１より大きい場合（ステップＳ４のＮＯ）、平坦判定部５２は処理対象ブロックが平坦ブロックでないと判定する。
そして、処理対象ブロックが平坦ブロックであると判定された場合には（ステップＳ４のＹＥＳ）、平坦ブロック計数部５３は平坦ブロック数を１だけ加算する（ステップＳ５）。以上の処理を１フレーム内の全ブロックに対して行うことで（ステップＳ６のＮＯ）、１フレーム内の平坦ブロック数がカウントされる。
汚れ付着検知部５４は、１フレーム内の平坦ブロック数に基づいて、レンズ１に汚れが付着しているか否かを判定する。より具体的には、１フレーム内の平坦ブロック数が予め定めた閾値ＴＨ２以上である場合（ステップＳ７のＹＥＳ）、汚れ付着検知部５４はレンズ１に汚れが付着していると判定する（ステップＳ８ａ）。一方、平坦ブロック数が閾値ＴＨ２未満である場合（ステップＳ７のＮＯ）、汚れ付着検知部５４はレンズ１に汚れが付着していない判定する（ステップＳ８ｂ）。
以上により、レンズ１に汚れが付着しているか否かの情報が画像監視装置から出力される。
映像信号に対して露光制御を行う場合、映像全体が明るくなるとレンズ１に付着した汚れも明るくなるし、映像全体が暗くなるとレンズ１に付着した汚れも暗くなる。すなわち、フレームによって汚れの明るさが変化し得る。そのため、仮に複数フレームを用いた汚れ付着判定を行うと、判定の精度が低くなってしまう。
これに対し、本実施形態では、複数フレームに跨ることなく、１フレームのみを用いて汚れ付着判定を行う。そのため、露光制御を行う場合でも精度よく時間遅延なく汚れ付着判定を行うことができる。
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
１ レンズ
２ 撮像素子
３ 映像信号処理部
４ 露光制御部
５ 画像処理部
６ 画像メモリ
５１ 最大値最小値算出部
５２ 平坦判定部
５３ 平坦ブロック計数部
５４ 汚れ付着検知部

Claims (6)

  1. レンズを通して得られた映像信号のうちの１フレーム内に設定されるブロックを構成する画素のうち、輝度の最大値および最小値を算出する最大値最小値算出部と、
    前記最大値および前記最小値に基づいて、各ブロックの輝度が平坦なブロックか否かを判定する平坦ブロック判定部と、
    前記１フレーム内の平坦ブロックの数を計数する平坦ブロック計数部と、
    前記平坦ブロックの数に基づいて前記レンズに汚れが付着しているか否かを判定する汚れ付着判定部と、を備える画像監視装置。
  2. 前記映像信号は、露光制御が行われた映像信号である、請求項１に記載の画像監視装置。
  3. 前記平坦ブロック判定部は、前記最大値と前記最小値との差と、第１閾値との比較を行って、各ブロックが平坦ブロックか否かを判定する、請求項１または２に記載の画像監視装置。
  4. 前記汚れ付着判定部は、前記平坦ブロックの数と、第２閾値との比較を行って、前記レンズに汚れが付着しているか否かを判定する、請求項１乃至３のいずれかに記載の画像監視装置。
  5. レンズを通して得られた映像信号のうちの１フレーム内に設定されるブロックを構成する画素のうち、輝度の最大値および最小値を算出するステップと、
    前記最大値および前記最小値に基づいて、各ブロックの輝度が平坦なブロックか否かを判定するステップと、
    前記１フレーム内の平坦ブロックの数を計数するステップと、
    前記平坦ブロックの数に基づいて前記レンズに汚れが付着しているか否かを判定するステップと、を備える画像監視方法。
  6. コンピュータを、
    レンズを通して得られた映像信号のうちの１フレーム内に設定されるブロックを構成する画素のうち、輝度の最大値および最小値を算出する最大値最小値算出部と、
    前記最大値および前記最小値に基づいて、各ブロックの輝度が平坦なブロックか否かを判定する平坦ブロック判定部と、
    前記１フレーム内の平坦ブロックの数を計数する平坦ブロック計数部と、
    前記平坦ブロックの数に基づいて前記レンズに汚れが付着しているか否かを判定する汚れ付着判定部と、として機能させる画像監視プログラム。
JP2017150375A 2017-08-03 2017-08-03 画像監視装置、画像監視方法および画像監視プログラム Active JP6731645B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017150375A JP6731645B2 (ja) 2017-08-03 2017-08-03 画像監視装置、画像監視方法および画像監視プログラム
PCT/JP2018/023612 WO2019026457A1 (ja) 2017-08-03 2018-06-21 画像監視装置、画像監視方法、画像監視プログラムおよび記録媒体
US16/656,205 US10701352B2 (en) 2017-08-03 2019-10-17 Image monitoring device, image monitoring method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017150375A JP6731645B2 (ja) 2017-08-03 2017-08-03 画像監視装置、画像監視方法および画像監視プログラム

Publications (2)

Publication Number Publication Date
JP2019029948A JP2019029948A (ja) 2019-02-21
JP6731645B2 true JP6731645B2 (ja) 2020-07-29

Family

ID=65233689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017150375A Active JP6731645B2 (ja) 2017-08-03 2017-08-03 画像監視装置、画像監視方法および画像監視プログラム

Country Status (3)

Country Link
US (1) US10701352B2 (ja)
JP (1) JP6731645B2 (ja)
WO (1) WO2019026457A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023146713A (ja) * 2022-03-29 2023-10-12 パナソニックＩｐマネジメント株式会社 画像監視装置
JP2023146714A (ja) * 2022-03-29 2023-10-12 パナソニックＩｐマネジメント株式会社 画像監視装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572636B (zh) * 2019-07-23 2020-08-04 RealMe重庆移动通信有限公司 摄像头脏污检测方法、装置、存储介质及电子设备
CN111726612A (zh) * 2020-07-07 2020-09-29 歌尔科技有限公司 镜头模组脏污检测方法、系统、设备及计算机存储介质
CN111970506B (zh) * 2020-10-20 2020-12-29 常州市瑞泰光电有限公司 镜头脏污检测方法、装置和设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3807331B2 (ja) 2002-03-06 2006-08-09 日産自動車株式会社 カメラの汚れ検出装置およびカメラの汚れ検出方法
JP2008071150A (ja) * 2006-09-14 2008-03-27 Fujifilm Corp 画像処理装置、画像処理プログラム及び撮影装置
JP5423570B2 (ja) * 2010-05-06 2014-02-19 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラムならびに撮像装置
JP5820120B2 (ja) * 2011-01-28 2015-11-24 キヤノン株式会社 撮像装置およびその制御方法
US9319637B2 (en) * 2012-03-27 2016-04-19 Magna Electronics Inc. Vehicle vision system with lens pollution detection
JP2015061163A (ja) * 2013-09-18 2015-03-30 本田技研工業株式会社 遮蔽検知装置
JP6506506B2 (ja) * 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023146713A (ja) * 2022-03-29 2023-10-12 パナソニックＩｐマネジメント株式会社 画像監視装置
JP2023146714A (ja) * 2022-03-29 2023-10-12 パナソニックＩｐマネジメント株式会社 画像監視装置
JP7398644B2 (ja) 2022-03-29 2023-12-15 パナソニックＩｐマネジメント株式会社 画像監視装置
JP7398643B2 (ja) 2022-03-29 2023-12-15 パナソニックＩｐマネジメント株式会社 画像監視装置

Also Published As

Publication number Publication date
WO2019026457A1 (ja) 2019-02-07
US10701352B2 (en) 2020-06-30
US20200053354A1 (en) 2020-02-13
JP2019029948A (ja) 2019-02-21

Similar Documents

Publication Publication Date Title
JP6731645B2 (ja) 画像監視装置、画像監視方法および画像監視プログラム
US10791252B2 (en) Image monitoring device, image monitoring method, and recording medium
JP7262021B2 (ja) 奥行取得装置、奥行取得方法およびプログラム
CN105577983B (zh) 检测运动遮罩的设备和方法
EP2297939A1 (en) Method and apparatus for motion blur and ghosting prevention in imaging system
US9582868B2 (en) Image processing apparatus that appropriately performs tone correction in low-illuminance environment, image processing method therefor, and storage medium
US8643751B2 (en) Method for detecting dead pixels and computer program product thereof
US9282235B2 (en) Focus score improvement by noise correction
US9438832B2 (en) Image processing apparatus and image processing method
US20130287254A1 (en) Method and Device for Detecting an Object in an Image
JP6720845B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009200672A (ja) 画像信号処理装置、画像信号処理方法、およびプログラム
JP4719584B2 (ja) 動き検出プログラム、動き検出方法、動き検出装置、
US10965877B2 (en) Image generating method and electronic apparatus
JP2008042227A (ja) 撮像装置
JP2008046734A (ja) エレベーター乗客検出装置
KR101553707B1 (ko) 카메라 모듈 결함 판정용 이미지 스테인 검출 방법
US20130223692A1 (en) Method for logo detection in memc
JP2022076837A (ja) 情報処理装置、情報処理方法およびプログラム
JP2021190515A (ja) ワーク取り残し判定システム
KR101793091B1 (ko) 불량화소의 검출방법 및 검출장치
US11558542B1 (en) Event-assisted autofocus methods and apparatus implementing the same
US20220398770A1 (en) Information processing apparatus, information processing method, and storage medium
KR100769561B1 (ko) 노이즈 제거에 사용되는 임계값 결정 장치 및 방법
US10306153B2 (en) Imaging apparatus, image sensor, and image processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200619

R151 Written notification of patent or utility model registration

Ref document number: 6731645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03