JP7475959B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7475959B2 JP7475959B2 JP2020088126A JP2020088126A JP7475959B2 JP 7475959 B2 JP7475959 B2 JP 7475959B2 JP 2020088126 A JP2020088126 A JP 2020088126A JP 2020088126 A JP2020088126 A JP 2020088126A JP 7475959 B2 JP7475959 B2 JP 7475959B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- foreground
- processing device
- foreground region
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 70
- 238000003672 processing method Methods 0.000 title claims 2
- 238000000605 extraction Methods 0.000 claims description 97
- 238000011156 evaluation Methods 0.000 claims description 42
- 238000000034 method Methods 0.000 claims description 37
- 239000000284 extract Substances 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 12
- 238000011410 subtraction method Methods 0.000 claims description 10
- 230000000052 comparative effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
本実施形態では、背景差分法による前景領域抽出を行った前景シルエット画像を、機械学習による前景領域抽出を行った前景シルエット画像を用いて評価した結果に基づいて、背景差分法で使用する閾値を適切に決定する。これにより、照明変化が起きる撮像環境であっても、精度の高い前景シルエット画像を生成することができる。
図1は、本実施形態に係る画像処理装置100のハードウェア概略構成を示すブロック図である。画像処理装置100とは、具体的にはPC等の情報処理装置であり、CPU111と、ROM112と、RAM113と、補助記憶装置114と、表示部115と、操作部116と、通信I/F117と、バス118と、を有する。
図2は、本実施形態における画像処理装置100の機能構成(ソフトウェア構成)を示すブロック図である。画像処理装置100は、前景領域の抽出対象である入力画像203を入力として、前景領域の抽出結果である第1前景シルエット画像204を出力する画像処理装置である。
図4は、本実施形態に係る画像処理装置100におけるパラメータ調整部210が実行する各処理の流れを示したフローチャートである。本実施形態では、図4の処理を実行する前に、閾値調整用に設定する可能性のある代表的なN個の閾値からなる閾値リストを予め用意しておく。そして、取得部211で保持されている入力画像に対して、第3抽出部213において閾値リストに含まれる値をそれぞれ設定することで、各閾値に対応する第3前景シルエット画像を生成する。生成した第3前景シルエット画像と第2前景シルエット画像とを比較し、最も評価値の高い第3前景シルエット画像を生成した閾値を、パラメータ更新部216は、第1抽出部202に設定する。
第1の実施形態では、設定する予定のある閾値が保持された閾値リストを予め用意した。そして、この閾値リストに含まれる閾値を夫々第3抽出部に設定し、各閾値を用いて生成された前景シルエット画像の中から最も評価値の高い前景シルエット画像を生成した閾値を、第1抽出部に設定した。
図6は、本実施形態に係る画像処理装置100におけるパラメータ調整部210が実行する各処理の流れを示したフローチャートである。本実施形態では、同一フレームの入力画像において、第3前景シルエット画像の評価結果に基づいて、第1抽出部202の閾値を適切に更新する。
第1の実施形態および第2の実施形態では、第1抽出部202で用いる閾値を更新する前に、第3抽出部213によって第3前景シルエット画像を生成し、該生成された第3前景シルエット画像を用いて、適切な値かの評価を行った。これに対し、本実施形態では、フレーム毎に処理される第1抽出部によって生成された第1前景シルエット画像そのものを、評価に用いる。
図7は、本実施形態における画像処理装置700の機能構成(ソフトウェア構成)を示すブロック図である。尚、図2と同じ番号を付与しているモジュールは、第1の実施形態と同様の機能を有するため説明を省略する。
図8は、本実施形態に係る画像処理装置700におけるパラメータ調整部710が実行する各処理の流れを示したフローチャートである。
パラメータ調整部により調整できるものは背景差分法に使用する閾値のみとは限らない。例えば、パラメータ調整部は、生成された前景シルエット画像をさらに実際の前景領域画像に近づけるように加工する際に使用するパラメータも調整可能である。
203 入力画像
212 第2抽出部
216 パラメータ更新部
Claims (9)
- 学習により撮像画像から前景領域を抽出して、前景の基準画像を生成する第1生成手段と、
前記撮像画像から前景領域を抽出することにより、前記基準画像と比較するための比較画像を生成する第2生成手段と、
前記基準画像及び前記比較画像に基づき、前記撮像画像と当該撮像画像に対応する背景画像との差分に基づく前景画像の生成に用いられる閾値を決定する決定手段と、
決定された前記閾値を用いて、前記撮像画像と前記背景画像との差に基づき、前景画像を生成する第3生成手段と、
を有し、
前記第2生成手段は、前記撮像画像と背景画像との差分及び閾値調整にて設定する可能性のある複数の閾値の中から選択的に設定される1つの閾値に基づいて、前記前景領域の抽出を行う、
ことを特徴とする画像処理装置。 - 前記比較画像において適正な前景領域を抽出できているか評価するための評価値を、前記基準画像と前記比較画像とに基づいて算出する第1算出手段を更に有し、
前記決定手段は、算出された前記評価値に基づいて、前記閾値を決定する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第1算出手段は、前記複数の閾値それぞれに対して前記評価値を算出し、
前記第3生成手段は、前記第1算出手段によって算出された評価値のうち最も高いものに対応する閾値を用いた背景差分法により、前記前景画像を生成する
ことを特徴とする請求項2に記載の画像処理装置。 - 前記基準画像から、精度の高い前景領域を抽出するとともに、前記比較画像から、該抽出した精度の高い前景領域に対応する領域を抽出する抽出手段を更に有し、
前記第1算出手段は、前記基準画像から抽出された精度の高い前景領域と前記比較画像から抽出された精度の高い前景領域とに基づいて前記評価値を算出することを特徴とする請求項2または3に記載の画像処理装置。 - 前記基準画像は、各画素値が前景領域である確率を表す多値の多値画像であり、
前記抽出手段は、前記基準画像に基づいてヒストグラムを取得し、当該取得したヒストグラムに基づき、確率の高い画素数が一定数を超えた前景領域のみを、前記精度の高い前景領域として抽出する、
ことを特徴とする請求項4に記載の画像処理装置。 - 前記第3生成手段が前記前景画像の生成に用いる前記閾値、及び、前記第2生成手段が前記比較画像の生成に用いる前記閾値を更新する更新手段を更に有することを特徴とする請求項4乃至5の何れか1項に記載の画像処理装置。
- 前記評価値に基づいて、前記第2生成手段が前記比較画像の生成に用いる前記閾値に対する変化量を算出する第2算出手段を更に有し、
前記更新手段は、前記第2算出手段によって算出された前記変化量に従って、前記第2生成手段が前記比較画像の生成に用いる前記閾値を更新する、
ことを特徴とする請求項6に記載の画像処理装置。 - 学習により撮像画像から前景領域を抽出して、前景の基準画像を生成する第1生成ステップと、
前記撮像画像から前景領域を抽出することにより、前記基準画像と比較するための比較画像を生成する第2生成ステップと、
前記基準画像及び前記比較画像に基づき、前記撮像画像と当該撮像画像に対応する背景画像との差分に基づく前景画像の生成に用いられる閾値を決定する決定ステップと、
決定された前記閾値を用いて、前記撮像画像と前記背景画像との差に基づき、前景画像を生成する第3生成ステップと、
を含むことを特徴とする画像処理方法。 - コンピュータに請求項8に記載の方法を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088126A JP7475959B2 (ja) | 2020-05-20 | 2020-05-20 | 画像処理装置、画像処理方法、及びプログラム |
US17/226,121 US11954865B2 (en) | 2020-05-20 | 2021-04-09 | Image processing apparatus, image processing method, and storage medium for foreground extraction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020088126A JP7475959B2 (ja) | 2020-05-20 | 2020-05-20 | 画像処理装置、画像処理方法、及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021182320A JP2021182320A (ja) | 2021-11-25 |
JP2021182320A5 JP2021182320A5 (ja) | 2023-06-08 |
JP7475959B2 true JP7475959B2 (ja) | 2024-04-30 |
Family
ID=78606614
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020088126A Active JP7475959B2 (ja) | 2020-05-20 | 2020-05-20 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11954865B2 (ja) |
JP (1) | JP7475959B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7446756B2 (ja) * | 2019-10-02 | 2024-03-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005485A (ja) | 2015-06-10 | 2017-01-05 | 住友電気工業株式会社 | 画像監視装置および画像監視方法 |
JP2018147329A (ja) | 2017-03-07 | 2018-09-20 | 株式会社デンソーテン | 画像処理装置、画像処理システム、及び画像処理方法 |
JP2018195119A (ja) | 2017-05-18 | 2018-12-06 | 住友電装株式会社 | 異変検出装置及び異変検出方法 |
JP2019153057A (ja) | 2018-03-02 | 2019-09-12 | 富士通株式会社 | 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム |
US20190385312A1 (en) | 2018-06-14 | 2019-12-19 | Axis Ab | Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8094943B2 (en) * | 2007-09-27 | 2012-01-10 | Behavioral Recognition Systems, Inc. | Background-foreground module for video analysis system |
CN101686338B (zh) * | 2008-09-26 | 2013-12-25 | 索尼株式会社 | 分割视频中的前景和背景的系统和方法 |
JP2011211628A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9659350B2 (en) * | 2014-01-31 | 2017-05-23 | Morpho, Inc. | Image processing device and image processing method for image correction, and non-transitory computer readable recording medium thereof |
CN110088805B (zh) * | 2016-12-20 | 2023-06-06 | 柯达阿拉里斯股份有限公司 | 用于检测和分割多个前景对象的方法 |
US10706558B2 (en) * | 2017-08-04 | 2020-07-07 | Université de Liège | Foreground and background detection method |
EP3438929B1 (en) * | 2017-08-04 | 2020-07-08 | Université de Liège | Foreground and background detection method |
JP7207957B2 (ja) * | 2018-11-07 | 2023-01-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10902608B2 (en) * | 2019-05-23 | 2021-01-26 | Microsoft Technology Licensing, Llc | Segmentation for holographic images |
CN111160099B (zh) * | 2019-11-28 | 2023-03-24 | 福建省星云大数据应用服务有限公司 | 一种视频图像目标的智能化分割方法 |
-
2020
- 2020-05-20 JP JP2020088126A patent/JP7475959B2/ja active Active
-
2021
- 2021-04-09 US US17/226,121 patent/US11954865B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017005485A (ja) | 2015-06-10 | 2017-01-05 | 住友電気工業株式会社 | 画像監視装置および画像監視方法 |
JP2018147329A (ja) | 2017-03-07 | 2018-09-20 | 株式会社デンソーテン | 画像処理装置、画像処理システム、及び画像処理方法 |
JP2018195119A (ja) | 2017-05-18 | 2018-12-06 | 住友電装株式会社 | 異変検出装置及び異変検出方法 |
JP2019153057A (ja) | 2018-03-02 | 2019-09-12 | 富士通株式会社 | 画像処理装置、学習装置、画像処理方法、学習方法、画像処理プログラムおよび学習プログラム |
US20190385312A1 (en) | 2018-06-14 | 2019-12-19 | Axis Ab | Method, device and system for determining whether pixel positions in an image frame belong to a background or a foreground |
JP2020024675A (ja) | 2018-06-14 | 2020-02-13 | アクシス アーベー | 画像フレームのピクセル位置が背景に属しているか前景に属しているかを判定する方法、デバイスおよびシステム |
Non-Patent Citations (1)
Title |
---|
ZENG, Dongdong et al.,Background Subtraction With Real-Time Semantic Segmentation,IEEE Access [online],IEEE,2019年02月20日,Vol. 7,pp. 153869 - 153884,[検索日 2024.03.08],インターネット,URL:https://ieeexplore.ieee.org/document/8645635 |
Also Published As
Publication number | Publication date |
---|---|
JP2021182320A (ja) | 2021-11-25 |
US20210366129A1 (en) | 2021-11-25 |
US11954865B2 (en) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111507958B (zh) | 目标检测方法、检测模型的训练方法及电子设备 | |
JP4915655B2 (ja) | 自動追尾装置 | |
US20190156157A1 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
CN108833785B (zh) | 多视角图像的融合方法、装置、计算机设备和存储介质 | |
CN110793544B (zh) | 路侧感知传感器参数标定方法、装置、设备及存储介质 | |
CN112560980B (zh) | 目标检测模型的训练方法、装置及终端设备 | |
CN112561978B (zh) | 深度估计网络的训练方法、图像的深度估计方法、设备 | |
CN107272899B (zh) | 一种基于动态手势的vr交互方法、装置及电子设备 | |
CN110674837A (zh) | 视频相似度获取方法、装置、计算机设备及存储介质 | |
JP6817742B2 (ja) | 情報処理装置およびその制御方法 | |
CN115578515B (zh) | 三维重建模型的训练方法、三维场景渲染方法及装置 | |
CN110706262A (zh) | 图像处理方法、装置、设备及存储介质 | |
US11127141B2 (en) | Image processing apparatus, image processing method, and a non-transitory computer readable storage medium | |
CN111524086A (zh) | 运动物体检测装置、运动物体检测方法、存储介质 | |
CN110111341B (zh) | 图像前景获取方法、装置及设备 | |
JP7475959B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN106323190B (zh) | 可定制深度测量范围的深度测量方法及深度图像的系统 | |
CN113439227A (zh) | 放大图像的捕获和存储 | |
CN113628259A (zh) | 图像的配准处理方法及装置 | |
CN116430069A (zh) | 机器视觉流体流速测量方法、装置、计算机设备及存储介质 | |
JP2021026599A (ja) | 画像処理システム | |
CN111866493B (zh) | 基于头戴显示设备的图像校正方法、装置及设备 | |
CN110874814A (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
US10949713B2 (en) | Image analyzing device with object detection using selectable object model and image analyzing method thereof | |
CN111918049B (zh) | 三维成像的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230531 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240306 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240417 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |