JP7157784B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7157784B2 JP7157784B2 JP2020152219A JP2020152219A JP7157784B2 JP 7157784 B2 JP7157784 B2 JP 7157784B2 JP 2020152219 A JP2020152219 A JP 2020152219A JP 2020152219 A JP2020152219 A JP 2020152219A JP 7157784 B2 JP7157784 B2 JP 7157784B2
- Authority
- JP
- Japan
- Prior art keywords
- track data
- image
- target
- area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
図1(a)-(c)は、実施の形態に係る画像処理装置が実行する画像処理の概要を説明するための図である。実施の形態に係る画像処理装置は、2つの異なる動画それぞれに含まれる同一の被写体を検出対象として、その被写体が含まれるフレーム画像を紐づける。実施の形態に係る画像処理装置が扱う検出対象は、人物、車両、飛行体、商品等、種々の物を設定できる。以下では、図1を参照して、検出対象が人物であることを前提として実施の形態の概要を述べる。
図2は、実施の形態に係る画像処理装置1の機能構成を模式的に示す図である。画像処理装置1は、記憶部2と制御部3とを備える。図2において、矢印は主なデータの流れを示しており、図2に示していないデータの流れがあってもよい。図2において、各機能ブロックはハードウェア(装置)単位の構成ではなく、機能単位の構成を示している。そのため、図2に示す機能ブロックは単一の装置内に実装されてもよく、あるいは複数の装置内に分かれて実装されてもよい。機能ブロック間のデータの授受は、データバス、ネットワーク、可搬記憶媒体等、任意の手段を介して行われてもよい。
図4(a)-(b)は、実施の形態に係る検出対象領域、第1領域、及び第2領域の一例を示す模式図である。具体的に、図4(a)は、画像取得部30が取得した動画Mを構成するフレーム画像Fの一例を示す図である。また、図4(b)は、図4(a)に示すフレーム画像Fから抽出された対象領域R、第1領域R1、及び第2領域R2を示す図である。
図8は、実施の形態に係る画像処理装置1が実行する画像処理の流れを説明するためのフローチャートである。本フローチャートにおける処理は、例えば画像処理装置1が起動したときに開始する。
以上説明したように、実施の形態に係る画像処理装置1によれば、動画Mにおける対象の追跡技術の精度を向上させることができる。
上記では、画像処理装置1が処理対象画像の領域抽出処理及び領域分割処理を実行することにより、被写体S以外の背景領域の影響を低減して検出対象の追跡の精度を向上する場合について説明した。これに代えて、領域抽出処理及び領域分割処理は、例えば、処理対象画像を撮像する撮像機器が実行してもよいし、処理対象画像を格納する画像ストレージ(不図示)を管理する画像サーバ(不図示)が実行してもよい。領域抽出処理及び領域分割処理をあらかじめ実行しておくことになるため、画像処理装置1による追跡処理を高速し、画像処理装置1が消費する計算リソースを削減することができる。
上記では、トラックデータ作成部31が同一の動画Mに由来する二つの異なるフレーム間の類比を判定し、判定部33が2つの異なる動画Mそれぞれのフレーム画像間の類比を判定する場合について主に説明した。これに代えて、あるいはこれに加えて、判定部33が、同一の動画Mに由来する二つの異なるフレーム間の類比を判定してもよい。あるいは、トラックデータ作成部31と判定部33とを統合して一つの画像比較部としてもよい。
2・・・記憶部
3・・・制御部
30・・・画像取得部
31・・・トラックデータ作成部
310・・・フレーム分類部
311・・・トラック生成部
32・・・トラックデータ取得部
33・・・判定部
330・・・組生成部
331・・・類似度取得部
332・・・類比決定部
34・・・トラックデータ出力部
35・・・検索対象指定部
350・・・受付部
351・・・機器情報取得部
352・・・移動方向取得部
353・・・撮像日取得部
40・・・領域抽出部
41・・・領域分割部
42・・・特徴量抽出部
Claims (8)
- 複数の画像のそれぞれから、検出対象を含む領域である対象領域を抽出する領域抽出部と、
前記対象領域を検索対象が映る第1領域とそれ以外の領域である第2領域とに分割する領域分割部と、
前記第2領域に相当する画素に対して0より大きく1未満の係数を乗じた後に前記対象領域にフィルタ処理を実行して、前記検出対象同士の異同を判定するための特徴量を前記対象領域から抽出する特徴量抽出部と、
前記特徴量に基づいて、前記複数の画像を、同一の検出対象を含む1又は複数の画像群に分類するフレーム分類部と、
を備える画像処理装置。 - 前記複数の画像は動画を構成する複数のフレーム画像であり、
前記1又は複数の画像群に含まれる前記特徴量に基づいて、前記1又は複数の画像群のうち、同一の検出対象を含む画像群を対応づけたデータであるトラックデータを生成するトラック生成部をさらに備える、
請求項1に記載の画像処理装置。 - 前記トラック生成部が生成した前記動画に由来する前記トラックデータである第1トラックデータと、前記検出対象が含まれるか否かの判定の対象となる第2動画に由来する前記トラックデータである第2トラックデータとを取得するトラックデータ取得部と、
前記第1トラックデータを構成する各画像から抽出された前記特徴量である第1特徴量群と、前記第2トラックデータを構成する各画像から抽出された前記特徴量である第2特徴量群とに基づいて、同一の検出対象が含まれる前記第1トラックデータと前記第2トラックデータとの組を出力するトラックデータ出力部と、
をさらに備える請求項2に記載の画像処理装置。 - 前記第1トラックデータと前記第2トラックデータとのそれぞれに含まれる前記検出対象の移動方向を示す第1移動方向と第2移動方向とを取得する移動方向取得部と、
前記第1移動方向と前記第2移動方向とがあらかじめ定めた所定の範囲に含まれることを条件として、前記第2トラックデータに含まれる検出対象が、前記第1トラックデータに含まれる検出対象と同一の検出対象か否かを判定する判定部と、をさらに備える、
請求項3に記載の画像処理装置。 - 前記判定部は、
前記第1トラックデータに含まれる複数の画像のうちのいずれかの画像と、前記第2トラックデータに含まれる複数の画像のうちのいずれかの画像と、の組み合わせによって構成される複数の画像組を生成する組生成部と、
前記画像組を構成する画像から抽出された前記特徴量に基づいて、各画像組を構成する画像間の類似度を取得する類似度取得部と、
画像組毎の前記類似度に基づいて、前記第2トラックデータに含まれる検出対象が、前記第1トラックデータに含まれる検出対象と同一の検出対象か否かを決定する類比決定部と、
を備える請求項4に記載の画像処理装置。 - 前記動画と前記第2動画とのそれぞれの撮像日時を取得する撮像日取得部をさらに備え、
前記特徴量抽出部は、前記動画の撮像日時と前記第2動画の撮像日時とが所定の時間範囲に含まれる場合と異なる場合とで、前記特徴量を抽出する領域を変更する、
請求項3から5のいずれか1項に記載の画像処理装置。 - プロセッサが、
複数の画像のそれぞれから、検出対象を含む領域である対象領域を抽出するステップと、
前記対象領域を検索対象が映る第1領域とそれ以外の領域である第2領域とに分割するステップと、
前記第2領域に相当する画素に対して0より大きく1未満の係数を乗じた後に前記対象領域にフィルタ処理を実行して、前記検出対象同士の異同を判定するための特徴量を前記対象領域から抽出するステップと、
前記特徴量に基づいて、前記複数の画像を、同一の検出対象を含む1又は複数の画像群に分類するステップと、
を実行する画像処理方法。 - コンピュータに、
複数の画像のそれぞれから、検出対象を含む領域である対象領域を抽出する機能と、
前記対象領域を検索対象が映る第1領域とそれ以外の領域である第2領域とに分割する機能と、
前記第2領域に相当する画素に対し0より大きく1未満の係数を乗じた後に前記対象領域にフィルタ処理を実行して、前記検出対象同士の異同を判定するための特徴量を前記対象領域から抽出する機能と、
前記特徴量に基づいて、前記複数の画像を、同一の検出対象を含む1又は複数の画像群に分類する機能と、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020152219A JP7157784B2 (ja) | 2020-09-10 | 2020-09-10 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020152219A JP7157784B2 (ja) | 2020-09-10 | 2020-09-10 | 画像処理装置、画像処理方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019208593A Division JP6764012B1 (ja) | 2019-11-19 | 2019-11-19 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021082255A JP2021082255A (ja) | 2021-05-27 |
JP7157784B2 true JP7157784B2 (ja) | 2022-10-20 |
Family
ID=75965349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020152219A Active JP7157784B2 (ja) | 2020-09-10 | 2020-09-10 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7157784B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007317062A (ja) | 2006-05-29 | 2007-12-06 | Toshiba Corp | 人物認識装置及びその方法 |
JP2009140009A (ja) | 2007-12-03 | 2009-06-25 | Sony Corp | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
JP2013137604A (ja) | 2011-12-28 | 2013-07-11 | Glory Ltd | 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム |
WO2017002240A1 (ja) | 2015-07-01 | 2017-01-05 | 株式会社日立国際電気 | 監視システム、撮影側装置、及び照合側装置 |
WO2019038821A1 (ja) | 2017-08-22 | 2019-02-28 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
-
2020
- 2020-09-10 JP JP2020152219A patent/JP7157784B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007317062A (ja) | 2006-05-29 | 2007-12-06 | Toshiba Corp | 人物認識装置及びその方法 |
JP2009140009A (ja) | 2007-12-03 | 2009-06-25 | Sony Corp | 情報処理装置および情報処理方法、プログラム、並びに記録媒体 |
JP2013137604A (ja) | 2011-12-28 | 2013-07-11 | Glory Ltd | 画像照合処理装置、画像照合処理方法及び画像照合処理プログラム |
WO2017002240A1 (ja) | 2015-07-01 | 2017-01-05 | 株式会社日立国際電気 | 監視システム、撮影側装置、及び照合側装置 |
WO2019038821A1 (ja) | 2017-08-22 | 2019-02-28 | 三菱電機株式会社 | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021082255A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023145558A (ja) | 外観検索のシステムおよび方法 | |
US20150092978A1 (en) | Method and system for recognition of abnormal behavior | |
WO2015070764A1 (zh) | 一种人脸定位的方法与装置 | |
CN108875456B (zh) | 目标检测方法、目标检测装置和计算机可读存储介质 | |
Zhang et al. | Fast face detection on mobile devices by leveraging global and local facial characteristics | |
JP7419080B2 (ja) | コンピュータシステムおよびプログラム | |
JP7330708B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
KR20190088087A (ko) | 움직임 정보를 이용한 인공지능 학습기반의 이동객체 영상 분류처리 방법 | |
Zhang et al. | An efficient spatial-temporal polyp detection framework for colonoscopy video | |
JP7180590B2 (ja) | オブジェクト特徴量抽出装置、オブジェクト特徴量抽出方法及びオブジェクト特徴量抽出プログラム | |
Chen et al. | Adversarial learning of object-aware activation map for weakly-supervised semantic segmentation | |
Sree et al. | An evolutionary computing approach to solve object identification problem for fall detection in computer vision-based video surveillance applications | |
JP7157784B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6764012B1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6768913B1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Dong et al. | A detection-regression based framework for fish keypoints detection | |
US20220172483A1 (en) | System and method social distancing recognition in cctv surveillance imagery | |
Wahyono et al. | A Comparison of Deep Learning Methods for Vision-based Fire Detection in Surveillance System | |
Jere et al. | Deep learning-based architecture for social anxiety diagnosis | |
JP2021064021A (ja) | 時空間事象予測装置、時空間事象予測方法及び時空間事象予測システム | |
Rao | Partition based face recognition system | |
Nawfal et al. | Performance Evaluation Between Tiny Yolov3 and MobileNet SSDv1 for Object Detection | |
Bharathi et al. | Key frame extraction based on Real-Time person availability using YOLO | |
Espejo et al. | Optimization of the keypoint density-based region proposal for R-CNN | |
Marathe et al. | A CNN-inspired Reverse Search Engine for Content-based Image Retrieval |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201029 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201029 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201029 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210309 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210928 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220311 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220311 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20220311 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220331 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220405 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220520 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220524 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220705 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220809 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220920 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220920 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7157784 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |