JPWO2020175085A1 - 画像処理装置、及び画像処理方法 - Google Patents
画像処理装置、及び画像処理方法 Download PDFInfo
- Publication number
- JPWO2020175085A1 JPWO2020175085A1 JP2021501857A JP2021501857A JPWO2020175085A1 JP WO2020175085 A1 JPWO2020175085 A1 JP WO2020175085A1 JP 2021501857 A JP2021501857 A JP 2021501857A JP 2021501857 A JP2021501857 A JP 2021501857A JP WO2020175085 A1 JPWO2020175085 A1 JP WO2020175085A1
- Authority
- JP
- Japan
- Prior art keywords
- tracking information
- moving object
- image
- camera
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 119
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000004458 analytical method Methods 0.000 claims abstract description 53
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims 2
- 238000000034 method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成する第1解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成する第2解析部と、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、
を備える画像処理装置である。
所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成し、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理方法である。
[監視システムの全体構成]
以下、図2〜図4を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した画像処理装置の構成の概要について説明する。
図4は、本実施形態に係る画像処理装置100の機能ブロックを示す図である。尚、図4中の矢印は、データの流れを表す。
次に、図8を参照して、本実施形態に係る画像処理装置100の動作の一例について説明する。
以上のように、本実施形態に係る画像処理装置100は、データ比較処理部50にて、第1トラッキング情報D1と第2トラッキング情報D2とを時間軸を揃えて比較し、第1トラッキング情報D1と第2トラッキング情報D2とに基づいて監視対象領域に存在する動体の位置及びIDを確定して、その結果を確定トラッキング情報D3として出力する。
次に、図9を参照して、第2の実施形態に係る画像処理装置100について説明する。図9は、第2の実施形態に係る画像処理装置100の構成を示す図である。
次に、図10を参照して、第3の実施形態に係る画像処理装置100について説明する。図10は、第3の実施形態に係る画像処理装置100の構成を示す図である。
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
100 画像処理装置
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 通信インタフェイス
10 第1画像取得部
20 第2画像取得部
30 第1解析部
40 第2解析部
50 データ比較処理部
60 データ出力部
200 レーザーレーダー
210 距離画像生成部
300 カメラ(可視光カメラ)
400 サーマルカメラ
D1 第1トラッキング情報
D2 第2トラッキング情報
D3 確定トラッキング情報
Claims (13)
- 所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成する第1解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成する第2解析部と、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、
を備える画像処理装置。 - 前記データ比較処理部は、前記第2トラッキング情報に基づいて、前記第1トラッキング情報に含まれる動体の識別情報を補正する、
請求項1に記載の画像処理装置。 - 前記データ比較処理部は、前記所定領域に存在する動体が所定の状況に該当する場合、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定の状況に該当しない場合、前記第2トラッキング情報を参照することなく前記第1トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する、
請求項1又は2に記載の画像処理装置。 - 前記所定の状況は、前記第1トラッキング情報において、同一のタイミングで、一つの識別情報が消滅すると共に、新たに別個の識別情報が生成されている状況を含む、
請求項3に記載の画像処理装置。 - 前記所定の状況は、前記第1トラッキング情報において、一の動体が他の動体と交差している状況を含む、
請求項3又は4に記載の画像処理装置。 - 前記所定の状況は、前記第1トラッキング情報において、一の動体が、一旦、前記距離画像内から消えた後に、再度、同一の識別情報の動体として出現している状況を含む、
請求項3乃至5のいずれか一項に記載の画像処理装置。 - 前記データ比較処理部は、前記第1トラッキング情報に含まれる動体の位置と前記第2トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第1トラッキング情報に含まれる動体と前記第2トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する、
請求項1乃至6のいずれか一項に記載の画像処理装置。 - 前記データ比較処理部は、前記レーザーレーダーの視野情報と前記カメラの視野情報とに基づいて、前記第1トラッキング情報に含まれる動体と前記第2トラッキング情報に含まれる動体との対応関係を特定する、
請求項7に記載の画像処理装置。 - 前記第1解析部及び/又は前記第2解析部は、機械学習により学習済みの識別器モデルを用いて、前記所定領域に存在する動体の位置をトラッキングする、
請求項1乃至8のいずれか一項に記載の画像処理装置。 - 前記カメラは、可視カメラである、
請求項1乃至9のいずれか一項に記載の画像処理装置。 - 前記カメラは、サーマルカメラである、
請求項1乃至10のいずれか一項に記載の画像処理装置。 - 前記カメラは、可視カメラとサーマルカメラとを含む、
請求項1乃至11のいずれか一項に記載の画像処理装置。 - 所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成し、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019032921 | 2019-02-26 | ||
JP2019032921 | 2019-02-26 | ||
PCT/JP2020/004719 WO2020175085A1 (ja) | 2019-02-26 | 2020-02-07 | 画像処理装置、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020175085A1 true JPWO2020175085A1 (ja) | 2021-12-23 |
JP7375806B2 JP7375806B2 (ja) | 2023-11-08 |
Family
ID=72239834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501857A Active JP7375806B2 (ja) | 2019-02-26 | 2020-02-07 | 画像処理装置、及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7375806B2 (ja) |
WO (1) | WO2020175085A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022012564A (ja) * | 2020-07-01 | 2022-01-17 | 京セラ株式会社 | 画像処理装置および測距装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110211754A1 (en) * | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP2017146957A (ja) * | 2016-02-19 | 2017-08-24 | トヨタ自動車株式会社 | 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化 |
WO2019003688A1 (ja) * | 2017-06-30 | 2019-01-03 | パナソニックIpマネジメント株式会社 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
JP2019016098A (ja) * | 2017-07-05 | 2019-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2020
- 2020-02-07 WO PCT/JP2020/004719 patent/WO2020175085A1/ja active Application Filing
- 2020-02-07 JP JP2021501857A patent/JP7375806B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110211754A1 (en) * | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP2017146957A (ja) * | 2016-02-19 | 2017-08-24 | トヨタ自動車株式会社 | 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化 |
WO2019003688A1 (ja) * | 2017-06-30 | 2019-01-03 | パナソニックIpマネジメント株式会社 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
JP2019016098A (ja) * | 2017-07-05 | 2019-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
RAFAEL MUNOZ-SALINAS ET AL.: "People Detection and Tracking using Stereo Vision and Color", [ONLINE], JPN7023001665, April 2005 (2005-04-01), ISSN: 0005108821 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020175085A1 (ja) | 2020-09-03 |
JP7375806B2 (ja) | 2023-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11360571B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
US10540777B2 (en) | Object recognition device and object recognition system | |
JP5950296B2 (ja) | 人物追跡属性推定装置、人物追跡属性推定方法、プログラム | |
CN111144207B (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
US20120062749A1 (en) | Human body identification method using range image camera and human body identification apparatus | |
CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
US9886769B1 (en) | Use of 3D depth map with low and high resolution 2D images for gesture recognition and object tracking systems | |
JP5262705B2 (ja) | 運動推定装置及びプログラム | |
US20180307896A1 (en) | Facial detection device, facial detection system provided with same, and facial detection method | |
US11887331B2 (en) | Information processing apparatus, control method, and non-transitory storage medium | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
US20220012514A1 (en) | Identification information assignment apparatus, identification information assignment method, and program | |
KR101723536B1 (ko) | 도로에서의 차선 검출 방법 및 장치 | |
JP2010039617A (ja) | 対象物追跡装置及びプログラム | |
JP2002366958A (ja) | 画像認識方法および画像認識装置 | |
JPWO2020175085A1 (ja) | 画像処理装置、及び画像処理方法 | |
JP6331566B2 (ja) | 人物頭部検知装置及び姿勢推定装置 | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
US20220201164A1 (en) | Image registration apparatus, image generation system, image registration method, and image registration program product | |
JP4061221B2 (ja) | 移動目標検出装置、追尾システム及び移動目標識別方法 | |
JP7300331B2 (ja) | 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム | |
US20220270282A1 (en) | Information processing device, data generation method, and non-transitory computer-readable medium storing program | |
JP7124760B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP7117878B2 (ja) | 処理装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7375806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |