JP7375806B2 - 画像処理装置、及び画像処理方法 - Google Patents
画像処理装置、及び画像処理方法 Download PDFInfo
- Publication number
- JP7375806B2 JP7375806B2 JP2021501857A JP2021501857A JP7375806B2 JP 7375806 B2 JP7375806 B2 JP 7375806B2 JP 2021501857 A JP2021501857 A JP 2021501857A JP 2021501857 A JP2021501857 A JP 2021501857A JP 7375806 B2 JP7375806 B2 JP 7375806B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- tracking information
- predetermined area
- information
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 120
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004458 analytical method Methods 0.000 claims description 54
- 238000012544 monitoring process Methods 0.000 claims description 30
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 26
- 238000000034 method Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成する第1解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成する第2解析部と、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記所定領域に存在する動体が所定の状況に該当する場合、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第2トラッキング情報を参照することなく前記第1トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する。
また、本開示に係る画像処理装置は、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成する第1解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成する第2解析部と、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第1トラッキング情報に含まれる動体の位置と前記第2トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第1トラッキング情報に含まれる動体と前記第2トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する。
所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成し、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記所定領域に存在する動体が所定の状況に該当する場合、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第2トラッキング情報を参照することなく前記第1トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する。
また、本開示に係る画像処理方法は、
所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成し、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第1トラッキング情報に含まれる動体の位置と前記第2トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第1トラッキング情報に含まれる動体と前記第2トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する。
[監視システムの全体構成]
以下、図2~図4を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した画像処理装置の構成の概要について説明する。
図4は、本実施形態に係る画像処理装置100の機能ブロックを示す図である。尚、図4中の矢印は、データの流れを表す。
次に、図8を参照して、本実施形態に係る画像処理装置100の動作の一例について説明する。
以上のように、本実施形態に係る画像処理装置100は、データ比較処理部50にて、第1トラッキング情報D1と第2トラッキング情報D2とを時間軸を揃えて比較し、第1トラッキング情報D1と第2トラッキング情報D2とに基づいて監視対象領域に存在する動体の位置及びIDを確定して、その結果を確定トラッキング情報D3として出力する。
次に、図9を参照して、第2の実施形態に係る画像処理装置100について説明する。図9は、第2の実施形態に係る画像処理装置100の構成を示す図である。
次に、図10を参照して、第3の実施形態に係る画像処理装置100について説明する。図10は、第3の実施形態に係る画像処理装置100の構成を示す図である。
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
100 画像処理装置
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 通信インタフェイス
10 第1画像取得部
20 第2画像取得部
30 第1解析部
40 第2解析部
50 データ比較処理部
60 データ出力部
200 レーザーレーダー
210 距離画像生成部
300 カメラ(可視光カメラ)
400 サーマルカメラ
D1 第1トラッキング情報
D2 第2トラッキング情報
D3 確定トラッキング情報
Claims (12)
- 所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成する第1解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成する第2解析部と、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記所定領域に存在する動体が所定の状況に該当する場合、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第2トラッキング情報を参照することなく前記第1トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理装置。 - 前記所定の状況は、前記第1トラッキング情報において、同一のタイミングで、一つの識別情報が消滅すると共に、新たに別個の識別情報が生成されている状況を含む、
請求項1に記載の画像処理装置。 - 前記所定の状況は、前記第1トラッキング情報において、一の動体が他の動体と交差している状況を含む、
請求項1又は2に記載の画像処理装置。 - 前記所定の状況は、前記第1トラッキング情報において、一の動体が、一旦、前記距離画像内から消えた後に、再度、同一の識別情報の動体として出現している状況を含む、
請求項1乃至3のいずれか一項に記載の画像処理装置。 - 所定領域を監視するレーザーレーダーから距離画像の画像データを取得する第1画像取得部と、
前記所定領域を監視するカメラからカメラ画像の画像データを取得する第2画像取得部と、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成する第1解析部と、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成する第2解析部と、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定するデータ比較処理部と、を備え、
前記データ比較処理部は、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第1トラッキング情報に含まれる動体の位置と前記第2トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第1トラッキング情報に含まれる動体と前記第2トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理装置。 - 前記データ比較処理部は、前記第2トラッキング情報に基づいて、前記第1トラッキング情報に含まれる動体の識別情報を補正する、
請求項1乃至5のいずれか一項に記載の画像処理装置。 - 前記第1解析部及び/又は前記第2解析部は、機械学習により学習済みの識別器モデルを用いて、前記所定領域に存在する動体の位置をトラッキングする、
請求項1乃至6のいずれか一項に記載の画像処理装置。 - 前記カメラは、可視カメラである、
請求項1乃至7のいずれか一項に記載の画像処理装置。 - 前記カメラは、サーマルカメラである、
請求項1乃至8のいずれか一項に記載の画像処理装置。 - 前記カメラは、可視カメラとサーマルカメラとを含む、
請求項1乃至9のいずれか一項に記載の画像処理装置。 - 所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成し、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記所定領域に存在する動体が所定の状況に該当する場合、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて、前記所定領域に存在する動体の識別情報及び位置を確定し、前記所定の状況に該当しない場合、前記第2トラッキング情報を参照することなく前記第1トラッキング情報に基づいて、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理方法。 - 所定領域を監視するレーザーレーダーから距離画像の画像データを取得し、
前記所定領域を監視するカメラからカメラ画像の画像データを取得し、
時系列に並ぶ前記距離画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第1トラッキング情報を生成し、
時系列に並ぶ前記カメラ画像に基づいて、前記所定領域に存在する動体の位置をトラッキングした第2トラッキング情報を生成し、
前記第1トラッキング情報と前記第2トラッキング情報とを時間軸を揃えて比較し、前記第1トラッキング情報と前記第2トラッキング情報とに基づいて前記所定領域に存在する動体の識別情報及び位置を確定し、
前記所定領域に存在する動体の識別情報及び位置を確定する工程では、前記レーザーレーダーの視野情報及び前記カメラの視野情報を参照するとともに、前記第1トラッキング情報に含まれる動体の位置と前記第2トラッキング情報に含まれる動体の位置との近接度合い又は大きさの情報に基づいて、前記第1トラッキング情報に含まれる動体と前記第2トラッキング情報に含まれる動体との対応関係を特定して、前記所定領域に存在する動体の識別情報及び位置を確定する、
画像処理方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019032921 | 2019-02-26 | ||
JP2019032921 | 2019-02-26 | ||
PCT/JP2020/004719 WO2020175085A1 (ja) | 2019-02-26 | 2020-02-07 | 画像処理装置、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020175085A1 JPWO2020175085A1 (ja) | 2021-12-23 |
JP7375806B2 true JP7375806B2 (ja) | 2023-11-08 |
Family
ID=72239834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501857A Active JP7375806B2 (ja) | 2019-02-26 | 2020-02-07 | 画像処理装置、及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7375806B2 (ja) |
WO (1) | WO2020175085A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022012564A (ja) * | 2020-07-01 | 2022-01-17 | 京セラ株式会社 | 画像処理装置および測距装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110211754A1 (en) | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP2017146957A (ja) | 2016-02-19 | 2017-08-24 | トヨタ自動車株式会社 | 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化 |
WO2019003688A1 (ja) | 2017-06-30 | 2019-01-03 | パナソニックIpマネジメント株式会社 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
JP2019016098A (ja) | 2017-07-05 | 2019-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
-
2020
- 2020-02-07 JP JP2021501857A patent/JP7375806B2/ja active Active
- 2020-02-07 WO PCT/JP2020/004719 patent/WO2020175085A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110211754A1 (en) | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP2017146957A (ja) | 2016-02-19 | 2017-08-24 | トヨタ自動車株式会社 | 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化 |
WO2019003688A1 (ja) | 2017-06-30 | 2019-01-03 | パナソニックIpマネジメント株式会社 | 投影指示装置、荷物仕分けシステムおよび投影指示方法 |
JP2019016098A (ja) | 2017-07-05 | 2019-01-31 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
Non-Patent Citations (1)
Title |
---|
Rafael Munoz-Salinas et al.,People Detection and Tracking using Stereo Vision and Color,[online],2005年04月,http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.104.7232&rep=rep1&type=pdf |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020175085A1 (ja) | 2021-12-23 |
WO2020175085A1 (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11257223B2 (en) | Systems and methods for user detection, identification, and localization within a defined space | |
US11392146B2 (en) | Method for detecting target object, detection apparatus and robot | |
EP3539054B1 (en) | Neural network image processing apparatus | |
WO2012056443A2 (en) | Tracking and identification of a moving object from a moving sensor using a 3d model | |
US20190266425A1 (en) | Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2018156408A (ja) | 画像認識撮像装置 | |
JP2016143414A (ja) | インタラクティブシステム、リモコン及びその操作方法 | |
CN110991292A (zh) | 动作识别比对方法、系统、计算机存储介质和电子装置 | |
JP7375806B2 (ja) | 画像処理装置、及び画像処理方法 | |
US10796186B2 (en) | Part recognition method, information processing apparatus, and imaging control system | |
WO2021111747A1 (ja) | 画像処理装置、監視システム、及び画像処理方法 | |
JP2002366958A (ja) | 画像認識方法および画像認識装置 | |
JP6288770B2 (ja) | 顔検出方法、顔検出システム、および顔検出プログラム | |
JP5482412B2 (ja) | ロボット、位置推定方法及びプログラム | |
JP5217917B2 (ja) | 物体検知追跡装置,物体検知追跡方法および物体検知追跡プログラム | |
JP2019179289A (ja) | 処理装置、及びプログラム | |
JP7124760B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP7300331B2 (ja) | 機械学習用情報処理装置、機械学習用情報処理方法、および機械学習用情報処理プログラム | |
Ristić-Durrant et al. | Low-level sensor fusion-based human tracking for mobile robot | |
KR20230158474A (ko) | 센싱 시스템 | |
JP7117878B2 (ja) | 処理装置、及びプログラム | |
US20220270282A1 (en) | Information processing device, data generation method, and non-transitory computer-readable medium storing program | |
JP2022118954A (ja) | 物体検出装置、及び自律移動体 | |
JP2021051524A (ja) | 作業機械周辺検出対象物位置検出システム、作業機械周辺検出対象物位置検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230718 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7375806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |