JP7352694B2 - 倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体 - Google Patents
倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体 Download PDFInfo
- Publication number
- JP7352694B2 JP7352694B2 JP2022108074A JP2022108074A JP7352694B2 JP 7352694 B2 JP7352694 B2 JP 7352694B2 JP 2022108074 A JP2022108074 A JP 2022108074A JP 2022108074 A JP2022108074 A JP 2022108074A JP 7352694 B2 JP7352694 B2 JP 7352694B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- location
- location area
- cargo
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims description 75
- 238000000034 method Methods 0.000 title claims description 73
- 238000003860 storage Methods 0.000 title claims description 15
- 238000001914 filtration Methods 0.000 claims description 219
- 238000001514 detection method Methods 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 18
- 241000282412 Homo Species 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 description 33
- 238000013135 deep learning Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 239000003550 marker Substances 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013101 initial test Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Emergency Management (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Educational Administration (AREA)
- Game Theory and Decision Science (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Description
しかしながら、レーザセンサを用いる方法では、倉庫ロケーションに貨物が存在するか否かしか監視できず、被検出対象の種類を区別することができず、誤検出事象が多くなり、倉庫ロケーションに対する識別精度が低い場合がある。
ロケーションエリアとロケーションエリアの周辺エリアとを含む倉庫ロケーションエリアのビデオデータを取得し、且つ該ビデオデータに基づいて倉庫ロケーションエリアに対応する目標画像を取得することと、
カテゴリ検出モデルに基づいて該目標画像を検出することによって、該目標画像に現れる各対象が所属する、人間、車両、及び貨物のうちの少なくとも1つを含むカテゴリを確定することと、
該各対象が所属するカテゴリに基づいて、前記各対象の状態を検出することによって、人間が倉庫ロケーションエリアに入っているか否か、車両の状態情報、及びロケーション在庫情報のうちの少なくとも1つを含む検出結果を取得することと、
該検出結果を倉庫スケジューリングシステムに送信することと、を含み、
前記検出結果は倉庫スケジューリングシステムが該倉庫ロケーションエリアを監視するために用いられる。
前記プロセッサが前記コンピュータプログラムを実行すると、上記に記載の倉庫ロケーションの監視方法を実現する。
前記コンピュータプログラムがプロセッサによって実行されると、上記に記載の倉庫ロケーションの監視方法を実現する。
トレーニングされたカテゴリ検出モデルを取得することと、
該カテゴリ検出モデルに基づいて、該目標画像に対して特徴抽出を行うことによって、該目標画像に対応する画像特徴を取得することと、
該画像特徴に基づいて、該目標画像に現れる各対象が所属するカテゴリを確定することと、を含む。
倉庫ロケーションエリアのビデオデータを取得すること、
該ビデオデータに対して復号処理を行うことにとって、ビデオデータに対応する復号画像を取得すること、
該復号画像に対して校正処理を行うことによって、校正画像を取得すること、
該校正画像をダウンサンプリング処理することによって、倉庫ロケーションエリアに対応する目標画像を取得こと、のために用いられる。
前記カテゴリ検出モデルに基づいて、前記目標画像に対して特徴抽出を行うことによって、前記目標画像に対応する画像特徴を取得すること、
前記画像特徴に基づいて、前記目標画像に現れる各対象が所属するカテゴリを確定すること、のために用いられる。
前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ該車両がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること、
前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、該ビデオデータにおけるロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後のエリア画像に基づいてロケーション在庫情報を確定すること、
前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ該人間がロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること、のために用いられる。
前記ロケーションエリアに貨物があると確定された場合、前記貨物が、前記貨物の全てが前記ロケーションエリアに位置する目標状態にあるか否かを判定すること、
前記貨物が目標状態にある場合、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをN回行うことによって、状態フィルタリングの回数に対応するN個の第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定こと、
N個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周囲に車両が存在し、且つ前記ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、前記N個の同一の連続的な第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周囲に車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ貨物に対応する貨物情報によって貨物の種類を確定こと、
前記ロケーションエリアの使用情報及び前記貨物の種類をロケーションエリアのロケーション在庫情報とすること、のために用いられる。前記Nは2以上の正の整数であり、前記N個の同一の連続的な第一の状態フィルタリング結果は、前記ロケーションエリアに貨物があることである。
前記ビデオデータに基づいて、ロケーションエリアを表すNフレームのエリア画像を抽出すること、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記N個の第一の状態フィルタリング結果を取得すること、のために用いられる。
前記ビデオデータに基づいて、ロケーションエリアを表す現在のフレームのエリア画像を抽出すること、
前記現在のフレームのエリア画像に対して状態フィルタリングをN回行うことによって、前記N個の第一の状態フィルタリング結果を取得すること、のために用いられる。
前記ロケーションエリアに貨物がないと確定された場合、前記ビデオデータにおけるロケーションエリアを表すエリア画像に基づいて、状態フィルタリングをM回行うことによって、状態フィルタリングの回数に対応するM個の第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定すること、
M個の同一の連続的な第二の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと車両との距離が距離閾値より大きい場合、又は、前記M個の同一の連続的な第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ前記使用情報を前記ロケーションエリアのロケーション在庫情報とすること、のために用いられる。前記Mは2以上の正の整数であり、前記M個の同一の連続的な第二の状態フィルタリング結果は、前記ロケーションエリアに貨物がないことである。
前記ビデオデータに基づいて、ロケーションエリアを表すMフレームのエリア画像を抽出すること、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記M個の第二の状態フィルタリング結果を取得すること、のために用いられる。
前記M個の第二の状態フィルタリング結果における任意の2つの隣接するフレームのエリア画像に対応するフィルタリング結果の照合が完了するまで、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することにより、M個の連続的な第二の状態フィルタリング結果を取得すること、
M個の第二の状態フィルタリング結果が同じである場合、同一の連続的なM個の第二の状態フィルタリング結果を取得すること、のために用いられる。
前記ビデオデータに基づいて、ロケーションエリアを表す現在のフレームのエリア画像を抽出すること、
前記現在のフレームのエリア画像に対して状態フィルタリングをM回行うことによって、前記M個の第二の状態フィルタリング結果を取得すること、のために用いられる。
Claims (14)
- コンピュータにより実現される、倉庫ロケーションの監視方法であって、
ロケーションエリアと前記ロケーションエリアの周辺エリアとを含む倉庫ロケーションエリアのビデオデータを取得し、且つ前記ビデオデータに基づいて前記倉庫ロケーションエリアに対応する目標画像を取得すること(202)であって、前記ロケーションエリアの周辺エリアは、前記ロケーションエリアに対して位置が調整可能なエリアであり、前記ロケーションエリアの周辺エリアの位置の調整範囲は予め設定された範囲内にある、取得することと、
カテゴリ検出モデルに基づいて前記目標画像を検出することによって、前記目標画像に現れる各対象が所属する、人間、車両、及び貨物のうちの少なくとも1つを含むカテゴリを確定すること(204)と、
前記各対象が所属するカテゴリに基づいて前記各対象の状態を検出することによって、人間が倉庫ロケーションエリアに入っているか否か、車両の状態情報、及びロケーション在庫情報のうちの少なくとも1つを含む検出結果を取得すること(206)と、
前記検出結果を倉庫スケジューリングシステムに送信すること(208)と、を含み、
前記検出結果は前記倉庫スケジューリングシステムが前記倉庫ロケーションエリアを監視するために用いられる、
ことを特徴とする倉庫ロケーションの監視方法。 - 前記倉庫ロケーションエリアのビデオデータを取得し、且つ前記ビデオデータに基づいて前記倉庫ロケーションエリアに対応する目標画像を取得することは、
前記倉庫ロケーションエリアの前記ビデオデータを取得すること(402)と、
前記ビデオデータに対して復号処理を行うことによって、前記ビデオデータに対応する復号画像を取得すること(404)と、
前記復号画像に対して校正処理を行うことによって、校正画像を取得すること(406)と、
前記校正画像をダウンサンプリング処理することによって、前記倉庫ロケーションエリアに対応する前記目標画像を取得すること(408)と、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記カテゴリ検出モデルに基づいて前記目標画像を検出することによって、前記目標画像に現れる各対象が所属するカテゴリを確定することは、
前記カテゴリ検出モデルに基づいて、前記目標画像に対して特徴抽出を行うことによって、前記目標画像に対応する画像特徴を取得することと、
前記画像特徴に基づいて、前記目標画像に現れる前記各対象が所属する前記カテゴリを確定することと、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記各対象が所属するカテゴリに基づいて前記各対象の状態を検出することによって、検出結果を取得することは、
前記目標画像に現れる対象の所属するカテゴリが車両であり、且つ前記車両が前記ロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること(502)と、
前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、前記ビデオデータにおける前記ロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後の前記エリア画像に基づいてロケーション在庫情報を確定すること(504)と、
前記目標画像に現れる対象の所属するカテゴリが人間であり、且つ前記人間が前記ロケーションエリアの周辺エリアに入っていると確定された場合、警報情報を送信すること(506)と、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記目標画像に現れる対象の所属するカテゴリが貨物であると確定された場合、前記ビデオデータにおける前記ロケーションエリアを表すエリア画像に対して状態フィルタリング処理を行い、且つ状態フィルタリング処理後の前記エリア画像に基づいてロケーション在庫情報を確定することは、
前記ロケーションエリアに貨物があると確定された場合、前記貨物が、前記貨物の全てが予め設定された姿勢に応じて前記ロケーションエリアに位置する目標状態にあるか否かを判定すること(602)と、
前記貨物が前記目標状態にある場合、前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをN回行うことによって、状態フィルタリングの回数に対応するN個の第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定すること(604)と、
N個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周囲に車両が存在し、且つ前記ロケーションエリアと前記車両との距離が距離閾値より大きい場合、又は、前記N個の同一の連続的な第一の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周囲に車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ前記貨物に対応する貨物情報によって貨物種類を確定すること(606)と、
前記ロケーションエリアの使用情報及び前記貨物種類を前記ロケーションエリアの前記ロケーション在庫情報とすること(608)と、を含み、
前記Nは2以上の正の整数であり、
前記N個の同一の連続的な第一の状態フィルタリング結果は、前記ロケーションエリアに貨物があることである、
ことを特徴とする請求項4に記載の方法。 - 前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをN回行うことによって、状態フィルタリングの回数に対応するN個の第一の状態フィルタリング結果を取得することは、
前記ビデオデータに基づいて、前記ロケーションエリアを表すNフレームのエリア画像を抽出することと、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記N個の第一の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項5に記載の方法。 - 前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをN回行うことによって、状態フィルタリングの回数に対応するN個の第一の状態フィルタリング結果を取得することは、
前記ビデオデータに基づいて、前記ロケーションエリアを表す現在のフレームのエリア画像を抽出することと、
前記現在のフレームのエリア画像に対して状態フィルタリングをN回行うことによって、前記N個の第一の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項5に記載の方法。 - 前記N個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと前記車両との距離が前記距離閾値以下である場合、前記ロケーションエリアの前記使用情報の確定を停止すること、をさらに含む、
ことを特徴とする請求項5に記載の方法。 - 前記N個の同一の連続的な第一の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと前記車両との距離が前記距離閾値以下である場合、前記警報情報を生成すること、をさらに含む、
ことを特徴とする請求項5に記載の方法。 - 前記ロケーションエリアに貨物がないと確定された場合、前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをM回行うことによって、状態フィルタリングの回数に対応するM個の第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在するか否かを判定することと、
M個の同一の連続的な第二の状態フィルタリング結果を取得し、前記ロケーションエリアの周辺エリアに車両が存在し、且つ前記ロケーションエリアと前記車両との距離が前記距離閾値より大きい場合、又は、前記M個の同一の連続的な第二の状態フィルタリング結果を取得し、且つ前記ロケーションエリアの周辺エリアに車両が存在しない場合、前記ロケーションエリアの使用情報を確定し、且つ前記使用情報を前記ロケーションエリアの前記ロケーション在庫情報とすることと、を含み、
前記Mは2以上の正の整数であり、
前記M個の同一の連続的な第二の状態フィルタリング結果は、前記ロケーションエリアに貨物がないことである、
ことを特徴とする請求項5に記載の方法。 - 前記ビデオデータにおける前記ロケーションエリアを表す前記エリア画像に基づいて、状態フィルタリングをM回行うことによって、状態フィルタリングの回数に対応するM個の第二の状態フィルタリング結果を取得することは、
前記ビデオデータに基づいて、前記ロケーションエリアを表すMフレームのエリア画像を抽出することと、
各フレームのエリア画像に対して対応する状態フィルタリングを行うことによって、前記M個の第二の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項10に記載の方法。 - 前記M個の同一の連続的な第二の状態フィルタリング結果を取得することは、
前記M個の第二の状態フィルタリング結果における任意の2つの隣接するフレームのエリア画像に対応するフィルタリング結果の照合が完了するまで、前のフレームのエリア画像に対応するフィルタリング結果を、現在のフレームのエリア画像に対応するフィルタリング結果と照合することにより、前記M個の連続的な第二の状態フィルタリング結果を取得することと、
前記M個の第二の状態フィルタリング結果が同じである場合、前記M個の同一の連続的な第二の状態フィルタリング結果を取得することと、を含む、
ことを特徴とする請求項11に記載の方法。 - コンピュータプログラムが記憶されたメモリ(1202)と、プロセッサ(1201)とを備えるコンピュータ装置であって、
前記プロセッサが前記コンピュータプログラムを実行すると、請求項1~12のいずれか1項に記載の倉庫ロケーションの監視方法を実現する、
ことを特徴とするコンピュータ装置。 - コンピュータプログラムが記憶された不揮発性コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項1~12のいずれか1項に記載の倉庫ロケーションの監視方法を実現する、
ことを特徴とする不揮発性コンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110769235.7A CN115600953A (zh) | 2021-07-07 | 2021-07-07 | 仓库库位的监控方法、装置、计算机设备和存储介质 |
CN202110769235.7 | 2021-07-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023010638A JP2023010638A (ja) | 2023-01-20 |
JP7352694B2 true JP7352694B2 (ja) | 2023-09-28 |
Family
ID=82547483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022108074A Active JP7352694B2 (ja) | 2021-07-07 | 2022-07-05 | 倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230007831A1 (ja) |
EP (1) | EP4116906A1 (ja) |
JP (1) | JP7352694B2 (ja) |
KR (1) | KR20230008612A (ja) |
CN (1) | CN115600953A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115904165B (zh) * | 2022-11-07 | 2023-09-12 | 北京国电通网络技术有限公司 | 运输节点图展示方法、装置、电子设备和计算机可读介质 |
CN116068956B (zh) * | 2023-03-07 | 2023-07-14 | 深圳华龙讯达信息技术股份有限公司 | 基于plc的生产线过程监视系统及方法 |
CN117371762B (zh) * | 2023-12-04 | 2024-02-20 | 中兴耀维科技江苏有限公司 | 基于环境监控远程部署管理平台 |
CN117557968B (zh) * | 2024-01-11 | 2024-04-30 | 深圳市明心数智科技有限公司 | 监控方法、装置、存储介质及计算机设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008265909A (ja) | 2007-04-18 | 2008-11-06 | Hitachi-Ge Nuclear Energy Ltd | 資材保管位置管理システムおよびその方法 |
US20100040285A1 (en) | 2008-08-14 | 2010-02-18 | Xerox Corporation | System and method for object class localization and semantic class based image segmentation |
US20140267776A1 (en) | 2013-03-15 | 2014-09-18 | MJK Holding. LLC | Tracking system using image recognition |
US20160373734A1 (en) | 2015-02-24 | 2016-12-22 | Nextvr Inc. | Methods and apparatus related to capturing and/or rendering images |
WO2020132535A1 (en) | 2018-12-21 | 2020-06-25 | Motion2Ai | Warehouse management method and system |
CN112307786A (zh) | 2020-10-13 | 2021-02-02 | 上海迅邦电子科技有限公司 | 一种多个不规则二维码批量定位识别方法 |
JP2021089569A (ja) | 2019-12-04 | 2021-06-10 | 三菱ロジスネクスト株式会社 | 荷役システム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110320322A1 (en) * | 2010-06-25 | 2011-12-29 | Symbol Technologies, Inc. | Inventory monitoring using complementary modes for item identification |
EP2859509A4 (en) * | 2012-06-12 | 2016-04-27 | Snap On Tools Corp | MANUFACTURE OF A COMMUNICATION BETWEEN AN INVENTORY CONTROL SYSTEM AND A REMOTE SYSTEM VIA A NETWORK |
JP6238028B2 (ja) * | 2016-03-11 | 2017-11-29 | パナソニックIpマネジメント株式会社 | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 |
CN111311630B (zh) * | 2020-01-19 | 2023-05-23 | 上海智勘科技有限公司 | 在仓储管理中通过视频智能统计货物数量的方法和系统 |
CN112001228A (zh) * | 2020-07-08 | 2020-11-27 | 上海品览数据科技有限公司 | 一种基于深度学习的视频监控仓库出入库计数系统及方法 |
CN112418764A (zh) * | 2020-11-24 | 2021-02-26 | 上海治云智能科技有限公司 | 一种5g可视化仓管系统 |
-
2021
- 2021-07-07 CN CN202110769235.7A patent/CN115600953A/zh active Pending
-
2022
- 2022-07-01 US US17/855,872 patent/US20230007831A1/en active Pending
- 2022-07-01 KR KR1020220081351A patent/KR20230008612A/ko unknown
- 2022-07-01 EP EP22182621.7A patent/EP4116906A1/en active Pending
- 2022-07-05 JP JP2022108074A patent/JP7352694B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008265909A (ja) | 2007-04-18 | 2008-11-06 | Hitachi-Ge Nuclear Energy Ltd | 資材保管位置管理システムおよびその方法 |
US20100040285A1 (en) | 2008-08-14 | 2010-02-18 | Xerox Corporation | System and method for object class localization and semantic class based image segmentation |
US20140267776A1 (en) | 2013-03-15 | 2014-09-18 | MJK Holding. LLC | Tracking system using image recognition |
US20160373734A1 (en) | 2015-02-24 | 2016-12-22 | Nextvr Inc. | Methods and apparatus related to capturing and/or rendering images |
WO2020132535A1 (en) | 2018-12-21 | 2020-06-25 | Motion2Ai | Warehouse management method and system |
JP2021089569A (ja) | 2019-12-04 | 2021-06-10 | 三菱ロジスネクスト株式会社 | 荷役システム |
CN112307786A (zh) | 2020-10-13 | 2021-02-02 | 上海迅邦电子科技有限公司 | 一种多个不规则二维码批量定位识别方法 |
Also Published As
Publication number | Publication date |
---|---|
US20230007831A1 (en) | 2023-01-12 |
CN115600953A (zh) | 2023-01-13 |
EP4116906A1 (en) | 2023-01-11 |
JP2023010638A (ja) | 2023-01-20 |
KR20230008612A (ko) | 2023-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7352694B2 (ja) | 倉庫ロケーションの監視方法、コンピュータ装置及び記憶媒体 | |
US11940797B2 (en) | Navigating semi-autonomous mobile robots | |
US11175650B2 (en) | Product knitting systems and methods | |
US20230316762A1 (en) | Object detection in edge devices for barrier operation and parcel delivery | |
EP2542994B1 (en) | Method and apparatus for simulating a physical environment to facilitate vehicle operation and task completion | |
CN109255568A (zh) | 一种基于图像识别的智能仓储系统 | |
US20200226360A1 (en) | System and method for automatically detecting and classifying an animal in an image | |
US11507105B2 (en) | Method and system for using learning to generate metrics from computer vision-derived video data | |
CN113129284B (zh) | 一种基于5g云边协同的外观检测方法及实现系统 | |
CN114638573A (zh) | 一种智能化货运物流管理系统及方法 | |
CN211015616U (zh) | 一种基于区块链技术的农产品质量安全监控系统 | |
CN112053339A (zh) | 一种基于机器视觉的棒材成品库行车安全监测方法、装置及设备 | |
Bahirat et al. | ADD-FAR: attacked driving dataset for forensics analysis and research | |
US20240127177A1 (en) | Methods and devices for item tracking in closed environments | |
CN109003414A (zh) | 一种电子安防系统和工作方法 | |
Afroz et al. | IoT based two way safety enabled intelligent stove with age verification using machine learning | |
US20230101794A1 (en) | Freight Management Systems And Methods | |
US20230098677A1 (en) | Freight Management Systems And Methods | |
US20230289677A1 (en) | Logistics area management method, logistics area management system, and non-transitory computer-readable storage medium | |
US20240127594A1 (en) | Method of monitoring experimental animals using artificial intelligence | |
TW202321129A (zh) | 貨物管理設備及其方法 | |
CN115439065A (zh) | 货物盘点处理方法、装置、计算机设备和存储介质 | |
CN115019257A (zh) | 一种基于视觉和图像处理的叉车识别处理方法 | |
KR20240009603A (ko) | 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 | |
CN116156122A (zh) | 可视化监控管理系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220705 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230901 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230915 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7352694 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |