JP7145224B2 - 目標対象の認識方法、装置及びシステム - Google Patents
目標対象の認識方法、装置及びシステム Download PDFInfo
- Publication number
- JP7145224B2 JP7145224B2 JP2020544438A JP2020544438A JP7145224B2 JP 7145224 B2 JP7145224 B2 JP 7145224B2 JP 2020544438 A JP2020544438 A JP 2020544438A JP 2020544438 A JP2020544438 A JP 2020544438A JP 7145224 B2 JP7145224 B2 JP 7145224B2
- Authority
- JP
- Japan
- Prior art keywords
- sub
- target
- region
- category
- radio frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000001514 detection method Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 25
- 238000009826 distribution Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000002955 isolation Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 101150104012 TOP2 gene Proteins 0.000 description 7
- 101100153581 Bacillus anthracis topX gene Proteins 0.000 description 6
- 101150041570 TOP1 gene Proteins 0.000 description 6
- 101100261006 Salmonella typhi topB gene Proteins 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 101150032437 top-3 gene Proteins 0.000 description 4
- 239000007769 metal material Substances 0.000 description 3
- 238000007667 floating Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 101100014539 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) get-1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/04—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the shape
- G06K19/041—Constructional details
- G06K19/047—Constructional details the record carrier being shaped as a coin or a gambling token
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
- G06K19/0672—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with resonating marks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
- G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
- G06K19/077—Constructional details, e.g. mounting of circuits in the carrier
- G06K19/07743—External electrical contacts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/0008—General problems related to the reading of electronic memory record carriers, independent of its reading method, e.g. power transfer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Radar Systems Or Details Thereof (AREA)
Description
本願は、2020年3月20日に提出された、出願名称が「目標対象の認識方法、装置及びシステム」で、出願番号がPCT/IB2020/052583であるPCT出願の国家段階出願であり、このPCTは2019年12月23日に提出された、出願番号が10201913005Yのシンガポール特許出願の優先権を主張し、この出願の全てが参照によって本開示に組み込まれる。
本開示は、コンピュータビジョン技術に関し、特に、目標対象の認識方法、装置及びシステムに関する。
具体的には、本開示は、以下のような技術的解決手段によって実現される。
前記方法は、
目標領域の画像を取得するステップと、
前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップと、
前記目標領域における前記目標対象の無線周波数認識結果を取得するステップと、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップと、を含む。
前記無線周波数認識結果と前記画像認識結果によって目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各サブ領域における目標対象のカテゴリーと数量を取得するステップと、を含む。
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含む。
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するステップと、
第mサブ領域をマッチング待ちのサブ領域とするステップと、を更に含む。
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含む。
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含む。
前記無線周波数認識結果に目標対象の数量が0より大きいカテゴリーが存在することに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするステップと、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を更に含む。
前記第1取得モジュールは、目標領域の画像を取得するために用いられ、
前記第1決定モジュールは、前記画像によって前記目標領域における目標対象の画像認識結果を決定するために用いられ、
前記第2取得モジュールは、前記目標領域における前記目標対象の無線周波数認識結果を取得するために用いられ、
前記第2決定モジュールは、前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられる。
前記第2決定モジュールは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、
各サブ領域における目標対象のカテゴリーと数量を取得するために用いられる。
前記マッチングユニットは、第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるために用いられ、
前記決定ユニットは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するために用いられ、
前記調整ユニットは、前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
第3決定モジュールは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないか、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するために用いられ、
第4決定モジュールは、第mサブ領域をマッチング待ちのサブ領域とするために用いられる。
前記第5決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記第6決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記第7決定モジュールは、前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするために用いられ、
前記調整モジュールは、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
前記画像取得装置は、目標領域の画像を取得するために用いられ、
前記無線周波数検出装置は、前記目標領域における目標対象の無線周波数認識結果を取得するために用いられ、
前記プロセッサは、前記画像によって前記目標領域における前記目標対象の画像認識結果を決定し、且つ前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられる。
前記目標領域内に設置される無線周波数検出アンテナと、
それぞれ各目標対象に設置される無線周波数認識タグと、を含む。
前記システムは、各目標領域を隔離するために用いられる隔離装置を更に含み、
前記隔離装置は、1つの目標領域における無線周波数検出装置が他の目標領域における目標対象の無線周波信号を取得することを阻止するために用いられる。
ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力するステップを含む。
前記プロセッサを用いて前記無線周波数認識結果と前記画像認識結果によって各目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各サブ領域における目標対象のカテゴリーと数量を取得するステップと、を含む。
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含む。
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定し、
第mサブ領域をマッチング待ちのサブ領域とするために用いられる。
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度が最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記の現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とし、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
ステップS101:目標領域の画像を取得し、
ステップS102:前記画像によって前記目標領域における目標対象の画像認識結果を決定し、
ステップS103:前記目標領域における前記目標対象の無線周波数認識結果を取得し、
ステップS104と:前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定することを含む。
ステップ1:画像認識結果中の各サブ領域における目標対象の数量の降順に、まず各サブ領域のtop1候補カテゴリーをトラバースし、次に各サブ領域のtop2候補カテゴリーをトラバースし、最後に各サブ領域のtop3候補カテゴリーをトラバースする。分類されるサブ領域に対応する候補カテゴリーの無線周波数認識結果での残りの目標対象の数量が0より大きい場合に、このサブ領域に対応するカテゴリーがこの候補カテゴリーであると考えられ、このサブ領域を分類待ちの隊列から除去し(このサブ領域の他の候補カテゴリーについての判断を直接省略する)、また、無線周波数認識結果中のこの候補カテゴリーと同じカテゴリーの残りの目標対象の数量からこのサブ領域の目標対象数量を差し引く。
A)無線周波数認識結果中の各カテゴリーの残りの目標対象数量が0となり、目標領域の各サブ領域には分類結果があり、即ち各サブ領域における目標対象のカテゴリーと数量が全て決定された。この場合に、認識過程を終了する。
B)無線周波数認識結果中の各カテゴリーの残りの目標対象数量が0となり、且つ分類結果を取得できなかったマッチング待ちのサブ領域が存在する。各マッチング待ちのサブ領域については、無線周波数認識結果中のカテゴリーにtop1~topN候補カテゴリーのうちの1つ又は複数の候補カテゴリーを含む場合に、この1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、無線周波数認識結果にN種の候補カテゴリーのうちのいずれか1つの候補カテゴリーも含まない場合に、top1候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とする。各マッチング待ちのサブ領域における目標対象のカテゴリーと数量が全て決定された後、認識過程を終了する。
C)無線周波数認識結果中の1つ又は複数のカテゴリーの残りの目標対象数量が0でないが、各サブ領域に分類結果があった場合に、認識過程を終了する。
D)無線周波数認識結果中の1つ又は複数のカテゴリーの残りの目標対象数量が0でなく、且つ分類結果を取得できなかったマッチング待ちのサブ領域が少なくとも1つ存在する。ステップ1から分かるように、無線周波数認識結果中のこの1つ又は複数のカテゴリーがマッチング待ちのサブ領域のN種の候補カテゴリーと異なる。無線周波数認識結果中のこの1つ又は複数のカテゴリーのうち、残りの目標対象数量が最も大きいカテゴリーを目標対象数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、この目標対象数量の最も大きいマッチング待ちのサブ領域を分類待ちの隊列から除去し、無線周波数認識結果中の残りの目標対象数量の最も大きいカテゴリーの残りの目標対象数量からこの目標対象数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引き、調整後の無線周波数認識結果を取得する。上記ステップを順に実行し、実行後の状況に応じて以上のA、B、Cといった3種の状態に移行して判断する。
(1)サブ領域1:合計13個の目標対象があり、信頼度が最も大きい3つの候補カテゴリーが降順にカテゴリー5、カテゴリー10及びカテゴリー20である。
(2)サブ領域2:合計11個の目標対象があり、信頼度が最も大きい3つの候補カテゴリーが降順にカテゴリー5、カテゴリー10及びカテゴリー20である。
(3)サブ領域3:合計4個の目標対象があり、信頼度が最も大きい3つの候補カテゴリーが降順にカテゴリー20、カテゴリー5及びカテゴリー10である。
無線周波数認識結果は以下のとおりである。
(1)カテゴリー5:目標対象の数量が13である。(2)カテゴリー10:目標対象の数量が10である。(3)カテゴリー50:目標対象の数量が4である。
(1)本開示の実施例は、画像認識方式による物体位置情報と数量情報の認識精度が高い特徴、及び無線周波数認識方式による物体カテゴリーの認識精度が高い特徴を集め、2種の認識結果を融合したので、単一のセンサによる手段に比べてより多い情報を取得でき、結果がより正確になり、目標領域内の目標対象の分布を真実に再現できる。
(2)処理論理が簡単であり、安定性が高く、リアルタイム処理システムに適合する。
(3)本開示の実施例は各種シート状物体の認識手段に適合し、適用範囲が広い。
前記認識装置は、
目標領域の画像を取得するための第1取得モジュール501と、
前記画像によって前記目標領域における目標対象の画像認識結果を決定するための第1決定モジュール502と、
前記目標領域における前記目標対象の無線周波数認識結果を取得するための第2取得モジュール503と、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するための第2決定モジュール504と、を含む。
前記第2決定モジュールは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングし、
各サブ領域における目標対象のカテゴリーと数量を取得するステップとに用いられる。
前記マッチングユニットは、第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングするためのものであって、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるために用いられ、
前記決定ユニットは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するために用いられ、
前記調整ユニットは、前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
前記第3決定モジュールは、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないか、前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するために用いられ、
前記第4決定モジュールは、第mサブ領域をマッチング待ちのサブ領域とするために用いられる。
前記第5決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記第6決定モジュールは、前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記第7決定モジュールは、前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするために用いられ、
前記調整モジュールは、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
前記目標対象の認識システムは、
目標領域の画像を取得するための画像取得装置601と、
前記目標領域における目標対象の無線周波数認識結果を取得するための無線周波数検出装置602と、
前記画像によって前記目標領域における前記目標対象の画像認識結果を決定し、且つ前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するためのプロセッサ603と、を含む。
前記目標領域内に設置される無線周波数検出アンテナと、
それぞれ各目標対象に設置される無線周波数認識タグと、を含む。
前記システムは、各目標領域を隔離するために用いられる隔離装置を更に含み
前記隔離装置は、1つの目標領域における無線周波数検出装置が他の目標領域における目標対象の無線周波信号を取得することを阻止するために用いられる。
ニューラルネットワークを用いて前記画像を処理して前記目標領域における目標対象の画像認識結果を出力するステップを含む。
前記プロセッサを用いて前記無線周波数認識結果と前記画像認識結果によって各目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各サブ領域における目標対象の数量の降順に、前記画像認識結果中の各サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各サブ領域における目標対象のカテゴリーと数量を取得するステップと、を含む。
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングするステップであって、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が画像認識結果中の各サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域中の目標対象の数量が画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含む。
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定し、
第mサブ領域をマッチング待ちのサブ領域とするステップとに用いられる。
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、又は1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定した、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられる。
前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とし、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられる。
Claims (19)
- 目標対象の認識方法であって、
当該方法は、
目標領域の画像を取得するステップと、
前記画像によって前記目標領域における目標対象の画像認識結果を決定するステップと、
前記目標領域における前記目標対象の無線周波数認識結果を取得するステップと、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップと、を含み、
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、各前記サブ領域における目標対象のカテゴリーと数量を得るステップと、を含むことを特徴とする方法。 - 前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が前記画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が前記画像認識結果中の各前記サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが前記画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域における目標対象の数量が前記画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含むことを特徴とする請求項1に記載の方法。 - 前記方法は、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定するステップと、
第mサブ領域をマッチング待ちのサブ領域とするステップと、を更に含むことを特徴とする請求項2に記載の方法。 - マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定するステップ、
前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとするステップ、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含むことを特徴とする請求項3に記載の方法。 - マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れていないと決定し、
信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするステップを更に含むことを特徴とする請求項3に記載の方法。 - マッチング待ちのサブ領域が存在すると決定された時に、前記方法は、
前記無線周波数認識結果に目標対象の数量が0より大きいカテゴリーが存在することに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とするステップと、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を更に含むことを特徴とする請求項3に記載の方法。 - 目標対象の認識装置であって、
当該装置は、第1取得モジュールと、第1決定モジュールと、第2取得モジュールと、第2決定モジュールと、を含み、
前記第1取得モジュールは、目標領域の画像を取得するために用いられ、
前記第1決定モジュールは、前記画像によって前記目標領域における目標対象の画像認識結果を決定するために用いられ、
前記第2取得モジュールは、前記目標領域における前記目標対象の無線周波数認識結果を取得するために用いられ、
前記第2決定モジュールは、前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するために用いられ、
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、各前記サブ領域における目標対象のカテゴリーと数量を得るステップと、を含むことを特徴とする装置。 - 目標対象の認識システムであって、
目標領域の画像を取得するための画像取得装置と、
前記目標領域における目標対象の無線周波数認識結果を取得するための無線周波数検出装置と、
前記画像によって前記目標領域における前記目標対象の画像認識結果を決定し、且つ前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するためのプロセッサと、を備え、
前記目標領域は少なくとも1つのサブ領域を含み、前記画像認識結果は各前記サブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリー及び各前記サブ領域における目標対象の数量を含み、
前記プロセッサを用いて前記無線周波数認識結果と前記画像認識結果によって前記目標対象の前記目標領域での分布を決定するステップは、
前記画像認識結果中の信頼度の降順に、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップと、
各前記サブ領域における目標対象のカテゴリーと数量を得るステップと、を含む
ことを特徴とするシステム。 - 前記無線周波数検出装置は、
前記目標領域内に設置される無線周波数検出アンテナと、
それぞれ各目標対象に設置される無線周波数認識タグと、を含むことを特徴とする請求項8に記載のシステム。 - 前記無線周波数認識タグが前記目標対象に内蔵されるか、又は前記目標対象表面に貼り付けられることを特徴とする請求項9に記載のシステム。
- 前記システムは、各目標領域を隔離するために用いられる隔離装置を更に含み、
前記目標領域の数量は、複数であり、
前記隔離装置は、1つの目標領域における無線周波数検出装置が他の目標領域における目標対象の無線周波信号を取得することを阻止するために用いられることを特徴とする請求項8に記載のシステム。 - 前記画像取得装置は、前記目標領域の上部に設置される第1画像取得装置及び/又は前記目標領域の側面に設置される第2画像取得装置を含むことを特徴とする請求項11に記載のシステム。
- 前記プロセッサを用いて前記画像認識結果中の信頼度の降順、及び前記画像認識結果中の各前記サブ領域における目標対象の数量の降順に、前記画像認識結果中の各前記サブ領域における目標対象の数量及び前記N種の候補カテゴリーを前記無線周波数認識結果中のカテゴリー及び各カテゴリーの目標対象の数量とマッチングするステップは、
第mサブ領域における目標対象の第k候補カテゴリーと第mサブ領域における目標対象の数量を前記無線周波数認識結果中のカテゴリーと各カテゴリーの目標対象の数量とマッチングし、第k候補カテゴリーが信頼度番号kに対応する前記N種の候補カテゴリーの1つであり、信頼度番号が前記画像認識結果中の第mサブ領域における目標対象の信頼度の最も大きいN種の候補カテゴリーを信頼度の降順に並べて得られたものであり、第mサブ領域が前記少なくとも1つのサブ領域のうち、サブ領域番号mに対応するサブ領域であり、サブ領域番号が前記画像認識結果中の各前記サブ領域における目標対象の数量を降順に並べて得られたものであるステップと、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含み且つ前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きいことに応えて、第mサブ領域における目標対象の第k候補カテゴリーが前記画像認識結果中の第mサブ領域における目標対象のカテゴリーであり、第mサブ領域における目標対象の数量が前記画像認識結果中の第mサブ領域における目標対象の数量であると決定するステップと、
前記無線周波数認識結果の第k候補カテゴリーの目標対象の数量から第mサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るステップと、を含むことを特徴とする請求項8に記載のシステム。 - 前記プロセッサは、更に、
前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含まないことに応えて、又は前記無線周波数認識結果中のカテゴリーが第k候補カテゴリーを含むが、前記無線周波数認識結果中の第k候補カテゴリーの目標対象の数量が0より大きくないことに応えて、マッチングが失敗したと決定し、
第mサブ領域をマッチング待ちのサブ領域とするために用いられることを特徴とする請求項13に記載のシステム。 - マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーのうち、1つ又は複数の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れることを決定し、前記現れる1つ又は複数の候補カテゴリーのうち、信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項14に記載のシステム。 - マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の各カテゴリーの目標対象の数量がいずれも0より大きくないことに応えて、1つのマッチング待ちのサブ領域中の信頼度の最も大きいN種の候補カテゴリーが前記無線周波数認識結果のカテゴリーに現れないと決定し、
信頼度が最も大きい候補カテゴリーをこのマッチング待ちのサブ領域における目標対象のカテゴリーとし、
前記画像認識結果中のこのマッチング待ちのサブ領域における目標対象の数量をこのマッチング待ちのサブ領域における目標対象の数量とするために用いられることを特徴とする請求項14に記載のシステム。 - マッチング待ちのサブ領域が存在すると決定された時に、前記プロセッサは、更に、
前記無線周波数認識結果中の少なくとも1つのカテゴリーの目標対象の数量が0より大きいことに応えて、前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーを前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象のカテゴリーとし、且つ前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量とし、
前記無線周波数認識結果中の目標対象の数量の最も大きいカテゴリーの目標対象の数量から前記画像認識結果中の目標対象の数量の最も大きいマッチング待ちのサブ領域における目標対象の数量を差し引いて調整後の無線周波数認識結果を得るために用いられることを特徴とする請求項14に記載のシステム。 - コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
プロセッサは、前記コンピュータプログラムを実行する時に、請求項1から6のいずれか一項に記載の方法を実現することを特徴とする記憶媒体。 - メモリと、プロセッサと、メモリに記憶される、プロセッサ上で作動可能なコンピュータプログラムと、を含むコンピュータデバイスであって、
前記プロセッサは、前記コンピュータプログラムを実行する時に、請求項1から6のいずれか一項に記載の方法を実現することを特徴とするコンピュータデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10201913005Y | 2019-12-23 | ||
SG10201913005YA SG10201913005YA (en) | 2019-12-23 | 2019-12-23 | Method, apparatus, and system for recognizing target object |
PCT/IB2020/052583 WO2021130551A1 (en) | 2019-12-23 | 2020-03-20 | Method, apparatus, and system for recognizing target object |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022523279A JP2022523279A (ja) | 2022-04-22 |
JP7145224B2 true JP7145224B2 (ja) | 2022-09-30 |
Family
ID=72643799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020544438A Active JP7145224B2 (ja) | 2019-12-23 | 2020-03-20 | 目標対象の認識方法、装置及びシステム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11294047B2 (ja) |
JP (1) | JP7145224B2 (ja) |
KR (1) | KR102390774B1 (ja) |
CN (1) | CN113228044A (ja) |
AU (1) | AU2020294282A1 (ja) |
SG (1) | SG10201913005YA (ja) |
WO (1) | WO2021130551A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021202518A1 (en) * | 2020-03-30 | 2021-10-07 | Sg Gaming, Inc. | Gaming environment tracking optimization |
WO2023047163A1 (en) * | 2021-09-22 | 2023-03-30 | Sensetime International Pte. Ltd. | Item identification method and apparatus, device, and computer-readable storage medium |
CN116157849A (zh) * | 2021-09-22 | 2023-05-23 | 商汤国际私人有限公司 | 一种物体信息管理方法、装置、设备及存储介质 |
WO2023047161A1 (en) * | 2021-09-22 | 2023-03-30 | Sensetime International Pte. Ltd. | Object information management method, apparatus and device, and storage medium |
WO2023052849A1 (en) * | 2021-09-30 | 2023-04-06 | Sensetime International Pte. Ltd. | Methods and apparatuses for displaying process of game and electronic device and storage medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006040035A (ja) | 2004-07-28 | 2006-02-09 | Canon Inc | 情報取得装置及び撮影画像中の撮影対象物の位置を判別する判別方法、撮影画像中の撮影対象物を特定する対象物特定方法 |
KR101289354B1 (ko) | 2012-03-21 | 2013-07-29 | 순천향대학교 산학협력단 | 알에프아이디 인식 보정 시스템 및 그 인식 보정 방법 |
JP2014169163A (ja) | 2013-03-04 | 2014-09-18 | Nec Corp | 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム |
WO2017022673A1 (ja) | 2015-08-03 | 2017-02-09 | エンゼルプレイングカード株式会社 | テーブルゲームの管理システム、遊技用代用貨幣、検査装置、遊技用代用貨幣の管理システム |
US20170053154A1 (en) | 2014-04-21 | 2017-02-23 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Association method and association apparatus |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7987491B2 (en) * | 2002-05-10 | 2011-07-26 | Richard Reisman | Method and apparatus for browsing using alternative linkbases |
US8594410B2 (en) * | 2006-08-28 | 2013-11-26 | Definiens Ag | Context driven image mining to generate image-based biomarkers |
WO2007090267A1 (en) * | 2006-02-07 | 2007-08-16 | Ubitrak Inc. | Multi-sensor system for counting and identifying objects in close proximity |
US8070574B2 (en) | 2007-06-06 | 2011-12-06 | Shuffle Master, Inc. | Apparatus, system, method, and computer-readable medium for casino card handling with multiple hand recall feature |
WO2008088870A1 (en) * | 2007-01-19 | 2008-07-24 | Progressive Gaming International Corporation | Table monitoring identification system, wager tagging and felt coordinate mapping |
CN101542531B (zh) * | 2007-06-14 | 2012-12-19 | 松下电器产业株式会社 | 图像识别装置及图像识别方法 |
US9131128B2 (en) * | 2011-09-28 | 2015-09-08 | The United States Of America As Represented By The Secretary Of The Army | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
WO2009113265A1 (ja) * | 2008-03-11 | 2009-09-17 | パナソニック株式会社 | タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法 |
WO2010096193A2 (en) * | 2009-02-18 | 2010-08-26 | Exbiblio B.V. | Identifying a document by performing spectral analysis on the contents of the document |
WO2010114772A2 (en) * | 2009-04-03 | 2010-10-07 | Battelle Memorial Institute | Biological and chemical collection and detection |
US9378542B2 (en) * | 2011-09-28 | 2016-06-28 | The United States Of America As Represented By The Secretary Of The Army | System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles |
CN102510476A (zh) * | 2011-10-28 | 2012-06-20 | 河海大学 | 物联网视频监控融合信息平台系统 |
US9449488B2 (en) * | 2011-12-29 | 2016-09-20 | Intel Corporation | Object recognition and notification |
CN202533947U (zh) * | 2012-04-03 | 2012-11-14 | 白轶伦 | Rfid菜谱本 |
US8836768B1 (en) * | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
US20140320629A1 (en) * | 2013-01-24 | 2014-10-30 | University Of Washington Through Its Center For Commericialization | Haptically-Enabled Co-Robotics for Underwater Tasks |
JP6270065B2 (ja) * | 2013-03-04 | 2018-01-31 | 日本電気株式会社 | 物品管理システム、情報処理装置およびその制御方法と制御プログラム |
WO2014143974A1 (en) * | 2013-03-15 | 2014-09-18 | Bio-Tree Systems, Inc. | Methods and system for linking geometry obtained from images |
JP5900393B2 (ja) * | 2013-03-21 | 2016-04-06 | ソニー株式会社 | 情報処理装置、操作制御方法及びプログラム |
JP6179592B2 (ja) * | 2013-05-31 | 2017-08-16 | 日本電気株式会社 | 画像認識装置、その処理方法、およびプログラム |
WO2014200705A1 (en) * | 2013-06-14 | 2014-12-18 | Stc.Unm | Treatment of autophagy-related disorders |
US9117144B2 (en) * | 2013-08-14 | 2015-08-25 | Qualcomm Incorporated | Performing vocabulary-based visual search using multi-resolution feature descriptors |
US9971492B2 (en) * | 2014-06-04 | 2018-05-15 | Quantum Interface, Llc | Dynamic environment for object and attribute display and interaction |
US10664705B2 (en) * | 2014-09-26 | 2020-05-26 | Nec Corporation | Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium |
WO2016065314A1 (en) * | 2014-10-23 | 2016-04-28 | Automaton, Inc. | Systems and methods for rfid tag locating using constructive interference |
US9959628B2 (en) * | 2014-11-21 | 2018-05-01 | Christopher M. MUTTI | Imaging system for object recognition and assessment |
JP6402653B2 (ja) * | 2015-03-05 | 2018-10-10 | オムロン株式会社 | 物体認識装置、物体認識方法、およびプログラム |
SG10201914050XA (en) * | 2015-08-03 | 2020-03-30 | Angel Playing Cards Co Ltd | Fraud detection system in casino |
CA3032770A1 (en) * | 2015-08-03 | 2018-02-08 | Angel Playing Cards Co., Ltd. | Game management system |
US10176408B2 (en) * | 2015-08-14 | 2019-01-08 | Elucid Bioimaging Inc. | Systems and methods for analyzing pathologies utilizing quantitative imaging |
WO2017134706A1 (ja) * | 2016-02-03 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 映像表示方法及び映像表示装置 |
WO2017165538A1 (en) * | 2016-03-22 | 2017-09-28 | Uru, Inc. | Apparatus, systems, and methods for integrating digital media content into other digital media content |
WO2017175315A1 (ja) * | 2016-04-05 | 2017-10-12 | 株式会社島津製作所 | 放射線画像診断装置、放射線画像と分析結果との関連付け方法および放射線画像診断システム |
CN110992601A (zh) * | 2016-08-02 | 2020-04-10 | 天使游戏纸牌股份有限公司 | 检查系统及管理系统 |
CN106372552B (zh) * | 2016-08-29 | 2019-03-26 | 北京理工大学 | 人体目标识别定位方法 |
KR101879207B1 (ko) * | 2016-11-22 | 2018-07-17 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
CN109214403B (zh) * | 2017-07-06 | 2023-02-28 | 斑马智行网络(香港)有限公司 | 图像识别方法、装置及设备、可读介质 |
CN107292907B (zh) * | 2017-07-14 | 2020-08-21 | 灵动科技(北京)有限公司 | 一种对跟随目标进行定位的方法以及跟随设备 |
CN107368867A (zh) | 2017-07-26 | 2017-11-21 | 四川西谷物联科技有限公司 | 图像信息反馈系统及服务器 |
CN109829456B (zh) * | 2017-11-23 | 2022-05-17 | 腾讯科技(深圳)有限公司 | 图像识别方法、装置及终端 |
CN108681743B (zh) * | 2018-04-16 | 2019-12-06 | 腾讯科技(深圳)有限公司 | 图像对象识别方法和装置、存储介质 |
US11182927B2 (en) * | 2018-09-18 | 2021-11-23 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for positioning an object |
CN109635797B (zh) * | 2018-12-01 | 2023-01-13 | 北京首钢自动化信息技术有限公司 | 基于多载体识别技术的钢卷顺序精准定位方法 |
CN110276892A (zh) * | 2019-06-26 | 2019-09-24 | 深圳市腾讯计算机系统有限公司 | 无人售货方法、装置、设备及存储介质 |
CN110321744A (zh) * | 2019-07-07 | 2019-10-11 | 重庆工业职业技术学院 | 基于射频技术的书籍寻找方法及装置 |
-
2019
- 2019-12-23 SG SG10201913005YA patent/SG10201913005YA/en unknown
-
2020
- 2020-03-20 AU AU2020294282A patent/AU2020294282A1/en active Pending
- 2020-03-20 CN CN202080000546.0A patent/CN113228044A/zh active Pending
- 2020-03-20 KR KR1020207012204A patent/KR102390774B1/ko active IP Right Grant
- 2020-03-20 WO PCT/IB2020/052583 patent/WO2021130551A1/en active Application Filing
- 2020-03-20 JP JP2020544438A patent/JP7145224B2/ja active Active
- 2020-04-18 US US16/852,446 patent/US11294047B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006040035A (ja) | 2004-07-28 | 2006-02-09 | Canon Inc | 情報取得装置及び撮影画像中の撮影対象物の位置を判別する判別方法、撮影画像中の撮影対象物を特定する対象物特定方法 |
KR101289354B1 (ko) | 2012-03-21 | 2013-07-29 | 순천향대학교 산학협력단 | 알에프아이디 인식 보정 시스템 및 그 인식 보정 방법 |
JP2014169163A (ja) | 2013-03-04 | 2014-09-18 | Nec Corp | 物品管理システム、物品管理方法、情報処理装置およびその制御方法と制御プログラム |
US20170053154A1 (en) | 2014-04-21 | 2017-02-23 | Beijing Zhigu Rui Tuo Tech Co., Ltd | Association method and association apparatus |
WO2017022673A1 (ja) | 2015-08-03 | 2017-02-09 | エンゼルプレイングカード株式会社 | テーブルゲームの管理システム、遊技用代用貨幣、検査装置、遊技用代用貨幣の管理システム |
Non-Patent Citations (1)
Title |
---|
Yohei Shirasaka et al.,Supervised Learning for Object Classification from Image and RFID Data,SICE-ICASE International Joint Conference 2006,IEEE,2006年10月18日,pages 5940-5944 |
Also Published As
Publication number | Publication date |
---|---|
WO2021130551A1 (en) | 2021-07-01 |
CN113228044A (zh) | 2021-08-06 |
US20210190937A1 (en) | 2021-06-24 |
US11294047B2 (en) | 2022-04-05 |
AU2020294282A1 (en) | 2021-07-08 |
JP2022523279A (ja) | 2022-04-22 |
KR20210084335A (ko) | 2021-07-07 |
KR102390774B1 (ko) | 2022-04-25 |
SG10201913005YA (en) | 2020-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7145224B2 (ja) | 目標対象の認識方法、装置及びシステム | |
US8559726B2 (en) | Image analysis based on pixel brightness grouping | |
CN114092820B (zh) | 目标检测方法及应用其的移动目标跟踪方法 | |
US8885048B2 (en) | Computer vision and radio frequency identification technology based book enrolment management apparatus | |
US20210397844A1 (en) | Item Identification Method, System and Electronic Device | |
US20110286628A1 (en) | Systems and methods for object recognition using a large database | |
US9465976B1 (en) | Feature reduction based on local densities for bundle adjustment of images | |
Sarfraz et al. | Head Pose Estimation in Face Recognition Across Pose Scenarios. | |
CN103699905B (zh) | 一种车牌定位方法及装置 | |
CN112102409B (zh) | 目标检测方法、装置、设备及存储介质 | |
CN109086734A (zh) | 一种对人眼图像中瞳孔图像进行定位的方法及装置 | |
CN109858547A (zh) | 一种基于bssd的目标检测方法与装置 | |
US20140355832A1 (en) | Method and Device for Following an Object in a Sequence of at Least Two Images | |
CN109344824A (zh) | 一种文本行区域检测方法、装置、介质和电子设备 | |
CN112633255A (zh) | 目标检测方法、装置及设备 | |
CN115375914A (zh) | 基于Yolov5目标检测模型改进的目标检测方法、装置和存储介质 | |
US20220398400A1 (en) | Methods and apparatuses for determining object classification | |
CN108805872A (zh) | 产品的检测方法和装置 | |
CN116522565B (zh) | 一种基于bim的电力工程设计配电网规划方法及计算机设备 | |
CN109360205A (zh) | 双录视频质检方法、装置、介质和电子设备 | |
CN108647640A (zh) | 人脸识别的方法及电子设备 | |
WO2022263908A1 (en) | Methods and apparatuses for determining object classification | |
CN112166436A (zh) | 图像筛选方法及装置、电子设备 | |
WO2018033698A1 (en) | Method of angle detection | |
EP4354390A1 (en) | Recognizing device, terminal device, recognizer constructing device, recognizer correcting device, construction method, and correction method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7145224 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |