JP7086138B2 - 物体識別方法、システム及び電子機器 - Google Patents
物体識別方法、システム及び電子機器 Download PDFInfo
- Publication number
- JP7086138B2 JP7086138B2 JP2020113962A JP2020113962A JP7086138B2 JP 7086138 B2 JP7086138 B2 JP 7086138B2 JP 2020113962 A JP2020113962 A JP 2020113962A JP 2020113962 A JP2020113962 A JP 2020113962A JP 7086138 B2 JP7086138 B2 JP 7086138B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- detection result
- time
- detection
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Description
画像キャプチャモジュールによって物体の画像を取得することと、
物体の単一フレームの画像に基づいて、位置検出情報とカテゴリ検出情報とを含む複数の時刻の物体の検出結果を取得することと、
物体の複数フレームの画像に基づいて画像における画素点の移動情報を取得することと、
前記複数の時刻の物体の検出結果及び前記画素点の移動情報によって、物体の視覚検出結果を取得することと、
重力センサを用いて予め選択された領域の重力情報を取得し、前記重力情報によって物体の重力検出結果を取得することと、
前記視覚検出結果と前記重力検出結果とを整合することで物体の識別結果を決定することと、
を含む物体識別方法が提供される。
重力結果取得モジュール34は重力情報を取得し、重力情報によって物体の重力検出結果を取得するためのものである。
Claims (20)
- スマートコンテナに適用される物体識別方法であって、
画像キャプチャモジュールによって物体の画像を取得することと、
物体の単一フレームの画像に基づいて、位置検出情報とカテゴリ検出情報とを含む複数の時刻の物体の検出結果を取得することと、
物体の複数フレームの画像に基づいて画像における画素点の移動情報を取得することと、
前記複数の時刻の物体の検出結果及び前記画素点の移動情報によって、物体の視覚検出結果を取得することと、
重力センサを用いて予め選択された領域の重力情報を取得し、前記重力情報によって物体の重力検出結果を取得することと、
前記視覚検出結果と前記重力検出結果とを整合することで物体の識別結果を決定することと、
を含み、
前記視覚検出結果と前記重力検出結果とを整合することで物体の識別結果を決定することは、
前記視覚検出結果と前記重力検出結果とをマッチングし、両者のマッチング度合いに応じて前記重力検出結果に異なる重みを付け、重みが最も高い重力検出結果を最終的な重力検出結果として選択することによって、前記物体の識別結果を決定する、ことを含む
ことを特徴とする物体識別方法。 - 前記物体の単一フレームの画像に基づいて複数の時刻の物体の検出結果を取得することは、
前記物体の単一フレームの画像をフレーム毎に画像前処理することと、
前記画像前処理された前記単一フレームの画像における物体検出ボックスと前記カテゴリ検出情報とを取得することと、
前記物体検出ボックスによって前記物体の位置検出情報を取得することと、
を含むことを特徴とする請求項1に記載の物体識別方法。 - 前記物体検出ボックスに対して非極大値抑制を行うことをさらに含むことを特徴とする請求項2に記載の物体識別方法。
- 前記物体の複数フレームの画像に基づいて、画像中における画素点の移動情報を取得することは、
前記物体の複数フレームの画像に基づいて背景モデリングを行い、前景領域を抽出することと、
前記前景領域に対して間引きサンプリングして画素点の移動情報を取得することと、
を含むことを特徴とする請求項1に記載の物体識別方法。 - 前記前景領域は、動体を含む領域であることを特徴とする請求項4に記載の物体識別方法。
- 半密なオプティカルフロー法を用いて前記前景領域に対して間引きサンプリングして、前記画素点の移動情報を取得することを特徴とする請求項4に記載の物体識別方法。
- 前記複数の時刻の物体の検出結果及び前記画素点の移動情報によって、物体の視覚検出結果を取得することは、
前記複数の時刻の物体の検出結果及び前記画素点の移動情報によって、物体の動き軌跡を生成することと、
前記物体の動き軌跡を分類して物体の軌跡状態を獲得することと、
前記物体のカテゴリ検出情報及び前記物体の軌跡状態によって、物体の視覚検出結果を取得することと、
を含むことを特徴とする請求項1に記載の物体識別方法。 - 前記複数の時刻の物体の検出結果及び前記画素点の移動情報によって、物体の動き軌跡を生成することは、
t時刻の物体の検出結果における前記位置検出情報、及び前記画素点の移動情報によって、(t+1)時刻の物体の位置予測情報を取得することと、
前記t時刻の物体の検出結果と、(t+1)時刻の物体の検出結果と、前記(t+1)時刻の物体の位置予測情報とによって、(t+1)時刻の物体の検出結果と前記t時刻の物体の検出結果とが同一軌跡に属されるか否かを判断し、判断結果を取得することと、
判断結果によって、前記物体の動き軌跡を生成することと、
を含むことを特徴とする請求項7に記載の物体識別方法。 - 前記t時刻の物体の検出結果における前記位置検出情報、及び前記画素点の移動情報によって、(t+1)時刻の物体の位置予測情報を取得することは、
前記t時刻の物体の検出結果における位置検出情報、及びt時刻の画素点の速度によって、(t+1)時刻の物体の予測位置を取得することと、
前記(t+1)時刻の物体の予測位置によって(t+1)時刻の画素点の速度を取得することと、
前記t時刻の画素点の速度と前記(t+1)時刻の画素点の速度とを重み付き平均して平均速度を獲得することと、
前記t時刻の物体の検出結果における位置検出情報及び前記平均速度によって、前記(t+1)時刻の物体の位置予測情報を取得することと、
を含むことを特徴とする請求項8に記載の物体識別方法。 - 前記物体の動き軌跡を分類して物体の軌跡状態を獲得することは、
前記物体の動き軌跡のうち、前記動き軌跡の最初位置、前記動き軌跡の終了位置、前記動き軌跡の最大位置、前記動き軌跡の隣接ノード間の最大変位の少なくとも1つを含む軌跡情報を抽出することと、
前記軌跡情報によって、決定木アルゴリズムにより前記物体の動き軌跡を分類して前記物体の軌跡状態を獲得することと、
を含むことを特徴とする請求項7に記載の物体識別方法。 - 前記重力センサを用いて予め選択された領域の重力情報を取得し、前記重力情報によって物体の重力検出結果を取得することは、
重力センサを用いて予め選択された領域の異なる時刻の重力情報を取得することと、
前記異なる時刻の重力情報の差によって、前記物体の全ての可能な重力検出結果を網羅することと、
を含むことを特徴とする請求項1に記載の物体識別方法。 - 前記t時刻の物体の検出結果、(t+1)時刻の物体の検出結果、及び前記(t+1)時刻の物体の位置予測情報によって、(t+1)時刻の物体の検出結果と前記t時刻の物体の検出結果とが同一軌跡に属されるか否かを判断し、判断結果を取得することは、
前記t時刻の物体の検出結果におけるカテゴリ検出情報及び(t+1)時刻の物体の検出結果におけるカテゴリ検出情報によって、t時刻の物体のカテゴリと(t+1)時刻の物体のカテゴリが同じであるか否かを判断することと、
前記(t+1)時刻の物体の検出結果における位置検出情報及び前記(t+1)時刻の物体の位置予測情報によって、前記(t+1)時刻の物体の位置予測情報と前記(t+1)時刻の物体の位置検出情報との距離が所定の閾値未満であるか否かを判断することと、
前記t時刻の物体のカテゴリが前記(t+1)時刻の物体のカテゴリと同一であり、かつ、前記(t+1)時刻の物体の位置予測情報と前記(t+1)時刻の物体の位置検出情報との距離が所定の閾値未満であると、前記判断結果は、前記(t+1)時刻の物体の検出結果と、前記t時刻の物体の検出結果とが同一軌跡に属されることを示すことと、
を含む特徴とする請求項8に記載の物体識別方法。 - 前記物体の軌跡状態は、誤検出、確実に入れたこと、確実に取ったこと、取ったようなこと、入れたようなこと、の少なくとも一つを含むことを特徴とする請求項7に記載の物体識別方法。
- 物体の画像を取得するための画像キャプチャモジュールと、
物体の単一フレームの画像に基づいて位置検出情報とカテゴリ検出情報を含む複数の時刻の物体の検出結果を取得するための物体検出モジュールと、
物体の複数フレームの画像に基づいて画像における画素点の移動情報を取得するための画素検出モジュールと、
前記複数の時刻の物体の検出結果及び前記画素点の移動情報によって、物体の視覚検出結果を取得するための視覚結果取得モジュールと、
予め選択された領域の重力情報を取得し、前記重力情報によって物体の重力検出結果を取得するための重力結果取得モジュールと、
前記視覚検出結果と前記重力検出結果とをマッチングし、両者のマッチング度合いに応じて前記重力検出結果に異なる重みを付け、重みが最も高い重力検出結果を最終的な重力検出結果として選択することによって、前記物体の識別結果を決定するための整合モジュールと、
を含むことを特徴とする物体識別システム。 - 前記物体検出モジュールは、
前記物体の単一フレームの画像をフレーム毎に画像前処理するための画像前処理モジュールと、
前記画像前処理された単一フレームの画像における物体検出ボックスとカテゴリ検出情報を取得するための第一情報取得モジュールと、
前記物体検出ボックスによって前記物体の位置検出情報を取得するための第二情報取得モジュールと、
を含むことを特徴とする請求項14に記載の物体識別システム。 - 前記画素検出モジュールは、
前記物体の複数フレームの画像に基づいて背景モデリングを行い、前景領域を抽出する前景抽出モジュールと、
前記前景領域に対して間引きサンプリングして、画素点の移動情報を取得するためのサンプリングモジュールと、
を含むことを特徴とする請求項14に記載の物体識別システム。 - 前記視覚結果取得モジュールは、
前記複数の時刻の物体の検出結果及び前記画素点の移動情報によって、物体の動き軌跡を生成するための軌跡生成モジュールと、
前記物体の動き軌跡を分類して物体の軌跡状態を獲得するための軌跡分類モジュールと、
前記物体のカテゴリ検出情報及び前記物体の軌跡状態によって物体の視覚検出結果を取得するための視覚分析モジュールと、
を含むことを特徴とする請求項14に記載の物体識別システム。 - 前記重力結果取得モジュールは、
異なる時刻の重力情報を取得するための重力センサと、
前記異なる時刻の重力情報の差によって、物体の全ての可能な重力検出結果を網羅するための重力分析モジュールと、
を含むことを特徴とする請求項14に記載の物体識別システム。 - プロセッサと、
前記プロセッサの実行可能な指令を記憶するためのメモリとを含み、
前記プロセッサは、前記実行可能な指令を実行することによって請求項1乃至13の何れか一つに記載の物体識別方法を実行するように配置されることを特徴とする電子機器。 - 記憶媒体であって、記憶されたプログラムを含み、前記プログラムの動作際に、前記記憶媒体が位置する機器を請求項1乃至13の何れか一つに記載の物体識別方法を実行するように制御することを特徴とする記憶媒体。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910600924.8 | 2019-07-04 | ||
CN201910600924.8A CN112184751A (zh) | 2019-07-04 | 2019-07-04 | 物体识别方法及系统、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021012692A JP2021012692A (ja) | 2021-02-04 |
JP7086138B2 true JP7086138B2 (ja) | 2022-06-17 |
Family
ID=73915952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020113962A Active JP7086138B2 (ja) | 2019-07-04 | 2020-07-01 | 物体識別方法、システム及び電子機器 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7086138B2 (ja) |
CN (1) | CN112184751A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113091730B (zh) * | 2021-03-25 | 2023-07-07 | 杭州海康威视系统技术有限公司 | 一种轨迹确定方法及装置 |
CN113221819A (zh) * | 2021-05-28 | 2021-08-06 | 中邮信息科技(北京)有限公司 | 包裹暴力分拣的检测方法、装置、计算机设备和存储介质 |
CN113435527B (zh) * | 2021-07-02 | 2023-06-13 | 广州计量检测技术研究院 | 一种基于机器视觉的出租车计价器检定方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002216135A (ja) | 2001-01-24 | 2002-08-02 | Yasuhito Kichi | 色空間ベクトルによるオプティカルフロー、その信頼度、その補正値の算出方法、及び色空間ベクトルの勾配法での利用方法 |
JP2013501288A (ja) | 2009-08-06 | 2013-01-10 | 株式会社東芝 | ビデオ映像の監視 |
JP2014531636A (ja) | 2011-08-30 | 2014-11-27 | ディジマーク コーポレイション | 物体を識別する方法及び機構 |
JP2016057813A (ja) | 2014-09-09 | 2016-04-21 | サインポスト株式会社 | 商品管理システムおよび商品管理方法 |
JP2016167267A (ja) | 2015-03-09 | 2016-09-15 | 株式会社リコー | 異常状況の検出方法及び装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0595544A (ja) * | 1991-10-02 | 1993-04-16 | Hitachi Micom Syst:Kk | 画像データの動き量検出方法及び動き量検出回路 |
CN104239865B (zh) * | 2014-09-16 | 2017-04-12 | 宁波熵联信息技术有限公司 | 一种基于多级检测的行人检测与跟踪方法 |
CN105894530A (zh) * | 2014-12-11 | 2016-08-24 | 深圳市阿图姆科技有限公司 | 一种针对视频中运动目标检测与跟踪的解决方案 |
CN106204640A (zh) * | 2016-06-29 | 2016-12-07 | 长沙慧联智能科技有限公司 | 一种运动目标检测系统及方法 |
CN106203274B (zh) * | 2016-06-29 | 2020-03-31 | 长沙慧联智能科技有限公司 | 一种视频监控中行人实时检测系统及方法 |
CN106340036A (zh) * | 2016-08-08 | 2017-01-18 | 东南大学 | 一种基于双目立体视觉的立体匹配方法 |
CN108320379A (zh) * | 2018-02-28 | 2018-07-24 | 成都果小美网络科技有限公司 | 基于图像比对的售货方法、装置和无人售货机 |
CN108389316B (zh) * | 2018-03-02 | 2021-07-13 | 北京京东尚科信息技术有限公司 | 自动售货方法、装置和计算机可读存储介质 |
CN109840504B (zh) * | 2019-02-01 | 2022-11-25 | 腾讯科技(深圳)有限公司 | 物品取放行为识别方法、装置、存储介质及设备 |
CN109886169B (zh) * | 2019-02-01 | 2022-11-22 | 腾讯科技(深圳)有限公司 | 应用于无人货柜的物品识别方法、装置、设备及存储介质 |
-
2019
- 2019-07-04 CN CN201910600924.8A patent/CN112184751A/zh active Pending
-
2020
- 2020-07-01 JP JP2020113962A patent/JP7086138B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002216135A (ja) | 2001-01-24 | 2002-08-02 | Yasuhito Kichi | 色空間ベクトルによるオプティカルフロー、その信頼度、その補正値の算出方法、及び色空間ベクトルの勾配法での利用方法 |
JP2013501288A (ja) | 2009-08-06 | 2013-01-10 | 株式会社東芝 | ビデオ映像の監視 |
JP2014531636A (ja) | 2011-08-30 | 2014-11-27 | ディジマーク コーポレイション | 物体を識別する方法及び機構 |
JP2016057813A (ja) | 2014-09-09 | 2016-04-21 | サインポスト株式会社 | 商品管理システムおよび商品管理方法 |
JP2016167267A (ja) | 2015-03-09 | 2016-09-15 | 株式会社リコー | 異常状況の検出方法及び装置 |
Non-Patent Citations (1)
Title |
---|
佐々木 雄一,相対的な位置関係を考慮した一般物体検出の改良,2019年度人工知能学会全国大会(第33回) ,2019年06月07日 |
Also Published As
Publication number | Publication date |
---|---|
JP2021012692A (ja) | 2021-02-04 |
CN112184751A (zh) | 2021-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7086138B2 (ja) | 物体識別方法、システム及び電子機器 | |
CN111415461B (zh) | 物品识别方法及系统、电子设备 | |
US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
Camplani et al. | Background foreground segmentation with RGB-D Kinect data: An efficient combination of classifiers | |
EP3191989B1 (en) | Video processing for motor task analysis | |
CN106164980B (zh) | 信息处理装置以及信息处理方法 | |
US9953215B2 (en) | Method and system of temporal segmentation for movement analysis | |
US20160140397A1 (en) | System and method for video content analysis using depth sensing | |
US20160155011A1 (en) | System and method for product identification | |
EP3678047B1 (en) | Method and device for recognizing identity of human target | |
CN106056089B (zh) | 一种三维姿态识别方法及系统 | |
CN109727275B (zh) | 目标检测方法、装置、系统和计算机可读存储介质 | |
CN110647822A (zh) | 高空抛物行为识别方法、装置、存储介质及电子设备 | |
CN110782433A (zh) | 基于时序的动态信息暴力抛物检测方法、装置及存储介质 | |
US20190279382A1 (en) | 4d tracking | |
CN116452636A (zh) | 一种基于目标跟踪的无人售货柜动态商品识别方法及相关装置 | |
CN113468914A (zh) | 一种商品纯净度的确定方法、装置及设备 | |
Siva et al. | Scene invariant crowd segmentation and counting using scale-normalized histogram of moving gradients (homg) | |
KR101985869B1 (ko) | 형태학적 특징 기반 모델을 이용한 농축산물 도난 감시 장치 및 방법 | |
US20210166041A1 (en) | System and method for tracking customer movements in a customer service environment | |
Achakir et al. | An automated AI-based solution for out-of-stock detection in retail environments | |
CN114005060A (zh) | 图像数据的确定方法及装置 | |
KR101342018B1 (ko) | 대표 특징을 이용한 실시간 객체 인식 및 추적 방법과 그 장치 | |
Desai | A Fruit Recognition Approach for Refrigerator Inventory Management | |
CN117789040B (zh) | 一种扰动状态下的茶芽叶姿态检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210819 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210910 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220513 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220607 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7086138 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |