JP7471878B2 - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP7471878B2 JP7471878B2 JP2020047813A JP2020047813A JP7471878B2 JP 7471878 B2 JP7471878 B2 JP 7471878B2 JP 2020047813 A JP2020047813 A JP 2020047813A JP 2020047813 A JP2020047813 A JP 2020047813A JP 7471878 B2 JP7471878 B2 JP 7471878B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- video
- image
- worker
- processing device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 69
- 230000015654 memory Effects 0.000 claims description 40
- 239000003550 marker Substances 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 8
- 238000003780 insertion Methods 0.000 description 21
- 230000037431 insertion Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Factory Administration (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Description
まず、実施形態に係る映像処理システム1の構成について説明する。
図1は、実施形態に係る映像処理システム1の構成例を示す図である。
図1に示すように、映像処理システム1は、カメラ10、映像処理装置11、映像表示装置12、作業指示装置13、および、表示器14などを有する。
図2は、映像処理システム1が映像による監視の対象とする作業エリアの例を説明するための図である。
図2に示すように、作業エリアには、ピッキングエリア200とアソートエリア300とがある。ピッキングエリア200は、商品を取り出す作業(ピックアップ作業)を実施するエリアである。ピッキングエリア200には、取り出し作業の対象となる商品(物品)が配置される。例えば、ピッキングエリア200には商品が配置される棚が設置される。ピッキングエリア200において、各商品が配置される位置は、予め設定されているものとする。ピッキングエリア200において、作業員Oが指定された商品Pを取り出す位置(取り出し口)2000(2001、2002、…)は、商品Pが配置される位置に基づいて特定される。
図3は、実施形態に係る映像処理システム1における映像処理装置11の構成例を示すブロック図である。
図3に示すように、映像処理装置11は、プロセッサ111、ROM112、RAM113、データメモリ114、カメラインターフェース(I/F)115、映像出力インターフェース(I/F)116、および、通信インターフェース(I/F)117を備える。
RAM113は、データの読み書きに用いられるメモリである。例えば、RAM113は、プロセッサ111が各種の処理を行う場合に一時的にデータを記憶するワーキングメモリとして利用される。
図4は、実施形態に係る映像処理システム1における映像処理装置11が実行する動作例を説明するためのフローチャートである。
作業エリアにおいて、作業者は、表示器14に表示された作業指示情報あるいは作業指示情報が印刷された作業指示書15を見ることにより作業指示を認識する。作業指示情報は、作業者に指示する作業内容を示す情報である。表示器14に表示する作業指示情報あるいは作業指示書15に印刷する作業指示情報は、作業指示装置13から出力される情報である。ここで、作業指示装置13は、作業指示情報を映像処理装置11にも供給するものとする。
図5に示すように、映像表示装置12は、第1のマーカー501、第2のマーカー502、作業内容を示す情報503を重畳した報知映像を表示する。映像表示装置12は、報知映像として、不適切と判定された作業の開始時刻からの映像が表示される。第1のマーカー501は、作業指示情報によって作業対象として指示された指示位置を示す。第2のマーカー502は、実施に作業員が作業を行った位置を示す実作業位置を示す。また、作業内容を示す情報503は、不適切と判定された作業内容又は実施すべきであった作業指示情報が示す作業内容を文字などで表示する。
以下、本願の出願当初の特許請求の範囲に記載した内容を付記する。
[1]
作業エリアを撮影範囲とするカメラが撮影した映像を取得するカメラインターフェースと、
前記カメラインターフェースにより取得した映像を記録するメモリと、
前記映像から作業員による不適切作業を検出し、前記不適切作業が検出された場合に前記不適切作業と判定された作業の開始時刻を起点とする映像部分を前記メモリから抽出し、前記メモリから抽出した映像を報知映像として映像表示装置に表示させるプロセッサと、
を有する映像処理装置。
[2]
前記プロセッサは、前記カメラインターフェースにより取得した映像において作業対象として指示された指示位置と前記作業員が実際に作業した実作業位置とを特定し、前記指示位置と前記実作業位置とが一致しない場合に不適切作業であることを検出する、
[1]に記載の映像処理装置。
[3]
前記プロセッサは、前記カメラインターフェースにより取得した映像において前記作業員の位置と姿勢とを検出し、前記検出した作業員の位置と姿勢とに基づいて前記実作業位置を特定する、
[2]に記載の映像処理装置。
[4]
前記プロセッサは、前記不適切作業が検出された場合に、前記メモリから抽出した映像に対して作業対象として指示された指示位置に第1のマーカーを重畳し、前記作業員が実際に作業した実作業位置に第2のマーカーを重畳した映像を前記報知映像として前記映像表示装置に表示させる、
[2]又は[3]の何れか1つに記載の映像処理装置。
[5]
前記作業員に指示する作業内容を示す作業指示情報を入力する入力インターフェースをさらに有し、
前記メモリから抽出した映像に対して、前記入力インターフェースにより入力した前記作業指示情報に基づく作業内容を示す情報をさらに重畳した映像を前記報知映像として前記映像表示装置に表示させる、
[1]乃至[4]の何れか1つに記載の映像処理装置。
Claims (4)
- 作業エリアを撮影範囲とするカメラが撮影した映像を取得するカメラインターフェースと、
前記カメラインターフェースにより取得した映像を記録するメモリと、
前記映像において作業対象として指示された指示位置と作業員が実際に作業した実作業位置とを特定し、前記指示位置と前記実作業位置とが一致しない場合に不適切作業であることを検出し、前記不適切作業が検出された場合に前記不適切作業と判定された作業の開始時刻を起点とする映像部分を前記メモリから抽出し、前記メモリから抽出した映像を報知映像として映像表示装置に表示させるプロセッサと、
を有する映像処理装置。 - 前記プロセッサは、前記カメラインターフェースにより取得した映像において前記作業員の位置と姿勢とを検出し、前記検出した作業員の位置と姿勢とに基づいて前記実作業位置を特定する、
請求項1に記載の映像処理装置。 - 前記プロセッサは、前記不適切作業が検出された場合に、前記メモリから抽出した映像に対して作業対象として指示された指示位置に第1のマーカーを重畳し、前記作業員が実際に作業した実作業位置に第2のマーカーを重畳した映像を前記報知映像として前記映像表示装置に表示させる、
請求項1又は2の何れか1項に記載の映像処理装置。 - 前記作業員に指示する作業内容を示す作業指示情報を入力する入力インターフェースをさらに有し、
前記メモリから抽出した映像に対して、前記入力インターフェースにより入力した前記作業指示情報に基づく作業内容を示す情報をさらに重畳した映像を前記報知映像として前記映像表示装置に表示させる、
請求項1乃至3の何れか1項に記載の映像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020047813A JP7471878B2 (ja) | 2020-03-18 | 2020-03-18 | 映像処理装置 |
CN202110003554.7A CN113497917A (zh) | 2020-03-18 | 2021-01-04 | 影像处理装置 |
US17/151,212 US11763592B2 (en) | 2020-03-18 | 2021-01-18 | Video processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020047813A JP7471878B2 (ja) | 2020-03-18 | 2020-03-18 | 映像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021149422A JP2021149422A (ja) | 2021-09-27 |
JP7471878B2 true JP7471878B2 (ja) | 2024-04-22 |
Family
ID=77748698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020047813A Active JP7471878B2 (ja) | 2020-03-18 | 2020-03-18 | 映像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11763592B2 (ja) |
JP (1) | JP7471878B2 (ja) |
CN (1) | CN113497917A (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11481702B1 (en) * | 2020-06-18 | 2022-10-25 | MiView Integrated Solutions, LLC | Worksite information management system |
CN114519841A (zh) * | 2020-11-05 | 2022-05-20 | 百威雷科技控股有限公司 | 生产线监视方法及其监视系统 |
US20220253767A1 (en) * | 2021-02-09 | 2022-08-11 | Verizon Patent And Licensing Inc. | Computerized system and method for dynamic task management and execution |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018039590A (ja) | 2016-09-05 | 2018-03-15 | 株式会社日立ビルシステム | 映像監視システム |
JP2019036132A (ja) | 2017-08-16 | 2019-03-07 | オリンパス株式会社 | 作業支援システム,ウェアラブル装置,撮像装置,作業支援方法 |
WO2019087870A1 (ja) | 2017-10-30 | 2019-05-09 | Necフィールディング株式会社 | 作業支援装置、作業支援方法及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011048547A (ja) * | 2009-08-26 | 2011-03-10 | Toshiba Corp | 異常行動検知装置、監視システム及び異常行動検知方法 |
US9143843B2 (en) * | 2010-12-09 | 2015-09-22 | Sealed Air Corporation | Automated monitoring and control of safety in a production area |
JP5686108B2 (ja) * | 2012-02-24 | 2015-03-18 | 株式会社ダイフク | 誤作業防止装置および誤作業防止装置が設けられた仕分け設備 |
US9098738B2 (en) * | 2013-02-26 | 2015-08-04 | Elwha Llc | System and method for contamination monitoring |
CN106415662B (zh) * | 2014-06-03 | 2020-06-19 | 本田技研工业株式会社 | 车辆周围监视装置 |
CN107036596B (zh) * | 2017-04-12 | 2020-01-10 | 无锡研测技术有限公司 | 基于mems惯性传感器模组的工业手环 |
US10482613B2 (en) * | 2017-07-06 | 2019-11-19 | Wisconsin Alumni Research Foundation | Movement monitoring system |
CN108681690B (zh) * | 2018-04-04 | 2021-09-03 | 浙江大学 | 一种基于深度学习的流水线人员规范操作检测系统 |
JP7087882B2 (ja) * | 2018-09-26 | 2022-06-21 | オムロン株式会社 | 品質予測装置、品質予測方法、及び品質予測プログラム |
CN110047272B (zh) * | 2019-05-21 | 2019-11-12 | 重庆工程学院 | 一种基于大数据的智能交通行人行为监控报警系统 |
US20210279657A1 (en) * | 2020-02-17 | 2021-09-09 | Christopher Golden | Systems and methods for maintaining worksite safety |
JP7443114B2 (ja) * | 2020-03-25 | 2024-03-05 | 東芝テック株式会社 | 作業監視システム |
US20220019802A1 (en) * | 2020-07-16 | 2022-01-20 | International Business Machines Corporation | Food safety and compliance |
-
2020
- 2020-03-18 JP JP2020047813A patent/JP7471878B2/ja active Active
-
2021
- 2021-01-04 CN CN202110003554.7A patent/CN113497917A/zh active Pending
- 2021-01-18 US US17/151,212 patent/US11763592B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018039590A (ja) | 2016-09-05 | 2018-03-15 | 株式会社日立ビルシステム | 映像監視システム |
JP2019036132A (ja) | 2017-08-16 | 2019-03-07 | オリンパス株式会社 | 作業支援システム,ウェアラブル装置,撮像装置,作業支援方法 |
WO2019087870A1 (ja) | 2017-10-30 | 2019-05-09 | Necフィールディング株式会社 | 作業支援装置、作業支援方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11763592B2 (en) | 2023-09-19 |
JP2021149422A (ja) | 2021-09-27 |
CN113497917A (zh) | 2021-10-12 |
US20210295040A1 (en) | 2021-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7471878B2 (ja) | 映像処理装置 | |
JP6791534B2 (ja) | 商品管理装置、商品管理方法及びプログラム | |
US10512941B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
JP2021166096A (ja) | 販売データ処理装置およびプログラム | |
JPWO2017175707A1 (ja) | 物体種類特定装置、物体種類特定方法及び物体種類特定プログラム | |
JP2019101693A (ja) | 物流倉庫内作業把握システム | |
US10860855B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
CN110889317B (zh) | 操作辅助装置 | |
US10675659B2 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
US10471474B2 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
JP2017088345A (ja) | 検品処理装置、検品システム、検品処理方法及びプログラム | |
CN213737269U (zh) | 作业监视系统 | |
JP7126066B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP7129617B2 (ja) | 投影指示装置、荷物仕分けシステムおよび投影指示方法 | |
JP6420669B2 (ja) | ピッキング作業支援システム、ピッキング作業支援方法、及びピッキング作業支援プログラム | |
JP2008280102A (ja) | 作業支援システム、作業管理システム、および作業管理方法 | |
CN110073300A (zh) | 用于追踪产品项目的系统和方法 | |
JP7129614B2 (ja) | 荷物認識装置、荷物仕分けシステムおよび荷物認識方法 | |
EP3434625B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
WO2021039060A1 (ja) | 生産システム | |
JP7090458B2 (ja) | 不良物品検出システム、不良物品検出方法およびプログラム | |
JP7366660B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2022035584A (ja) | 画像処理装置 | |
US10635869B2 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
JP2022052673A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230217 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7471878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |