JP6645957B2 - 動作推定方法および動作推定システム - Google Patents

動作推定方法および動作推定システム Download PDF

Info

Publication number
JP6645957B2
JP6645957B2 JP2016244257A JP2016244257A JP6645957B2 JP 6645957 B2 JP6645957 B2 JP 6645957B2 JP 2016244257 A JP2016244257 A JP 2016244257A JP 2016244257 A JP2016244257 A JP 2016244257A JP 6645957 B2 JP6645957 B2 JP 6645957B2
Authority
JP
Japan
Prior art keywords
estimated
activity meter
estimation
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016244257A
Other languages
English (en)
Other versions
JP2018097781A (ja
Inventor
靖得 兵頭
靖得 兵頭
泰介 山中
泰介 山中
一嘉 西
一嘉 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Digital Solutions Corp
Original Assignee
Toshiba Corp
Toshiba Digital Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Digital Solutions Corp filed Critical Toshiba Corp
Priority to JP2016244257A priority Critical patent/JP6645957B2/ja
Priority to PCT/JP2017/034591 priority patent/WO2018110030A1/ja
Publication of JP2018097781A publication Critical patent/JP2018097781A/ja
Priority to US16/440,576 priority patent/US11392879B2/en
Application granted granted Critical
Publication of JP6645957B2 publication Critical patent/JP6645957B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0639Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398Performance of employee with respect to a job function
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Operations Research (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • General Factory Administration (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明の実施形態は、各種センサから得られるデータを利用して、測定対象者の動作推定またはセンサ設置環境の状態推定を行う推定方法および推定システムに関する。
各種センサから得られるデータを利用した推定技術が、開発され発達している。そして 測定対象者(作業員)の動作実績を自動で正確に把握できれば、作業の効率改善や作業員のスキル向上に役立つ。またそれに限らず、測定対象者に関係した作業環境の状態も自動で的確に把握して作業環境の適正化を図る事で、作業効率向上や省エネ効果向上も期待される。
そのためにこれらの行動推定や状態推定には、高い精度または信頼性が望まれる。
特開2009−134590号公報 特開2006−295576号公報 特開2013−164748号公報 特開2007−206037号公報
測定対象者(作業員)の動作推定方法の一例が、特許文献1に開示されている。この特許文献1に開示された動作推定方法は、測定対象者の現在位置を特定する装置と測定対象者が装着する運動測定装置(活動量計)を組み合わせて動作推定の精度向上を目指している。しかし前記技術では推定結果の精度と信頼性を一層高めるための機能が無い。そのため、推定の精度と信頼性確保に限界がある。
上記の課題を鑑み、高い推定精度または高い推定信頼性の確保を可能とする推定方法および推定システムを提供することを目的とする。
本実施形態によれば、活動量計を搭載する装置を含む1以上の装置から構成されるシステムによって実行される動作推定方法であって、N種類の動作にそれぞれ対応したN個の参照加速度データを保存部に保存し、定対象者に装着された前記活動量計が計測した取得加速度データを取得し、前記取得加速度データが取得された期間を任意の長さの時間で分割した単位時間幅において、前記取得加速度データと前記N個の参照加速度データとを用いて前記N種類の動作それぞれの推定確率を算出し、算出された前記N種類の動作それぞれの推定確率の中の最大値が閾値を超える場合、前記単位時間幅における前記測定対象者の動作を、前記N種類の動作の中から前記最大値の推定確率が算出された動作と推定し、前記最大値が前記閾値以下の場合、前記単位時間幅の1つ前の単位時間幅において推定された動作との組み合わせが発生する前記N種類の動作それぞれの生起確率と、前記N種類の動作それぞれの推定確率とを用いて、前記単位時間幅における前記測定対象者の動作を前記N種類の動作の中から推定する作推定方法である。
また測定対象者(作業員)の動作推定に限らず、センサデータを利用して得られたセンサ周辺の環境状態の推定結果に対しても、自動的に補正しても良い。
図1Aは本実施形態の処理の概要の例を示す図である。 図1Bは本実施形態の処理の概要の他の例を示す図である。 図2は本実施形態における動作推定処理と動作補正処理の概要を示すフローチャート説明図である。 図3Aは本実施形態システムを表す概略ブロック図である。 図3Bは本実施形態システムを表す他の概略ブロック図である。 図4は本実施形態システムを表す他の概略ブロック図である。 図5は本実施形態システムを表す他の概略ブロック図をである。 図6は入出庫情報の一例を示す図である。 図7は「作業区間」と「時間区間」の分割の様子の一例を示す図である。 図8は「時間区間」毎に行われる推定動作の一例を示した図である。 図9は隣接する2つの時間区間番号の推定動作の組み合わせに関する“場合の数”の実測例を示す一覧表を示す。 図10は隣接する2つの時間区間番号間での推定動作の組み合わせが発生する生起確率を一覧にした例である。 図11は補正可否の判定処理と、補正時の処理フローを示している。 図12はモデル動作の推定確率の具体例に基付く、推定動作と補正動作の関係を示した例である。 図13は隣接する2つの時間区間番号間の推定動作の組み合わせが発生する生起確率を一覧にした他の例である。 図14は時間区間番号=16における推定動作の推定確率および生起確率の関係を示す一覧である。 図15は本実施形態システムの他の応用例を示す概略ブロック図である。 図16は「時間区間」毎に行われる推定動作を特定する他実施例を示した図である。 図17は隣接する2つの時間区間番号間の推定動作の組み合わせた“場合の数”を集計した一覧の他の例である。 図18はモデル動作の推定確率の具体例に基付く、推定動作と補正動作の関係を示した他の実施例である。 図19は参照データの更新処理の流れを示したものである。 図20は生起確率の更新方法を示す他の実施例である。
本実施の推定方法と動作推定システムに関する詳細な形態について、図面を参照して以下に説明する。ここでは説明の便宜上、測定対象者(作業員)が装着した活動量計から得られるセンサデータを利用して、測定対象者の動作を推定する方法を中心に説明をする。また下記では活動量計内には3次元対応の加速度センサが内蔵され、互いに直交する3軸からの3種類の加速度データを収集した場合を例に取って説明する。
しかしそれに限らず、例えば映像や音声、加速度、照度など時間経過に伴って変化するデータを利用した動作推定を行っても良い。更に固定場所に設置されたセンサから得られるセンサデータを使用した環境の状態(例えば人や動物の有無や活動状態、あるいは照度や温湿度状態など)を推定しても良い。またこの状態推定には、静止画像などの時間経過に伴って変化しないセンサデータを利用しても良い。
例えば限られた商品を保管する倉庫内での運搬/搬送処理、または特定製品の製造ライン内での工程作業などの場合には、所定の作業環境内での作業員(測定対象者)が取り得る行動パターンの種類数は有限数に限定される。行動パターンの具体的な一例として、“棚からとり出す”、“棚に置く”、“台車で運ぶ”の3種類の動作がある。また作業員が台車を使って特定運搬物を搬送する例として、作業員の動作は“台車移動”と“静止”、“台車から離れた単独歩行”、“手作業(台車への特定運搬物の搭載/排出作業を含む)”の4種類の動作がある。
本実施形態のシステムは、測定対象者(作業員)の動作を推定するための基準となる動作を定義して、推定しようとする測定対象者(作業員)の動作との類似度を算出することで、測定対象者の動作が基準となる動作のいずれかである、と推定するものである。
この基準となる動作を動作候補(またはモデル動作)と呼ぶ。例えば先の3種類の動作である“棚から取り出す”、“棚に置く”、“台車で運ぶ”に関して、“棚から取り出す”、“棚に置く”、“台車で運ぶ”の動作候補(モデル動作)を予め定義する。動作候補(モデル動作)の定義の仕方は、作業員が行ったモデル動作の動作実績を蓄積したものである。
図1Aは、本実施形態における処理の概要を示す図である。本実施形態における推定方法は、大きく2つの処理である「動作候補(モデル動作)のデータを収集する処理」(003)と、動作候補(モデル動作)をもとに「作業員の動作を推定する処理」(S004)から構成されている。
本実施形態における処理の例は、例えば図1Bに示すように、「作業員の動作を推定する処理」(S008)だけから構成されていてもよい。この場合「作業員の動作を推定する処理」(S008)の処理を行うための動作候補(モデル動作)のデータは、予め設定されているものとする。なお、「作業員の動作を推定する処理」(S008)は、図1Aの「作業員の動作を推定する処理」(S004)と同等である。
また本実施形態の処理の概要は、図1Aに示す構成において「動作候補のデータを収集する処理」(S003)だけが存在しない場合も考えられる。また同様に図1Aに示す構成において「動作候補のデータの追加更新」(S005)だけが存在しない場合も考えらえる。
以降の説明においては、図1Aの本実施形態の処理の概要の例をもとに本実施形態を詳細に説明するが、図1Bの処理の概要の例やその他の概要の例は、各々の概要の例において構成する処理に相当する説明だけが該当する。
S003に示すように本実施形態は、予め設定されたモデル動作毎の参照データを予め蓄積する。この参照データの具体的な一部として、予め設定されたモデル動作毎に事前に収集された加速度データが含まれる(“動作波形/動作実績の蓄積”が対応する)。
この事前に収集された加速度データを、参照加速度データと呼ぶ。一方、測定対象者(作業員)が装着する運動測定装置(活動量計)より収集された加速度データを、取得加速度データあるいは活動量計データと呼ぶ。
本実施形態のシステムは、参照加速度データをもとに作業員の動作を推定する(S004)。更に本実施形態のシステムは、作業員の動作の推定を行いながら(S004)、必要に応じて、その結果を用いて参照加速度データの更新を行ってもよい(S005)。S005の処理を行う行わないの切替えは、ユーザの設定により切替えられるようにしてもよい。あるいはS004の「作業員の動作を推定する処理」の推定状況や補正状況に応じて、切り替えられるようにしてもよい。
図2は、「作業員の動作を推定する処理」(S004)の詳細を示したものである。作業員の動作を推定する処理は、さらに2つのサブの処理に分かれる。1つめのサブの処理は「動作推定処理」で、2つめのサブの処理は「動作補正処理」である。
動作推定処理は、測定対象者(作業員)が装着した活動量計から得られる取得加速度データ(S011)を、参照加速度データと比較することで作業員の動作を推定する処理(S012)である。
作業員の動作を推定する方法は、作業員の動作を表現している取得加速度データと事前に収集されたモデル動作ごとの参照加速度データとを比較し、作業員の動作の各モデル動作に対する類似度(一致度とも呼ぶ)を確率で表す。この類似度の確率を、推定確率と呼ぶ。作業員の動作の各モデル動作に対する推定確率が算出されたら、その推定確率の最大値を抽出し、その最大値のモデル動作を、作業員が行っていた動作と推定する。この推定された動作を推定動作と呼ぶ。
作業員の動作と推定された推定動作の推定確率が、低い場合もある。この場合(S013)は、作業員の動作の推定の確からしさが十分とは言えない場合である。この場合には、作業員の動作として推定した推定動作を補正する推定動作の補正(S014)を行う。ここで、補正処理は、過去の動作実績を加味して推定動作の補正(S014)をおこなってもよい。
以下図を用いて、「動作候補(モデル動作)のデータを収集する処理」(003)、「作業員の動作を推定する処理」(S004)、および「作業員の動作を推定する処理」の処理の中の「動作推定処理」(S011、S012)および「動作補正処理」(S014)を詳細に説明する。
図3Aは、本実施形態システムを表す概略ブロック図である。本システムは、クラウドサーバー23、ウェアラブルデバイス24、およびハンドヘルドターミナル25から構成される。クラウドサーバー23とウェアラブルデバイス24、およびクラウドサーバー23とハンドヘルドターミナル25は、それぞれネットワーク29を介して通信を行うことが可能である。
倉庫業務等の作業手順が決められている現場で作業を行う作業員は、ウェアラブルデバイス24およびハンドヘルドターミナル25を保持して使用しても良い。ここでウェアラブルデバイス24は作業員の活動量を測定するための活動量計を内蔵し、これにより作業員の活動の状況を把握できる。一方で作業員が行う作業手順の各過程において、その各過程の進捗状況のデータがハンドヘルドターミナル25内に適宜入力される。
またそれに限らず、他のあらゆる用途で図3Aに示した実施形態システムを適用しても良い。ここで他の用途で使用される場合には、ハンドヘルドターミナル25が無くても良い。すなわち他の用途でも作業員(測定対象者)が活動量計データ収集部21の装着を前提とする。そして後述するデータ保存部46と活動量計データ処理部44は固定位置に設置されても良いし、作業員(測定対象者)に装着されて移動可能でも良い。さらに上記データ保存部46と活動量計データ処理部44は、クラウドサーバー23内に設置されても良い。
作業員が例えば商品を棚から取り出すなどの作業を行う時に、その商品の入出庫情報をハンドヘルドターミナル25に登録する。このハンドヘルドターミナル25は入出庫情報取得部22と倉庫管理システムデータ保存部28から構成される。ここでこの入出庫情報取得部22に拠り、入出庫情報が取得される。そして取得した入出庫情報が、倉庫管理システムデータ保存部28内に保存される。
ハンドヘルドターミナル25の具体例としてバーコードリーダを対応させても良い。この場合には入出庫情報取得部22がバーコードの読み取り部に対応し、倉庫管理システムデータ保存部28が読み取ったバーコード情報を記憶する保存部に対応する。すなわち例えば作業員がハンドヘルドターミナル25を用いて商品の入出庫情報を取得した場合には、その取得された入出庫情報が倉庫管理システムデータ保存部28に保存される。
倉庫管理システムデータ保存部28に保存されている入出庫情報は、入出庫の作業を行った時刻である「作業時刻」、入出庫の作業の内容である「作業内容」、入出庫の作業の状態である「作業状態」(ログ)の情報からなる。
「作業状態」は、作業の開始を示す「開始」と作業の終了を示す「終了」の2つの情報を持つ。この「作業状態」の情報に加えて「作業内容」の情報と「作業時刻」の情報を組み合わせる事で、所定の「作業内容」に対応した作業の開始時刻と終了時刻を識別することができる。この「作業内容」に書かれている1つの作業の開始62時刻から終了64時刻までの区間を、作業の1つの単位(以降作業区間と呼ぶ)とする。入出庫情報の詳細は図6を用いて説明する。
さらに図7を用いて後述するように、同一の作業区間内は1以上の時間区間に分割され、経過時間10に従って時間区間毎に時間区間番号20が設定される。
ウェアラブルデバイス24は、活動量計データ収集部21と活動量計データ処理部44、データ保存部46から構成される。活動量計データ処理部44は、作業区間突合部32、活動量計データ動作識別部36、活動量計データ動作判定部38および動作実績集計部30から構成されている。またデータ保存部46は、活動量計データ保存部26、動作波形データ保存部34および動作実績保存部40から構成されている。活動量計データ保存部26、動作波形データ保存部34および動作実績保存部40は、1つのメモリ上に領域を区分して配置されていても、複数のメモリ上に分かれて配置されていてもよい。
ここで前記の活動量計データ収集部21で収集した活動量計データ72(取得加速度データ12)は、活動量計データ保存部26に保存される。また動作波形データ保存部34内に、モデル動作(動作候補)毎の参照加速度データが保存されている。このモデル動作毎の参照加速度データは、前記活動量計データ動作識別部36内で活動量計データの識別処理を行う際に使用される。そして動作実績保存部40内に動作識別データ(詳細は後述)が保存されている。
活動量計データ収集部21内には加速度センサが内蔵されており、ウェアラブルデバイス24を装着した作業員(測定対象者)の動作に応じた加速度を収集することができる。活動量計データ収集部21は、取得した加速度データを活動量計データ72(取得加速度データ12)として活動量計データ保存部26に一時的に保存する。その後で前記活動量計データ収集部21は、適正なタイミングで一時保管された活動量計データ72(取得加速度データ12)を読み取り、作業区間突合部32に転送する。
作業区間突合部32は、前述した倉庫管理システムデータ保存部28に保存された入出庫情報を参照して、「作業区間」を識別する。
なお、ハンドヘルドターミナル25の倉庫管理システムデータ保存部28に保存されている入出庫情報は、ネットワーク29を介して作業区間突合部32に転送しても良い。あるいは作業区間突合部32が「作業区間」の単位に活動量計データを分割する際に適宜、倉庫管理システムデータ保存部28から直接読み取りを行っても良い。
活動量計データ動作識別部36は、前述した「作業区間」を更に「時間区間」に分割する。本実施形態では、この「時間区間」毎に作業員の動作内容の推定を行う。すなわちこの「時間区間」が、作業員(測定対象者)の動作を推定する動作推定処理の単位となる。「時間区間」は、一定間隔の時間であってもよい。またそれに限らず本実施形態では図16〜図18を用いて後述するように、例えばクラスタリング技術を用いて時間区間毎の間隔を適宜変化させても良い。この場合には前記活動量計データ動作識別部36が、転送された活動量計データ72(取得加速度データ12)を使用して同一作業区間内を任意の長さの時間区間に再分割する。従ってこの「時間区間」の大きさは、動作内容を推定する方法によって変えても良い。なおこの時間区間は、作業区間の最旧時刻から始まる時間区間の番号を1として時系列に従って各時間区間の番号をインクリメントして表現される。
活動量計データ動作識別部36は、前記取得加速度データと前記参照加速度データとを比較してモデル動作(動作候補)毎の推定確率を算出する。算出の例として、活動量計データ(取得加速度データ)の特徴量と動作波形データ保存部34に記憶されているモデル動作(動作候補)毎の参照加速度データの特徴量(平均、分散、周波数)とを比較して、「時間区間」単位における活動量計データに対する各モデル動作(動作候補)に各動作の推定確率を算出しても良い。
推定確率を算出する方法は、例えばニューラルネットワークや特許文献2に記載のナイーブベイズ等を用いる。ニューラルネットワークや特許文献2に記載のナイーブベイズを用いた場合は、「時間区間」の大きさは単位時間である。活動量計データ動作識別部36は、時間区間番号=kの時間区間における活動量計データに対する各モデル動作の推定確率を算出する。次に活動量計データ動作識別部36は、時間区間番号=kの時間区間における算出したモデル動作毎の推定確率の中から最大の値を選択抽出し、その値のモデル動作を時間区間番号=kにおける推定動作B(k)する。
また、推定確率を算出する方法として、サポートベクトルマシンまたはk−means(特許文献3参照)などを用いた場合は、各モデル動作に対する出力結果としては「0」または「1」が出力される。この活動量計データ動作識別部36は、シグモイド関数を用いるなどして各モデル動作の出力結果を推定確率に換算し、その換算結果に基づいて推定動作B(k)を特定する。この場合は、出力された1つの動作を時間区間番号=kにおける推定動作B(k)とする。
また活動量計データ動作識別部36は、推定した推定動作B(k)を時間区間番号の時系列順に並べて動作実績保存部40に保存する。
活動量計データ動作判定部38は、活動量計データ動作識別部36が確定した推定動作B(k)を補正する必要があるかどうかを、推定動作B(k)の推定確率P(B(k)|S(k))を用いて判定する処理を行う。補正を行うかの判断の処理と、補正を行う場合の処理フローは、図11を用いて説明する。
動作実績集計部30は、先に説明したように活動量計データ動作識別部36が動作実績保存部40に保存した時系列順に並んだ推定動作B(k)を読み出し、隣接する2つの時間区間番号の推定動作B(k)とB(k−1)との組み合わせ(連続的推移とも呼ぶ)の場合の回数をモデル動作ごとに算出する。動作実績集計部30は、モデル動作ごとに算出した組み合わせ回数を用いて生起回数表(もしくは生起回数の情報)を生成する。隣接する2つの時間区間番号の推定動作B(k)とB(k−1)との組み合わせ(連続的推移)の回数を生起回数と呼ぶ。
動作実績集計部30は、生起回数を用いて、更にその生起回数の各事象が発生する確率である生起確率を算出し、生起確率表を生成する。動作実績集計部30は、生成した生起回数表と生起確率表を動作実績保存部40に保存する。生起回数および生起確率に関しては、図9および図10を用いて詳しく説明する。
なお図3Aは、ウェアラブルデバイス24が活動量計データ処理部44とデータ保存部46を持ち、ハンドヘルドターミナル25が倉庫管理システムデータ保存部28を持つ場合の例であるが、例えば図3Bに示すように、ウェアラブルデバイス24の活動量計データ処理部44およびデータ保存部46、ならびにハンドヘルドターミナル25の倉庫管理システムデータ保存部28に相当する機能を、クラウドサーバー23内に活動量計データ処理部44−1、データ保存部46−1、および倉庫管理システムデータ保存部28−1として持っていてもよい。この場合、例えば処理量の多いデータに関しては、活動量計データ収集部21がそのデータをクラウドサーバー23に転送し、該当するデータをクラウドサーバー23内の動量計データ処理部44−1、データ保存部46−1で処理をするという例が考えられる。同様に、処理量の多いデータに関しては、入出庫情報取得部22がそのデータをクラウドサーバー23に送付し、該当するデータをクラウドサーバー23内の倉庫管理システムデータ保存部28−1で保存するという例が考えられる。また、入出庫情報取得部22で取得したデータあるいは活動量計データ収集部21で取得したデータをサーバー側で管理することで、異なる作業員のデータを一括して管理することが可能となり、取得したデータの有効活用が可能となる。例えば、加速度データ保存部26に保存されている活動量計データ収集部21で収集したデータや、推定動作等が保存されている動作実績保存部40のデータをクラウドサーバー23に保存することで、多人数のデータを蓄積することが可能となり、作業員の今後の動作推定の精度の向上に役立てることが可能となる。
また、図4に示すように、ウェアラブルデバイス24は活動量計データ処理部44とデータ保存部46を内部に持たず、これらの処理を代わりにクラウドサーバー23内に活動量計データ処理部44−2およびデータ保存部46−2として持っていてもよい。この場合には、ウェアラブルデバイス24内の活動量計データ収集部21が収集した取得加速度データは、ネットワーク29を経由してクラウドサーバー23内の活動量計データ保存部26−2へ転送される。
あるいは、図5に示すようにハンドヘルドターミナル25は倉庫管理システムデータ保存部28を内部に持たず、この保存部を代わりにクラウドサーバー23内に倉庫管理システムデータ保存部28−2として持っていてもよい。この場合には、ハンドヘルドターミナル25内の入出庫情報取得部22が収集した入出庫情報は、ネットワーク29を経由してクラウドサーバー23内の倉庫管理システムデータ保存部28−3へ転送される。
あるいは、ウェアラブルデバイス24は活動量計データ処理部44とデータ保存部46を内部に持たず、またハンドヘルドターミナル25は倉庫管理システムデータ保存部28を内部に持たず、すべてクラウドサーバー23内に活動量計データ処理部44−3、データ保存部46−3および倉庫管理システムデータ保存部28−2として持っていてもよい。あるいは、ウェアラブルデバイス24は活動量計データ処理部44とデータ保存部46、およびハンドヘルドターミナル25は倉庫管理システムデータ保存部28のすべてを、クラウドサーバー23内にだけ持っていてもよい。
図6は、倉庫管理システムデータ保存部28に保存されている入出庫情報の例を示している。ハンドヘルドターミナル25を用いて登録する入出庫情報は、入出庫の作業を行った時刻を示す「作業時刻50」、入出庫の作業の内容を示す「作業内容56」そして入出庫の作業の状態を示す「作業状態60」の情報を含む。図6の縦方向が、時間軸を表す。一方で横方向に、1回の入出庫情報(以降入出庫情報単位と呼ぶ)の内容を示す、「作業時刻50」、「作業内容56」と「作業状態60」が配置される。
例えば1行で記載される入出庫情報単位の例として、「作業時刻50」が9時10分であり、「作業内容56」に商品1が該当し、具体的な「作業状態60」として「(作業の)開始62」を意味している。またその下の行に記載された入出庫情報単位では、「作業時刻50」が9時14分であり、「作業内容56」が商品1に該当し、具体的な「作業状態60」が「(作業の)終了64」を意味している。
このように入出庫情報単位を参照することで、1つの商品に対する作業の開始62と終了64で区切られる作業区間(作業の1つの単位)を識別できる。すなわち同一商品に対応した作業状態60の開始62から終了64までの時刻の区間が、1個の作業区間となる。
なお図6の例では、入出庫情報単位を「作業時刻」「作業内容」「作業状態」の情報から構成されているとしたが、これ以外の情報を入出庫情報単位に加えてもよい。また「作業区間」を「作業時刻50」や「作業内容56」、「作業状態60」をもとに決定したが、入出庫情報単位に加えられた他の情報を加味して「作業区間」を決めてもよい。例えば、作業員の「勤怠状況」を加味して「作業区間」を定義してもよい。「勤怠状況」として、出勤時間/退勤時間を用いて、出勤時間から退勤時間までを作業区間としてもよい。また、午前中の勤務時間が午前9時から午前11時50分、と決まっている場合、その午前中の勤務時間の開始から終了までの時間である午前9時から午前11時50分までを作業区間としてもよい。
以上図3Aを用いて本システムの機能ブロックを説明したが、次に本実施形態のシステムの処理の流れを、具体例を用いて説明する。
最初に、1つめの大きな処理である「作業員の動作を推定する処理」の処理の流れについて説明する。「作業員の動作を推定する処理」は、最初に1つめのサブの処理である「動作推定処理」を行い、その動作推定処理の結果に応じて、2つめのサブの動作である「動作補正処理」を行う。まず、1つめのサブの処理である「動作推定処理」の処理の流れについて説明する。
ウェアラブルデバイス24は、内蔵している活動量計データ収集部21により作業員の活動量を測定し、測定結果である取得加速度データを逐次活動量計データ保存部26に保存する。
「作業員の動作を推定する処理」は、作業区間突合部32が、活動量計データ保存部26に保存されている取得加速度データと倉庫管理システムデータ保存部28に保存されている入出庫情報を用いて、「作業区間」を識別することで開始される。
図7は、取得加速度データを「作業区間」に分割し、さらに「時間区間」単位に分割する様子を示している。
作業区間突合部32は、入出庫情報76を用いて取得加速度データ12を「作業区間」に分割する。図7の例では、T1の区間が作業区間である。次に作業区間突合部32は、作業区間T1の範囲で抽出した活動量計データを、活動量計データ動作識別部36に送る。活動量計データ動作識別部36は、送られてきた「作業区間」単位の活動量計データを、作業員の動作内容の推定を行う単位である「時間区間」単位に更に分割する。図7に示すt1(時間区間)は、時間区間の一例である。
活動量計データ動作識別部36は更に、時間区間番号=kの時間区間において、活動量計データに対する各モデル動作(動作候補)の推定確率を算出し、その推定確率を用いて時間区間番号=kの動作として推定動作B(k)を特定する。
図8は、活動量計データ動作識別部36が、時間区間番号=kにおける、活動量計データに対する各モデル動作の推定確率を算出することで、該当時間区間における推定動作B(k)を特定する様子を示している。この例においてはモデル動作は、動作A、動作B、動作C、動作Dの4種類である。活動量計データ動作識別部36は、時間区間番号=kの時間区間において、活動量計データに対するモデル動作毎に推定確率を算出する。活動量計データ動作識別部36が算出した結果は、モデル動作毎の推定確率14に示されている。例えば、時間区間番号=1における動作Aの推定確率は0.6であり、動作Bの推定確率は0.2であることを示している。
次に活動量計データ動作識別部36は、各時間区間における各モデル動作の推定確率の中から最大の値を抽出し、その値の動作を推定動作B(k)とする。図8の例では、時間区間番号=1における各モデル動作の推定確率の中の最大の値は0.6であり、この値の動作は、動作Aである。よって活動量計データ動作識別部36は、動作Aを時間区間番号=1における推定動作B(1)とする。
活動量計データ動作識別部36は、同様にすべての時間区間番号の時間区間において、活動量計データに対する各モデル動作の推定確率の中から最大の値の抽出し推定動作B(k)を特定する処理を繰り返す。以上により、図8の例では、作業区間T1における各時間区間の推定動作B(k)(k=1〜24)は、推定動作16に示すようにAAACCBCCCCBCCBBAACCCCAAAとなる。活動量計データ動作識別部36は、抽出した推定動作A(k)(k=1〜24)を時系列順に動作実績保存部40に保存する。以上を以て「動作推定処理」は完了する。
次にウェアラブルデバイスは、2つ目のサブの処理である「動作補正処理」を行う。
まずはじめ、「動作補正処理」を行うかの判断の際に用いる、隣接する2つの時間区間番号の推定動作の組み合わせの生起確率について具体例を用いて説明する。
先に動作実績集計部30の処理内容として説明したように、動作実績集計部30は、動作実績保存部40に保存された時系列順に並んだ推定動作B(k)を読み出し、隣接する2つの時間区間番号の推定動作B(k−1)とB(k)との組み合わせの場合の数である生起回数および生起回数に基づく生起確率を算出する。
なお、動作実績保存部40に保存された時系列順に並んだ推定動作B(k)を読み出し、図9に示すような生起回数表および図10に示すような生起確率表を生成する場合の、縦軸である時間区間番号k−1の推定動作をX(k−1)、横軸である時間区間番号kの推定動作をY(k)とする。
図9は、図8の例における作業区間T1における、隣接する2つの時間区間番号の推定動作X(k−1)とY(k)の組み合わせの場合の数である生起回数を一覧にした生起回数表の例である。縦軸82が時間区間番号=k−1における推定動作の種類、横軸84が時間区間番号=kにおける推定動作の種類を表している。例えば縦軸82=動作Aに対して横軸84=動作Aの場合は、図8の例のB(k)(k=1〜24)の時間区間番号=2、3、17、23、および24が該当する。このため縦軸82=動作Aに対して横軸84=動作Aの場合の数は5となる。
ΣY(k)i86(i=1〜n)は、縦軸82の動作X(k−1)における横軸方向の各セルの合計値86を表す。例えば縦軸82の動作X(k−1)=動作Aとした場合、それに対する横軸84が動作Aの場合の数=5、動作Bの場合の数=0、動作Cの場合の数=2、動作Dの場合の数=0の合計値ΣY(k)i(i=1〜4)=7であることを示している。ここで、Y(k)iは、横軸上の推定動作の種類を左から順にi=1、i=2、とした場合である。この例では例えば、Y(k)1=動作A、Y(K)2=動作Bである。
推定動作B(k)の隣接する2つの時間区間番号の推定動作の組み合わせの場合の数を算出することで、推定動作B(k)の隣接する2つの時間区間番号の推定動作の組み合わせの生起確率を算出することができる。次に生起確率の算出方法を説明する。
図10は、図9に示した場合の数をもとに算出した、隣接する2つの時間区間番号の推定動作の組み合わせが発生する生起確率を生起確率表として一覧にした例である。縦軸92が時間区間番号=k−1における推定動作の種類、横軸94が時間区間番号=kにおける推定動作の種類を表している。表中の各値は、図9の縦軸横軸の組み合わせの各値をΣY(k)i86で割ったものである。例えば縦軸92=動作Aに対して横軸94=動作Aの場合、図9の縦軸82=動作Aに対して横軸84=動作Aの場合の数5の値を、ΣX1=7で割った値である0.71となる。以上により、動作Xを行った次に動作Yを行う場合の生起確率P(Y|X)を算出することができる。
以上の過程で算出された隣接する2つの時間区間番号の推定動作の組み合わせの生起確率を用いて、活動量計データ動作判定部38が行う推定動作B(k)に対する補正の処理の処理フローについて説明する。なお図11に示す処理フローの処理は、推定確率を算出する方法として先に示したニューラルネットワークやナイーブベイズを用いた場合である。
以上説明した生起確率を用いて、2つめのサブの処理である「動作補正処理」の処理の流れについて説明する。
活動量計データ動作判定部38は、1つめのサブの処理である「動作推定処理」を完了すると、引き続き「動作補正処理」を開始する。
図11は、図3Aの本実施形態システムにおける活動量計データ動作判定部38における、推定動作B(k)に対して補正を行うかの判断の処理と、補正を行う場合の処理である「動作補正処理」の処理フローを示している。
S(k)は、判定対象の作業区間における時間区間番号=kの取得加速度データを示している。また、A(k)j(j=1、・・・、M)は、活動量計データ動作識別部36が、時間区間番号=kにおいて推定するモデル動作(推定対象となる動作候補)の種類を示している。またP(A(k)j|S(k))は、時間区間番号=kにおけるモデル動作A(k)jの推定確率を示す。よって、ΣP(A(k)j|S(k))(j=1、・・・M)は、時間区間番号=kにおける全モデル動作の推定確率の総和を示しており、ΣP(A(k)j|S(k))=1(j=1、・・・M)が成立する。図8の時間区間番号=1を例にすると、A(1)jが示す動作の種類は、A(1)1=動作A、A(1)2=動作B、A(1)3=動作C、A(1)4=動作Dの4種類である。また、推定確率P(A(1)j|S(1))は、P(A(1)1|S(1))=0.6、P(A(1)2|S(1))=0.2、P(A(1)3|S(1))=0.1、P(A(1)4|S(1))=0.1である。またこれらの推定確率の合計は、P(A(1)1|S(1))+P(A(1)2|S(1))+P(A(1)3|S(1))+P(A(1)4|S(1))=0.6+0.2+0.1+0.1=1.0である。
活動量計データ動作判定部38は判定処理を開始すると(S020)、判定対象の時間区間の時間区間番号=kに初期値として1を設定する(S021)。活動量計データ動作判定部38は、次に動作波形データ保存部34に保存されているモデル動作の推定確率P(A(k)j|S(k))(j=1、・・・M)を読み出し、この読み出したM個のデータの中から最大値を抽出し、その最大値の動作A(k)yを特定する(S022)。なお、この動作A(k)yは、活動量計データ動作識別部36で抽出された推定動作B(k)と一致する。そのためS022の処理は、時間区間番号=kの推定動作B(k)を、動作実績保存部40から抽出する処理に置き換えてもよい。
次に、推定動作A(k)yの推定確率であるP(A(k)y|S(k))を参照し、その推定確率と閾値TPとの大小関係を比較する(S023)。比較の結果、P(A(k)y|S(k))>TPが成立すると、活動量計データ動作判定部38は推定動作A(k)yを時間区間番号=kにおける動作と判定する(S029)。
比較の結果、P(A(k)y|S(k))≦TPが成立する場合、活動量計データ動作判定部38は、時間区間番号=kの動作をA(k)yから補正する必要があるかどうかの処理を継続する。
なお、閾値TPの値は、ユーザが任意に設定してもよい。また、推定動作の推定確率の値の傾向に応じて自動的に値を変化させてもよい。
活動量計データ動作判定部38が現在処理を行っている時間区間番号=kの1つ前の時間区間番号=k−1における推定動作を推定動作A(k−1)xとする。活動量計データ動作判定部38は、動作A(k)j(j=1、・・・M)の各々を推定動作と見なした場合の、推定動作A(k−1)xが行われかつ動作A(k)j(j=1、・・・M)の推定動作が行われる、時間区間番号=k−1とkの推定動作の組み合わせが発生する生起確率P(A(k)j|A(k−1)x)を動作実績保存部40から読み出す。活動量計データ動作判定部38は、時間区間番号=kにおける生起確率P(A(k)j|A(k−1)x)と各動作の推定確率P(A(k)j|S(k))を用いて、P(A(k)j|S(k))×P(A(k)j|A(k−1)x)(j=1、・・・M)のM個のデータを算出し、算出したM個のデータの中から最大値を抽出する。活動量計データ動作判定部38は、抽出した最大値の動作A(k)zを特定する(S025)。なお、現在判定している時間区間kの1つ前の時間区間番号=k−1における推定動作が存在しない場合、つまりA(k−1)xが存在しない場合(S024)は、時間区間番号=kの動作はS022で特定した推定動作A(k)yとする(S029)。例えばkが初期値である1の場合は、時間区間k−1は存在しないので、活動量計データ動作判定部38は、S024における処理「k−1番目の動作A(k)xが「動作なし」」をYesと判定し、S029の処理に遷移する。
活動量計データ動作判定部38は、S025でA(k)j(j=1、・・・M)の中から特定した動作A(k)zを用いて、P(A(k)z|S(k))×P(A(k)z|A(k−1)x)の値と閾値TPMとの大小関係を比較する(S026)。比較の結果P(A(k)z|S(k))×P(A(k)z|A(k−1)x)>TPMが成立すると、活動量計データ動作判定部38は、時間区間番号=kにおける動作をA(k)zと補正する(S027)。以上の処理により活動量計データ動作判定部38は、S022で特定した時間区間番号=kにおける動作を、推定動作A(k)yからA(k)zに補正することができる。
なお、閾値TPの値は、ユーザが任意に設定してもよい。また、推定動作の推定確率の値の傾向に応じて自動的に値を変化させてもよい。
比較の結果、P(A(k)z|S(k))×P(A(k)z|A(k−1)x)≦TPMが成立する場合、活動量計データ動作判定部38は、時間区間番号=kにおける該当動作はないと判定する(S028)。
活動量計データ動作判定部38は、時間区間番号=kにおける動作を判定する処理が未完了の時間区間が存在している間は、時間区間の時系列に従って、時間区間ごとに推定動作の補正の必要性の判定と必要に応じて補正の処理を繰り返す(S030)。補正の必要性を判定する処理が未完了の時間区間がなくなったら、活動量計データ動作判定部38は、処理を終了する(S032)。以上の処理により、推定動作A(k)yが、必要に応じて補正される。この補正の処理を行い、最終的に時間区間番号=kにおける動作として判定された動作を補正動作と呼ぶ。推定動作と補正動作の関係を、時間区間番号ごとのモデル動作の推定確率の具体例を用いて説明する。
図12は、時間区間番号ごとのモデル動作の推定確率の具体例をもとに推定動作と補正動作の関係を示したものである。図11に示す活動量計データ動作判定部38の処理フローにおけるS023のTPの値を0.5、S206のTMPの値を0.01と設定しても良い。ここで、時間区間番号=16および時間区間番号=17に注目する。時間区間番号=16および17は、推定動作である動作Aが、動作Cに補正された例である。この時間区間番号=16および17における推定動作の補正の処理の流れについて、推定動作の推定確率等の具体例をもとに説明する。
図13は、図10同様に、隣接する2つの時間区間番号の推定動作の組み合わせが発生する生起確率を一覧にした他の例である。縦軸102が時間区間番号=k−1における推定動作の種類、横軸104が時間区間番号=kにおける推定動作の種類を表している。時間区間番号=16の場合、その直前の推定動作は動作Bである。よって、動作Bを行った次の動作の生起確率を抽出する。図13の太枠108が、抽出対象の生起確率である。
図14は、時間区間番号=16においてS025のP(A(16)j|S(16))×P(A(16)j|A(15)x=B)(j=1、・・・4)の処理を行う場合の、P(A(16)j|S(16))(j=1、・・4)の値、P(A(16)j|A(15)x=B)(j=1、・・・M)の値、およびP(A(16)j|S(16))×P(A(16)j|A(15)x)の値を一覧にしたものである。P(A(16)j|S(16))(j=1、・・・M)の値は、図12に示されている時間区間番号=16の区間におけるモデル動作毎の推定確率であり、図14の列122の値である。P(A(16)j|A(15)x=B)(j=1、・・・4)の値は、時間区間番号=15における推定動作A(15)xが動作Bの場合の生起確率であり、図13の生起確率のうちX軸の動作=Bである太枠108の中の値であり、図14の列124の値である。この列122の値と列124の値との積であるP(A(16)j|S(16))×P(A(16)j|A(15)x)の値は図14の列126の値となる。 活動量計データ動作判定部38は、図14の列122の値と列124の値を、動作実績保存部40から読み出し、各々の値を乗算することでz=argmax{P(A(16)j|S(16))×P(A(16)j|A(15)x=B)(j=1、・・・4)}=0.084を算出することができる。
活動量計データ動作判定部38は、算出した値z=0.084を用いてS026を行う。TPM=0.01と設定されているので、活動量計データ動作判定部38は、S026の判定処理が正しいと処理し、処理をS027に遷移する。活動量計データ動作判定部38は、S027において、z=0.084の値をもつ動作Cを、時間区間番号=16の時間区間における動作と判定する。
同様の処理を時間区間番号=17の時間区間においても実施し、時間区間番号=17の時間区間における動作を、動作Cと判定する。
以上により、図12に示すように、時間区間番号=16、17における推定動作の動作Aは、動作Cに補正される。これにより推定動作16は、補正動作18に補正される。
活動量計データ動作判定部38は、以上により判定した補正動作を動作実績保存部40に蓄積してもよいし、推定動作を補正した時間区間の動作だけを動作実績保存部40に蓄積してもよい。また活動量計データ動作判定部38は、推定動作を補正した時間区間の動作を保存する場合、その取得加速度データも併せて保存してもよい。
図15は、本実施形態システムの他の応用例を示す概略ブロック図である。図3Aとの相違点は、図3Aにおける活動量計データ動作識別部36で行っていた活動量計データの「時間区間」単位への分割の処理と分割された「時間区間」単位での推定動作B(k)の算出の処理のうち、活動量計データの「時間区間」単位での分割の処理を活動量計データ動作分類部42にて行うように変更している点である。
図15に示す作業区間突合部32は、入出庫情報を参照することで「作業区間」を識別し、識別した「作業区間」を用いて活動量計データを作業区間の範囲に分割し抽出する。作業区間突合部32は、抽出した活動量計データを活動量計データ動作分類部42に送る。
活動量計データ動作分類部42は、送られてきた「作業区間」単位の活動量計データを、クラスタリングの方法を用いて作業員の動作内容の推定を行う単位である「時間区間」の単位に更に分割する。なおクラスタリング処理の各種アルゴリズムに関しては、特許文献4の特開2007-206037に開示されている。
活動量計データ動作分類部42において「作業区間」が定義されると、その定義された「作業区間」の情報を用いて活動量計データ動作識別部36は、各時間区間における各動作の推定確率を算出することで該当時間区間の推定動作B(k)を特定する。
図16は、図8同様に活動量計データ動作識別部36が、時間区間番号における、活動量計データに対する各モデル動作の推定確率を算出することで、当該時間区間の推定動作B(k)を特定する様子の他の例を示している。
例えば時間区間番号=1の場合、動作Aの推定確率=0.6、動作Bの推定確率=0.2、動作Cの推定確率=0.1、動作Dの推定確率=0.1である。活動量計データ動作識別部36は、これらの推定確率の中から最大の値である0.6を抽出し、そのモデル動作である動作Aを推定動作B(1)とする。活動量計データ動作識別部36は、同様に各時間区間の各モデル動作の推定確率の中から最大の値の抽出し推定動作A(k)を推定する処理を繰り返す。以上により、図16の例では、作業区間T1における各時間区間の推定動作B(k)(k=1〜9)は、ACBDBCBCAとなる。活動量計データ動作識別部36は、抽出した推定動作B(k)(k=1〜9)を時間区間番号順に動作実績保存部40に保存する。
動作実績集計部30は、動作実績保存部40に保存されている時間区間番号の順に並んだ推定動作B(k)を読み出し、隣接する2つの時間区間番号のモデル動作の組み合わせが発生する生起確率を算出し、その生起確率を動作実績集計部30に保存する。生起確率の算出方法は、図3Aによる実施形態の場合と同一である。
図17は、図9同様に隣接する2つの時間区間番号の推定動作の組み合わせの場合の数を集計した一覧の他の例である。縦軸132が時間区間番号=k−1における動作の種類、横軸134が時間区間番号における動作の種類を表している。例えば縦軸132=動作Aに対して横軸134=動作Bの場合の数は、43であることを示している。
図18は、図12同様にTP=0.5、TMP=0.01と設定した場合のモデル動作(動作候補)の推定確率の具体例をもとに推定動作と補正動作の関係を示したものである。活動量計データ動作判定部38が行う処理は、図11に示した処理フローである。この処理により、例えば時間区間番号4の推定動作である動作Dは、動作Cに補正される。
次に、2つめの大きな処理である「動作候補(モデル動作)のデータを収集する処理」について説明する。
図19は、図1Aで説明した「動作候補(モデル動作)のデータを収集する処理」おける動作推定用参照データの追加更新処理S005内の、詳細な流れを示している。既に説明したように前記参照データは動作波形(参照加速度データ)や動作実績あるいは生起確率表に限らず、モデル動作(動作候補)毎の特徴量(平均、分散、周波数)が含まれても良い。そしてこの参照データは、時間区間番号=kの時間区間の推定動作B(k)が特定される度に逐次更新され、動作波形データ保存部34または動作実績保存部40内に適宜保存しても良い。
図19で説明する基本的な考え方は、P(A(k)y|S(k))>TP(S042)の時には推定動作の確からしさが高いと見なし、取得加速度データ12を推定結果(推定動作16)に対応付けて参照加速度データの一部として追加S005をおこなう。この追加データは、図3A内の動作波形データ保存部34に追加保存される。また同時にその時に得られた推定結果(推定動作16)を動作実績として蓄積すると共に生起確率表の更新を行う(S005)。またこれらのデータは、動作実績保存部40内に追加更新される。
一方でP(A(k)y|S(k))≦TP(S042)の時には、推定動作の確からしさが低いと見なす。この場合には、取得加速度データ12は動作波形データ保存部34に追加保存されない。一方で動作実績保存部40への保存データに関しては、予めユーザの設定内容(S045)に基付いて対応方法が変化する。
すなわち予めユーザが、この場合に動作推移の生起確率表の追加更新を行うか否かS045を設定する。もしユーザが生起確率表の追加更新を行わない場合には、取得加速度データ12同様に動作実績保存部40へのデータの追加更新は行わない。
一方で動作推移の生起確率表の追加更新を行うS045場合には、モデル動作(動作候補)毎の推定確率を生起確率表にフィードバックする。
上記の基本的な考え方に付いて、図19に示した更新処理の流れ(フロー)に沿って説明する。図19のS042に示した判定処理は、図11で既に説明した判定処理S023と同一の内容を示している。すなわち図11のS022で示した推定確率最大に対応した推定動作A(k)yの推定確率と閾値TPとの大小関係を比較する。
そしてP(A(k)y|S(k))>TP(S042)が成立すると、時間区間番号=kの活動量計データ(取得加速度データ)が推定確率最大の推定動作A(k)yに関連付けて動作波形データ保存部34(図3A)内に追加保存される。そしてこの活動量計データ(取得加速度データ)は、参照加速度データの一部として活用される(S043)。またそれと並行して活動量計データ(取得加速度データ)の特徴量(平均、分散、周波数)が、動作実績保存部40内に保存し、これらの特徴量を用いてモデル動作の特徴量の更新(S043)を行っても良い。
さらに隣接する2つの時間区間番号の推定動作の組み合わせが発生する生起確率表(及び生起回数表)を更新して、図3Aの動作実績保存部40内に保存する(S044)。この生起回数表の具体的な更新方法としては例えば、生起回数表(図20(b))の移行後の動作Y(k)の中で推定動作A(k)yに対応した箇所に“1”を加える。図12の例を用いて、上記内容を具体的に説明する。時間区間番号=3の所では、推定動作A(4)yは、動作Aが対応する。そして時間区間番号=4の所では、推定動作A(4)yは、動作Cが対応する。従って図20(b)内の移行後の動作Y(k)84の中で動作“C”に対応した列と、移行前の動作X(k−1)82の中で動作Aに対応した行の交点(図20(b)では“2”と記載された箇所)の値がインクリメントして“3”と変わる。
一方で比較の結果、P(A(k)y|S(k))≦TP(S042)が成立する場合、隣接する2つの時間区間番号の推定動作の組み合わせが発生する生起確率の更新を行うかの判断を実施する(S045)。この判断は、本システムを使うユーザが設定/選択するものである。
「生起確率の更新が必要ない」と判断されると、何も処理を行わずに終了する(S407)。一方で「生起確率の更新が必要」と判断されると、時間区間番号=kにおける各モデル動作の推定確率を時間区間番号=k−1とkの推定動作の組み合わせの場合に加算して、生起回数表及び生起確率表を更新する(S046)。
図19内の動作毎の推定確率の比率を生起回数にそれぞれ加算S046する方法の具体的内容を図20に示す。ここでは時間区間番号=16に注目する。時間区間番号=16の推定動作A(16)yに対応した推定確率P(A(16)y|S(16))は、図20(a)内に示すように“0.4”となっている。
仮に図19のS042内で設定される閾値TPを“0.5”に設定された場合には、S042の判定結果としてP(A(16)y|S(16))≦TPとなる。従って前記の判定結果に従って処理S045を経由して処理S046に遷移する(ユーザにより、生起回数表と生起確率表の更新を行うと選択されているものとする)。この時には、各推定動作の推定確率を生起回数表のそれぞれに加算する。
上記の詳細内容に付いて、具体的な例を上げて以下に説明する。ここで更新前の生起回数表を図20(b)に示す。図20(a)に示すように、時間区間番号=15での推定動作16が動作Bに対応する。従って図20(b)に示す移行前の動作X(k−1)82内の動作Bに該当する行が更新の対象となる。
従ってS046で行われる生起回数表の更新は、時間区間番号=16のモデル動作(動作候補)毎の推定確率を、対象となる行内にそれぞれ加算する。図20(a)において、時間区間番号=16での動作毎の推定確率14の値は“動作Aでは0.4”、“動作Bでは0.1”、“動作Cでは0.3”そして“動作Dでは0.2”となっている。従ってこの“0.4”、“0.1”、“0.3”および“0.2”の値を、移行前の動作X(k−1)82に対応する行内にそれぞれ加算する。その推定確率14の値を加算して得られた更新後の生起回数表が図20(c)となる。
このようにして更新を行った場合の生起回数表を“移行前の動作Xから各動作Yに移行した回数の合計値 ΣYj86”で規格化した結果として、生起確率表が得られる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。特に本実施形態の説明内容では測定対象者の動作推定を中心に説明した。しかしそれに限らず、例えば各種センサが設置された環境の状態推定に上記の実施形態を適用しても良い。
またこれら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 … 経過時間
12 … 取得加速度データ
14 … 動作毎の推定確率
16 … 推定動作
18 … 補正動作
20 … 時間区間番号
21 … 活動量計データ収集部
22 … 入出庫情報取得部
23 … クラウドサーバー
24 … ウェアラブルデバイス
25 … ハンドヘルドターミナル
26 … 活動量計データ保存部
28 … 倉庫管理システムデータ保存部
29 … ネットワーク
30 … 動作実績集計部
32 … 作業区間突合部
34 … 動作波形データ保存部
36 … 活動量計データ動作識別部
38 … 活動量計データ動作判定部
40 … 動作実績保存部
42 … 活動量計データ動作分類部
44 … 活動量計データ処理部
46 … データ保存部

Claims (2)

  1. 活動量計を搭載する装置を含む1以上の装置から構成されるシステムによって実行される動作推定方法であって、
    N種類の動作にそれぞれ対応したN個の参照加速度データを保存部に保存し、
    定対象者に装着された前記活動量計が計測した取得加速度データを取得し、
    前記取得加速度データが取得された期間を任意の長さの時間で分割した単位時間幅において、前記取得加速度データと前記N個の参照加速度データとを用いて前記N種類の動作それぞれの推定確率を算出し、
    算出された前記N種類の動作それぞれの推定確率の中の最大値が閾値を超える場合、前記単位時間幅における前記測定対象者の動作を、前記N種類の動作の中から前記最大値の推定確率が算出された動作と推定し、前記最大値が前記閾値以下の場合、前記単位時間幅の1つ前の単位時間幅において推定された動作との組み合わせが発生する前記N種類の動作それぞれの生起確率と、前記N種類の動作それぞれの推定確率とを用いて、前記単位時間幅における前記測定対象者の動作を前記N種類の動作の中から推定する
    作推定方法。
  2. 活動量計を搭載する装置を含む1以上の装置から構成される動作推定システムであって、
    N種類の動作にそれぞれ対応したN個の参照加速度データを保存するデータ保存部と、
    定対象者に装着された前記活動量計が計測した取得加速度データを取得して保存する活動量計データ保存部と、
    前記取得加速度データが取得された期間を任意の長さの時間で分割した単位時間幅において、前記N種類の動作の中から前記測定対象者の動作定する活動量計データ処理部と、
    を具備し、
    前記活動量計データ処理部は、前記単位時間幅において、前記取得加速度データと前記N個の参照加速度データとを用いて前記N種類の動作それぞれの推定確率を算出し、算出された前記N種類の動作それぞれの推定確率の中の最大値が閾値を超える場合、前記単位時間幅における前記測定対象者の動作を、前記N種類の動作の中から前記最大値の推定確率が算出された動作と推定し、前記最大値が前記閾値以下の場合、前記単位時間幅の1つ前の単位時間幅において推定された動作との組み合わせが発生する前記N種類の動作それぞれの生起確率と、前記N種類の動作それぞれの推定確率とを用いて、前記単位時間幅における前記測定対象者の動作を前記N種類の動作の中から推定する
    作推定システム。
JP2016244257A 2016-12-16 2016-12-16 動作推定方法および動作推定システム Active JP6645957B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016244257A JP6645957B2 (ja) 2016-12-16 2016-12-16 動作推定方法および動作推定システム
PCT/JP2017/034591 WO2018110030A1 (ja) 2016-12-16 2017-09-25 動作推定方法および動作推定システム
US16/440,576 US11392879B2 (en) 2016-12-16 2019-06-13 Operation estimating method and operation estimating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016244257A JP6645957B2 (ja) 2016-12-16 2016-12-16 動作推定方法および動作推定システム

Publications (2)

Publication Number Publication Date
JP2018097781A JP2018097781A (ja) 2018-06-21
JP6645957B2 true JP6645957B2 (ja) 2020-02-14

Family

ID=62558327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016244257A Active JP6645957B2 (ja) 2016-12-16 2016-12-16 動作推定方法および動作推定システム

Country Status (3)

Country Link
US (1) US11392879B2 (ja)
JP (1) JP6645957B2 (ja)
WO (1) WO2018110030A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220269909A1 (en) * 2020-09-11 2022-08-25 Nec Corporation Information processing apparatus, information processing method, and computer program
GB2622919A (en) * 2022-08-10 2024-04-03 Honeywell Int Inc Methods and systems for real-time recommendations for optimized operations

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3570163B2 (ja) * 1996-07-03 2004-09-29 株式会社日立製作所 動作及び行動の認識方法及び装置及びシステム
JP4550463B2 (ja) 2004-03-31 2010-09-22 株式会社東芝 ワークフロー分析レポート作成システム及び方法、並びに、情報処理装置
JP4420850B2 (ja) 2005-04-12 2010-02-24 日本電信電話株式会社 フロークラス推定方法と装置およびプログラム
JP2007206037A (ja) 2006-02-06 2007-08-16 Nippon Telegr & Teleph Corp <Ntt> 信号測定分析装置
JP2009134590A (ja) 2007-11-30 2009-06-18 Advanced Telecommunication Research Institute International 行動識別システム、行動識別方法、最適センサ集合決定方法および最適パラメータ決定方法。
JP2009217559A (ja) 2008-03-11 2009-09-24 Hitachi Ltd 業務管理システム、業務管理方法及び管理計算機
JP2010207488A (ja) * 2009-03-12 2010-09-24 Gifu Univ 行動解析装置及びプログラム
JP5549802B2 (ja) * 2010-02-01 2014-07-16 日本電気株式会社 モード識別装置、モード識別方法、およびプログラム
JP5617299B2 (ja) * 2010-03-25 2014-11-05 オムロンヘルスケア株式会社 活動量計、制御プログラムおよび活動種類特定方法
JP5917932B2 (ja) 2012-02-10 2016-05-18 アイシン精機株式会社 状態推定装置、状態推定方法及びプログラム
JPWO2013157332A1 (ja) * 2012-04-17 2015-12-21 日本電気株式会社 行動識別装置、行動識別システム及び行動識別プログラム
WO2013187035A1 (ja) * 2012-06-12 2013-12-19 日本電気株式会社 行動識別システム、行動識別方法、端末、サーバ、および、コンピュータ・プログラム
US9398854B2 (en) * 2013-03-04 2016-07-26 Hello Inc. System with a monitoring device that monitors individual activities, behaviors or habit information and communicates with a database with corresponding individual base information for comparison
WO2014205425A1 (en) * 2013-06-22 2014-12-24 Intellivision Technologies Corp. Method of tracking moveable objects by combining data obtained from multiple sensor types
US8948783B2 (en) * 2013-06-28 2015-02-03 Facebook, Inc. User activity tracking system
JP6459311B2 (ja) * 2014-09-01 2019-01-30 カシオ計算機株式会社 行動推定装置、行動推定方法、および、行動推定プログラム

Also Published As

Publication number Publication date
JP2018097781A (ja) 2018-06-21
US20190295025A1 (en) 2019-09-26
US11392879B2 (en) 2022-07-19
WO2018110030A1 (ja) 2018-06-21

Similar Documents

Publication Publication Date Title
US9119032B2 (en) User activity tracking system and device
JP6398979B2 (ja) 映像処理装置、映像処理方法および映像処理プログラム
JP5949560B2 (ja) 動線検出処理データ分散システム、動線検出処理データ分散方法およびプログラム
CN111064614A (zh) 一种故障根因定位方法、装置、设备及存储介质
US10712733B2 (en) Methods and systems for discovery of prognostic subsequences in time series
CN108615129B (zh) 一种运力监测方法、装置及电子设备
US20110071962A1 (en) Method and system of using network graph properties to predict vertex behavior
EP3118750A1 (en) Factor analysis device, factor analysis method, and factor analysis program
US20160210681A1 (en) Product recommendation device, product recommendation method, and recording medium
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
KR101708491B1 (ko) 압력 센서를 이용한 객체 인식 방법
JP6645957B2 (ja) 動作推定方法および動作推定システム
CN113469578B (zh) 基于多目标优化的业务策略生成方法、装置及系统
US10853829B2 (en) Association method, and non-transitory computer-readable storage medium
CN110022529B (zh) 基于两种传感模式的目标区域人数统计的方法和装置
US20180039932A1 (en) Method for providing a typical load profile of a vehicle for a public transport system
CN110084406B (zh) 基于自编码器和元学习策略的负荷预测方法及装置
JP6340777B2 (ja) 来店者属性分布情報推定装置およびプログラム
JP2019191836A (ja) 異常検知システムおよびプログラム
US11210566B2 (en) Training apparatus, training method and recording medium
CN111949840B (zh) 一种基于物联网数据的拓扑图结构的构建方法、装置
US20230276207A1 (en) System for Detection of Abandonment of a User Device
CN114926121A (zh) 物流时效延误监控方法、装置、设备及存储介质
CN106156470B (zh) 一种时间序列异常检测标注方法及系统
Chen et al. Adaptive Cross-Camera Video Analytics at the Edge

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20170906

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170906

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200109

R150 Certificate of patent or registration of utility model

Ref document number: 6645957

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150