JP6834353B2

JP6834353B2 - 画像処理装置、画像処理システム、画像処理方法およびプログラム

Info

Publication number: JP6834353B2
Application number: JP2016213273A
Authority: JP
Inventors: 翔太郎小元; 慶二大村; 紀山名
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2016-10-31
Filing date: 2016-10-31
Publication date: 2021-02-24
Anticipated expiration: 2036-10-31
Also published as: JP2018073176A

Description

本発明は、画像処理装置、画像処理システム、画像処理方法およびプログラムに関する。

製品の生産現場では、人が介在する工程において、作業者の歩行および動作等の動きを定量的に捉え、いかに素早く分析および改善に繋げるかが課題となっている。人の動きを定量化する技術としては、人の動きを「動線」として見える化を行う取り組みが世の中で広まっている。動線を取得する技術としては、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）の位置情報を利用するもの、超音波の送信機を追跡の対象に付与して受信機で位置を特定するもの、および、ビーコン等を発信するＩＤをスマートフォンで受信して位置を捕捉するもの等の技術がある。ただし、これらの技術で追跡を実施するには、追跡の対象物に、無線ＬＡＮまたは超音波の送信機等の端末を持たせることが条件となる。また、追跡対象に、何らかの端末を持たせずに、動線を取得する方法としては、カメラで撮影した映像に映っている追跡対象を画像処理技術で追跡し位置を特定する技術が既に知られている。

このように、生産現場での効率的な工程作業への改善を支援する技術として、ワークに取り付けたＩＤタグを、生産ラインの各工程の入口および出口にあるリーダでそれぞれ読み取り、工程毎の作業時間を計測した後、ある特定の作業とそれ以外の全作業とを比較し、改善が必要な工程を抽出するシステムが開示されている（特許文献１参照）。

しかしながら、特許文献１に記載された技術では、各工程の作業時間を計測して、標準の作業時間と比較することにより改善が必要な工程を特定することはできるものの、改善が必要な工程での具体的な作業のムダを特定することができないため、標準作業との比較において作業のムダの原因究明を素早く行うことができないという問題があった。

本発明は、上記に鑑みてなされたものであって、生産現場での工程の作業のムダの原因究明を素早く行うことができる画像処理装置、画像処理システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、所定単位の一連の作業であるワンサイクル作業に関する時間情報に基づいて、前記ワンサイクル作業の各工程での作業時間を示すタイムチャートを作成する作成部と、複数の前記ワンサイクル作業から、ユーザーの選択操作に基づいて、分析対象とするワンサイクル作業を選択する選択部と、前記選択部により選択された前記ワンサイクル作業の映像データを、表示装置の所定の表示領域に再生表示させる再生部と、標準作業での追跡対象の動作を示す情報を、前記再生部により再生表示されている前記映像データと共に表示させる標準表示部と、を備える画像処理装置であって、前記作成部は、複数の前記ワンサイクル作業のうち少なくとも一つのワンサイクル作業のタイムチャートを第１のチャート表示部に表示させ、前記第１のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第２のチャート表示部に表示させ、前記第２のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第３のチャート表示部に表示させる、ことを特徴とする。

本発明によれば、生産現場での工程の作業のムダの原因究明を素早く行うことができる。

図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図３は、実施の形態に係る画像処理システムの機能ブロックの構成の一例を示す図である。図４は、実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。図５は、実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の一例を示す図である。図６は、実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。図７は、実施の形態に係る情報処理装置において追跡対象を追跡する追跡処理を説明する図である。図８は、実施の形態に係る情報処理装置の追跡処理で検出した追跡対象の情報を示す追跡結果テーブルの一例を示す図である。図９は、実施の形態に係る情報処理装置のタイムチャート画面のタイムチャートを表示した状態の一例を示す図である。図１０は、実施の形態に係る情報処理装置のタイムチャート画面において分析チャート表示部にタイムチャートを表示した状態の一例を示す図である。図１１は、実施の形態に係る情報処理装置のタイムチャート画面において標準チャート表示部にタイムチャートを表示した状態の一例を示す図である。図１２は、実施の形態に係る情報処理装置の標準作業調整画面の一例を示す図である。図１３は、タイムチャートの色分けを規定する規格の一例を示す図である。図１４は、実施の形態に係る情報処理装置のタイムチャート画面においてタイムチャートを色分け表示した状態の一例を示す図である。図１５は、実施の形態に係る情報処理装置のタイムチャート画面においてタイムチャートのずれ量を表示した状態の一例を示す図である。図１６は、実施の形態に係る情報処理装置のタイムチャート画面においてタイムチャートの開始位置を揃えた状態の一例を示す図である。図１７は、実施の形態に係る情報処理装置の映像比較画面において２つの映像の再生開始時の状態の一例を示す図である。図１８は、実施の形態に係る情報処理装置の映像比較画面において２つの映像を再生した状態の一例を示す図である。図１９は、実施の形態に係る情報処理装置の映像比較画面においてクリックした動線部分に対応する時刻の映像にジャンプする状態の一例を示す図である。図２０は、実施の形態に係る情報処理装置の映像比較画面において動線上における停滞部を示した状態の一例を示す図である。

以下に、図面を参照しながら、本発明に係る画像処理装置、画像処理システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

（画像処理システムの全体構成）
図１は、実施の形態に係る画像処理システムの全体構成の一例を示す図である。図１を参照しながら、本実施の形態の画像処理システム１の全体構成について説明する。

図１に示すように、本実施の形態の画像処理システム１は、撮像装置２ａ〜２ｄと、情報収集装置３と、ハブ４と、情報処理装置５と、外部機器１０と、を含む。

撮像装置２ａ〜２ｄは、被写体から光を電気信号に変換することによって被写体を撮像（撮影）し、複数のフレーム（画像データ）で構成された動画（例えば、１０［ＦＰＳ］、２５［ＦＰＳ］等）である映像データを生成するビデオカメラである。例えば、撮像装置２ａ〜２ｄは、製品を生産する生産設備または生産ライン等で作業する作業者を撮像して映像データを生成する。

なお、撮像装置２ａ〜２ｄを区別なく呼称する場合、または総称する場合、単に「撮像装置２」というものとする。また、図１では、画像処理システム１は、４台の撮像装置２を含む構成となっているが、これに限定されるものではなく、他の台数の撮像装置２を含む構成であってもよい。

情報収集装置３は、各撮像装置２によって撮像された映像データを収集して、外部機器１０に記憶させるＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）またはワークステーション等である。したがって、情報収集装置３は、通信ケーブルまたはネットワークを介して、外部機器１０と通信可能となっている。

ハブ４は、撮像装置２ａ〜２ｄを情報収集装置３と接続するためのＥｔｈｅｒｎｅｔ（登録商標）規格に対応した集線装置である。ハブ４は、例えば、Ｅｔｈｅｒｎｅｔ規格に対応している場合、撮像装置２ａ〜２ｄと、情報収集装置３とはＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）／ＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）等のプロトコルによりデータ通信が行われる。この場合、撮像装置２ａ〜２ｄおよび情報収集装置３は、ＴＣＰ／ＩＰのプロトコルにより通信するためのＭＡＣ（ＭｅｄｉａＡｃｃｅｓｓＣｏｎｔｒｏｌ）アドレスを有し、かつプライベートＩＰアドレス等のＩＰアドレスが割り当てられている。

なお、図１に示すハブ４は、ＴＣＰ／ＩＰのプロトコルによる通信を中継する例を示したが、これに限定されるものではない。例えば、情報収集装置３側にＶＧＡ（ＶｉｄｅｏＧｒａｐｈｉｃｓＡｒｒａｙ）端子またはＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポートを有し、複数の撮像装置２がＶＧＡケーブルまたはＵＳＢケーブルを介してハブ４に集線されて情報収集装置３に接続される形態等であってもよい。

また、各撮像装置２は、ハブ４を介して情報収集装置３に接続される構成について説明したが、これに限定されるものではなく、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、専用回線またはインターネット等のネットワークを介して情報収集装置３と通信する構成としてもよい。

情報処理装置５は、各撮像装置２によって撮像された映像データに基づいて画像処理を実行する画像処理装置として機能するＰＣまたワークステーション等である。情報処理装置５は、画像処理の対象となる映像データを、通信ケーブルまたはネットワークを介して外部機器１０から受信する。

外部機器１０は、各撮像装置２により撮像された映像データ、および、映像データにおける人物（作業者）の位置を示す位置情報を記憶する外部記憶装置、またはデータベースサーバ等である。

なお、上述したように、映像データを収集する撮像装置２の台数に限定はないが、以下の説明では、図１に示したように、撮像装置２が４台接続された構成を例として説明する。

（情報処理装置のハードウェア構成）
図２は、実施の形態に係る情報処理装置のハードウェア構成の一例を示す図である。図２を参照しながら、本実施の形態の情報処理装置５および情報収集装置３のハードウェア構成の一例について説明する。なお、以下の説明では、情報処理装置５を例として、そのハードウェア構成の一例を説明する。

図２に示すように、情報処理装置５は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０３と、外部記憶装置１０４と、ディスプレイ１０５と、ネットワークＩ／Ｆ１０６と、キーボード１０７と、マウス１０８と、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）ドライブ１０９と、外部機器Ｉ／Ｆ１１１と、を備えている。

ＣＰＵ１０１は、情報処理装置５全体の動作を制御する装置である。ＲＯＭ１０２は、情報処理装置５用のＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）およびファームウェア等のプログラムを記憶している不揮発性記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される揮発性記憶装置である。

外部記憶装置１０４は、外部機器１０から受信した映像データ、位置情報、および設定情報等の各種データを記憶するＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）またはＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記憶装置である。

ディスプレイ１０５は、カーソル、メニュー、ウィンドウ、文字もしくは画像等の各種情報、または情報処理装置５による画像処理を実行するアプリケーションの画面を表示する表示装置である。ディスプレイ１０５は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ：液晶ディスプレイ）または有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。なお、ディスプレイ１０５は、例えば、情報処理装置５の本体に対して、ＶＧＡケーブルまたはＨＤＭＩ（登録商標）（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）ケーブル等によって接続されたり、または、Ｅｔｈｅｒｎｅｔケーブルによって接続される。

ネットワークＩ／Ｆ１０６は、外部機器１０に接続してデータ通信するためのインターフェースである。ネットワークＩ／Ｆ１０６は、例えば、ＴＣＰ／ＩＰのプロトコルで通信可能にするＮＩＣ（ＮｅｔｗｏｒｋＩｎｔｅｒｆａｃｅＣａｒｄ）である。具体的には、情報処理装置５は、外部機器１０から、ネットワークＩ／Ｆ１０６を介して、映像データを受信する。

キーボード１０７は、文字、数字、各種指示の選択、カーソルの移動、および設定情報の設定等を行う入力装置である。マウス１０８は、各種指示の選択および実行、処理対象の選択、カーソルの移動、ならびに設定情報の設定等を行うための入力装置である。

ＤＶＤドライブ１０９は、着脱自在な記憶媒体の一例としてのＤＶＤ１１０に対するデータの読み出し、書き込みおよび削除を制御する装置である。

外部機器Ｉ／Ｆ１１１は、外部の装置（例えば、生産設備）等と接続してデータ通信をするためのインターフェースである。外部機器Ｉ／Ｆ１１１は、例えば、フィールドバス規格により通信可能にするインターフェースカードである。具体的には、情報処理装置５は、外部の装置と、外部機器Ｉ／Ｆ１１１を介してデータ通信を行う。

上述のＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、ディスプレイ１０５、ネットワークＩ／Ｆ１０６、キーボード１０７、マウス１０８、ＤＶＤドライブ１０９、および外部機器Ｉ／Ｆ１１１は、アドレスバスおよびデータバス等のバス１１３によって互いに通信可能に接続されている。なお、ディスプレイ１０５が、Ｅｔｈｅｒｎｅｔケーブルによって接続される場合には、ネットワークＩ／Ｆ１０６に接続されることになり、この場合、ＴＣＰ／ＩＰ等のプロトコルによりデータ通信が行われる。

（画像処理システムのブロック構成）
図３は、実施の形態に係る画像処理システムの機能ブロックの構成の一例を示す図である。図３を参照しながら、画像処理システム１のブロック構成について説明する。なお、図３においては、説明を簡略化するため、ハブ４の図示を省略して説明する。

図３に示すように、情報収集装置３は、受信部２０１と、管理部２０２と、を有する。

受信部２０１は、ハブ４を介して、撮像装置２から映像データを受信する機能部である。受信部２０１は、受信した映像データを管理部２０２へ送る。受信部２０１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。

管理部２０２は、受信部２０１から受け取った映像データを、外部機器１０に送信して記憶させる機能部である。管理部２０２は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

図３に示すように、外部機器１０は、記憶部２５１を有する。

記憶部２５１は、情報収集装置３から受信した映像データを記憶（蓄積）する機能部である。記憶部２５１は、情報処理装置５からの要求に従って、特定の映像データを送信する。記憶部２５１は、外部機器１０が外部記憶装置である場合、外部機器１０自体によって実現され、また、外部機器１０がデータベースサーバである場合、そのデータベースサーバが備える外部記憶装置によって実現される。

図３に示すように、情報処理装置５は、受信部３０１と、入力部３０２（入力装置）と、設定部３０３（調整部）と、記憶部３０４と、第１再生部３０５と、取得部３０６と、指定部３０７と、登録部３０８と、検出部３０９と、第１判定部３１０（判定部）と、計測部３１１と、チャート出力部３２１（作成部）と、ずれ計算部３２２と、選択部３２３と、第２再生部３２４（標準表示部の一例、再生部）と、軌跡出力部３２５（標準表示部の一例、動線表示部）と、第２判定部３２６と、マーキング部３２７と、管理部３２８と、表示制御部３２９と、表示部３３０（表示装置）と、を有する。

受信部３０１は、外部機器１０から、撮像装置２により撮像された映像データを受信する機能部である。受信部３０１は、受信した映像データを記憶部３０４に記憶させる。受信部３０１は、図２に示すネットワークＩ／Ｆ１０６によって実現される。

入力部３０２は、情報処理装置５に対して、色登録処理、追跡対象の追跡処理、および生産現場の工程の作業分析の動作等を実行させるための操作入力を行う装置である。入力部３０２は、図２に示すキーボード１０７およびマウス１０８によって実現される。

設定部３０３は、ユーザにより操作される入力部３０２からの操作信号に従って、各種設定情報を設定して記憶部３０４に記憶させる機能部である。設定部３０３は、例えば、後述するように登録部３０８により登録された基準色を中心とする所定範囲を示す情報（以下、「追跡パラメータ」という場合がある）を設定し、設定した追跡パラメータを、記憶部３０４に記憶させる。ここで、基準色を中心とする所定範囲は、基準色がＲＧＢ色空間で表される場合、基準色のＲ値に所定量を加算した上限値、および所定量を減算した下限値が設定されることによって、基準色のＲ値を中心とする所定範囲が定まる。基準色のＧ値およびＢ値についても、同様である。なお、所定量は、Ｒ値、Ｇ値およびＢ値それぞれ別々の値が設定されるものとしてもよい。設定部３０３は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

記憶部３０４は、受信部３０１により受信された映像データ、設定情報、および後述する追跡処理により得られた位置情報等の各種データを記憶する機能部である。記憶部３０４は、受信部３０１により受信された映像データが、どの撮像装置２により生成された映像データであるかを識別して記憶する。記憶部３０４は、例えば、図２に示すＲＡＭ１０３または外部記憶装置１０４によって実現される。

第１再生部３０５は、ユーザにより操作される入力部３０２からの操作信号に従って、記憶部３０４から取得した映像データを表示制御部３２９に送り、表示制御部３２９に対して、追跡対象の追跡処理のために映像データを表示部３３０に再生表示させる機能部である。具体的には、第１再生部３０５は、例えば、後述する図５に示すように、表示部３３０に表示される追跡画面４００の個別表示部４０１に映像データを再生表示させる。第１再生部３０５は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

取得部３０６は、記憶部３０４に記憶された映像データから、追跡対象の追跡処理の対象となるフレームを取得する機能部である。取得部３０６は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

指定部３０７は、ユーザにより操作される入力部３０２からの操作信号に従って、表示部３３０における映像データを表示する表示領域（例えば、後述する図５に示す個別表示部４０１）において、追跡対象の追跡処理で使用する特徴情報としての色を特定するための指定領域（例えば、後述する図６に示す指定領域５５０）を指定する機能部である。指定部３０７は、指定した指定領域の情報を、撮像装置２ごとに関連付けて記憶部３０４に記憶させる。指定部３０７は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

登録部３０８は、指定部３０７により指定された指定領域の色を示す画素値に基づいて、基準色を特定し、特定した基準色の情報を記憶部３０４に記憶（登録）する機能部である。ここで、個別表示部４０１に表示される映像データのフレームの画素値は、例えば、ＲＧＢ色空間、またはＨＳＶ色空間等に基づいた色を示す情報である。具体的には、登録部３０８は、例えば、指定領域に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。なお、登録部３０８は、指定領域の中央の画素の画素値を基準色として特定してもよい。登録部３０８は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

検出部３０９は、追跡対象の追跡処理の対象となるフレームにおいて、登録部３０８により登録された基準色（設定部３０３により設定された追跡パラメータ）に基づいて、追跡対象を検出する機能部である。具体的には、検出部３０９は、追跡対象の追跡処理の対象となるフレームについて、抽出処理、二値化処理、およびラベリング処理等の処理を実行し、上述した基準色を中心とする所定範囲（以下、「基準色範囲」という場合がある）に入る色の画素を含むブロックに対応する領域を追跡対象として検出する。検出部３０９は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

なお、検出部３０９は、基準色範囲に入る色の画素を含むブロックに対応する領域を追跡対象として検出しているが、これに限定されるものではない。例えば、登録部３０８は、指定部３０７により指定された指定領域内に存在する形状を特定し、特定した形状の情報（特徴情報の一例）を記憶部３０４に記憶（登録）し、検出部３０９は、登録された形状と同一または類似の形状を、追跡対象として検出するものとしてもよい。

また、検出部３０９は、映像データのフレームごとに追跡対象を検出する動作に限定されるものではなく、例えば、所定時間ごとに取得部３０６により取得されたフレームにおいて追跡対象を検出するものとしてもよい。また、フレームごとに追跡対象を検出する場合、そのフレームレートを設定可能としてもよく、所定時間ごとに検出する場合、その所定時間を設定可能とするものとしてもよい。

第１判定部３１０は、第１再生部３０５により再生表示されている映像データにおいて、追跡対象である作業者（少なくとも作業者の一部）が、作業領域（例えば、図５で後述する作業領域５６１〜５６３）に存在するか否かを判定する機能部である。第１判定部３１０は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

計測部３１１は、第１判定部３１０の判定結果に基づいて、追跡対象が作業領域にいる時間（作業時間）、および追跡対象が作業領域から別の作業領域に移動している時間（すなわち、作業領域にいない時間）（移動時間）を計測する機能部である。計測部３１１は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

チャート出力部３２１は、検出部３０９により追跡対象が検出された位置（座標）、第１判定部３１０により追跡対象が作業領域に存在するか否かの場所の種別、ならびに、計測部３１１により計測された作業時間および移動時間に基づいて、各工程のタイムチャートを、表示制御部３２９に対して表示部３３０に表示させる機能部である。具体的には、チャート出力部３２１は、例えば、後述する図９に示すように、表示部３３０に表示されるタイムチャート画面６００の一覧チャート表示部６０３に各工程のタイムチャートを表示させる。チャート出力部３２１は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

ずれ計算部３２２は、計測部３１１により算出された各工程の作業時間の標準時間に対するずれ量を計算する機能部である。ずれ計算部３２２は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

選択部３２３は、ユーザにより操作される入力部３０２からの操作信号に従って、後述する映像比較画面６４０で表示させる２つの工程を選択する機能部である。選択部３２３は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

第２再生部３２４は、ユーザにより操作される入力部３０２からの操作信号に従って、記憶部３０４から取得した映像データを表示制御部３２９に送り、表示制御部３２９に対して、工程の作業分析の動作のために映像データを表示部３３０に再生表示させる機能部である。具体的には、第２再生部３２４は、例えば、後述する図１７に示すように、表示部３３０に表示される映像比較画面６４０の映像表示部６４１ａ、６４１ｂに映像データを再生表示させる。第２再生部３２４は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

軌跡出力部３２５は、追跡対象の軌跡を示す軌跡線（動線）を生成し、表示制御部３２９に、映像比較画面６４０において再生表示している映像データに軌跡線（動線）を重畳して表示させる機能部である。軌跡出力部３２５は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

第２判定部３２６は、軌跡出力部３２５により表示されている動線について、所定時間あたりの移動量が所定値以下になったか否かを判定する機能部である。例えば、第２判定部３２６は、第２再生部３２４により再生表示されている映像データの各フレームにおける追跡対象から所定時間（例えば、５秒等）先のフレームにおける追跡対象までの動線の長さ（移動量）を求めて、求めた移動量が所定値以下であるか否かを判定する。第２判定部３２６は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

マーキング部３２７は、第２判定部３２６によって、軌跡出力部３２５により表示されている動線について、所定時間あたりの移動量が所定値以下になったと判定された動線部分に対して停滞を示すためのマーキングを行う機能部である。マーキング部３２７は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

管理部３２８は、例えば、ユーザにより操作される入力部３０２からの操作信号に従って、追跡画面４００に表示されている映像データについて、登録部３０８により登録された基準色によって特定される追跡対象の追跡処理を開始または停止させる機能部である。また、管理部３２８は、情報処理装置５の全体の動作の管理（例えば、各種情報の記憶部３０４への記憶）を行う。管理部３２８は、図２に示すＣＰＵ１０１により実行されるプログラムによって実現される。

表示制御部３２９は、表示部３３０の表示動作を制御する機能部である。具体的には、表示制御部３２９は、受信部３０１により取得された映像データ、設定部３０３により設定された設定情報、および、指定部３０７により指定された指定領域等を、表示部３３０に表示させる。表示制御部３２９は、図２に示すＣＰＵ１０１により実行されるプログラム（ドライバ）によって実現される。

表示部３３０は、表示制御部３２９の制御に従って各種データを表示する表示装置である。表示部３３０は、本実施の形態では特に、図２に示すＣＰＵ１０１により実行されるプログラム（アプリケーション）の機能により、後述する追跡画面４００、タイムチャート画面６００、および映像比較画面６４０等を表示する。表示部３３０は、図２に示すディスプレイ１０５によって実現される。

なお、図３に示した情報収集装置３の管理部２０２、ならびに、情報処理装置５の設定部３０３、第１再生部３０５、取得部３０６、指定部３０７、登録部３０８、検出部３０９、第１判定部３１０、計測部３１１、チャート出力部３２１、ずれ計算部３２２、選択部３２３、第２再生部３２４、軌跡出力部３２５、第２判定部３２６、マーキング部３２７、管理部３２８および表示制御部３２９の一部または全部は、ソフトウェアであるプログラムではなく、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等のハードウェア回路によって実現されてもよい。

また、図３に示した各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図３で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図３で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

また、色登録処理に関する第１再生部３０５、取得部３０６、指定部３０７、登録部３０８、検出部３０９、第１判定部３１０、および計測部３１１の各機能部は、情報処理装置５に備えられるものとしたが、これに限定されるものではない。例えば、情報収集装置３がこれらの機能部を有するものとしてもよい。

また、以降の説明の簡略化のため、表示制御部３２９が、受け取ったデータを表示部３３０に表示させるという表現を、単に、そのデータを表示制御部３２９に送った機能部が、表示部３３０（または、表示部３３０が表示する画面）に表示させると表現するものとする。例えば、第１再生部３０５が、映像データを表示制御部３２９に送り、表示制御部３２９に対して映像データを表示部３３０に再生表示させる場合、単に、第１再生部３０５が、映像データを表示部３３０に再生表示させると表現するものとする。

（色登録処理）
図４は、実施の形態に係る情報処理装置の色登録処理の流れの一例を示すフローチャートである。図５は、実施の形態に係る情報処理装置の表示部に表示される追跡画面において映像が表示されている状態の一例を示す図である。図６は、実施の形態に係る情報処理装置において追跡対象の色を登録する操作について説明する図である。図４〜図６を参照しながら、本実施の形態に係る情報処理装置５の色登録処理の流れについて説明する。

まず、色登録処理の流れを説明するにあたって、図５を参照しながら、追跡画面４００の構成について説明する。追跡画面４００は、色登録処理により特徴情報である色を登録し、個別表示部４０１に再生表示される映像において、特定の追跡対象の追跡処理を行うための画面である。追跡画面４００は、図５に示すように、個別表示部４０１と、カメラ選択タブ４０１ａと、映像操作ボタン部４０３と、シークバー４０４と、スライダ４０５と、拡大縮小ボタン部４０６と、スパン変更ボタン部４０７と、時刻表示部４０８と、登録ボタン４０９と、追跡開始ボタン４１０と、追跡停止ボタン４１１と、を含む。

個別表示部４０１は、ユーザにより操作される入力部３０２からの操作信号に従って、第１再生部３０５によって記憶部３０４から取得された映像データが再生表示される表示部である。図５の例では、第１再生部３０５は、ユーザによる入力部３０２の操作により、「２」のカメラ選択タブ４０１ａが選択操作されると、撮像装置２ｂにより撮像された映像データを記憶部３０４から取得して個別表示部４０１に再生表示させる。また、個別表示部４０１に重畳表示されている作業領域５６１〜５６３は、作業者５００によって各工程で作業するための領域を示す。なお、作業領域５６１〜５６３は、ユーザにより操作される入力部３０２からの操作信号に従って、設定部３０３により設定されるものとすればよい。

カメラ選択タブ４０１ａは、ユーザが再生表示を所望する撮像装置２ａ〜２ｄの映像データのうちいずれの映像データを個別表示部４０１に表示させるのかを選択する操作部である。例えば、撮像装置２ａ〜２ｄによって撮像された映像データは、それぞれ「１」〜「４」に対応付けられており、図６の例では、「２」すなわち撮像装置２ｂの映像データが選択された例を示している。

映像操作ボタン部４０３は、ユーザによる入力部３０２の操作により、個別表示部４０１での映像データの再生、早戻し、早送り、停止および一時停止を行うボタン群である。シークバー４０４は、その上に配置されるスライダ４０５の位置により、個別表示部４０１に再生表示されている映像データがどの時間のものなのかを示す棒状の形状体である。スライダ４０５は、個別表示部４０１に再生表示されている映像データの撮像時刻（表示されているフレームが撮像された時刻）に対応したシークバー４０４上の位置にスライドする形状体かつ操作部である。逆に、スライダ４０５は、ユーザによる入力部３０２の操作によってスライドされると、第１再生部３０５によって、スライダ４０５が存在するシークバー４０４上の位置に対応した撮像時刻の映像データのフレームが個別表示部４０１に表示される。

拡大縮小ボタン部４０６は、ユーザによる入力部３０２の操作により、第１再生部３０５によって、個別表示部４０１に再生表示されている映像データが拡大表示または縮小表示されるボタン群である。例えば、拡大縮小ボタン部４０６のうち拡大ボタンを押下するごとに、所定の拡大率で映像データが拡大表示される。例えば、通常の表示状態を１００％として、１２０％、１４０％、・・・のように拡大表示される。

スパン変更ボタン部４０７は、ユーザによる入力部３０２の操作により、第１再生部３０５によって、シークバー４０４の表示スパンが拡大または縮小されるボタン群である。なお、シークバー４０４の表示スパンを拡大または縮小するのは第１再生部３０５である必要はなく、異なる機能部が担うものとしてもよい。

時刻表示部４０８は、第１再生部３０５によって、個別表示部４０１に再生表示されている映像データの撮像日付および撮像時刻を表示する表示領域である。

登録ボタン４０９は、指定部３０７により指定された指定領域について、登録部３０８に基準色を特定し、特定した基準色の情報を登録（記憶部３０４に記憶）させるボタンである。

追跡開始ボタン４１０は、ユーザによる入力部３０２の操作によって押下されると、管理部３２８に、個別表示部４０１に再生表示されている映像データにおいて、基準色によって特定される追跡対象の追跡処理を開始させるボタンである。追跡停止ボタン４１１は、ユーザによる入力部３０２の操作によって押下されると、管理部３２８に対して、個別表示部４０１に再生表示されている映像データに対して行われている追跡対象の追跡処理を停止させるボタンである。

次に、色登録処理の具体的な流れを説明する。図５に示す追跡画面４００は、第１再生部３０５により撮像装置２ｂに対応する映像データが再生表示されている状態を示している。

＜ステップＳ１１＞
まず、個別表示部４０１において映像データの再生表示中に、色登録処理を所望する画像の部分が表示されているタイミングで、ユーザによる入力部３０２の操作によって映像操作ボタン部４０３の一時停止ボタンが押下されると、第１再生部３０５は、個別表示部４０１に再生表示されている映像データを一時停止させる。図５に示すように、一時停止した映像データのフレームには、作業者５００が写っている。そして、取得部３０６は、一時停止した映像データから個別表示部４０１に表示されているフレームを取得する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
ここで、本実施の形態に係る情報処理装置５の個別表示部４０１に表示されているフレームにおける追跡の対象の一例として、図６に示すように、作業者５００の追跡対象５０１であるものとする。追跡対象５０１は、作業者５００が着用している上着の一部であり、特定の色を有するものとする。

指定部３０７は、ユーザによる入力部３０２の操作（例えば、マウス１０８のドラッグ操作）に従って、取得部３０６により取得されたフレーム、すなわち、個別表示部４０１に表示されているフレームにおいて、図６に示すように、追跡対象の追跡処理で使用する特徴情報としての色を特定するために、追跡対象５０１において指定領域５５０を指定する。

なお、指定部３０７による指定領域の指定は、拡大縮小ボタン部４０６の拡大ボタンまたは縮小ボタンにより、個別表示部４０１に表示されているフレームを拡大または縮小した状態で行うことができるようにしてもよい。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
登録部３０８は、ユーザによる入力部３０２の操作による登録ボタン４０９の押下によって、指定部３０７により指定された指定領域５５０に基づいて、基準色を特定し、特定した基準色の情報を記憶部３０４に記憶（登録）する。具体的には、登録部３０８は、例えば、指定領域５５０に含まれる画素の画素値の平均値を算出し、その平均値を基準色として特定する。

そして、設定部３０３は、登録部３０８により登録された基準色を中心とする所定範囲を示す情報を追跡パラメータとして設定し、設定した追跡パラメータを、記憶部３０４に記憶させる。この追跡パラメータが設定されることによって、基準色範囲が定まる。

以上のステップＳ１１〜Ｓ１３によって、色登録処理（基準色の特定および登録）および追跡パラメータの設定が実行される。なお、上述の図４で示した色登録処理のフローは一例であり、その他の方法によって、基準色の特定、および追跡パラメータの設定が行われるものとしてもよい。

（追跡対象の追跡処理の概要）
図７は、実施の形態に係る情報処理装置において追跡対象を追跡する追跡処理を説明する図である。図８は、実施の形態に係る情報処理装置の追跡処理で検出した追跡対象の情報を示す追跡結果テーブルの一例を示す図である。図７および図８を参照しながら、本実施の形態に係る情報処理装置５による追跡対象の追跡処理の概要について説明する。なお、予め、上述の色登録処理により、基準色が登録されているものとする。そして、個別表示部４０１での第１再生部３０５による映像データの再生表示中に、追跡対象の追跡処理を所望するフレームが表示されているタイミングで、ユーザによる入力部３０２の操作によって追跡開始ボタン４１０が押下されると、第１再生部３０５により表示されたフレームから、管理部３２８によって追跡対象の追跡処理が開始される。なお、第１再生部３０５によって個別表示部４０１に再生表示される映像データは、撮像装置２から情報収集装置３および外部機器１０を介して受信したリアルタイムの映像データであってもよく、または、記憶部３０４に記憶された過去の映像データであってもよい。

取得部３０６は、第１再生部３０５により再生表示されている映像データのフレームを取得する。なお、取得部３０６により取得される２つ目以降のフレームは、追跡処理が終了したフレームの次のフレームに限定されるものではなく、所定時間後に対応するフレームを取得するものとしてもよい。すなわち、追跡処理は、処理が開始された映像データのフレーム以降、フレーム毎に実行されることに限定せず、所定時間ごとのフレームに対して実行するものとしてもよい。

次に、検出部３０９は、取得部３０６により取得されたフレームにおいて、登録部３０８により登録された基準色（設定部３０３により設定された追跡パラメータ）に基づいて、追跡対象を検出する。具体的には、検出部３０９は、当該フレームについて、抽出処理、二値化処理、およびラベリング処理等の処理を実行し、上述した基準色を中心とする基準色範囲に入る色の画素を含むブロックに対応する領域を追跡対象（図７に示す追跡対象５０１）として検出する。また、第１判定部３１０は、取得部３０６により取得されたフレームにおいて、追跡対象５０１が、作業領域（例えば、図７に示す作業領域５６１〜５６３）に存在するか否かを判定する。そして、管理部３２８は、図８に示す追跡結果テーブル１０００（追跡結果情報）のように、検出された追跡対象の情報として、追跡対象の中心座標と、フレーム番号と、追跡処理が開始されてからの経過時間と、第１判定部３１０による判定結果と、が関連付けられた情報を、記憶部３０４に記憶させる。第１判定部３１０による判定結果とは、追跡対象がどのような場所にいるかを示す情報であり、例えば、図８に示すように、フレーム番号「３」では追跡対象がどの作業領域にも含まれず、作業領域間を移動していることを示すため「移動」と記憶し、フレーム番号「１０」では追跡対象が作業領域Ａに含まれていると判定されたため、その名称である「作業領域Ａ」と記憶している。なお、追跡結果テーブル１０００は、テーブル形式の情報としているが、これに限定されるものではなく、追跡領域の中心座標と、フレーム番号と、経過時間と、第１判定部３１０による判定結果と、を関連付ける情報であればどのような形式の情報であってもよい。

次に、軌跡出力部３２５は、記憶部３０４に記憶された追跡結果テーブル１０００から現在のフレームに対応する追跡対象の中心座標と、現在のフレームの前のフレームに対応する追跡対象の中心座標と、を読み出す。そして、軌跡出力部３２５は、現在のフレームに対応する追跡対象の中心点と、現在のフレームの前のフレームに対応する追跡対象の中心点とを結ぶ動線（軌跡線）を生成し、個別表示部４０１に表示されている現在のフレームに重畳して表示させる。この場合、軌跡出力部３２５は、追跡処理開始後のフレームから、現在のフレームの前のフレームまでについて生成した動線も同様に、現在のフレームに重畳して表示させる。これによって、個別表示部４０１には、図７に示すように、映像データに重畳して、追跡処理開始後からの追跡対象の軌跡を示す動線８００が表示されることになる。なお、追跡結果情報（例えば、図８に示す追跡結果テーブル１０００）の記憶のみを目的とするのであれば、軌跡出力部３２５は、追跡画面４００の個別表示部４０１において、動線８００を必ずしも表示させる必要はない。

そして、計測部３１１は、第１判定部３１０の判定結果に基づいて、追跡対象が作業領域にいる時間（作業時間）、および追跡対象が作業領域から別の作業領域に移動している時間（すなわち、作業領域にいない時間）（移動時間）を計測する。具体的には、計測部３１１は、記憶部３０４に記憶された追跡結果テーブル１０００から現在のフレームに対応する経過時間および追跡対象の場所を読み出し、前のフレームに対応する経過時間および追跡対象の場所を読み出す。そして、計測部３１１は、現在のフレームに対応する追跡対象の場所が、前のフレームに対応する追跡対象の場所と同一である場合は、現在のフレームおよび前のフレームの経過時間の差分を積算して、その場所に対応する時間として計測する。例えば、その場所が「移動」であれば計測した時間は移動時間となる。なお、計測部３１１は、追跡結果テーブル１０００を参照する方式ではなく、第１判定部３１０の判定結果を直接用いる方式としてもよい。すなわち、計測部３１１は、追跡対象が作業領域に存在すると判定されてから、作業領域に存在しないと判定されるまでの時間を作業時間として計測し、追跡対象が作業領域に存在しないと判定されてから、作業領域に存在すると判定されるまでの時間を移動時間として計測するものとしてもよい。

そして、管理部３２８は、計測部３１１により計測された作業時間および移動時間を示す時間情報を、記憶部３０４に記憶させる。具体的には、管理部３２８は、作業時間については、追跡結果情報、その作業が開始された時刻（または、追跡処理が開始されてからの経過時間）、および作業領域と関連付けて、記憶部３０４に記憶させる。また、管理部３２８は、移動時間については、追跡結果情報、移動が開始された時刻（または、追跡処理が開始されてからの経過時間）、およびどの作業領域間の移動であるかの情報と関連付けて、記憶部３０４に記憶させる。これによって、管理部３２８により記憶された作業時間は、どの作業領域での作業時間であるか、および、その作業の開始時刻が特定され、移動時間は、どの作業領域間の移動であるか、および、その移動の開始時刻が特定されることになる。また、管理部３２８により記憶された作業時間および移動時間は、どの追跡結果情報に対応するものであるのかが特定されることになる。

以上のような動作によって、追跡対象の追跡処理が行われる。

（タイムチャート画面における改善対象の作業の特定）
図９は、実施の形態に係る情報処理装置のタイムチャート画面のタイムチャートを表示した状態の一例を示す図である。図１０は、実施の形態に係る情報処理装置のタイムチャート画面において分析チャート表示部にタイムチャートを表示した状態の一例を示す図である。図１１は、実施の形態に係る情報処理装置のタイムチャート画面において標準チャート表示部にタイムチャートを表示した状態の一例を示す図である。図１２は、実施の形態に係る情報処理装置の標準作業調整画面の一例を示す図である。図１３は、タイムチャートの色分けを規定する規格の一例を示す図である。図１４は、実施の形態に係る情報処理装置のタイムチャート画面においてタイムチャートを色分け表示した状態の一例を示す図である。図１５は、実施の形態に係る情報処理装置のタイムチャート画面においてタイムチャートのずれ量を表示した状態の一例を示す図である。図１６は、実施の形態に係る情報処理装置のタイムチャート画面においてタイムチャートの開始位置を揃えた状態の一例を示す図である。図９〜図１６を参照しながら、タイムチャート画面６００における１以上の工程を有し、所定単位の目的を達成するための一連の作業（以下、「ワンサイクル作業」と称する場合がある）において、改善対象となる作業を特定する動作について説明する。また、図９〜図１１および図１４〜図１６は、改善対象となる作業を特定する動作を時系列に説明するための順番となっている。

図９に示すタイムチャート画面６００は、リストアップした複数のワンサイクル作業のうち、選択した１のワンサイクル作業を標準作業とし、その標準作業の各工程の作業時間と、分析対象となるワンサイクル作業の各工程の作業時間との比較結果を示すための画面である。タイムチャート画面６００は、図９に示すように、標準チャート表示部６０１と、分析チャート表示部６０２と、一覧チャート表示部６０３と、を含む。

一覧チャート表示部６０３は、入力部３０２を介したユーザの選択操作によって選択された追跡結果情報、およびそれに関連付けられた時間情報に基づく内容がワンサイクル作業ごとに、チャート出力部３２１によって表示される領域である。図９に示す例では、一覧チャート表示部６０３には、３つのワンサイクル作業の情報が登録されている。例えば、一覧チャート表示部６０３に、ワンサイクル作業の情報を登録するには、例えば、ユーザによる入力部３０２に対する操作によって、ワンサイクル作業の内容を示すファイル（追跡結果情報およびそれに関連付けられた時間情報を含む）を選択したり、当該ファイルを一覧チャート表示部６０３にドラッグアンドドロップしたり、１以上のワンサイクル作業の内容を示すファイルを含むフォルダを指定したり、または、所定期間を指定することによって、その期間に含まれるワンサイクル作業の内容を示す情報を特定することによって登録されるものとすればよい。なお、一覧チャート表示部６０３に含まれる各ワンサイクル作業の内容を示す情報は、同一の作業者の情報、および、複数の作業者の情報等を含めることも可能である。一覧チャート表示部６０３は、日時表示部６０３ａと、時間表示部６０３ｂと、移動距離表示部６０３ｃと、タイムチャート表示部６０３ｄと、を含む。

日時表示部６０３ａは、登録されたワンサイクル作業の情報に対応する日時を表示する領域である。具体的には、日時表示部６０３ａには、ワンサイクル作業が開始された日時が表示される。また、日時表示部６０３ａには、各ワンサイクル作業を選択するためのチェックボックスを表示したチェックボックス部６０４が含まれる。このチェックボックス部６０４の機能は、図１０において後述する。

時間表示部６０３ｂは、登録されたワンサイクル作業の情報のうち時間情報を用いて算出された作業時間と移動時間との合計（図９に示す「実時間」）、および、作業時間のみの合計（図９に示す「（作業時間）」）を表示する領域である。

移動距離表示部６０３ｃは、登録されたワンサイクル作業の情報のうち追跡結果情報の中心座標を用いて算出された当該ワンサイクル作業の動線の長さ（例えば、単位をピクセル（ｐｘ）とする）を表示する領域である。

タイムチャート表示部６０３ｄは、登録されたワンサイクル作業の情報のうち時間情報を用いて、各工程（各作業領域）での作業時間を長さで示すタイムチャートを表示する領域である。図９に示す例では、タイムチャート表示部６０３ｄにおいて、各ワンサイクル作業における、１番目の撮像装置２（すなわち、撮像装置２ａ）で撮像された作業領域「１」での作業時間、２番目の撮像装置２で撮像された作業領域「２」での作業時間、３番目の撮像装置２（すなわち、撮像装置２ｃ）で撮像された作業領域「１」での作業時間、および３番目の撮像装置２で撮像された作業領域「２」での作業時間を示すタイムチャートが、それぞれ、「１−１」、「１−２」、「３−１」および「３−２」と表示されている。また、各タイムチャート間の隙間の長さは、それぞれのタイムチャートに対応する作業領域の間を移動する移動時間を示す。

例えば、図９のタイムチャート画面６００の一覧チャート表示部６０３に登録されたワンサイクル作業のうち上から２番目のワンサイクル作業は、「４／１１３：１７」に開始され、実時間（作業時間と移動時間との合計）が１３５秒であり、作業時間の合計が１１９秒であり、動線の長さ（「移動距離（ｐｘ）」）が１３０１（ｐｘ）であることを示している。

図１０に示すタイムチャート画面６００は、一覧チャート表示部６０３に登録されたワンサイクル作業のうち、チェックボックス部６０４で選択されたワンサイクル作業が、分析チャート表示部６０２に登録された状態を示している。具体的には、一覧チャート表示部６０３に登録されたワンサイクル作業のうち、一番上のワンサイクル作業に対応するチェックボックス部６０４のチェックボックスが、入力部３０２を介したユーザの操作により選択された場合に、チャート出力部３２１が、当該ワンサイクル作業の情報を、分析チャート表示部６０２に表示させた状態を示している。すなわち、一覧チャート表示部６０３の一番上のワンサイクル作業の情報のうち、日時表示部６０３ａに表示されている日時が、分析チャート表示部６０２の日時表示部６０２ａに表示され、時間表示部６０３ｂに表示されている実時間および作業時間が、時間表示部６０２ｂに表示され、移動距離表示部６０３ｃに表示されている移動距離が、移動距離表示部６０２ｃに表示され、タイムチャート表示部６０３ｄに表示されているタイムチャートが、タイムチャート表示部６０２ｄに表示される。さらに、分析チャート表示部６０２に登録されたワンサイクル情報に対して、ユーザが入力部３０２を介してメモを入力するためのメモ入力部６０２ｅが確保される。このように、分析チャート表示部６０２にワンサイクル作業の情報が登録されると、当該ワンサイクル作業を選択するためのチェックボックスがチェックボックス部６０５に表示される。このチェックボックス部６０５のチェックボックスは、後述するように標準作業を選択するためのものである。

図１１に示すタイムチャート画面６００は、分析チャート表示部６０２に登録されたワンサイクル作業のうち、チェックボックス部６０５で選択されたワンサイクル作業が、標準チャート表示部６０１に登録された状態を示している。具体的には、分析チャート表示部６０２に登録された１つのワンサイクル作業に対応するチェックボックス部６０５のチェックボックスが、入力部３０２を介したユーザの操作により選択された場合に、チャート出力部３２１（標準登録部の一例）が、当該ワンサイクル作業の情報を、標準チャート表示部６０１に表示させた状態を示している。すなわち、分析チャート表示部６０２に登録されているワンサイクル作業の情報のうち、日時表示部６０２ａに表示されている日時が、標準チャート表示部６０１の日時表示部６０１ａに表示され、時間表示部６０２ｂに表示されている実時間および作業時間が、時間表示部６０１ｂに表示され、移動距離表示部６０２ｃに表示されている移動距離が、移動距離表示部６０１ｃに表示され、タイムチャート表示部６０２ｄに表示されているタイムチャートが、タイムチャート表示部６０１ｄに表示され、メモ入力部６０２ｅに表示されているメモが、メモ入力部６０１ｅに表示される。

以上のように、一覧チャート表示部６０３に登録されたワンサイクル作業のうち、分析対象とするワンサイクル作業を分析チャート表示部６０２に登録し、そして、分析チャート表示部６０２に登録された分析対象のワンサイクル作業の中から、標準作業とみなすワンサイクル作業を標準チャート表示部６０１に登録するものとしている。このように、標準チャート表示部６０１に標準作業としてのワンサイクル作業が登録されると、図１１に示すように、調整ボタン６０６が表示され、ユーザが入力部３０２を介して調整ボタン６０６を押下すると、図１２に示す標準作業調整画面６２０が表示される。

図１２に示す標準作業調整画面６２０は、タイムチャート画面６００の標準チャート表示部６０１に登録されたワンサイクル作業（標準作業）における各工程の作業時間、および、移動時間を調整するための画面である。ユーザは、図１２に示すように、時間調整部６２１の各時間が表示されたボックスの右端を、入力部３０２を介してドラッグ操作することによって、当該各時間を調整することができる。例えば、１番目の撮像装置２（撮像装置２ａ）で撮像された作業領域「２」での作業を終えて、３番目の撮像装置２（撮像装置２ｃ）で撮像された作業領域「１」に移動するまでの時間を調整する場合、「１−２」と「３−１」との間の「移動」の時間を調整すればよい。調整後、設定部３０３は、標準作業調整画面６２０の保存ボタンが押下されることによって、調整された作業時間および移動時間を、それぞれ、タイムチャート画面６００におけるタイムチャート表示部６０１ｄに表示されたタイムチャートの長さ、およびタイムチャート同士の間隔の長さに反映する。一方、設定部３０３は、標準作業調整画面６２０のキャンセルボタンが押下されることによって、標準作業調整画面６２０での調整をキャンセルし、調整された作業時間および移動時間は、タイムチャート画面６００におけるタイムチャート表示部６０１ｄに表示されたタイムチャートの長さ、およびタイムチャート同士の間隔の長さには反映しない。この標準作業調整画面６２０によって標準作業の作業時間および移動時間を調整可能とすることによって、標準作業としての質を向上させることができ、分析対象となるワンサイクル作業のムダの原因究明にさらに寄与することができる。

また、図１１に示すタイムチャート画面６００のように、分析チャート表示部６０２に登録されたワンサイクル作業のうち、チェックボックス部６０５で選択されたワンサイクル作業が、標準チャート表示部６０１に登録されたタイミングで、分析チャート表示部６０２および一覧チャート表示部６０３に登録されたワンサイクル作業の各工程の作業時間について、標準作業の各工程の作業時間と比較してどれくらいのずれがあるのかが示される。具体的には、図１４に示すように、チャート出力部３２１は、タイムチャート表示部６０１ｄに表示された標準作業のタイムチャートの作業時間と比較して、タイムチャート表示部６０２ｄおよびタイムチャート表示部６０３ｄに表示された各ワンサイクル作業のタイムチャートの作業時間にどれだけのずれがあるのかを示すために色分け表示する。ここで、図１３に示す規格は、標準作業のタイムチャートの作業時間に対して、どれだけの割合のずれがあるのかを色分けをして示すための色を規定している。例えば、図１４に示すタイムチャート画面６００において、タイムチャート表示部６０２ｄに表示されたワンサイクルのタイムチャートのうち下側の「３−１」の工程のタイムチャートの作業時間が、対応する標準作業の「３−１」の工程のタイムチャートの作業時間（標準時間）の４５［％］分の長さだけ長いものとする。この場合、チャート出力部３２１は、タイムチャート表示部６０２ｄに表示されたワンサイクルのタイムチャートのうち下側の「３−１」の工程のタイムチャートを、図１３に示す規格の「４０％〜６０％」に対応する色で表示する。なお、図１１のタイムチャート画面６００に示した各ワンサイクル作業の日時と、図１４のタイムチャート画面６００に示した各ワンサイクル作業の日時とが異なっているのは、図１４のタイムチャート画面６００においては、図１１とは異なり、複数のワンサイクル作業が分析チャート表示部６０２に登録された状態を示すこととしたため、便宜上、日時を異なるものとして示したものである。

さらに、図１１に示すタイムチャート画面６００のように、分析チャート表示部６０２に登録されたワンサイクル作業のうち、チェックボックス部６０５で選択されたワンサイクル作業が、標準チャート表示部６０１に登録されたタイミングで、図１４に示すように、ずれ計算ボタン６０７および動線分析ボタン６０８が表示される。ユーザによる入力部３０２による操作により、ずれ計算ボタン６０７が押下されると、ずれ計算部３２２は、標準作業の各工程のタイムチャートの作業時間（標準時間）に対して、タイムチャート表示部６０２ｄおよびタイムチャート表示部６０３ｄに表示された各ワンサイクル作業のタイムチャートの作業時間のずれ量をそれぞれ計算する。ずれ量としては、標準時間に対するタイムチャートの作業時間の時間のずれであってもよく、標準時間に対してタイムチャートの作業時間がどれだけずれているかを示す割合であってもよい。そして、図１５に示すタイムチャート画面６００のように、ずれ計算部３２２は、タイムチャート表示部６０２ｄおよびタイムチャート表示部６０３ｄの各ワンサイクル作業の工程のうち、最もずれ量が大きい工程のそのずれ量および工程名を、ずれ量表示部６０２ｆおよびずれ量表示部６０３ｆにそれぞれ表示させる。ここで、ずれ量が大きいとは、タイムチャートが示す作業時間のずれ量が大きいこと、または、標準時間に対してタイムチャートの作業時間がどれだけずれているかを示す割合が大きいことのいずれかを意味するものとすればよい。図１５のタイムチャート画面６００に示すずれ量は、前者の作業時間のずれ量を示している。例えば、分析チャート表示部６０２に登録されているワンサイクル作業のうち、上側のワンサイクル作業は、標準作業として登録されているので、ずれ量表示部６０２ｆに表示されるずれ量としては「０ｓ」である。また、下側のワンサイクル作業の各工程のうち、「３−１」の工程の作業時間の標準時間に対するずれ量が、当該ワンサイクル作業の他の工程の作業時間のずれ量よりも大きいものとし、そのずれ量および工程名として「２０ｓ（３−１）」と表示している。また、一覧チャート表示部６０３に登録されているワンサイクル作業のうち、最も下側のワンサイクル作業の各工程のうち、「１−１」の工程の作業時間の標準時間に対するずれ量が、当該ワンサイクル作業の他の工程の作業時間のずれ量よりも大きいものとし、そのずれ量および工程名として「１８ｓ（１−１）」と表示している。

図１６に示すタイムチャート画面６００は、一覧チャート表示部６０３に登録されたワンサイクル作業において、タイムチャート表示部６０３ｄに表示されているいずれかの工程のタイムチャートに対する、ユーザによる入力部３０２を介したクリック操作による選択に従って、チャート出力部３２１が、当該工程のタイムチャート、および、そのタイムチャートに対応する他のワンサイクル作業の工程のタイムチャートの開始位置を揃えた状態を示している。図１６に示すタイムチャート画面６００では、一覧チャート表示部６０３に登録されたワンサイクル作業のうち最も上のワンサイクル作業のタイムチャートのうち「３−１」のタイムチャートがクリックされた状態の例が示されている。最も上のワンサイクル作業の「３−１」のタイムチャートがクリック操作されることによって、当該タイムチャート、中段のワンサイクル作業の「３−１」のタイムチャート、および、最も下のワンサイクル作業の「３−１」のタイムチャートの開始位置が揃う。この場合、最も上のワンサイクル作業は標準作業として登録されているため、タイムチャートの開始位置が揃うことによって、他のワンサイクル作業のタイムチャートの作業時間と標準作業の作業時間との差を視覚的に明示することができる。なお、開始位置を揃えることができるタイムチャートは、一覧チャート表示部６０３に登録されたワンサイクル作業だけでなく、分析チャート表示部６０２に登録されたワンサイクル作業のタイムチャートに対しても、同様に開始位置を揃えることができる。

（映像比較画面におけるワンサイクル作業の動作分析）
図１７は、実施の形態に係る情報処理装置の映像比較画面において２つの映像の再生開始時の状態の一例を示す図である。図１８は、実施の形態に係る情報処理装置の映像比較画面において２つの映像を再生した状態の一例を示す図である。図１９は、実施の形態に係る情報処理装置の映像比較画面においてクリックした動線部分に対応する時刻の映像にジャンプする状態の一例を示す図である。図２０は、実施の形態に係る情報処理装置の映像比較画面において動線上における停滞部を示した状態の一例を示す図である。図１７〜図２０を参照しながら、映像比較画面６４０において再生表示される分析対象となるワンサイクル作業の動作を、標準作業の動作と比較して動作分析する動作について説明する。

上述の図１６に示すようなタイムチャート画面６００のように、例えば、分析対象となるワンサイクル作業が登録された分析チャート表示部６０２のタイムチャート表示部６０２ｄにおいて、特定の工程（例えば、「３−１」の工程）の開始位置を揃えた状態で、ユーザによる入力部３０２に対する操作に従って、選択部３２３が、分析対象となるワンサイクル作業のうち２つのワンサイクル作業を選択する。選択の方法としては、例えば、標準作業を登録するためのチェックボックス部６０４以外のチェックボックスを用意し、そのチェックボックスを用いて選択する方法、または、分析チャート表示部６０２に登録されたワンサイクル作業自体をクリック選択することによって網掛け表示等で示すことによって選択する方法等が挙げられる。このように分析チャート表示部６０２において２つのワンサイクル作業が選択された状態で、ユーザが入力部３０２を介して動線分析ボタン６０８を押下すると、図１７に示す映像比較画面６４０が表示される。図１６では、分析チャート表示部６０２で選択された２つのワンサイクル作業は、分析チャート表示部６０２に登録された３つのワンサイクル作業のうち、一番上の標準作業に登録されたワンサイクル作業以外の２つのワンサイクル作業であるものとする。

図１７に示す映像比較画面６４０は、分析対象となるワンサイクル作業の映像を同期して再生表示すると共に、ワンサイクル作業の動線を重畳して表示させることにより、ワンサイクル作業の動作を分析するための画面である。映像比較画面６４０は、図１７に示すように、映像表示部６４１ａと、映像表示部６４１ｂと、分析チャート表示部６４２と、再生ボタン６４３と、停止ボタン６４４と、戻るボタン６４５と、を含む。

映像表示部６４１ａ、６４１ｂは、それぞれ、図１６に示すタイムチャート画面６００の分析チャート表示部６０２で選択部３２３により選択された２つのワンサイクル作業に対応する映像データを再生表示するための表示領域である。具体的には、第２再生部３２４が、選択部３２３により選択された２つのワンサイクル作業に対応する映像データを、それぞれ映像表示部６４１ａ、６４１ｂに同期して再生表示させる。図１７に示す映像比較画面６４０の例では、映像表示部６４１ａ、６４１ｂのそれぞれに、作業領域「１」、「２」が表示されている。

分析チャート表示部６４２は、タイムチャート画面６００の分析チャート表示部６０２で表示されていた内容を表示する表示領域である。分析チャート表示部６４２は、日時表示部６４２ａと、時間表示部６４２ｂと、移動距離表示部６４２ｃと、タイムチャート表示部６４２ｄと、メモ入力部６４２ｅと、ずれ量表示部６４２ｆと、を含む。

再生ボタン６４３は、ユーザによる入力部３０２を介した押下操作に従って、選択部３２３により選択された２つのワンサイクル作業に対応する映像データを、映像表示部６４１ａ、６４１ｂそれぞれに、第２再生部３２４により再生表示させるためのボタンである。

停止ボタン６４４は、ユーザによる入力部３０２を介した押下操作により、第２再生部３２４によって、映像表示部６４１ａ、６４１ｂにそれぞれ再生表示されている映像データを停止させるためのボタンである。

戻るボタン６４５は、ユーザによる入力部３０２を介した押下操作により、タイムチャート画面６００に遷移させるためのボタンである。

また、図１７に示す映像比較画面６４０の分析チャート表示部６４２には、３つのワンサイクル作業が登録されているものとし、最も上のワンサイクル作業が標準作業に登録されているものとする。また、メモ入力部６４２ｅには、上のワンサイクル作業から、それぞれ、「標準」、「Ａ−１」、「Ｂ−１」と入力されているものとする。そして、図１７の映像比較画面６４０に示すように、軌跡出力部３２５は、分析チャート表示部６４２に登録された３つのワンサイクル作業に対応する記憶部３０４に記憶された追跡結果情報をそれぞれ参照し、例えば、図８に示す追跡結果テーブル１０００の「中心座標」を結ぶことによって、図１７に示すように、「標準」、「Ａ−１」および「Ｂ−１」に対応する動線を映像データに重畳して表示する。

図１８に示す映像比較画面６４０は、ユーザが入力部３０２を介して再生ボタン６４３を押下して、映像表示部６４１ａ、６４１ｂにおいてそれぞれ映像データの再生表示が開始された状態を示す画面である。映像表示部６４１ａでは、メモ入力部６４２ｅに「Ａ−１」と入力されたワンサイクル作業（以下、単に、「Ａ−１」のワンサイクル作業と称する）の映像データが、第２再生部３２４によって再生表示される。映像表示部６４１ｂでは、メモ入力部６４２ｅに「Ｂ−１」と入力されたワンサイクル作業（以下、単に、「Ｂ−１」のワンサイクル作業と称する）の映像データが、第２再生部３２４によって再生表示される。また、第２再生部３２４が映像データの再生を開始する位置は、上述の図１６において開始位置を揃えたタイムチャート（図１８の例では、工程が「３−１」のタイムチャート）の当該開始位置である。

映像表示部６４１ａでは、作業者５１０の追跡対象が、「Ａ−１」のワンサイクル作業の動線に沿って動き、例えば、図１８に示すように、軌跡出力部３２５により、追跡対象が通過した後の動線上にはプロットが表示される。映像表示部６４１ｂでは、作業者５２０の追跡対象が、「Ｂ−１」のワンサイクル作業の動線に沿って動き、例えば、図１８に示すように、軌跡出力部３２５により、追跡対象が通過した後の動線上にはプロットが表示される。なお、追跡対象が通過した後の動線を示すためにプロットを表示させることに限定されるものではなく、例えば、太線化して示すものとしてもよい。

以上のように、分析対象となるワンサイクル作業の映像データを表示し、そのワンサイクル作業の動線、および標準作業の動線を重畳して表示させることによって、標準作業の動線と比較しながら、分析対象のワンサイクル作業の動作を分析することが可能になる。

また、標準作業ではないものの２つのワンサイクル作業の動作を、同期して再生表示された映像で比較することもできるので、双方の作業の効率性等の動作の分析にも寄与する。

なお、図１７および図１８に示す映像比較画面６４０では、図１６に示すタイムチャート画面６００において選択部３２３により選択された２つのワンサイクル作業の映像データがそれぞれ再生表示されるものとしたが、これに限定されるものではない。すなわち、タイムチャート画面６００では、分析チャート表示部６０２に登録されたワンサイクル作業のうち１つまたは３つ以上のワンサイクル作業を選択できるものとし、第２再生部３２４は、映像比較画面６４０で選択された１つのワンサイクル作業の映像データを再生表示、または３つ以上のワンサイクル作業の映像データをそれぞれ同期して再生表示させるものとしてもよい。この場合、軌跡出力部３２５は、選択されたワンサイクル作業それぞれの動線、および標準作業の動線を、映像データに重畳して表示するものとすればよい。または、映像比較画面６４０で再生表示されている映像に対して、分析チャート表示部６０２に登録されたワンサイクル作業の動線（標準作業の動線を含む）すべてを重畳して表示させるものとしてもよい。

また、図１７および図１８に示す映像比較画面６４０では、標準作業ではない「Ａ−１」のワンサイクル作業、および「Ｂ−１」のワンサイクル作業に対応する映像データをそれぞれ再生表示させるものとしているが、これに限定されるものではない。すなわち、図１６に示すタイムチャート画面６００において、標準作業を選択して、映像比較画面６４０において標準作業に対応する映像データを再生表示させることも可能である。この場合、分析対象のワンサイクル作業の映像データ、および標準作業の映像データを同期して再生表示することになるので、必ずしも動線を重畳表示させなくても、分析対象のワンサイクル作業の動作を分析することが可能となる。なお、分析対象のワンサイクル作業の映像データに分析対象のワンサイクル作業の動線を重畳して表示させ、標準作業の映像データに標準作業の動線を重畳して表示させるようにしてもよい。

＜映像比較画面において任意の時刻の映像にジャンプする動作＞
図１９は、実施の形態に係る情報処理装置の映像比較画面においてクリックした動線部分に対応する時刻の映像にジャンプする状態の一例を示す図である。図１９を参照しながら、映像比較画面６４０において重畳して表示されている動線の任意の位置をクリックすることによって、当該位置に対応した時刻の映像にジャンプする動作について説明する。

図１９に示す映像比較画面６４０は、ユーザが入力部３０２を介して、映像表示部６４１ａに重畳して表示されている動線の任意の位置を押下操作（例えば、マウス１０８によるクリック操作）することによって、押下された動線の位置に対応する時刻の映像にジャンプした状態を示す画面である。例えば、図１８に示す映像比較画面６４０のように、「３−１」の工程の動作の再生表示が開始されてから所定の時間が経過した状態で、図１９の矢印（カーソル）で示される「Ａ−１」のワンサイクル作業の動線の特定の位置が押下操作されると、第２再生部３２４は、映像表示部６４１ａにおいて、その特定の位置に対応した時刻の「Ａ−１」のワンサイクル作業の映像にジャンプさせる。このとき、映像表示部６４１ｂでは、第２再生部３２４は、「Ａ−１」のワンサイクル作業の動線の特定の位置に対応する時刻の「Ｂ−１」のワンサイクル作業の映像にジャンプさせる。図１９に示す映像比較画面６４０の例では、映像表示部６４１ａにおいて「Ａ−１」のワンサイクル作業の動線上で押下操作された特定の位置は、作業エリア「１」から作業エリア「２」へ向かう移動途中の位置であるのに対し、映像表示部６４１ｂにおいて、対応する時刻では、作業者５２０は既に作業エリア「２」内で作業を開始していることが把握できる。

なお、図１９に示す映像比較画面６４０の例では、映像表示部６４１ａに表示された「Ａ−１」に対応するワンサイクル作業の動線に対する押下操作に伴うジャンプ動作について説明したが、これに限定されるものではない。すなわち、「Ａ−１」のワンサイクル作業の映像が再生表示されている映像表示部６４１ａにおいて、表示されている「Ｂ−１」のワンサイクル作業または標準作業の動線の特定の位置を押下操作することが可能であってもよい。この場合、映像表示部６４１ａにおいて、「Ｂ−１」のワンサイクル作業または標準作業の動線の特定の位置に対応した時刻の「Ａ−１」のワンサイクル作業の映像にジャンプするものとすればよい。

また、映像表示部６４１ａに表示された動線に対してだけではなく、映像表示部６４１ｂに表示された動線（標準作業、「Ａ−１」および「Ｂ−１」のワンサイクル作業に対応する動線）に対して押下操作を行った場合も、同様の動作が実行される。

以上のように、再生ボタン６４３に対する押下操作によって、第２再生部３２４による再生表示が開始されてから、表示されている任意の動線の任意の位置を押下操作することによって、その位置に対応する時刻の映像を表示させることができる。これによって、映像表示部６４１ａ、６４１ｂにおいて、対応する時刻において双方の作業者の位置および作業状況を確認することができるので、ワンサイクル作業の効率性等の動作の分析に大きく寄与することができる。

＜映像比較画面において作業の停滞部を明示する動作＞
図２０は、実施の形態に係る情報処理装置の映像比較画面において動線上における停滞部を示した状態の一例を示す図である。図２０を参照しながら、映像比較画面６４０で、ワンサイクル作業において移動または作業に時間が通常よりもかかっている（停滞している）部分である停滞部を明示する動作について説明する。

図２０に示す映像比較画面６４０は、映像表示部６４１ａに示される作業者５１０の追跡対象の動線において、作業者５１０による作業（「Ａ−１」のワンサイクル作業）が停滞している部分である停滞部８０１を明示した状態を示す画面である。図２０に示すように、停滞部８０１は、作業者５１０が作業領域「１」から作業領域「２」へ移動する間に停滞が発生したことを示している。なお、停滞部８０１を明示する方法としては、図２０に示すように、プロットの大きさ、形状または色等を変えて示す方法の他、停滞部８０１の動線を停滞部８０１以外の動線よりも太線化する方法、または、停滞部８０１の部分が停滞していることを示すようにその他のマーキング表示によって明示する方法等であってもよい。また、停滞部８０１においてどれだけ停滞したのかが視覚的にわかるように表示するものとしてもよい。例えば、停滞部８０１をプロットの大きさ、形状または色等を変えて示す場合、そのプロットを停滞した時間に比例して大きく表示させるものとしてもよい。

次に追跡対象の動線において、その追跡対象を含む作業者のワンサイクル作業のうち停滞しているか否かを判定する方法について説明する。第２判定部３２６は、映像表示部６４１ａまたは映像表示部６４１ｂに表示されている映像データの各フレームの追跡対象の検出位置から、所定時間（例えば、５秒）先のフレームにおける追跡対象の検出位置までの動線の長さ（移動量）を求めて、求めた移動量が所定値以下であるか否かを判定し、所定値以下である場合、作業者による作業が停滞していると判定する。ここで、作業が停滞しているとは、各作業領域で作業が停滞している場合、または、作業領域と作業領域との移動時に停滞している場合等が挙げられる。なお、第２判定部３２６は、各フレームの追跡対象の検出位置から、所定時間先のフレームにおける追跡対象の検出位置までの動線の長さ（移動量）を求めるものとしたが、所定時間前のフレームにおける追跡対象の検出位置までの動線の長さを求めるものとしてもよい。

そして、マーキング部３２７は、第２判定部３２６によって所定時間あたりの移動量が所定値以下と判定された動線上の停滞部（例えば、図２０に示す停滞部８０１）に対して停滞を示すためのマーキングを行う。なお、停滞を示すためのマーキング方法（停滞部を明示する方法）は、上述した通りである。

以上のように、再生表示されている映像に重畳して表示された動線において、作業が停滞していると判定された部分（停滞部）を明示するものとしている。これによって、分析対象のワンサイクル作業において、作業が停滞していることにより時間がかかっている部分を特定することができ、その部分の作業方法等の改善を図ることができ、ワンサイクル作業の効率性等の動作の分析に大きく寄与することができる。

なお、上述の実施の形態の設定部３０３、第１再生部３０５、取得部３０６、指定部３０７、登録部３０８、検出部３０９、第１判定部３１０、計測部３１１、チャート出力部３２１、ずれ計算部３２２、選択部３２３、第２再生部３２４、軌跡出力部３２５、第２判定部３２６、マーキング部３２７、管理部３２８、および表示制御部３２９の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態の情報処理装置５で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｋＲｅｃｏｒｄａｂｌｅ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態の情報処理装置５で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の情報処理装置５で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の情報処理装置５で実行されるプログラムは、上述した各機能部の少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上述のＲＯＭからプログラムを読み出して実行することにより、上述の各部が主記憶装置上にロードされて生成されるようになっている。

１画像処理システム
２、２ａ〜２ｄ撮像装置
３情報収集装置
４ハブ
５情報処理装置
１０外部機器
１０１ＣＰＵ
１０２ＲＯＭ
１０３ＲＡＭ
１０４外部記憶装置
１０５ディスプレイ
１０６ネットワークＩ／Ｆ
１０７キーボード
１０８マウス
１０９ＤＶＤドライブ
１１０ＤＶＤ
１１１外部機器Ｉ／Ｆ
１１３バス
２０１受信部
２０２管理部
２５１記憶部
３０１受信部
３０２入力部
３０３設定部
３０４記憶部
３０５第１再生部
３０６取得部
３０７指定部
３０８登録部
３０９検出部
３１０第１判定部
３１１計測部
３２１チャート出力部
３２２ずれ計算部
３２３選択部
３２４第２再生部
３２５軌跡出力部
３２６第２判定部
３２７マーキング部
３２８管理部
３２９表示制御部
３３０表示部
４００追跡画面
４０１個別表示部
４０１ａカメラ選択タブ
４０３映像操作ボタン部
４０４シークバー
４０５スライダ
４０６拡大縮小ボタン部
４０７スパン変更ボタン部
４０８時刻表示部
４０９登録ボタン
４１０追跡開始ボタン
４１１追跡停止ボタン
５００作業者
５０１追跡対象
５１０、５２０作業者
５５０指定領域
５６１〜５６３作業領域
６００タイムチャート画面
６０１標準チャート表示部
６０１ａ日時表示部
６０１ｂ時間表示部
６０１ｃ移動距離表示部
６０１ｄタイムチャート表示部
６０１ｅメモ入力部
６０２分析チャート表示部
６０２ａ日時表示部
６０２ｂ時間表示部
６０２ｃ移動距離表示部
６０２ｄタイムチャート表示部
６０２ｅメモ入力部
６０２ｆずれ量表示部
６０３一覧チャート表示部
６０３ａ日時表示部
６０３ｂ時間表示部
６０３ｃ移動距離表示部
６０３ｄタイムチャート表示部
６０３ｆずれ量表示部
６０４、６０５チェックボックス部
６０６調整ボタン
６０７ずれ計算ボタン
６０８動線分析ボタン
６２０標準作業調整画面
６２１時間調整部
６４０映像比較画面
６４１ａ、６４１ｂ映像表示部
６４２分析チャート表示部
６４２ａ日時表示部
６４２ｂ時間表示部
６４２ｃ移動距離表示部
６４２ｄタイムチャート表示部
６４２ｅメモ入力部
６４２ｆずれ量表示部
６４３再生ボタン
６４４停止ボタン
６４５戻るボタン
８００動線
８０１停滞部
１０００追跡結果テーブル

特許第４６６５６２１号公報

Claims

所定単位の一連の作業であるワンサイクル作業に関する時間情報に基づいて、前記ワンサイクル作業の各工程での作業時間を示すタイムチャートを作成する作成部と、
複数の前記ワンサイクル作業から、ユーザーの選択操作に基づいて、分析対象とするワンサイクル作業または標準作業とみなすワンサイクル作業を選択する選択部と、
前記選択部により選択された前記ワンサイクル作業の映像データを、表示装置の所定の表示領域に再生表示させる再生部と、
標準作業での追跡対象の動作を示す情報を、前記再生部により再生表示されている前記映像データと共に表示させる標準表示部と、を備える画像処理装置であって、
前記作成部は、複数の前記ワンサイクル作業のうち少なくとも一つのワンサイクル作業のタイムチャートを第１のチャート表示部に表示させ、前記第１のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第２のチャート表示部に表示させ、前記第２のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第３のチャート表示部に表示させる、画像処理装置。
前記標準表示部は、前記再生部により再生表示される前記映像データの前記表示領域と異なる表示領域に、前記標準作業での追跡対象の動作を示す情報として前記標準作業の映像データを、該再生部により再生表示される前記映像データと同期して再生表示させる請求項１に記載の画像処理装置。
前記標準表示部は、前記選択部により選択された前記ワンサイクル作業における追跡対象の動線、および、前記標準作業での追跡対象の動作を示す情報としての前記標準作業の追跡対象の動線を、前記映像データが再生表示されている前記表示領域に重畳して表示させる動線表示部である請求項１に記載の画像処理装置。
前記再生部は、前記表示装置の複数の前記表示領域において、前記選択部により選択された複数の前記ワンサイクル作業の映像データをそれぞれ同期して再生表示させる請求項３に記載の画像処理装置。
前記作成部は、入力装置に対する操作によって、前記ワンサイクル作業に対応する特定の工程のタイムチャートが選択された場合、該特定の工程のタイムチャートの開始位置、および該タイムチャートに対応するワンサイクル作業とは異なるワンサイクル作業の該特定の工程に対応する工程のタイムチャートの開始位置をそれぞれ揃えて前記表示装置に表示させる請求項１〜４のいずれか一項に記載の画像処理装置。
前記作成部は、複数の前記ワンサイクル作業の各工程のタイムチャートを、前記標準作業の各工程のタイムチャートと比較した場合の作業時間のずれに基づいて、色分けして表示させる請求項１〜５のいずれか一項に記載の画像処理装置。
前記動線表示部は、撮像装置で撮像された前記映像データで検出された追跡対象の位置情報を含む追跡結果情報に基づいて前記動線を前記表示領域に重畳して表示させる請求項３または４に記載の画像処理装置。
前記動線表示部により表示されている動線について、該動線に対応する追跡対象の所定時間における移動量が所定値以下である該動線の部分に対して、停滞していることを示すマーキングを行うマーキング部を、さらに備えた請求項３、４または７に記載の画像処理装置。
前記再生部は、入力装置に対する操作により、前記動線表示部により表示されている動線の特定の位置が選択された場合、該特定の位置に対応する時刻から前記映像データを前記表示領域に再生表示させる請求項３、４、７または８に記載の画像処理装置。
前記動線表示部は、前記再生部による前記映像データの再生表示に従って、前記追跡対象が通過した後の該追跡対象に対応する動線の部分を、通過する前の該動線の部分と態様が異なるように表示させる請求項３、４、７〜９のいずれか一項に記載の画像処理装置。
前記再生部により再生表示されている前記映像データにおいて、追跡対象が予め設定された１以上の作業領域に存在するか否かを判定する判定部と、
前記判定部による判定結果に基づいて、該追跡対象が作業領域にいる作業時間、および該追跡対象が作業領域から別の作業領域に移動する移動時間を計測して、前記作業時間および前記移動時間を含む前記時間情報を求める計測部と、
をさらに備えた請求項１〜１０のいずれか一項に記載の画像処理装置。
前記標準作業に対応する前記作業時間および前記移動時間を調整する調整部を、さらに備えた請求項１１に記載の画像処理装置。
複数の前記ワンサイクル作業から前記標準作業を登録する標準登録部を、さらに備えた請求項１〜１２のいずれか一項に記載の画像処理装置。
１以上の撮像装置と、
請求項１〜１３のいずれか一項に記載の画像処理装置と、
を備えた画像処理システム。
作成部、選択部、再生部及び標準表示部が情報処理装置に実装され、
前記作成部が、所定単位の一連の作業であるワンサイクル作業に関する時間情報に基づいて、前記ワンサイクル作業の各工程での作業時間を示すタイムチャートを作成する作成ステップと、
前記選択部が、複数の前記ワンサイクル作業から、ユーザーの選択操作に基づいて、分析対象とするワンサイクル作業または標準作業とみなすワンサイクル作業を選択する選択ステップと、
前記再生部が、選択した前記ワンサイクル作業の映像データを、表示装置の所定の表示領域に再生表示させる再生ステップと、
前記標準表示部が、標準作業での追跡対象の動作を示す情報を、再生表示している前記映像データと共に表示させる標準表示ステップと、を有する画像処理方法であって、
前記作成ステップは、複数の前記ワンサイクル作業のうち少なくとも一つのワンサイクル作業のタイムチャートを第１のチャート表示部に表示させ、前記第１のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第２のチャート表示部に表示させ、前記第２のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第３のチャート表示部に表示させる、画像処理方法。
コンピュータに、
所定単位の一連の作業であるワンサイクル作業に関する時間情報に基づいて、前記ワンサイクル作業の各工程での作業時間を示すタイムチャートを作成する作成処理と、
複数の前記ワンサイクル作業から、ユーザーの選択操作に基づいて、分析対象とするワンサイクル作業または標準作業とみなすワンサイクル作業を選択する選択処理と、
選択した前記ワンサイクル作業の映像データを、表示装置の所定の表示領域に再生表示させる再生処理と、
標準作業での追跡対象の動作を示す情報を、再生表示している前記映像データと共に表示させる標準表示処理と、を実行させるためのプログラムであって、
前記作成処理は、複数の前記ワンサイクル作業のうち少なくとも一つのワンサイクル作業のタイムチャートを第１のチャート表示部に表示させ、前記第１のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第２のチャート表示部に表示させ、前記第２のチャート表示部に表示された前記ワンサイクル作業から前記選択部により選択された前記ワンサイクル作業のタイムチャートを第３のチャート表示部に表示させる、プログラム。