WO2007105652A1

WO2007105652A1 - 画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法

Info

Publication number: WO2007105652A1
Application number: PCT/JP2007/054719
Authority: WO
Inventors: Yoshimi Nakazaki
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2006-03-10
Filing date: 2007-03-09
Publication date: 2007-09-20
Also published as: JP2007243846A

Abstract

　本発明の課題は、工場内の繰り返し作業の作業現場における工程分析を、画像を用いて効率的に行うことができる画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法を提供することである。　デジタルディスクレコーダ（３）に記録した作業現場を撮像した、映像を構成する画像の中から、画像抽出部（４１）が画像内の指定された位置に指定されたものが撮像された画像パターンを含む画像を抽出して、その繰り返し現れる時間間隔を算出し、グループ分け部（４２）がその出現頻度が略同じ時間間隔ごとに時間間隔をグループ分けしてヒストグラムを作成し、画像／時間間隔取得部（４３）がグループの中で指定された画像及び時間間隔を取得し、表示制御部（４４）が取得した画像及び時間間隔をディスプレイ（７）に表示させる。これにより、工程の区切りを、作業現場が撮像された画像と時間間隔とともに効率よく表示することができる。

Description

明細書

画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法技術分野

[0001] 本発明は、工場などでの作業工程分析に使用する映像記録を用いた画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法に関する。

背景技術

[0002] 従来、工場内の作業現場における作業効率向上を図るため、工程分析が行われている。ここで工程とは 1つの作業を細分ィ匕したもので、例えばねじ留め作業は、ねじを摘み取る、ねじをドライバに装着する、ねじを締めるという 3つの工程に細分ィ匕され、各工程の作業時間の妥当性を評価'判断することを工程分析という。特に人 (作業者 )が介在する製造ラインでは、作業性の良し悪しによって 1つの作業を開始してから終えるまでの時間にばらつきが生じることがあるので、工程分析を行うことは作業効率を向上させるうえで非常に重要である。従来、ビデオカメラで作業者の手の動きなどの作業の様子を撮影して記録した映像を再生しながら、ストップウォッチ等により作業時間を計測し記録することを行っている。また、ビデオカメラで作業の様子を撮影して記録した映像をコンピュータ上で再生させ、マウス等でクリックすること〖こより工程の区切りをコンピュータへ入力し、工程の区切りの時間間隔力も作業時間を算出するようにしたコンピュータ支援作業解析装置が提案されている (例えば、特許文献 1参照)。

[0003] 特許文献 1 :特開平 6— 231137号公報

発明の開示

発明が解決しょうとする課題

[0004] し力しながら、従来の工程分析方法においては、作業の様子を長時間（たとえば 1 日間）にわたつて撮影して記録した映像を繰り返し再生しながらストップウォッチ等により作業時間を計測し記録することは非常に手間が力かり面倒であった。また、コンビユータ支援作業解析装置においては、ストップウォッチ等を使わず、マウスクリックのみで各工程の作業時間が求められる力工程分析に使用する記録されたすベての映像に対して、工程の区切りをコンピュータへ入力するといつた人手による作業を伴うため、工程分析を短時間に効率よく行うことが困難であった。

[0005] 本発明は、係る事情に鑑みてなされたものであり、画像認識技術を用いて各工程の区切りを抽出し、各工程の作業時間を、たとえ画像認識の精度が低くとも効率的に算出し、工場などの作業現場における工程分析を短時間で行えるよう、直感的に提示することができる画像抽出分析装置、画像抽出分析システム及び画像抽出分析方法を提供することを目的とする。

課題を解決するための手段

[0006] 上記目的は下記構成及び方法により達成される。

本発明の画像抽出分析装置は、映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析装置であつて、前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、入力された選択指示に応じて、前記グループ分け手段でグループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像 z時間間隔取得手段と、前記画像 Z時間間隔取得手段で取得された画像及び時間間隔を表示させる表示制御手段と、を備えたものである。

[0007] この構成によれば、記録された映像の中カゝらユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中からユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔をデイスプレイ上に表示させるので、各工程でどの作業に時間が力かっているかを画像及び時間間隔力も短時間に把握することができる。またグループ分けを行うことにより、画像の抽出に失敗したものを抽出に成功したものから分別することができるため、たとえ画像認識の精度が低くとも抽出に失敗したものだけをユーザは工程の区切りの分析をすればよぐ効率的に工程分析を行うことができる。

[0008] 本発明の画像抽出分析装置は、映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成する映像記録指示生成手段と、前記映像記録指示を、前記映像記録装置へ出力する映像記録指示出力手段と、を備えたものである。

[0009] この構成によれば、映像記録装置における映像の記録と並行して画像の抽出、グループ分け、画像及び時間間隔の取得ができるので、工程分析に使用する一連の作業の撮影を完了まで待つことなぐ作業現場における工程分析を、映像を記録しな力行うことができる。

[0010] 本発明の画像抽出分析装置は、前記画像抽出手段は、さらに、作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出するものである。

[0011] この構成によれば、画像パターンの認識により工程の区切りの認識が正しくできない場合であっても、操作信号が入力された時刻を代用することにより、画像認識精度の低さをネ ΐ足することがでさる。

[0012] 本発明の画像抽出分析装置は、前記表示制御手段は、さらに、前記グループ分け手段でグループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させるものである。

[0013] この構成によれば、工程の作業時間を直感的に提示することができる。

[0014] 本発明の画像抽出分析システムは、作業者が繰り返し行う作業の様子を撮像する複数のカメラと、前記カメラの映像信号を映像として記録する映像記録装置と、前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、前記グループの選択指示を入力する選択指示入力手段と、入力された前記選択指示に応じて、前記グループ分け手段でダループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像 Ζ時間間隔取得手段と、前記画像 Ζ時間間隔取得手段で取得された画像及び時間間隔を表示させる表示制御手段と、前記表示制御手段の出力を表示するディスプレイと、を備えたものである。

[0015] この構成によれば、記録した映像の中力ユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中力もユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔をディスプレイ上に表示するので、各工程でどの作業に時間が力かっているかを画像及び時間間隔力も短時間に把握することができる。またグループ分けを行うことにより、画像の抽出に失敗したものを抽出に成功したもの力分別することができるため、たとえ画像認識の精度が低くとも抽出に失敗したものだけをユーザは工程の区切りの分析をすればよぐ効率的に工程分析を行うことができる。

[0016] 本発明の画像抽出分析方法は、映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析方法であつて、前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出するステップと、抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするステツプと、入力された選択指示に応じて、グループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得するステップと、取得された画像及び時間間隔を表示させるステップと、を有するものである。

[0017] この方法によれば、記録された映像の中力ユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中からユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔をデイスプレイ上に表示させるので、各工程でどの作業に時間が力かっているかを画像及び時間間隔力も短時間に把握することができる。またグループ分けを行うことにより、画像の抽出に失敗したものを抽出に成功したものから分別することができるため、たとえ画像認識の精度が低くとも抽出に失敗したものだけをユーザは工程の区切りの分析をすればよぐ効率的に工程分析を行うことができる。

[0018] 本発明の画像抽出分析方法は、映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成するものである。

[0019] この方法によれば、映像記録装置における映像の記録と並行して画像の抽出、グループ分け、画像及び時間間隔の取得ができるので、工程分析に使用する一連の作業の撮影を完了まで待つことなぐ作業現場における工程分析を、映像を記録しな力行うことができる。

[0020] 本発明の画像抽出分析方法は、作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出するステップをさらに有するものである。

[0021] この方法によれば、画像パターンの認識により工程の区切りの認識が正しくできない場合であっても、操作信号が入力された時刻を代用することにより、画像認識精度の低さをネ ΐ足することがでさる。

[0022] 本発明の画像抽出分析方法は、グループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させることを特徴とするものである。

[0023] この方法によれば、工程の作業時間を直感的に提示することができる。

[0024] 本発明のプログラムは、前述のいずれか方法の各ステップを、コンピュータ上で実行させるためのものである。

[0025] このプログラムによっても、上述の本発明の方法と同様の利点が得られる。

[0026] 本発明の記録媒体は、上記プログラムのいずれかが記録されたものである。

[0027] この記録媒体によっても、上述の本発明のプログラムと同様の利点が得られる。

発明の効果

[0028] 本発明によれば、記録した映像の中力ユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像間隔を自動的に算出して略同じ画像間隔ごとにグループ分けし、さらにグループ分けした複数のグループの中からユーザ指定されたグループの画像及び時間間隔を取得し、取得した画像及び時間間隔を工程分祈のためにディスプレイ上に表示させるので、各工程の区切りを効率的に抽出し、各工程の作業時間を、たとえ画像認識の精度が低くとも効率的に算出でき、従来のように工程分析に必要な記録映像のすべてを順次的に見ることなしに「標準的な作業時間であった映像」、「作業時間が異常に長力つたり短力たりした映像」、「画像認識に失敗した映像」を直感的に提示することができ、工程分析を飛躍的に効率化させることができる。

図面の簡単な説明

[図 1]本発明の実施の形態 1に係る画像抽出分析システムの構成を示すブロック図 [図 2]本発明の実施の形態 1に係ると画像抽出分析装置構成を示すブロック図

[図 3]本発明の実施の形態 1に係る画像抽出分析システムのデジタルディスクレコーダに記録された映像の一部を示す図

[図 4]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置がュ一ザ指定に従って取得した画像パターンを示す図

[図 5]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図

4の画像パターンを用いて記録映像カゝら抽出した画像を示す図

[図 6]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図

4の画像パターンを用、て記録映像力も抽出した画像の時間間隔を示す図

[図 7]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図

6の時間間隔を用いて生成したヒストグラムの一例を示す図

[図 8]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図

7のヒストグラムの画像をサムネイル形式に変換した画像を示す図

[図 9]本発明の実施の形態 1に係る画像抽出分析システムのカメラの外観を示す図

[図 10]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図 4の画像パターンを用いて工程分析を行うための表示を示す図

[図 11]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置がユーザ指定に従って取得した他の画像パターンを示す図

[図 12]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図 11の画像パターンを用、て記録映像力抽出した画像の時間間隔を示す図 [図 13]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図 12の時間間隔を用いて生成したヒストグラムの一例を示す図

[図 14]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図 12のヒストグラムの画像をサムネイル形式に変換した画像の一例を示す図

[図 15]本発明の実施の形態 1に係る画像抽出分析システムの画像抽出分析装置が図 4と図 11の各画像パターンを用いて工程分析を行うための表示を示す図

[図 16]本発明の実施の形態 1に係る画像抽出分析システムの動作を説明するためのフローチャート

[図 17]本発明の実施の形態 2に係る画像抽出分析システムの構成を示すブロック図 [図 18]本発明の実施の形態 2に係る画像抽出分析装置の構成を示すブロック図 [図 19]本発明の実施の形態 2に係る画像抽出分析システムの動作を説明するためのフローチャート

[図 20]本発明の実施の形態 3に係る画像抽出分析装置の構成を示すブロック図 [図 21]本発明の実施の形態 3に係る画像抽出分析システムの動作を説明するための主要部フローチャート

符号の説明

1、 1A 画像抽出分析システム

2 カメラ

3 デジタルディスクレコーダ

4、4A 画像抽出分析装置

5 キーボード、

6 マウス

7 ディスプレイ

10 矩形部分

11 瓶

30 釦スィッチ

31 ハブ

41、41A 画像抽出部

42 グループ分け部

43 画像 Z時間間隔取得部

44 表示制御部 46 映像記録指示生成部

47 映像記録指示出力部

発明を実施するための最良の形態

[0031] 以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

[0032] (実施の形態 1)

図 1は、本発明の実施の形態 1に係る画像抽出分析システムの構成を示すブロック図である。図 1において、本実施の形態に係る画像抽出分析システム 1は、作業者による各工程が行われる場所に設置され作業の様子を撮像する複数台のカメラ 2と、各カメラ 2からの映像信号を記録するデジタルディスクレコーダ（映像記録装置） 3と、デジタルディスクレコーダ 3に記録された映像力ゝら各工程における作業分析に使用する画像を抽出し表示する画像抽出分析装置 4と、画像抽出分析装置 4で使用する選択指示を入力するためのキーボード 5、マウス 6及び、抽出分析結果を表示するためのディスプレイ 7とを備えて構成される。マウス 6のほか、トラックボールやジョイスティックなどのポインティングデバイスの使用も勿論可能である。

[0033] カメラ 2は、 CCD (Charge Coupled Device)や CMOS (Complementary M etal Oxide Semiconductor)等の撮像素子を備えており、映像信号を出力する。カメラ 2にはパン及びチルトを可能とする回動機構やズーム機能が設けられている。カメラ 2の外観を図 9に示す。このカメラ 2は、所謂ドーム型カラーカメラと呼ばれるものである。デジタルディスクレコーダ 3は、記録装置としてハードディスクドライブ（図示略)を備えており、カメラ 2からの映像信号を記録するとともに、記録した映像を外部へ出力する。なお、デジタルディスクレコーダ 3は映像信号の記録と同時に外部へ出力することも勿論可能である。これにより、工程分析用の映像の記録と並列にユーザ指定された位置及び画像パターンの画像を抽出することができる。また、デジタルデイスクレコーダ 3に搭載される記録装置としては、上記ハードディスクドライブの他に光ディスクドライブ等があり、これらの使用も勿論可能である。

[0034] 画像抽出分析装置 4は、図示せぬ CPU (Central Processing Unit) , RAM (R andom Access Memory)、 ROM (Read Onlv Memory)、ノヽードデイスクドライブ、各種インタフェースを備えて構成されている。画像抽出分析装置 4に内蔵されたハードディスクドライブの記録媒体にはパソコンの主要な動作を司る OS (Operati ng System)の他に、アプリケーションソフトウェアとして本発明のプログラムや画像抽出分析を行うプログラムが格納されている。また、 OSにはディスプレイ 7の画面に表示される情報を見ながら操作を行うことができるグラフィカルユーザインタフェースが設けられている。画像抽出分析装置 4の操作を行うユーザは、ユーザからの指示入力手段であるグラフィカルユーザインタフェースを利用してキーボード 5やマウス 6 からデータ入力を行う。画像抽出分析装置 4の ROMには、 CPUの周辺デバイスやキーボード 5、マウス 6等の周辺機器を制御するプログラム（所謂 BIOS : Basic Inpu t/Output Systemと呼ばれるプログラム）が格納されている。画像抽出分析装置 4 の RAMは CPUの命令実行動作にぉヽて使用される所謂メインメモリである。画像抽出分析装置 4は、ハードディスクドライブを内蔵しない組み込み型の装置や、 CPU等を使用しなヽ専用回路で実装された装置であっても勿論可能である。

画像抽出分析装置 4は、上述した画像抽出分析を行うプログラムに従ってデジタルディスクレコーダ 3に記録された工程分析用の映像カゝら画像を抽出し表示する。図 2 は、画像抽出分析装置 4の構成を示すブロック図である。同図に示すように、画像抽出分析機能は、画像抽出部 (画像抽出手段) 41と、グループ分け部 (グループ分け手段) 42と、画像 Z時間間隔取得部 (画像 Z時間間隔取得手段) 43と、表示制御部 (表示制御手段) 44とで実現される。画像抽出部 41は、デジタルディスクレコーダ 3に記録された工程分析用の映像の中力もユーザがマウス 6又はキーボード 5を使用して指定した画像を抽出する。なお、以下の説明では、専らマウス 6を使用して操作を行うものとする力キーボード 5の使用や、マウス 6とキーボード 5の併用も同様に可能である。グループ分け部 42は、画像抽出部 41で抽出された画像が繰り返し現れる時間間隔を算出して略同じ時間間隔ごとに工程分析のためにグループ分けしてヒストグラムを生成する。画像 Z時間間隔取得部 43は、グループ分け部 42で振り分けされた複数のグループの中からユーザ指定されたグループの画像及び時間間隔を求める。表示制御部 44は、工程分析のために、グループ分け部 42で生成されたヒストグラムをディスプレイ 7上に表示するとともに、画像 Z時間間隔取得部 43で求められた画像及び時間間隔をディスプレイ 7上に表示する。以下、画像抽出部 41、グループ分け部 42、画像 Z時間間隔取得部 43及び表示制御部 44の各部機能の詳細について説明する。

[0036] (画像抽出部 41の機能）

図 3は、デジタルディスクレコーダ 3に記録された映像 (動画)の一部分であり、ある工程の初めの画像 (a)と、終わりの画像 (c)と、その中間の最も特徴となる画像 (b)とを示している。時間の流れは（a)→(b)→(c)の順となる。なお、この図では 3つの画像を示した力あくまでも一例であり、その数に限定はない。ユーザは、マウス 6を操作し、図 3に示す工程の初めの画像 (a)中の特徴部分を指定する。例えば図 4に示すように、点線で示す矩形部分 10の画像パターンを指定する。この場合、画像バタ一ンは瓶 11であるものとする。画像パターンが指定されることで、画像抽出部 41は、指定された画像パターンとその位置を記憶する。そして、デジタルディスクレコーダ 3 に記録された工程分析用の映像の中から位置及び画像パターンが一致又は略一致する画像パターンの画像を抽出する。図 5は抽出した画像を示す図である。同図に示すように同一工程の作業が繰り返された数だけ画像が抽出される。

[0037] (グループ分け部 42の機能）

グループ分け部 42は、まず画像抽出部 41で抽出された画像の時間間隔を算出する。図 6は、グループ分け部 42で算出された時間間隔を示す図である。同図に示すように、最初の画像から次の画像までの間隔が T (1) secであり、次の画像力その次の画像までの間隔が T (2) secである。以後同様に、 T (3) sec、T (4) sec、T (5 ) sec…である。なお、図 6において、〇印は画像認識が正常に行われた画像を表し、 X印は画像認識が正常に行われな力つた画像を表している。このようにして時間間隔を算出した後、次に略同じ時間間隔ごとにグループ分けしてヒストグラムを生成する。生成したヒストグラムはディスプレイ 7に表示される。図 7に一例として 1秒単位で表示したヒストグラムを示す。この表示は表示制御部 44によって行われる。図 7に示すように、この例では略 lOsec間隔のグループが最も高い頻度で現れている。一方、図 7において 29secと 30secの各グループは画像認識が正常に行われなかった場合を含む異常値のグループとする。 [0038] (画像 Z時間間隔取得部 43の機能）

画像 Z時間間隔取得部 43は、グループ分け部 42で生成されたヒストグラムの中からユーザが指定したグループを選択する。この場合、ユーザがマウス 6を使用して指定したグループを選択指示する。つまり、ディスプレイ 7にはヒストグラムが表示されており、ユーザがその中力所望のグループの部分をマウス 6でクリックすることで、画像 Z時間間隔取得部 43は当該グループの画像及びその画像に対応する時間を取得する。画像 Z時間間隔取得部 43が取得したグループの各画像は各画像で関連づけられたサムネイル形式の画像（以下、サムネイル画像と、う）でディスプレイ 7〖こ表示される。この表示の制御は表示制御部 44によって行われる。図 8はその一例である。ユーザはこの表示を見て複数のサムネイル画像の中力も所望のものを選択指示する。

[0039] (表示制御部 44の機能）

表示制御部 44は、上述したようにグループ分け部 42で生成されたヒストグラム及びヒストグラムカゝらユーザが指定したグループの各画像のサムネイル画像をディスプレイ 7上に表示するための制御を行うとともに、画像 Z時間間隔取得部 43で取得された画像と時間間隔をディスプレイ 7上に表示するための制御を行う。図 10は、ユーザが指定した画像と時間間隔 Tを示す図である。この状態で、サムネイル画像を指定 (クリック)すれば、指定されたサムネイル画像から映像 (一連の画像）がディスプレイ 7上に表示される。

[0040] 上記の処理は、工程の初めの画像 (a)を指定した場合であった力この状態で別の画像を選択することも可能である。例えば図 3に示す中間の画像 (b)を選択して、図 1 1に示すように点線で示す矩形部分 10の画像パターンを指定すると、上記同様に画像抽出部 41がその画像パターンとその位置を記憶する。そして、デジタルディスクレコーダ 3に記録された工程分析用の映像の中から位置及び画像パターンが一致又は略一致する画像パターンの画像を抽出する。この場合、同一工程の作業が繰り返された数だけ画像が抽出される。画像パターン 10が含まれる画像が複数抽出されると、グループ分け部 42が各時間間隔を算出する。図 12は、グループ分け部 42で算出された時間間隔を示す図である。同図に示すように、最初の画像 (a)からの間隔が T (1) secであり、画像 (a)の次の画像力もの間隔が T (2) secである。以後同様に、

2 2

T (3) sec、T (4) sec、T (5) sec…である。このように差分を取ることにより、作業の

2 2 2

開始から終了までの 1サイクルの作業時間だけではなぐ 1サイクルの作業をさらに細分ィ匕した各工程の作業時間をも算出することができる。なお、図 12において、△印は画像認識が正常に行われた画像を表している。また、画像認識が正常に行われなかつた画像は削除してある。こうすることにより、画像認識の精度が低くても標準作業時間の算出に悪影響を与えな、ようにして!/、る。

[0041] 時間間隔を算出した後、次に略同じ時間間隔ごとにグループ分けしてヒストグラムを生成する。生成したヒストグラムはディスプレイ 7に表示される。図 13に一例として 1秒単位で表示したヒストグラムを示す。この表示の制御は表示制御部 44によって行われる。図 13に示すように、この例では略 3sec間隔のグループが最も高い頻度で現れている。そして、ユーザがヒストグラムの中力も所望のものを指定することで、画像 Z 時間間隔取得部 43がユーザによって指定されたグループを選択指示する。選択したグループの各画像はサムネイル形式でディスプレイ 7に表示される。この表示の制御は表示制御部 44によって行われる。図 14はその一例である。ユーザはこの表示を見て複数のサムネイル画像の中力も表示したい所望のものを選択する。これにより、図 15に示すような、サムネイル画像に対応した画像と時間間隔がディスプレイ 7上に表示される。図 15には、ユーザが指定した画像と時間間隔 T及び Tを示す。

1 2

[0042] 次に、図 16に示すフローチャートを参照して上記構成の画像抽出分析システム 1 の動作を説明する。まず各カメラ 2から出力される映像信号をデジタルディスクレコ一ダ 3に記録する (ステップ ST10)。例えば 1日の作業分の映像を記録するものとする。デジタルディスクレコーダ 3に 1日の作業分の映像信号を記録した後、作業工程解析を開始する。まず再生した映像に対して、画像抽出分析装置 4内で画像パターンの指定が有るかどうか判定する (ステップ ST11)。指定がなければ、それが行われるまでこの処理を繰り返す。画像パターンの指定があると、画像抽出部 41で指定された位置及び画像パターンの画像を抽出する (ステップ ST12)。指定された画像パターンの画像を抽出すると、抽出した画像の画像間間隔 (すなわち時間間隔)を画像抽出分析装置 4内で算出する (ステップ ST13)。次いで、算出した時間間隔を略同じ値ごとにグループ分け部 42でグループ分けしてヒストグラムを生成し、ディスプレイ 7に表示する (ステップ ST14)。ヒストグラムを表示した後、ヒストグラムの中力もユーザ指定 (クリック）されたグループを選択する (ステップ ST15)。

[0043] 次、で、指定 (選択)したグループの複数の画像をサムネイル形式でディスプレイ 7 に表示する (ステップ ST16)。そして、表示した複数のサムネイル画像力もユーザ指定されたものを選択する (ステップ ST17)。この場合、 1つだけ指定される場合やそれ以上指定され場合など様々であるが、ここでは複数指定されたとする。そして、指定 (選択)されたサムネイル画像に対応する映像を抽出する (ステップ ST18)。次ヽで、次の画像パターンの指定があるかどうか判定し (ステップ ST19)、指定がある場合はステップ ST11に戻り、指定がない場合はステップ ST20に移行する。ステップ S T20に移行すると、抽出した映像に対応するサムネイル画像及び時間間隔をデイスプレイ 7に表示する (ステップ ST20)。そして、抽出した映像に対応するサムネイル画像及び時間間隔を工程分析のために表示した後、その中でユーザが指定したサムネイル画像から映像 (一連の画像)の表示を開始する (ステップ ST21)。なお、上述した画像抽出方法は、各ステップをコンピュータが実行するプログラムであっても良!ヽ。また、このプログラムが記録媒体であっても良い。

[0044] このように本実施の形態の画像抽出分析システム 1によれば、決まった場所に決まつた物体 (例えば瓶 11)がー定時間間隔で現れると!、う点に着目し、デジタルデイスクレコーダ 3に記録した工程分析用の映像の中からユーザ指定された位置及び画像パターンの画像を抽出して繰り返し現れる画像の時間間隔を自動的に算出し、略同じ時間間隔ごとにグループ分けしてヒストグラムを作成してその中力ユーザ指定されたグループを選択することにより、従来のように記録映像を順次的に見ることなしに「標準的な作業時間であった映像」、「作業時間が異常に長力たり短力たりした映像」、「画像認識に失敗した映像」のいずれカゝを瞬時に且つ直感的に選別することができ、その映像における各工程の作業時間を、サムネイル画像とその時間間隔をェ程分析のためにディスプレイ 7に表示するので、各工程でどの作業に時間がかかつているかが、瞬時に且つ直感的に把握することができる。すなわち、作業現場における工程分析を効率的に行うことができる。 [0045] なお、本実施の形態では、各カメラ 2からの映像をデジタルディスクレコーダ 3に記録した後に工程分析を行うようにした力デジタルディスクレコーダ 3における映像の記録と並列に工程分析を行うようにしても良い。このよう〖こすること〖こより、工程分析が映像を記録しながらできる。

[0046] (実施の形態 2)

図 17は、本発明の実施の形態 2に係る画像抽出分析システムの概略構成を示すブロック図である。同図において、本実施の形態に係る画像抽出分析システム 1 Aは、前述した実施の形態 1に係る画像抽出分析システム 1と同一の構成に加えて、作業現場に配置され工程開始時及び Z又は作業終了時に操作される釦スィッチ (スイツチ手段） 30と、各釦スィッチ 30からのスィッチ信号を集線し 1つの信号線で画像抽出分析装置 4Aに入力するハブ 31とを備えている。画像抽出分析画像抽出分析図 18 は画像抽出分析装置 4Aの機能を示すブロック図である。同図に示すように、画像抽出分析装置 4Aは、実施の形態 1の画像抽出装置 4と同じ機能を有する他に、ハブ 3 1力も画像抽出部 41Aへの入力を備えている。

[0047] 釦スィッチ 30は、画像抽出部 41Aによる画像と当該画像の区切り時刻の抽出を補足するものであり、画像の認識を確実に行えるようにするためのものである。操作釦スイッチ 30は、工程開始時に操作された場合、画像抽出部 41Aによる工程開始時の画像と当該画像の区切り時刻の抽出を補足するものである。また、操作釦スィッチ 30 は、工程終了時に操作された場合、画像抽出部 41Aによる工程終了時の画像と当該画像の区切り時刻の抽出を補足するものである。

[0048] 図 21は、本実施の形態の画像抽出分析システム 1Aにおける釦操作による画像及び当該画像の区切り時刻の抽出を補足する処理を示すフローチャートであり、図 16 の一部分であり、ステップ ST12より前、ステップ 13より後ろの処理は図 16と全く同様である。同図において、釦の押下信号が検出された場合 (ステップ ST22)、押下された時刻を取得し、ステップ ST12におヽて画像パターンの認識に失敗し画像と当該画像の区切り時刻が抽出できなくとも、釦の押下時刻を当該画像の区切り時刻として代用し、当該時刻の画像を抽出する (ステップ ST23)。

[0049] このように本実施の形態の画像抽出分析システム 1Aによれば、画像抽出分析画像抽出部 41Aによる画像パターンの認識に失敗することがあっても、釦スィッチ 30の押下時刻を取得することにより、画像認識精度が低くともそれを補足することが可能となる。

[0050] (実施の形態 3)

図 20に示すように、画像抽出分析装置 4Aは、実施の形態 1の画像抽出装置 4と同じ機能を有する他に、画像抽出部 41Aで画像が抽出された際に、それが現在記録中の映像の中から抽出されたとしても、その映像は引き続き記録する指示を生成する映像記録指示生成部（映像記録指示生成手段) 46と、この映像記録指示生成部 46 で生成された映像記録指示をデジタルディスクレコーダ 3に出力する映像記録指示出力部（映像記録指示出力手段) 47とを備えている。デジタルディスクレコーダ 3は、映像記録指示が入力されると、該指示で指定される映像を引き続き記録する。

[0051] 図 19は本実施の形態の画像抽出分析システム 1Aの、映像の記録、ユーザー画像の抽出及び映像記録指示の生成とその出力処理を示すフローチャートである。まずデジタルディスクレコーダ 3が映像記録モード (ステップ ST30)であれば映像の記録が開始され (ステップ ST32)、画像抽出部 41Aで画像が抽出された際に、それが現在記録中の映像の中から抽出されたとしても、その映像は引き続き記録する映像記録指示を生成し (ステップ ST34)、デジタルディスクレコーダ 3に当該映像記録指示を出力する (ステップ ST35)。

[0052] このように本実施の形態の画像抽出分析システム 1 Aによれば、画像抽出部 41 Aにお!、て抽出された画像が現在記録中の映像に含まれて、ても、当該映像は弓 Iき続き記録するので、画像の抽出等の工程分析をしながら同時に映像記録を行うことが可能となる。

[0053] なお、本発明の実施の形態における時刻は、年月日時分秒などで表される絶対時刻であってもよぐまた、撮像開始時刻や当日の工場稼動開始時刻など力ゝらの経過時間を表す相対時刻であってもよヽ。

[0054] 本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。 [0055] 本出願は、 2006年 3月 10日出願の日本特許出願（特願 2006— 066812)に基づくものであり、その内容はここに参照として取り込まれる。

産業上の利用可能性

[0056] 本発明は、工場などの作業現場における工程分析を瞬時に且つ直感的に行うことができるといった効果を有し、工場内での作業工程分析に使用される映像記録装置などへの適用が可能である。

Claims

請求の範囲

[1] 映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析装置であって、

前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、

前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、略時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、

入力された選択指示に応じて、前記グループ分け手段でグレープ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像 Z時間間隔取得手段と、

前記画像 Z時間間隔取得手段で取得された画像及び時間間隔を表示させる表示制御手段と、

を備えた画像抽出分析装置。

[2] 映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成する映像記録指示生成手段と、

前記映像記録指示を、前記映像記録装置へ出力する映像記録指示出力手段と、を備えた請求項 1に記載の画像抽出分析装置。

[3] 前記画像抽出手段は、さらに、作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出する請求項 1又は請求項 2に記載の画像抽出分析装置。

[4] 前記表示制御手段は、さらに、前記グループ分け手段でグループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させる請求項 1な、し請求項 3に記載の画像抽出分析装置。

[5] 作業者が繰り返し行う作業の様子を撮像する複数のカメラと、

前記カメラの映像信号を映像として記録する映像記録装置と、

前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出する画像抽出手段と、前記画像抽出手段で抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするグループ分け手段と、

前記グループの選択指示を入力する選択指示入力手段と、

入力された前記選択指示に応じて、前記グループ分け手段でグループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得する画像 Z時間間隔取得手段と、

前記表示制御手段の出力を表示するディスプレイと、

を備えた画像抽出分析システム。

[6] 映像記録装置に記録された、作業者が繰り返し行う作業の様子が撮像された映像から、特定の画像を抽出する画像抽出分析方法であって、

前記映像記録装置に記録された映像の中から、所定の位置に指定された所定の画像パターンが存在する画像を抽出するステップと、

抽出された画像が繰り返し現れる時間間隔を算出して、該時間間隔を略同じ時間間隔ごとにグループ分けするステップと、

入力された選択指示に応じて、グループ分けされた複数のグループの中から選択指示されたグループの画像及び該画像に対応する時間間隔を取得するステップと、取得された画像及び時間間隔を表示させるステップと、

を有する画像抽出分析方法。

[7] 映像記録装置における映像の記録を、前記画像の抽出、前記グループ分け、前記画像及び時間間隔の取得の少なくともいずれか一と並行して行う内容の映像記録指示を生成する請求項 6に記載の画像抽出分析方法。

[8] 作業の区切りを示す操作信号に応じて、前記映像の中から、該操作信号が入力された時刻の画像を抽出するステップ

をさらに有する請求項 6又は請求項 7に記載の画像抽出分析方法。

[9] グループ分けされた時間間隔を、前記グループに応じた出現頻度のヒストグラムとして表示させる請求項 6又は請求項 8に記載の画像抽出分析方法。請求項 6な、し請求項 9の、ずれか一項に記載の方法の各ステップを、コンビュタ上で実行させるための画像抽出分析プログラム。

請求項 10に記載のプログラムが記録された記録媒体。