JP6253773B2 - 画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置 - Google Patents

Description

この発明は、画像データの分析を精度よく、かつ、分析者の分析負荷を軽減できる画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置に関するものである。

工場に従事する作業者は、常に一定速度で動作する生産機械とは異なり、作業遂行の速度にばらつきが生じる場合がある。そのため、これらの作業者の作業サイクル時間のばらつきを分析することは、工場全体の生産性を分析する上で重要となっている。これら作業者の作業分析を行う方法として、従来、インダストリアルエンジニアリング（ＩＥ）の手法が知られている。

例えば、非特許文献１に示されるように、作業者が行う一連の作業を構成要素作業単位に分割し作業時間の長短を測定し評価する、ストップウォッチ法やフィルム分析法等の手法が開示されている。一般的にこれらの方法は、分析を行う分析者が観測対象である作業者を目視観測し、観測対象の作業者の作業状態の変化時刻、つまり作業開始時刻と作業終了時刻を記録していくものであり、分析者に多大な労力を要求するものである。このような背景から近年では、作業者の作業状態を各種分析装置を用いて自動的に把握し、分析者の分析負荷を軽減する方法が開示されている。

例えば、特許文献１に示されるように、作業者に取り付けたセンサーから得られる信号波形の出現パターンと、作業者の動きとの関係を記した対応表である「動作辞書」「作業辞書」なるデータベースにより特定する方法が提案されている。

また、例えば、特許文献２に示されるように、反復作業を行う作業者の動作をビデオカメラにより撮影し、再生ディスプレイ上にて設定される基準点を反復的に通過する所要時間を計算し、作業サイクルを計測する方法が提案されている。

また、ビデオカメラを利用して作業分析を行う技術としては、例えば、特許文献３に示されるように、撮影された画像データの色情報等の変化から作業者の人体の所定の一部を動作認識する技術が提案されている。

また、例えば、特許文献４に示されるように、認識対象を人体に限定せずに、動体と背景とを識別する技術が提案されている。

特許第５１５９２６３号公報 特許第２７１１５４８号公報 特許第４７９２８２４号公報 特開２００３−６６５９号公報

藤田彰久著「新版ＩＥの基礎」建帛社（２００７年１月発行）

従来の工場における作業者の作業分析方法には、分析者の分析負荷を軽減する技術が求められているわけであるが、特許文献１に示されるように、センサー信号と作業者動作の対応表を用いて作業分析する方法では、歩行や停止といった単純な動作の場合はともかく、複雑な作業の全てに対して対応表を整備することは多大な手間が必要となり現実的ではないという問題点があった。

また、特許文献２に示されるように、ビデオカメラを用いて作業者の動作を捕捉する従来の技術では、あらかじめ画像上に定めた基準空間を作業者の人体の一部が通過するか否かで動作を把握する必要があるため、この画像上の基準空間の設定行為および人体の一部であることの認識行為には労力を要するという問題点があった。

また、特許文献３に示されるように、人体の一部であることの認識に画像データの色情報を用いるものであるが、工場の作業者は一般的にヘルメットや手袋等の様々な防護具を付けている場合が多く、作業者の人体の一部を色情報で判定することは困難である場合が多いという問題点があった。

また、特許文献４に示されるように、動体と背景情報を識別する技術では、動画データの前後のフレーム間について、同一画素の特徴量を比較することで動体か背景かを識別するものであるが、工場内のように常に何らかの物体が動いているような場合、例えばベルトコンベアが作動していたり、換気扇が回転しているといった場合には、関係のない動体まで識別することになり分析を困難にしてしまうという問題点があった。

つまりいずれの従来の場合も、分析を行うために多大な労力を要するか、工場においては分析精度を悪化させるという問題点があった。

この発明は上記のような課題を解決するためになされたものであり、画像データの分析を精度よく、かつ、分析者の分析負荷を軽減できる画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置を提供することを目的とする。

この発明の画像分析方法は、
時系列に取得された画像データを分析する画像分析方法において、
各前記画像データの各画素の色情報を取得する工程と
前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備え、
前記特徴量時系列データは、各前記画素を含むあらかじめ設定された画素領域における前記色情報の時系列的な色情報の情報エントロピーであるものである。
また、この発明の画像分析方法は、
時系列に取得された画像データを分析する画像分析方法において、
各前記画像データの各画素の色情報を取得する工程と
前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備え、
前記色情報は、あらかじめ設定された複数の区分に分類された色パレットデータに基づいて取得され、
前記色パレットデータの区分は、前記画像データの色の出現頻度に応じて設定されるものである。
また、この発明の画像分析方法は、
時系列に取得された画像データを分析する画像分析方法において、
各前記画像データの各画素の色情報を取得する工程と
前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備え、
前記画像データが、工場内の作業者が周期的な動作を反復するデータを含んでおり、
前記変動周期から前記作業者の反復する動作の周期を分析する工程を備えたものである。

また、この発明の画像分析装置は、
時系列に取得された画像データを分析する画像分析装置において、
各前記画像データの各画素の色情報から特徴量の時系列的な変化を示す特徴量時系列データを算出する特徴量算出部と、
前記特徴量時系列データから各前記画像データの変動周期を算出する変動周期算出部とを備え、
前記特徴量時系列データは、各前記画素を含むあらかじめ設定された画素領域における前記色情報の時系列的な色情報の情報エントロピーであるものである。

また、この発明の画像分析システムは、
前記記載の画像分析装置と、
前記画像データを取得する撮影装置と、
前記画像分析装置の分析結果を表示する表示装置と、
前記画像データを格納する画像データベースと、
前記特徴量時系列データを格納する特徴量時系列データベースと、
前記分析結果を格納する画像分析データベースとを備えたものである。

また、この発明の画像分析可搬型装置は、
前記記載の画像分析システムは、
前記画像分析装置、前記撮影装置、前記表示装置、前記画像データベース、前記特徴量時系列データベース、および、前記画像分析データベースを一体型かつ可搬型にて形成されているものである。

この発明の画像分析方法、画像分析装置、画像分析システム、および画像分析可搬型装置によれば、
画像データの分析を精度よく、かつ、分析者の分析負荷を軽減できる。

本発明の実施の形態１に係る画像分析装置を有する画像分析システムの構成を示す図である。 図１に示した画像分析装置の特徴量算出部の動作を説明するための図である。 図１に示した画像分析装置に用いる画像データの画素の構成を示す図である。 図１に示した画像分析装置の画像データの処理に用いる色情報を示す図である。 図２に示した特徴量算出部における画像データの色情報の取得順序を示す図である。 図２にて取得した画像データの各画素における図５に基づいて取得される色情報を示す図である。 図２に示した特徴量算出部において設定されている色パレットデータを示す図である。 図６にて取得した色情報における各画素の色パレット番号を示す図である。 図２に示した特徴量算出部にて各画素の色情報エントロピーを取得するための近傍画像領域を示す図である。 図２に示した特徴量算出部にて各画素の色情報エントロピーを取得するための他の近傍画像領域を示す図である。 図２に示した特徴量算出部にて取得した任意の画素の色情報エントロピーの取得例を示す図である。 図２に示した特徴量算出部にて取得した任意の画素の色情報エントロピーの変化を説明するための図である。 図２に示した特徴量算出部にて取得した任意の画素の色情報エントロピーの時系列の変化状態を示す図である。 図２に示した特徴量算出部にて取得した各画像の色情報エントロピーの時系列データを示す図である。 図２に示した特徴量算出部にて取得した画像データの色情報エントロピーの任意の時刻の情報を濃淡にて図示化して示す図である。 図１に示した画像分析装置の変動周期算出部の動作を説明するための図である。 図１４にて取得した色情報エントロピーの時系列データのグラフを示す図である。 図１７にて示した色情報エントロピーの時系列データから一部を抽出したグラフを示す図である。 図１７にて示した色情報エントロピーの時系列データから一部を抽出したグラフを示す図である。 画像データ上の画素位置と動体との関係を示した図である。 図１７に示した時系列データの時間シフトについて説明する図である。 図１７に示した各画素の色情報エントロピーにおける時間シフトの自己相関係数を示した図である。 図２２に示した各画素における時間シフトと自己相関係数とをグラフに示した図である。 図２３に示した各時間シフトと各画素における自己相関係数の平均値とを示した図である。 図２４に示した各時間シフトと各画素における自己相関係数の平均値とをグラフに示した図である。 図２５に示した各時間シフトと各画素における自己相関係数の平均値とをフーリエ変換したグラフを示した図である。 図１７に示した色情報エントロピーおよび図２３に示した自己相関係数から各画素における自己相関係数の極大値に時間シフト、自己相関係数、および初回時刻とを抽出した図である。 図２７から変動周期を有するデータを抽出した図である。 図２８において初回時刻が異なる状況を説明するための図である。 図２９から作業ポイントを抽出した図である。 図３０にて抽出された作業ポイントの自己相関係数の極大値の時刻を抽出した図である。 図３０にて示した時刻から作業時間を算出した図である。 図３２の作業時間の確率密度を示した図である。 図１４にて取得した画像データの任意の画素の色情報エントロピーの時系列データのグラフを示す図である。 図３４に示した画素における時間シフトと自己相関係数とをグラフに示した図である。 図３５に示した各時間シフトと画素における自己相関係数とをフーリエ変換したグラフを示した図である。 図１４にて取得した作業中断を含んだ画像データの任意の画素の色情報エントロピーの時系列データのグラフを示す図である。 図３７に示した画素における時間シフトと自己相関係数とをグラフに示した図である。 図３８に示した各時間シフトと画素における自己相関係数とをフーリエ変換したグラフを示した図である。 図３７に示した画素の色情報エントロピーのフーリエ変換したグラフを示した図である。 この発明の実施の形態２における画像分析装置の特徴量算出部の動作を説明するための図である。 図４１に示した特徴量算出部にて取得した画像データの各色相における出現頻度を示した図である。 図４１に示した各色相における出現頻度を色相において均等分割した状態を示す図である。 図４１に示した画像データの各色相における出現頻度の多い順に示し山色相を抽出した図である。 図４４に示した出現頻度の多い順を色相順に並び変え谷色相を抽出した図である。 図４５に示した谷色相から設定された色パレット番号の状態を示した図である。 図４１に示した各色相における出現頻度を色相において図４６に示した色パレット番号に分割した状態を示す図である。 この発明の実施の形態３における画像分析可搬型装置の構成を示す図である。 この発明の実施の形態４に係る画像分析装置を有する画像分析システムの構成を示す図である。

実施の形態１．
以下、本願発明の実施の形態について説明する。以下の実施の形態において説明する画像分析は、工場などの施設内にて、動体としての作業者が周期的な動作（反復的な動作）としての作業を行う場合であって、その作業における反復時間としての作業サイクル時間を分析する場合を例に説明する。但し、動体は作業者以外、例えば機械が行う作業であっても同様に画像分析できる。また、作業以外であっても、反復して変化する画像データの分析には、同様の効果を奏することができる。

図１はこの発明の実施の形態１における画像分析装置を有する画像分析システムの構成を示す図である。図２は図１に示した画像分析装置の特徴量算出部の動作を説明するための図である。図３は図１に示した画像分析装置に用いる画像データの画素の構成を示す図である。図４は図１に示した画像分析装置の画像データの処理に用いる色情報を示す図である。図５は図２に示した特徴量算出部における画像データの色情報の取得順序を示す図である。図６は図２にて取得した画像データの各画素における図５に基づいて取得される色情報を示す図である。

図７は図２に示した特徴量算出部において設定されている色パレットデータを示す図である。図８は図６にて取得した色情報における各画素の色パレット番号を示す図である。
図９は図２に示した特徴量算出部にて各画素の情報エントロピー（以下、「色情報エントロピー」と称す）を取得するための近傍画像領域を示す図である。図１０は図２に示した特徴量算出部にて各画素の色情報エントロピーを取得するための他の近傍画像領域を示す図である。図１１は図２に示した特徴量算出部にて取得した任意の画素の色情報エントロピーの取得例を示す図である。

図１２は図２に示した特徴量算出部にて取得した任意の画素の色情報エントロピーの変化を説明するための図である。図１３は図２に示した特徴量算出部にて取得した任意の画素の色情報エントロピーの時系列の変化状態を示す図である。図１４は図２に示した特徴量算出部にて取得した各画像の色情報エントロピーの時系列データを示す図である。図１５は図２に示した特徴量算出部にて取得した画像データの色情報エントロピーの任意の時刻の情報を濃淡にて図示化して示す図である。図１６は図１に示した画像分析装置の変動周期算出部の動作を説明するための図である。

図１７は図１４にて取得した色情報エントロピーの時系列データのグラフを示す図である。図１８および図１９は図１７にて示した色情報エントロピーの時系列データから一部を抽出したグラフを示す図である。図２０は画像データ上の画素位置と動体との関係を示した図である。図２１は図１７に示した時系列データの時間シフトについて説明する図である。図２２は図１７に示した各画素の色情報エントロピーにおける時間シフトの自己相関係数を示した図である。図２３は図２２に示した各画素における時間シフトと自己相関係数とをグラフに示した図である。

図２４は図２３に示した各時間シフトと各画素における自己相関係数の平均値とを示した図である。図２５は図２４に示した各時間シフトと各画素における自己相関係数の平均値とをグラフに示した図である。図２６は図２５に示した各時間シフトと各画素における自己相関係数の平均値とをフーリエ変換したグラフを示した図である。図２７は各画素における自己相関係数の極大値に時間シフト、自己相関係数、および初回時刻とを抽出した図である。

図２８は図２７から変動周期を有するデータを抽出した図である。図２９は図２８において初回時刻が異なる状況を説明するための図である。図３０は図２９から作業ポイントを抽出した図である。図３１は図３０にて抽出された作業ポイントの自己相関係数の極大値の時刻を抽出した図である。図３２は図３０にて示した時刻から作業時間を算出した図である。図３３は図３２の作業時間の確率密度を示した図である。

図３４は図１４にて取得した画像データの任意の画素の色情報エントロピーの時系列データのグラフを示す図である。図３５は図３４に示した画素における時間シフトと自己相関係数とをグラフに示した図である。図３６は図３５に示した各時間シフトと画素における自己相関係数とをフーリエ変換したグラフを示した図である。図３７は図１４にて取得した作業中断を含んだ画像データの任意の画素の色情報エントロピーの時系列データのグラフを示す図である。図３８は図３７に示した画素における時間シフトと自己相関係数とをグラフに示した図である。図３９は図３８に示した各時間シフトと画素における自己相関係数とをフーリエ変換したグラフを示した図である。図４０は図３７に示した画素の色情報エントロピーのフーリエ変換したグラフを示した図である。

図１において、画像分析装置５は、時系列に取得された画像データを格納する画像データベース（以下、データベースはＤＢと略して示す）６と、画像データの特徴量時系列データを格納する特徴量時系列ＤＢ１１と、画像データからの画像分析データを格納する画像分析ＤＢ１２と、画像データから画像分析データを分析する画像分析手段９とを備えている。画像分析手段９は、画像データから特徴量を検出する特徴量算出部７と、この画像データの特徴量の変動周期を検出する変動周期算出部８とを備えている。

また、画像分析装置５は有線または無線にてなる通信網４に接続されている。そして、作業者１Ａおよび作業者１Ｂは、固定的な作業台２Ａおよび作業台２Ｂにて作業に従事している。そして、各作業状態は撮影装置３Ａおよび撮影装置３Ｂにて撮影され画像データとして出力される。そして、各撮影装置３Ａ、３Ｂの各画像データは通信網４を経由して画像ＤＢ６に保存される。また、画像分析装置５にて分析された画像分析データは通信網４を介して分析者１４の表示装置１３に表示される。

上記のように構成された実施の形態１の画像分析装置の動作について説明する。まず、作業者１Ａおよび作業者１Ｂは、作業台２Ａおよび作業台２Ｂにて作業を行う。そして、各作業状態は撮影装置３Ａおよび撮影装置３Ｂにて撮影され複数の時系列の画像データとして通信網４に出力される。そして、各画像データは通信網４を経由して画像ＤＢ６に保存される。次に、特徴量算出部７は、画像ＤＢ６から画像データを取得する（図２のステップＳ０１）。

次に、各画像データの各画素における色情報を取得する（図２のステップＳ０２）。具体的には、画像データは、例えば、図３に示すように、ｘ軸（水平）方向１０画素×ｙ軸（垂直）方向１０画素からなる１００個の画素にて構成されている。画像データの各画素とは、図３における画像データを構成する各格子区画を指す。例えば、図３に示すように、画素Ｃとは「ｘ＝１、ｙ＝１」の位置にあり、画素Ｄとは「ｘ＝４、ｙ＝３」の位置にある。そしてここで取得する色情報は、例えば、図４で示すように、色味を０〜３６０°（度）の角度で表す「色相」、色の鮮やかさを０〜１（＝１００％）で表す「彩度」、色の明るさを０〜１（＝１００％）で表す「輝度」の３つの成分から表現するＨＬＳ色空間を用いている（但し、図４は実際の色彩を白黒にて省略して示しているものである。）。

尚、本実施の形態においてはＨＬＳ色空間を使用する例にて示すが、これに限定するものではなく、各画素の色情報を数値化して表現できるものならばどれでもよく、例えば、ＲＧＢ色空間やＨＳＶ色空間などの他の色空間を用いてもよい。そして、図５の矢印に示すように、１つの画像データ（１枚の画像フレームとも言う）内の全画素について、ｘ軸、ｙ軸方向に沿って色情報を順次取得していく。そして取得された各画素の色情報は、例えば、図６に示すように、画素位置「ｘ＝１、ｙ＝１」の画素Ｃの色情報「色相＝０°、彩度＝１、輝度＝０」や、画素位置「ｘ＝４、ｙ＝３」の画素Ｄの色情報「色相＝０°、彩度＝１、輝度＝０．５」のように、色相、彩度、輝度からなる３次元の色情報が取得される。

次に、この各画像データの各画素の色情報を、色パレットデータ１５に基づいて色パレット番号を取得する（図２のステップＳ０３）。具体的に、色パレットデータ１５とは、類似系統色を同一の色グループとし、異系統色は異なる色グループとなるように、各色パレット番号にて分類して扱っていくものである。さらに、各色パレット番号には、検出するための優先順位がそれぞれ設定されている。

尚、色パレット番号および優先順位は、分析する画像データに基づいてあらかじめ適宜設定されているものである。また、この色パレットデータ１５の数は、分析する画像データに出現する色情報の重要度に応じて適宜設定されるものである。具体的には、作成する色パレットにて分類識別する色数（色パレット番号の数）は、後述する色情報エントロピーの際に用いられる”近傍画素領域”の画素数程度とすることが望ましい。尚、これらのことは以下の実施の形態においても同様であるためその説明は適宜省略する。

そして、例えば、図７に示すように、優先順位１位から順に、色パレット番号＜１＞（黒色）は、輝度０．１未満、優先順位２位は、色パレット番号＜２＞（白色）で、輝度０．９以上、優先順位３位は、色パレット番号＜３＞（灰色）で、彩度０．１５未満、・・・と、あらかじめ優先順位が決定されている。そして、図６に示したような各画素の各色情報を、図７に示したような色パレットデータ１５の優先順位の高い順から１件ずつ読み込み、条件が適合する色パレット番号を付与する。

すると、例えば、図６に示すように、画素位置「ｘ＝１、ｙ＝１」の色情報は「色相＝０°、彩度＝１、輝度０」であるので、図７に示した色パレットデータ１５の優先順位１位である「輝度０．１未満」の条件に適合し、図８に示したように、色パレット番号は「＜１＞」となる。そして、全ての画像データの全ての画素について適合する色パレット番号を取得する。

次に、この各画素の色パレット番号のデータに基づいて、各画像データの各画素における特徴量としての色情報エントロピーを取得する（図２のステップＳ０４）。色情報エントロピーとは、各画素を含むあらかじめ設定された画素領域、ここではある画素を中心として、あらかじめ設定された近似画素領域に対して取得するものである。そして、この近傍画素領域の色情報量の多さ、乱雑具合を表す示量性状態量（特徴量）が色情報エントロピーであり、以下に示すように求めることができる。よって、この色情報エントロピーを利用することで、画像の特徴量を計算することが可能となる。

より具体的には、図９に示すように、例えば画素の座標ｘ＝５、ｙ＝４に位置する画素Ｅに対して「±３画素」分、つまり３≦ｘ≦７、２≦ｙ≦６で示される領域を近傍画素領域として設定する。尚、近傍画素領域とは、分析したい画像データの内容に応じて適宜設定されるものであり、ここではあらかじめ「±３画素」分として設定したものである。よって、他の方法にて近傍画素領域を設定してもよい。他の近傍画素領域の例としては、矩形ではなく、図１０に示すような画素Ｅに対して菱形にて設定してもよい。

また、設定される近傍画素領域の画素数の目安としては、画像３２０×２４０ピクセルの範囲に作業者が一人写る場合であれば、例えば５ｃｍ角の物体を識別できる能力の画素数として、５×５ピクセル程度が適当であると考える。よって、近傍画素領域は作業者および作業を行う物体の識別できる能力に応じて適宜設定されるものである。

次に、画素座標ｘ、ｙの画素の色情報エントロピーＥＰＹ_ｘ，ｙは、下記（式１）にて算出する。

上記（式１）のｐ_ｘ，ｙ（ｃ）は、画素位置ｘ、ｙの近傍画素領域内における色パレット番号ｃが含まれる面積割合を表す。よって、ｐ_ｘ，ｙ（ｃ）は、近傍画素領域の画素数である近傍画素数Ｎに含まれる、色パレット番号ｃの画素数Ｎ_ｘ，ｙ（ｃ）の割合を下記（式２）にて求めることができる。

ｐ_ｘ，ｙ（ｃ）＝Ｎ_ｘ，ｙ（ｃ）／Ｎ ・・・（式２）

具体的に、色情報エントロピーを計算した場合の画像データの例を図１１に示す。この図１１は画像データの内、５×５の２５個の画素にてなる近傍画素領域を例に示している。尚、図１１から図１３は各図を理解し易くするために、色（白、黒、グレーなど）にて示しているものの、実際には色パレット番号にて処理されるものである。よってその説明は適宜省略する。

図１１（ａ）の近傍画素領域６１は、全てが単色の「白色」である。また、図１１（ｂ）の近傍画素領域６２は、全て単色の「灰色」である。このため、図１１（ａ）、（ｂ）は色情報量が１つであり、乱雑でないため、下記（式３）により求められた色情報エントロピーは「０」となる。

ＥＰＹ_ｘ，ｙ＝−１×ｌｏｇ（１）＝０ ・・・（式３）

一方、図１１（ｃ）の近傍画素領域６３は、「黒色」７個、「暗灰色」５個、「薄灰色」６個、「白色」７個である。よって、下記（式４）により色情報エントロピーが求められ、「１．９９」となる。

ＥＰＹ_ｘ，ｙ＝−（７／２５）ｌｏｇ_２（７／２５）−（５／２５）ｌｏｇ_２（５／２５）−（６／２５）ｌｏｇ_２（６／２５）−（７／２５）ｌｏｇ_２（７／２５）＝１．９９ ・・・（式４）

このように、図１１（ｃ）は異なる色パレット番号（色情報量）が多く、乱雑であるため、色情報エントロピーは「１．９９」となる。尚、先に示した色パレットデータ１５には、「暗灰色」および「薄灰色」の色パレット番号の設定例は存在しないが、図１１を理解し易くするためにそれぞれ示したものである。

そして、図１２（ａ）から図１２（ｂ）に示すように、画像データの画素Ｆに対する近傍画素領域６４内を格子状の模様Ｇが左下から右上に微量に移動した場合について説明する。このように図１２（ａ）から図１２（ｂ）に示すように変化しても、画素Ｆの近傍画素領域６４の「灰色」と「白色」との割合に変化はない。よって、近傍画素領域６４の画像データの乱雑具合に変化は生じない。よって、色情報エントロピーとして図１２（ａ）の「０．９４」から、図１２（ｂ）の「０．９４」となり、変化は生じない。

このように色情報エントロピーの性質を利用すれば、例えば、工場に起こりがちな振動など、画像のブレ等の影響を排除することができる。また、工場以外の他の箇所の撮影においても、画像のブレが発生し安い場合などの影響は同様に排除することができる。また、誤差の影響も排除することができるものと考えられる。

次に図１３は、画素Ｈの近傍画素領域６４内において、灰色模様の一部が下から上に通過した様子の例を示した図である。この例では、灰色模様の通過に伴い画素Ｈの近傍画素領域６４の「灰色」と「白色」との割合に変化が生じる。よって、色情報エントロピー値が図１６（ａ）から（ｊ）に示すように変化していく。つまり、当該画像データの乱雑具合に変化が生じることにより、色情報エントロピーが変化している。この性質を利用すれば、当該画像データ上で動体が移動したか否かを判別することができることが解る。

そして、図１４に示すように、各画素位置における、時間経過毎すなわち時系列の画像データ毎の色情報エントロピーの情報が取得され、時間経過における色情報エントロピーの変化を確認することができる。そして、全ての画像データの各画素における色情報エントロピーが取得され、特徴量時系列データとして特徴量時系列ＤＢ１１に格納され処理を終了する。

このように色情報エントロピーを取得した画像データの、各画素位置のある時点の色情報エントロピーの数値の大小を濃淡でプロットすると、例えば、図１５（ａ）に示すように、複雑な形状や色合い持つ作業者などの物体を識別することができ、作業者の作業風景画像を得ることができる。また、図１５（ｂ）に示すように、図１５（ａ）のＺ−Ｚ’線上における、横軸が各位置、縦軸がその各位置における色情報エントロピーの数値のグラフを見ると、作業者の情報などを識別可能なことが確認できる。

次に、変動周期算出部８はこの特徴量時系列データを用いて作業者の作業サイクル時間を、特徴量の時系列変動周期を用いて画像分析を行う。具体的には、特徴量時系列データの自己相関係数算出するステップ、自己相関係数値を用いた変動周期の算出するステップ、変動周期を用いた作業サイクル時間の分析するステップの３段階にて実行する。

まず、全ての各画素の特徴量時系列データを読み込む（図１６のステップＳ２１）。そして、これらを横軸を時刻（経過秒）、縦軸を色情報エントロピーとしてグラフ化すると、図１７に示すようになる。図１７に示すように、Ｊ１、Ｋ１、Ｊ２、Ｋ２に特徴的な波形が存在する。この図１７における、Ｊ１箇所に存在する画素の波形を抽出すると、図１８に示すようになる。また、図１７における、Ｋ１箇所に存在する画素の波形を抽出すると、図１９に示すようになる。

図１８に示すように、「Ｊ１」と「Ｊ２」とは対になり特徴的な波形が存在することが解る。また、図１９に示すように、「Ｋ１」と「Ｋ２」とが対になり特徴的な波形が存在することが解る。よって、このように類似波形が周期的に繰り返されていることが解る。これは、作業者が反復的な作業を行う場合、画像上の決まった地点（画素座標）を周期的に人体や、ワーク、治工具などの一部が通過する度に色情報エントロピーが変動するためである。

このように、画素毎の色情報エントロピーにおいて、各画素の波形の周期位相が一致しない、すなわちＪ１とＫ１とのピーク出現時刻がずれる理由について説明する。例えば、図２０（ａ）に示すような画面において、画素Ｊの位置と、画素Ｋの位置とが異なる。そそして、図２０（ｂ）に示すように動体８０が画素Ｊの座標を通過した後に、画素Ｋの座標を通過するために時間差が生じる。このことが先に示したピーク出現時刻がずれている原因である。

次に、画素毎に自己相関係数を算出する（図１６のステップＳ２２）。これは、周期性を持つ時系列データを、ある時間分だけシフト（以下、”時間シフト”と称す）を行うと、図２１（ａ）から図２１（ｂ）に示すように、波形の一致性が高まる（すなわち自己相関が強まる時点が訪れる。この自己相関が強まる時点の時間間隔が、作業サイクル時間であるとみなし、時間シフト別の自己相関係数を調べることで作業サイクル時間を検出することができる。

よって、時刻ｔの時系列データ値Ｘｔと、時刻ｔからΔｓだけ時間シフトした時点での時系列データ値Ｘｔ＋Δｓ値との自己相関係数Ｒ（ｔ，ｔ＋Δｓ）を下記（式５）にて求める。尚、Ｅ［ｆ（ｔ）］はｆ（ｔ）の期待値である。また、μはＸの平均値、σはＸの標準偏差である。また、この式における「値」とは、色特徴エントロピーの「値」を指すものである。

Ｒ（ｔ，ｔ＋Δｓ）＝｛Ｅ［（Ｘ_ｔ−μ）（Ｘ_ｔ＋Δｓ−μ）］／σ^２ ・・・（式５）

そして、全ての各画素の時間シフト別の自己相関係数を、上記（式５）にて求める。すると、図２２に示すように、各画素の時間シフト毎の自己相関係数が求められる。そして、図２２のように求められた値を、縦軸に自己相関係数、横軸に時間シフトをとると、図２３に示すようになる。

次に、この自己相関係数を用いて変動周期を算出する（図１６のステップＳ２３）。まず、全ての画素の自己相関係数の時間シフト毎の平均値がとる。すると、図２４に示すように算出される。そして、図２４のように求められた値を、縦軸に自己相関係数、横軸に時間シフトをとると、図２５に示すようになる。図２５から明らかなように、色情報エントロピーの変動周期は、「１２秒から１３秒」の間隔で強い相関が表れることが確認できる。尚、自己相関係数の平均値により、変動周期を求めることも可能であるが、変動周期の値の精度を向上するために以下の動作を行う。

次に、この自己相関係数に対して、フーリエ変換を行い、自己相関係数の変動周期を明確にする。図２５に示した自己相関係数に対してフーリエ変換を行い、その値を、縦軸にパワースペクトル密度（ＰＳＤ）、横軸に周期にて示すと、図２６に示すように変換される。そして、図２６から「１１．２秒」にピークがあることが確認できる。これにより、この作業は「１１．２秒」周期（変動周期）で行われると算出される。

次に、このようにして求められた変動周期および各画素の特徴量時系列データを用いて作業サイクル時間を分析する（図１６のステップＳ２４）。まず、各画素における自己相関係数の極大値が現れた時点の、時間シフト、および、その自己相関係数（極大値）、その極大値が最初に出現する初回時刻とを図２７に示すように抽出する。図２７にて抽出されたデータには、当然のことながら、各画素は作業者の作業以外の画像データが含まれていることが起こり得るため、上記変動周期以外の極大値も存在することが想定される。

よって、図２７のデータから、各画素は作業者の作業以外の画像を取り除くために、先に求められた「１１．２秒」の変動周期を持つデータ、すなわち、「１１．２秒」の変動周期を持つ自己相関係数の極大値のみを抽出する。そして、図２７からこのようにして抽出されたデータを図２８に示す。この例では、「１１．２秒」の変動周期で複数の画素の自己相関係数が極大値を示している。そして、それぞれの自己相関係数の極大値が出現する初回時刻は、同じ場合と、異なる場合とが存在する。

これは、図２８に示す各画素７５、７６、７７の位置に対応する図２９に示すように、動体８０が、画素７５の位置（ｘ＝２０、ｙ＝１５７）を初回に通過した時刻が６．６秒後であっても、画素７６の位置（ｘ＝１４７、ｙ＝７９）および画素７７の位置（ｘ＝１４８、ｙ＝８０）を通過する初回時刻は１０．０秒後と異なっている。このことは、動体８０が画素７５から画素７６および画素７７に移動するために、３．４秒要したと推察できる。

言い換えると、画素７５の位置から画素７６および画素７７の位置に動体８０を動かすのに要する作業時間は３．４秒要したことを意味している。この性質を利用すれば、作業の１サイクル時間内の、どの区間（動体が任意の画素から他の任意の画素に移動する区間）間に、どのくらいの時間を要しているかを分析することができる。

次に、図３０から図３２を用いて、作業サイクル時間（作業の１サイクル時間を指す）の分析方法の具体例を説明する。図３０は、図２８のデータから初回時刻が重複しているデータを除いたものである。具体的には、画素７６と画素７７とは初回時刻が重複しているため、画素７６のデータのみを残し画素７７のデータを削除したものである。そしてこのようにして、初回時刻が重複しないデータを、初回時刻の早いものから順に、作業ポイント「Ｎｏ．１」、「Ｎｏ．２」・・・に並べ替える。

次に、これらの内から、作業ポイント「Ｎｏ．１」、「Ｎｏ．２」を選択して、この選択した作業ポイントに対応する画素の画素特徴量時系列データを抽出する。そして、自己相関係数の極大値となる時刻をそれぞれ時刻昇順に並べ替える。そして、このようにして抽出されたデータの例を図３１に示す。尚、図３０〜図３２に示す作業ポイント「Ｎｏ．１」「Ｎｏ．２」はそれぞれ同一の画素位置を示している。

そして、この作業ポイント毎の自己相関係数の極大時刻（以下、「作業時刻」とする）の出現順は、原則的に「Ｎｏ．１」「Ｎｏ．２」、「Ｎｏ．１」「Ｎｏ．２」、・・・と交互に現れる。よって、１作業サイクル毎に各作業ポイント間の作業時刻差、すなわち作業サイクル時間が計算できる。

具体的には図３２を用いて説明する。図３２では、１回目の作業サイクルは作業ポイント「Ｎｏ．１」の作業時刻が「６．６秒」、作業ポイント「Ｎｏ．２」の作業時刻が「１０．０秒」であり、２回目の作業サイクルは、作業ポイント「Ｎｏ．１」の作業時刻は「１７．８秒」、作業ポイント「Ｎｏ．２」の作業時刻は「２１．１秒」である。

この場合、作業ポイント「Ｎｏ．１」と作業ポイント「Ｎｏ．２」との間の区間を区間１、作業ポイント「Ｎｏ．２」と作業ポイント「Ｎｏ．１」との間の区間を区間２とする。すると区間１の作業時間は、１回目の作業サイクルでは作業ポイント「Ｎｏ．２」の作業時刻「１０．０秒」と作業ポイント「Ｎｏ．１」の作業時刻「６．６秒」との差である「３．４秒」となり、２回目の作業サイクルでは、作業ポイント「Ｎｏ．２」の作業時刻「２１．１秒」と作業ポイント「Ｎｏ．１」の作業時刻「１７．８秒」との差である「３．３秒」となる。

さらに、区間２の作業時間は、１回目の作業サイクルでは作業ポイント「Ｎｏ．２」の作業時刻「１０．０秒」と２回目の作業サイクルの作業ポイント「Ｎｏ．１」の作業時刻「１７．８秒」との差である「７．８秒」となり、２回目の作業サイクルでは、作業ポイント「Ｎｏ．２」の作業時刻「２１．１秒」と、３回目の作業サイクルの作業ポイント「Ｎｏ．１」の作業時刻「２８．９秒」との差である「７．８秒」となる。

そして、区間１と区間２との合計、「３．４秒」と「７．８秒」との合計、「１１．２秒」、また、「３．３秒」と「７．８秒」との合計、「１１．１秒」がそれぞれ算出される。このように、作業サイクル毎に各区間の作業ポイント間の作業時間間隔が測定することできる。そして、このようにして全ての画素における測定が行われ、画像分析データとして上記作業時間間隔データを画像分析ＤＢ１２に保存して、処理を終了する。

そして、画像分析装置５にて分析された画像分析データは通信網４を介して分析者１４の表示装置１３に表示される。そして、分析者１４には、例えば、画像分析データが図３３に示すような作業時間間隔のばらつきとして表示される。このようにして、分析者１４へ画像分析データを供給することが可能となる。この例では、区間１の作業時間ばらつきよりも、区間２の作業時間のばらつきの方が大きく、区間２の作業において何らかの問題が生じている可能性があるとして分析者１４は画像分析を行うことが可能となる。

また、上記実施の形態１においては、作業ポイントを抽出するための変動周期を検出する場合、全ての画素の色情報エントロピーを用いて自己相関係数を算出して、さらにそれを平均して求める例を示しが、これに限られることはなく、以下に変動周期を求める他の方法について説明する。

図３４に示すように、任意の１つの画素の色情報エントロピーの時系列データを抽出する。これは例えば、１回あたり１０秒の基本動作を４セットで１サイクルの作業を、例えば、１つのワークに対してネジ締め４箇所の作業を、複数のワークに対して繰り返し行っている場合を示している。そして、この図３４に示すようなデータから、上記実施の形態１と同様に自己相関係数を算出し、縦軸に自己相関係数、横軸に時間シフトをとると、図３５に示すようになる。

図３５から解るように、時間シフト、約１０秒で強い相関Ｍと、時間シフト、約５０秒周期で相関Ｎが見られる。短い相関Ｍは、１作業サイクル中に行われる短い基礎動作の反復が影響しているものと考えられる。一方、４セットで１サイクルの作業については、約５０秒周期にて相関Ｎがとれるものと考えられる。

次に、上記実施の形態１と同様に、この図３５の自己相関係数の変動周期を明確にするためにフーリエ変換を行う。図３５に示した自己相関係数に対してフーリエ変換を行い、その値を、縦軸にパワースペクトル密度（ＰＳＤ）、横軸に周期にて示すと、図３６に示すように変換される。そして、図３６から「５０秒」にピークがあることが確認できる。これにより、この作業は「５０秒」周期（変動周期）で行われると算出される。よって、以下この変動周期を用いて、上記実施の形態１と同様に作業ポイントを抽出して、作業の分析を行うことができる。

次に、自己相関係数にて変動周期を求める場合の利点について説明する。例えば、作業者の作業が途中で中断される作業中断が画像データに含まれる場合が考えられる。要因としては、休憩時間、突発的なトラブル、他者への応援、自ら作業を離脱するなど様々な要因が考えられる。このような作業中断においては、例えば画像データの取得を中断することも考えられるが、先にも示したようにどのような要因により中断されるかは不明であり、また、要因が解っている場合であっても、画像データの取得を中断する作業、また、画像データの取得を再開する作業など作業が繁雑となったり、そのタイミングによっては、画像分析自体に支障が生じたりする可能性がある。

よって、本実施の形態においては、作業中断が生じる場合であっても、画像データを取得し続け、その作業中断が含まれた画像データであっても、自己相関係数にて変動周期を求めているため画像分析に対応できるようにしたものであり、そのことについて以下に説明する。

まず、作業中断が存在する場合の、画像データの色情報エントロピーは、図３７に示すように、作業中断の間は「０」となる。尚、図３７は、作業中断以外は図３４と同様の作業を行っているものである。そして、この図３７に示すようなデータから、上記実施の形態１と同様に自己相関係数を算出し、縦軸に自己相関係数、横軸に時間シフトをとると、図３８に示すようになる。図３８と図３５とを比較すると解るように、図３８は作業中断が含まれているため、安定した波形を得ることができない。

しかし、この自己相関係数に対して、フーリエ変換を行い、その値を、縦軸にパワースペクトル密度（ＰＳＤ）、横軸に周期にて示すと、図３９に示すように変換される。そして、図３９から「５０秒」にピークがあることが確認できる。これにより、この作業は「５０秒」周期（変動周期）で行われると算出される。よって、以下、上記実施の形態１と同様に画像分析を行うことができる。

しかしながら、上記に示したように、自己相関係数を算出することなく、ただ単に画像データの色情報エントロピーに対してフーリエ解析を行い、その値を、縦軸にパワースペクトル密度（ＰＳＤ）、横軸に周期にて示すと、図４０に示すような結果が得られる。図４０から明らかなように、低周波成分が多く検出され、本来得る必要のある、５０秒にピークを確認することができない。

上記のように構成された実施の形態１の画像分析装置によれば、施設内の作業者を撮影した画像データの特徴量を用いて画像の分析を行うことができるため、分析を行う分析者が観測対象である作業者を目視観測する必要がなく、画像分析の負荷を軽減することができる。また、特徴量による変動周期を分析に用いることができるため、動体自体を識別する必要がなく、また動作辞書などの対応表の整備も不要であるため、画像分析を精度よく行うことができる。また、変動周期を自己相関係数により求めているため、作業中断などが発生しても精度に優れた変動周期を算出することができる。

また、特徴量時系列データは、各画素を含むあらかじめ設定された画素領域における色情報の時系列的な色情報エントロピー用いて計算するため、画像データにおいて、動体であるか否かを識別する必要がなく、画像分析を精度よく行うことができる。

また変動周期は、特徴量時系列データの自己相関係数から算出してるため、精度に優れた画像分析を行うことができる。

また色情報は、あらかじめ設定された複数の区分に分類された色パレットデータに基づいて取得されるため、画像分析を簡便に行うことができる。

尚、上記実施の形態１においては、画像分析装置に、画像分析手段、画像ＤＢ、特徴量時系列ＤＢ、画像分析ＤＢを備えている例を示したが、これに限られることはなく、それぞれが別々に形成されていても、上記実施の形態１と同様に行うことができ、同様の効果を奏することができる。具体的には、画像分析装置としては画像分析手段のみ存在すれば、他のデータは外部から得ることにより、上記実施の形態１と同様に行うことができ、同様の効果を奏することができる。これらのことは、以下の実施の形態においても同様であるためその説明は適宜省略する。

また、上記実施の形態１では撮影箇所を２箇所にて設定する例を示したが、撮影箇所は２箇所に限定するものではなく、１箇所あるいは３箇所以上でも、上記実施の形態１と同様に行うことができ、同様の効果を奏することができる。

実施の形態２．
上記実施の形態１においては、色パレットデータをあらかじめ設定している例を示したが、これに限られることはなく、本実施の形態においては、画像データにおける色情報の出現頻度に応じて色パレットデータを作成する場合について説明する。よって、本実施の形態においては、特徴量算出部７の動作の内、特に色パレットデータの設定を行う動作について説明する。他の部分の構成および動作は上記実施の形態１と同様であるため、その説明は適宜省略する。

図４１はこの発明の実施の形態２における画像分析装置の特徴量算出部の動作を説明するための図である。図４２は図４１に示した特徴量算出部にて取得した画像データの各色相における出現頻度を示した図である。図４３は図４１に示した各色相における出現頻度を色相において均等分割した状態を示す図である。図４４は図４１に示した画像データの各色相における出現頻度の多い順に示し山色相を抽出した図である。図４５は図４４に示した出現頻度の多い順を色相順に並び変え谷色相を抽出した図である。図４６は図４５に示した谷色相から設定された色パレット番号の状態を示した図である。図４７は図４１に示した各色相における出現頻度を色相において図４６に示した色パレット番号に分割した状態を示す図である。

上記のように構成された実施の形態２の画像分析装置の特徴量算出部７は、あらかじめ設定された数分の画像データを取得して読み込む（図４１のステップＳ１１）。この際、取得される画像データの数は、分析を行う画像データの種類、また、分析の精度などに応じて適宜設定されるものである。次に、上記実施の形態１と同様の処理を行い、取得された各画像データの全ての画素の色情報を取得する（図４１のステップＳ１２）。尚、この取得した各画像データの各画素の色情報は後述におけるステップＳ０２において利用してもよい。

次に、色パレットデータを作成する（図４１のステップＳ１３）。まず、読み込んだ各画像データの全ての画素の色情報の色相の出現頻度を算出する。そして、この際の色相の出現頻度を、横軸に色相、縦軸に出現頻度としてグラフ化すると、図４２に示すような分布になることが解る。これは、画像データが、例えば工場の中の場合であれば、一般的に作業場の風景は原色的でなく地味である場合が多い。

よって、図４２に示すように、殆ど出現しない色帯Ｑの部分が存在する。逆に、図４２の色帯Ｐ１、色帯Ｐ２にて示した部分のように、類似色に集中して出現する部分が存在する。よって、色帯Ｑにて示した部分は、分析において、色パレット番号を細かく分類する必要がなく、色帯Ｐ１、および色帯Ｐ２のように出現頻度の多い部分は、色パレット番号を分けて設定する方が分析を精度よく行うことができると考えられる。

しかしながら、図４２をただ単に等間隔にて色相にて分割してしまえば、図４３に示すように分類され、あまり出現しない色帯Ｑに２つの色パレット番号を付与されたり、多く出現する色帯Ｐ１、および色帯Ｐ２の両方に、同一の色パレット番号が付与されたりする。よってこの状態では、工場内の色情報の取得が精度よく行えない。

よって、本実施の形態２においては、色パレット番号、優先順位１位の、色パレット番号＜１＞（黒色）、優先順位２位の、色パレット番号＜２＞（白色）で、優先順位３位の、色パレット番号＜３＞（灰色）といった色相に関係なく輝度や彩度によって決まる色パレット番号を除いた、色パレット数を「１１」個を出現頻度の多い色相から順に設定する。

出現頻度の多い色相（図４２では山状になっている部分であり、以下、「山色相」と呼ぶ）を、出現頻度の多い箇所から順に、＜４＞〜＜１４＞を割り当てていく。図４１において、出現頻度が最も多いのは色相２００°近辺であることから、山色相２００°が含まれるように、優先順位４位の、色パレット番号＜４＞が割り当てられる。次に多い色相２２０°が含まれるように、優先順位５位の、色パレット番号＜５＞が割り当てられる。そして、図４４に示すように１１個の山色相が順次割り当てられる。そして、図４５に示すように、これらの１１個の山色相を色相の小さいものから順に並べ替える。そして、山色相と次の山色相間で、出現頻度が最小となる色相（以下、「谷色相」とする）を検出する。

そして、各色パレット番号は、図４６に示すように、谷色相から次の谷色相間の色帯幅が色パレットの境界条件として設定される。すなわち、例えば、優先順位４位の、色パレット番号＜４＞であれば、色相１８０°以上２１０°未満が割り当てられる。このように設定することで、色パレットデータは、色相の出現頻度に応じて色パレット番号の色帯幅が可変される。

そして、色パレットデータに、この色パレット番号がそれぞれ登録される。すると、図４６に示すように、色帯Ｑにて示し部分は、色パレット番号は１つに設定され、色帯Ｐ１、および色帯Ｐ２は別々の色パレット番号が設定される。よって、分析を精度よく行うことができると考えられる。そして、この出力頻度に応じて設定された色パレットデータを用いて、以下、上記実施の形態１と同様に処理を行う。

上記のように構成された実施の形態２によれば、上記実施の形態１と同様の効果を奏するのはもちろんこと、画像データの色情報の出現頻度に応じて、色パレットデータを設定することができるので、画像データの内容に応じて、画像分析を精度よく行うことができる。

実施の形態３．
上記各実施の形態においては、画像分析システムとして、撮影装置、画像分析装置、表示装置を分散配置して構成する例を示したが、これに限られることはなく、図４８に示すように、タブレット型の移動型端末装置２０に、画像を撮影する撮影装置２１、情報を表示する表示装置２２、画像分析装置５を備える。そして、画像分析装置５には、上記各実施の形態と同様に、画像分析手段９、画像ＤＢ６、特徴量時系列ＤＢ１１、画像分析ＤＢ１２を備えている。そして、上記各実施の形態と同様に動作することができる。

上記のように構成された実施の形態３によれば、上記各実施の形態と同様の効果を奏するのはもちろんこと、移動型端末装置に各機能を備えるようにしているため、可搬性を高くすることができる。また、作業の内容を分析するような場合であれば、各作業者または分析者が、作業または分析を行う箇所にて移動型端末装置を持参して画像分析を行うことができるため、当該箇所に撮影装置および表示装置の設備がなくとも画像分析を行うことができる。また、撮影装置および表示装置と、画像分析装置との通信を確保する必要がないため、汎用性に優れている。

実施の形態４．
上記各実施の形態においては、画像分析装置に、画像分析手段、画像ＤＢ、特徴量時系列ＤＢ、画像分析ＤＢを備えている例を示したが、これに限られることはなく、画像データを格納する画像ＤＢを撮影装置側に備えるようにしてもよい。

具体的には図４９に示すように、画像分析装置５には、上記各実施の形態と同様に、画像分析手段９と、特徴量時系列ＤＢ１１と、画像分析ＤＢ１２とを備える。そして、有線または無線にてなる通信網３４を介して表示装置１３が接続されている。また、通信網３４を介して、例えば家庭用の一般的ビデオカメラにてなる撮影ユニット３０１、３０２がそれぞれ接続されている。そして、各撮影ユニット３０１、３０２は画像を撮影する撮影装置３１１、３１２と、各撮影装置３１１、３１２にて撮影された画像データを格納する画像ＤＢ３１３、３１４（ビデオカメラのＨＤ、ＳＤカード等が考えられる）とをそれぞれ備えている。そして、上記各実施の形態と同様に動作することができる。

上記のように構成された実施の形態４の画像分析システムによれば、上記各実施の形態と同様の効果を奏するのはもちろんこと、撮影対象の増加に対して、安価に撮影ユニットを拡張することができる。尚、本実施の形態４においては撮影ユニットを２台接続している例を示したが、これに限られることはなく、１台あるいは３台以上でも同様に行うことができ、同様の効果を奏することができる。

尚、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

Claims (11)

1. 時系列に取得された画像データを分析する画像分析方法において、
   各前記画像データの各画素の色情報を取得する工程と
   前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
   前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備え、
   前記特徴量時系列データは、各前記画素を含むあらかじめ設定された画素領域における前記色情報の時系列的な色情報の情報エントロピーである画像分析方法。
2. 前記変動周期は、前記特徴量時系列データの自己相関係数から算出する請求項１に記載の画像分析方法。
3. 前記色情報は、あらかじめ設定された複数の区分に分類された色パレットデータに基づいて取得される請求項１または請求項２に記載の画像分析方法。
4. 前記色パレットデータの区分は、前記画像データの色の出現頻度に応じて設定される請求項３に記載の画像分析方法。
5. 前記画像データが、工場内の作業者が周期的な動作を反復するデータを含んでおり、
   前記変動周期から前記作業者の反復する動作の周期を分析する工程を備えた請求項１から請求項４のいずれか１項に記載の画像分析方法。
6. 時系列に取得された画像データを分析する画像分析装置において、
   各前記画像データの各画素の色情報から特徴量の時系列的な変化を示す特徴量時系列データを算出する特徴量算出部と、
   前記特徴量時系列データから各前記画像データの変動周期を算出する変動周期算出部とを備え、
   前記特徴量時系列データは、各前記画素を含むあらかじめ設定された画素領域における前記色情報の時系列的な色情報の情報エントロピーである画像分析装置。
7. 請求項６に記載の画像分析装置は、請求項１から請求項５のいずれか１項に記載の画像分析方法を行う画像分析装置。
8. 請求項６または請求項７に記載の画像分析装置と、
   前記画像データを取得する撮影装置と、
   前記画像分析装置の分析結果を表示する表示装置と、
   前記画像データを格納する画像データベースと、
   前記特徴量時系列データを格納する特徴量時系列データベースと、
   前記分析結果を格納する画像分析データベースとを有する画像分析システム。
9. 請求項８に記載の画像分析システムは、
   前記画像分析装置、前記撮影装置、前記表示装置、前記画像データベース、前記特徴量時系列データベース、および、前記画像分析データベースを一体型かつ可搬型にて形成されている画像分析可搬型装置。
10. 時系列に取得された画像データを分析する画像分析方法において、
    各前記画像データの各画素の色情報を取得する工程と
    前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
    前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備え、
    前記色情報は、あらかじめ設定された複数の区分に分類された色パレットデータに基づいて取得され、
    前記色パレットデータの区分は、前記画像データの色の出現頻度に応じて設定される画像分析方法。
11. 時系列に取得された画像データを分析する画像分析方法において、
    各前記画像データの各画素の色情報を取得する工程と
    前記色情報から各前記画素の特徴量の時系列的な変化を示す特徴量時系列データを算出する工程と、
    前記特徴量時系列データから前記画像データの変動周期を算出する工程とを備え、
    前記画像データが、工場内の作業者が周期的な動作を反復するデータを含んでおり、
    前記変動周期から前記作業者の反復する動作の周期を分析する工程を備えた画像分析方法。

Images