JP7063267B2 - 画像処理装置、画像処理システム、画像処理方法およびコンピュータプログラム - Google Patents

Description

本発明は、運動中の物体を撮影し当該物体の動きを画像処理により検知（観察）する技術に関する。

工場ライン、ベルトコンベア、回転運動するアンテナなどには周期性をもって運動する可動部がある。また、入退場ゲートなどには開閉運動する可動部がある。これら可動部は、同じ位置で運動する、繰り返し同じ姿勢を取る、又は、同じ変形を繰り返すというような動きをする。このような動きをする可動部を、運動を止めることなく、点検する技術が求められている。

例えば、カメラで撮影された可動部の画像を画像処理し当該画像処理により得られた情報を解析することにより、可動部を点検することが考えられる。このような画像処理を利用した可動部の点検を実現するためには、例えば可動部が回転体である場合には、回転中の可動部を撮影し、１回転目の運動時と２回転目の運動時のように異なるタイミングで撮影された可動部の画像同士を比較して解析をする必要がある。そのように点検のために可動部の画像を比較するためには、予め定められた動作タイミング毎の可動部の画像同士を比較・解析する必要がある。

物体の動作タイミングに合わせた画像を得る技術が、例えば、特許文献１（特開平０２－２８４２６７号公報）や、特許文献２（特公平０７－３１２４９号公報）に提案されている。これらの先行技術では、運動する物体を検知するセンサがカメラや光源と並べられて配置されている。当該センサが観察対象となる物体を検知した際に、センサから出力されるトリガ信号が処理装置に取り込まれる。そして、処理装置は、カメラの画角内に観察対象の物体が入ったタイミングでカメラもしくは光源を動作させるために、トリガ信号を受信したタイミングでディレイを付与して、カメラおよび光源に向けて制御信号を送る。処理装置は、このようにしてカメラおよび光源を制御している。

特開平０２－２８４２６７号公報 特公平０７－３１２４９号公報

しかしながら、上述した先行技術では、運動する物体をセンサおよびカメラを利用して撮影する場合には、撮影タイミングのばらつきが問題になる。通常、運動する物体を検知するセンサは、物体を検知してから信号を出力するまでに、数十us（マイクロ秒）～数十ms（ミリ秒）の時間（応答時間）が掛かる。一般的には、このようなセンサの応答時間は、主に、内部処理に起因する“遅延”と、“出力タイミングのばらつき”とに因る。

“遅延”の時間はほぼ一定で推測可能な時間であるので、センサからのトリガ信号を処理装置が取り込んだ後に、処理装置がその遅延時間を考慮した制御信号をカメラや光源に向けて送ることにより、“遅延”の解消を図ることができる。一方、“出力タイミングのばらつき”の時間は変動し、かつ、推測が難しいことから、処理装置がセンサの“出力タイミングのばらつき”を解消すべくセンサからのトリガ信号を出力することは難しい。したがって、センサの“出力タイミングのばらつき”は、カメラの撮影タイミングのばらつきの要因の一つとなる。

さらに、カメラも、トリガ信号（カメラ制御信号）を受信してから撮影が実行されるまでに、数十us（マイクロ秒）～数十ms（ミリ秒）の時間（応答時間）が掛かる。このカメラの応答時間の要因にも、内部処理に起因する“遅延”と、“実行タイミングのばらつき”とがある。カメラの“遅延”に関しても、センサの“遅延”と同様に、処理装置により解消することが可能であるが、カメラの“実行タイミングのばらつき”は、センサの“出力タイミングのばらつき”と同様に、解消することが難しい。このため、カメラの“実行タイミングのばらつき”もカメラの撮影タイミングのばらつきの要因の一つとなる。

カメラの撮影タイミングがばらつくと、被写体である物体が運動している場合には、画像における物体の位置や姿勢などがばらつく事態が発生する。ここで、運動中の物体（可動部）の画像に基づいて可動部の様子を観察・解析することにより可動部を点検したい場合に、可動部における観察対象部分の挙動の大きさよりも、画像における可動部の位置や姿勢のばらつきが大きくなってしまったとする。この場合には、そのばらつきのために、可動部における観察対象部分の挙動を画像処理により検知することが難しいという課題が生じる。

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知（観察）する技術を提供することにある。

上記目的を達成するために、本発明の画像処理装置は、
検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する代表選択部と、
前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する変位解析部と、
参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する参照選択部とを備える。

本発明の画像処理システムは、
検知対象の物体を撮影する撮影装置と、
本発明の画像処理装置と
を備える。

本発明の画像処理方法は、
検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択し、
前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出し、
参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択し、
選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する。

本発明のプログラム記憶媒体は、
検知対象の物体を撮影した撮影画像の中から、処理の基準となる代表画像を選択する処理と、
前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する処理と、
参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する処理と、
選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。

なお、本発明の上記主な目的は、本発明の画像処理装置に対応する本発明の画像処理方法によっても達成される。また、本発明の上記主な目的は、本発明の画像処理装置、画像処理方法に対応する本発明のコンピュータプログラムおよびそれを格納するプログラム記憶媒体によっても達成される。

本発明によれば、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知（観察）できる。

本発明に係る第１実施形態の画像処理装置の構成を簡略化して表すブロック図である。 本発明に係る第１実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第２実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第２実施形態の画像処理装置の構成を簡略化して表すブロック図である。 第２実施形態における記憶装置に登録される情報の一例を説明する図である。 第２実施形態の画像処理装置のハードウェア構成を説明する図である。 第２実施形態の画像処理装置の動作例を説明するフローチャートである。 第２実施形態の画像処理装置の一変形例の構成を簡略化して表すブロック図である。 第２実施形態の画像処理装置の動作の変形例を説明するフローチャートである。 第２実施形態の画像処理装置の動作のさらに別の変形例を説明するフローチャートである。 変位量と出現頻度の関係例を表すグラフである。 第２実施形態における記憶装置に登録される情報の変形例を説明する図である。 第２実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。 第２実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。 第２実施形態における記憶装置に登録される情報のさらに別の変形例を説明する図である。 本発明に係る第３実施形態の画像処理装置の構成を簡略化して表すブロック図である。 第３実施形態の画像処理装置の動作例を説明するフローチャートである。 第３実施形態の画像処理装置の一変形例の構成を簡略化して表すブロック図である。 本発明に係る第４実施形態の画像処理システムの構成を簡略化して表すブロック図である。 第４実施形態における記憶装置に登録される情報の具体例を説明する図である。 第４実施形態の画像処理装置の動作により得られる情報（データ）の具体例を表す図である。 第４実施形態の画像処理装置による解析結果の具体的な表示例を表す図である。 第４実施形態の画像処理装置による別の解析結果の具体的な表示例を表す図である。 第４実施形態の画像処理装置によるさらに別の解析結果の具体的な表示例を表す図である。 第４実施形態の画像処理装置によるさらにまた別の解析結果の具体的な表示例を表す図である。

以下に、本発明に係る実施形態を図面を参照しつつ説明する。

＜第１実施形態＞
図１は、本発明に係る第１実施形態の画像処理装置の構成例を簡略化して表すブロック図である。この第１実施形態の画像処理装置１は、図２に表されるように、撮影装置７と共に画像処理システム６を構成する。

撮影装置７は、検知対象の物体を撮影する機能を備える。

画像処理装置１は、代表選択部２と、変位解析部３と、参照選択部４とを備える。代表選択部２は、検知対象の物体を撮影した撮影画像から、処理の基準となる代表画像を選択する機能を備える。

変位解析部３は、代表画像が選択されている状態で、代表画像と、当該代表画像とは異なる撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する機能を備える。ここでの変位量とは、画像全体の変位量（あるいはその総和）であっても、画像の中の特定領域（ＲＯＩ（Region Of Interest））における変位量（あるいはその総和）であってもよい。変位解析部３は、そのような変位量のうちの予め定められた変位量を算出する。

参照選択部４は、参照画像として定められた撮影画像の中から、検知対象の物体の動きを解析する処理で使用する参照画像を、変位解析部３により算出された変位量に基づいて選択する機能を備える。

この第１実施形態の画像処理装置１は、過去に同じ条件で撮影された撮影画像である代表画像と、撮影画像との変位量に基づいて、検知対象の物体の動きを解析する処理で使用する画像（参照画像）を選択する構成を備えている。このように選択された参照画像を利用して、検知対象の物体の動きを解析することにより、画像処理装置１は、撮影タイミングのばらつきの影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の動きを画像解析により精度良く検知可能となる。

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。

図３は、本発明に係る第２実施形態の画像処理装置を備える画像処理システムの構成を簡略化して表すブロック図である。図４は、第２実施形態の画像処理装置の構成を簡略化して表すブロック図である。

第２実施形態では、画像処理システム２０は、物体を撮影した画像を利用して物体の動きを検知（観察）するシステム（例えば、工場ラインや施設設備などにおける回転可動する部材の異常検知処理を行うシステム）に適用される。この画像処理システム２０は、画像処理装置２１と、記憶装置２２と、検知装置２３と、撮影装置２４とを備えている。画像処理装置２１は、記憶装置２２と検知装置２３と撮影装置２４にそれぞれ通信可能に接続されている。検知装置２３と撮影装置２４は、物体の動きを検知もしくは撮影可能な状態で配置されている。

撮影装置２４は、画像センサ、カメラ、ビデオカメラ等により構成される。撮影装置２４は、画像処理装置２１から供給される撮影制御信号に応じて撮影動作を実行し、撮影した画像を画像処理装置２１に向けて出力する構成を備える。

検知装置２３は、検知対象の物体の状態をセンシングして、物体の運動や変形が所定の状態(位置・姿勢・形状)であることを検知すると、それを知らせる信号を同期信号として、画像処理装置２１に向けて出力する構成を備えている。

例えば、検知装置２３は、近接センサ、静電容量センサ、接触検知センサ、曲げセンサ、歪みセンサなどのセンサデバイスやセンサアレイ装置により構成される。あるいは、検知装置２３は、光電センサ、距離センサ、エンコーダーなどのセンサデバイスと、当該センサデバイスから出力されるセンシング情報を処理する処理装置とにより構成されてもよい。また、検知対象の物体から運動や変形の状態に応じた信号が出力される場合には、検知装置２３は、その出力信号を利用して検知対象の物体の状態をセンシングし、当該センシングに基づいて同期信号を出力する構成を備えていてもよい。さらに、検知装置２３は、同期信号だけでなく、各種センサ値やその演算値などのデータをも出力する構成を備えていてもよい。

さらに、検知装置２３は、画像センサで撮影した画像を利用した画像処理により検知対象の物体の状態をセンシングし、当該センシングに基づいて同期信号を出力する構成を備えていてもよい。さらにまた、検知装置２３は、検知対象の物体の画像と、その物体の運動の状態を表す参照画像（例えば、後述する代表画像）との類似度を算出し、当該類似度が閾値よりも高くなった場合に同期信号を出力する構成を備えていてもよい。さらに、検知装置２３は、同期信号だけでなく、画像の類似度のように画像処理により算出された値やデータをも出力する構成を備えていてもよい。このように検知装置２３は、検知対象の物体の画像を利用した構成を備えていてもよい。この場合には、検知装置２３は、撮影装置２４に組み込まれていてもよい。

記憶装置２２は、情報（データ）を記憶する装置である。第２実施形態では、記憶装置２２は、画像処理装置２１が用いる画像データ等を記憶している。

画像処理装置２１は、図４に表されるように、撮影制御部２１１と代表選択部２１２と変位解析部２１３と参照選択部２１４と画像解析部２１５と書き込み部２１６を備える。変位解析部２１３は、撮影制御部２１１と代表選択部２１２と参照選択部２１４にそれぞれ接続されている。画像解析部２１５は、撮影制御部２１１と参照選択部２１４にそれぞれ接続されている。

撮影制御部２１１は、検知装置２３と撮影装置２４にそれぞれ接続されている。撮影制御部２１１は、検知装置２３から同期信号（観察対象の物体の運動や変形の状態に応じた信号）を受け取り、同期信号に基づいて撮影を指示する撮影制御信号を撮影装置２４に出力する機能を備えている。撮影制御部２１１は、例えば、検知装置２３から同期信号を受け取ってから予め設定された遅延時間が経過した後に撮影制御信号を撮影装置２４に出力するというように、撮影制御信号の出力タイミングを調整する機能を備えていてもよい。その遅延時間は、例えば撮影制御部２１１が同期信号を受けて直ちに撮影制御信号を出力する場合における応答処理に要する時間（応答時間）よりも長い時間とする。これにより、撮影制御部２１１は、その応答時間のばらつき等の影響を抑制し撮影装置２４により撮影される観察対象の物体の運動や変形の状態を揃えることができるように、撮影装置２４の撮影タイミングを制御できる。

また、撮影制御部２１１は、撮影装置２４から取得した画像（撮影画像）を代表選択部２１２に出力し、また、当該撮影画像を処理対象画像として変位解析部２１３と画像解析部２１５に出力する機能を備えている。

代表選択部２１２は、撮影装置２４により撮影された画像（撮影画像）を撮影制御部２１１を通して受け取った場合に、変位解析部２１３の処理で基準の画像として使用する画像（代表画像）が記憶装置２２に登録されているか否かを判断する機能を備えている。そして、代表選択部２１２は、代表画像が記憶装置２２に登録されていない場合には、撮影制御部２１１を通して受け取った撮影装置２４の撮影画像を代表画像として記憶装置２２に登録する機能を備えている。あるいは、代表選択部２１２は、撮影装置２４の撮影画像を順次受け取り、予め設定された複数枚の撮影画像の中から、変位解析部２１３の処理で基準の画像として使用する代表画像を予め定められた選択手法により選択する機能を備えている。代表画像を選択する手法には、様々な手法が考えられ、何れの手法を採用してもよいが、その一例を次に述べる。例えば、代表選択部２１２は、撮影装置２４により撮影された複数の撮影画像の中から例えば無作為に選択した画像を一次的な代表画像とし、当該一次的な代表画像と他の撮影画像との変位を解析して変位量を算出する。その後、代表選択部２１２は、その変位量を統計的に評価しその中央値を取る画像を代表画像として選択する。このような手法により代表画像を選択することは、変位解析部２１３による処理における変位の探索領域を狭くすることができる。

書き込み部２１６は、画像等の情報（データ）を記憶装置２２に書き込む機能を備えている。代表選択部２１２により選択された代表画像は、書き込み部２１６の機能によって記憶装置２２に書き込まれる。

変位解析部２１３は、撮影制御部２１１から受け取った処理対象画像の中の物体が撮影されている点もしくは領域が、記憶装置２２から読み出した代表画像に対してどの程度ずれているかを解析する変位解析を行う機能を備えている。この第２実施形態では、変位解析部２１３は、主に大局的なずれを扱うこととする。変位解析部２１３は、処理対象画像の中の物体の位置が、代表画像に対してどの程度ずれているかを示す値として変位量を算出する。また、変位解析部２１３は、算出した変位量を参照選択部２１４に出力する機能を備えている。

変位解析部２１３が実行する変位の解析には、例えば、特開２００６－３３１４２号公報に開示されている勾配法による並進ずれ量算出の手法や、特開２００９－７７３６３号公報に開示されているオプティカルフローによる動き量の算出手法を利用できる。また、変位の解析には、さらに、テンプレートマッチングによる移動量の追跡手法や、画像相関法による変位量の算出手法や、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量などに代表される局所画像特徴の動き解析手法などの手法も有る。変位解析部２１３は、そのような様々な手法の中から適宜選択された手法によって、変位の解析を行う。

参照選択部２１４は、記憶装置２２に記憶されている複数の参照画像の中から、変位解析部２１３から得た変位量に基づいて参照画像を選択する。参照画像は、観察対象の物体を撮影するタイミングと同じタイミング（周期タイミング）で撮影装置２４によって予め撮影された観察対象の物体を含む画像である。例えば、代表選択部２１２により代表画像が選択されると、当該代表画像と、各参照画像との変位量が変位解析部２１３により算出される。記憶装置２２は、図５に表されるように画像記憶部２２１を有し、当該画像記憶部２２１には、代表選択部２１２により選択された代表画像と、参照画像と、当該参照画像と代表画像との変位量とが関連付けられた状態で記憶されている。

参照選択部２１４は、例えば、記憶装置２２の画像記憶部２２１から、変位解析部２１３により算出された処理対象画像と代表画像間の変位量に最も近い変位量に関連付けられている参照画像を選択する。あるいは、参照選択部２１４は、参照画像を１つ選択するのではなく、変位解析部２１３により算出された処理対象画像と代表画像間の変位量に近い複数の参照画像を参照画像群として選択してもよい。

画像解析部２１５は、撮影制御部２１１を通して受け取った処理対象画像と、参照選択部２１４により選択された参照画像とを用いて、観察対象の物体の動き等を画像解析によって検知（観察）する機能を備えている。画像解析部２１５は、例えば、前述したような変位の解析手法により、画像における観察対象の物体の局所的な変位を解析する。あるいは、画像解析部２１５は、画像全体の変位を解析してもよい。また、画像解析部２１５は、画像間の差分を取ってもよい。さらに、画像解析部２１５は、観察対象の物体のエッジを抽出し、その角度や長さなどを評価してもよい。さらにまた、画像処理装置２１は、検知装置２３が出力する同期信号に基づき、撮影時に得られる情報をも画像と共に取得する機能を備えていてもよい。そして、画像解析部２１５は、その撮影時に得られる情報をも考慮して、観察対象の物体の動き等を解析してもよい。ここでの撮影時に得られる情報としては、例えば、画像の撮影時刻や、撮影環境情報（撮影時の照度、風向き、風速など）や、検知装置２３から得た情報（画像の類似度など）がある。さらに、撮影時に得られる情報は、観察対象の物体の存在や状態をセンシングするために設置した各種センサ（光電センサ、距離センサ、加速度センサ、ジャイロなど）から撮影時に得られるセンサ値やその演算値であってもよい。画像処理装置２１と画像解析部２１５が用いる撮影時に得られる情報は、上記のような情報のうちの一つに限定されず、撮影時に得られる複数の情報を利用してもよい。

上記のような画像解析部２１５により解析された例えば物体の動きの変化に基づき、例えば、工場ラインや施設設備などにおける回転可動する部材に異常が有るか否かが判断される。なお、画像解析部２１５により画像解析された結果がどのように処理されるかは、第２実施形態の画像処理システムが適用されるシステムに応じて定まるものであり、上記のような部材の異常検知に限定されない。

第２実施形態における画像処理装置２１およびそれを備える画像処理システム２０は、上記のように構成されている。なお、図６は、画像処理装置２１のハードウェア構成を簡略化して表すブロック図である。画像処理装置２１は、例えば、ＣＰＵ（Central Processing Unit）１５と、通信ユニット１６と、メモリ１７と、入出力ＩＦ（Interface）１８とを有する。さらに、画像処理装置２１には、表示装置（図示せず）が接続されていてもよい。

通信ユニット１６は、例えば、情報通信網（図示せず）を介してシステムのユーザが所有する情報処理装置（図示せず）等に接続され、当該情報処理装置等との通信を実現する機能を備えている。入出力ＩＦ１８は、例えば、検知装置２３、撮影装置２４、記憶装置２２、さらに、装置の操作者（ユーザ）が情報を入力するキーボード等の入力装置（図示せず）等に接続し、これら装置との情報（信号）の通信を実現する機能を備えている。メモリ１７は、データやコンピュータプログラム（プログラム）を格納する記憶装置（記憶媒体）である。記憶装置には、例えば、ハードディスク装置、ＳＳＤ（Solid State Drive）、ＲＡＭ（Random Access Memory）というように様々な種類が有り、１つの装置に複数種の記憶装置が搭載されることがあるが、ここでは、包括的に１つのメモリとして表す。ＣＰＵ１５は、演算回路であり、メモリ１７に格納されているプログラムを読み出し当該プログラムを実行することにより、画像処理装置２１の動作を制御する機能を備える。例えば、ＣＰＵ１５がプログラムを実行することによって、機能部である撮影制御部２１１と代表選択部２１２と変位解析部２１３と参照選択部２１４と画像解析部２１５と書き込み部２１６が実現される。

次に、画像処理装置２１の動作例を図７のフローチャートに基づいて説明する。なお、図７のフローチャートは、例えば、画像処理装置２１のＣＰＵ１５が実行する処理手順を表している。

例えば、撮影制御部２１１は、検知装置２３から同期信号を受け取ると（ステップＳ１）、撮影制御信号を撮影装置２４に向けて出力する（ステップＳ２）。また、撮影制御部２１１は、撮影装置２４から画像を取得すると（ステップＳ３）、代表選択部２１２に供給し、また、処理対象画像として変位解析部２１３と画像解析部２１５に出力する。

代表選択部２１２は、撮影制御部２１１から画像を受け取ると、記憶装置２２に代表画像が存在しているか（登録されているか）否かを判定する（ステップＳ４）。存在していない場合には、代表選択部２１２は、受け取った画像を代表画像として書き込み部２１６によって記憶装置２２の画像記憶部２２１に書き込む（登録する）（ステップＳ５）。そして、画像処理装置２１は、次の同期信号に備え、待機する。

一方、記憶装置２２の画像記憶部２２１に代表画像が存在している場合には、予め定められた選択手法に基づいて代表画像を選択する（ステップＳ６）。

その後、変位解析部２１３は、撮影制御部２１１から受け取った処理対象画像と、代表選択部２１２により選択された代表画像との間の変位を解析し、変位量を算出する（ステップＳ７）。そして、参照選択部２１４は、画像記憶部２２１において、代表選択部２１２により選択された代表画像に関連付けられている参照画像の中に、算出された変位量と同じあるいは予め定められたずれ許容範囲内の変位量に関連付けられている参照画像があるか否かを判定する（ステップＳ８）。該当する参照画像が画像記憶部２２１に無い場合には、参照選択部２１４は、変位解析部２１３の処理対象であった撮影装置２４による撮影画像を参照画像とする。そして、参照選択部２１４は、その参照画像を変位解析部２１３により算出された変位量と関連付けられた状態で参照画像記憶部１２２に書き込み部２１６によって登録する（ステップＳ９）。そして、画像処理装置２１は、次の同期信号に備え、待機する。

一方、変位解析部２１３により算出された変位量に応じた参照画像が画像記憶部２２１に存在する場合には、参照選択部２１４は、対応する参照画像を選択し（ステップＳ１０）、選択した参照画像を画像記憶部２２１から読み出す。

然る後に、画像解析部２１５は、撮影制御部２１１から受け取った処理対象画像と、参照選択部２１４により選択された参照画像とを用いて、画像を解析する（ステップＳ１１）。そして、画像解析部２１５は、この解析により得られた結果、例えば、観察対象の物体の動き等の観察結果を図示しない出力装置に向けて出力する（ステップＳ１２）。

画像処理装置２１は、上記のような画像処理を含む一連の動作によって観察対象の物体の動き等を観察し、観察結果を表示装置（図示せず）に出力することができる。

第２実施形態の画像処理装置２１およびそれを備えた画像処理システム２０は、次のような効果を得ることができる。すなわち、第２実施形態では、図５に表されるように、１枚の代表画像に複数の参照画像が関連付けられ、さらに、代表画像に対する各参照画像の変位量が計算され、算出された各変位量が参照画像に関連付けられている。このような状態で、代表画像と参照画像と変位量が画像記憶部２２１に格納されている。代表画像も参照画像も、撮影装置２４から出力される解析対象の撮影画像と同じ条件で観察対象の物体を撮影した画像である。このため、画像記憶部２２１に格納されている参照画像の中から、基準となる代表画像と解析対象の撮影画像（処理対象画像）との変位量に基づいて参照選択部２１４により選択される参照画像は、処理対象画像と比較し易い画像である。換言すれば、変位解析部２１３は、処理対象画像と代表画像との撮影タイミングのばらつきによる成分を変位量というパラメータとして抽出することができる。そして、参照選択部２１４は、同じ代表画像との撮影タイミングのばらつき成分を示す変位量に関連付けられている画像記憶部２２１の参照画像の中から、変位量が近い参照画像を選択することが可能となる。その変位量が近い参照画像とは、すなわち、処理対象画像との撮影タイミングのばらつき成分が小さく、処理対象画像との比較が容易な参照画像である。このような参照画像が選択される結果、撮影タイミングのばらつきにより画像中の物体の位置がばらつくような場合であっても、画像解析部２１５は、処理対象画像中における観察対象の物体と、当該物体と同様な位置や姿勢の参照画像における観察対象の物体とを比較できる。これにより、参照画像中の観察対象の物体に対する処理対象画像中の観察対象の物体の位置や姿勢等のずれが小さく、画像解析部２１５が観察対象の物体における観察したい挙動を抽出し易くなる。

また、撮影タイミングのばらつきではなく、物体の運動速度が変化した際に、画像中の物体の撮影される位置がずれるという場合もある。その場合においても、参照選択部２１４は、処理対象画像における観察対象の物体との比較が容易な観察対象の物体が含まれている参照画像を適切に選択できる。このため、物体の運動速度が変化した場合においても、画像解析部２１５は、処理対象画像と参照画像の比較に基づいた画像解析により観察対象の物体における観察したい挙動を容易に抽出できる。

このため、画像処理装置２１およびそれを備えた画像処理システム２０は、簡単な構成で、撮影タイミングのばらつきの悪影響を小さくし、運動中の物体の動きを止めることなく撮影された物体の挙動を画像解析により精度良く検知（観察）できる。

＜第２実施形態における変形例＞
・変形例１
図８は、第２実施形態における画像処理装置２１の変形例の構成を簡略化して表すブロック図である。なお、図８では、図４に表されている画像処理装置２１を構成する構成部分と同一名称部分には同一符号を付し、その機能における共通部分の重複説明は省略する。

この変形例では、図４に表される画像処理装置２１の構成に加えて、例えばＣＰＵ１５により実現される機能部である画像整列部２１７が備えられている。この変形例では、例えば、参照選択部２１４は、変位解析部２１３により算出された処理対象画像と代表画像間の変位量に近い複数の参照画像を参照画像群として選択する。そして、画像整列部２１７は、その選択された複数の参照画像を予め定められたルールに従って整列する機能を有する。画像解析部２１５は、画像整列部２１７により整列された参照画像と、処理対象画像とに基づいて、観察対象の物体の挙動等を画像解析により抽出する。

図８に表される画像処理装置２１の上記以外の構成は、図４における画像処理装置２１の構成と同様である。

・変形例２
図９は、画像処理装置２１における図８の動作例の変形例を表すフローチャートである。この図９に表される画像処理装置２１の動作例では、ステップＳ１～ステップＳ１２までの動作は、図７におけるステップＳ１～ステップＳ１２の動作と同様であるが、ステップＳ１２の動作の後に、参照画像を記憶装置２２に登録する動作を行う（ステップＳ１３）。すなわち、ステップＳ１３において、画像解析部２１５が解析結果を出力した後に、参照選択部２１４が、処理対象画像を新たな参照画像として、変位解析部２１３により算出された変位量と関連付けられた状態で書き込み部２１６に出力する。これにより、新たな参照画像と、当該参照画像と代表画像との変位量との情報が書き込み部２１６によって記憶装置２２の画像記憶部２２１に書き込まれる（更新される）。

このような動作を行う（機能を持つ）ことによって、画像処理装置２１は、参照画像を適宜蓄積していくことができる。

・変形例３
図１０は、画像処理装置２１におけるさらに別の動作の変形例を表すフローチャートである。この図１０の例では、変位解析部２１３が代表画像に対する処理対象画像の変位量を算出した動作（ステップＳ７）の後に、例えば参照選択部２１４がその算出した変位量が予め設定された処理範囲内か否かを判断する動作（ステップＳ１４）を行う。そして、画像処理装置２１は、変位量が処理範囲内である場合には、ステップＳ８以降の動作を実行し、変位量が処理範囲を超えて大きい場合には、次の同期信号の受け取りに備えて待機する。図１０に表されている動作例では、上記以外の動作は、図７あるいは図９に表されている動作と同様であり、同様な動作部分には同一のステップ番号を付し、また、適宜その図示を省略し、さらに、その共通部分の重複説明は省略する。

この動作例では、参照選択部２１４が処理対象画像を選択することが可能となり、変位解析部２１３により算出された変位量が適切な処理範囲内の処理対象画像が後段の処理に回される。したがって、画像解析部２１５は、参照画像との比較がより容易となり、画像解析の精度を高めることができる。また、図９の動作例のように、画像記憶部２２１に参照画像を蓄積していくことができる場合には、適切な変位量を持つ処理対象画像が参照画像として蓄積されていくこととなる。さらに、この場合には、処理対象画像が選択されない場合に比べて、画像記憶部２２１における参照画像の蓄積のスピードが遅くなる。このため、ＲＡＭ（Random Access Memory）などの小さな記憶容量の記憶装置２２を用いた場合でも、参照画像を蓄積していく構成が適用可能となる。

図１１は、代表画像に対する処理対象画像の変位量と、当該変位量に対応する処理対象画像の出現頻度との関係例が棒グラフにより表されている。なお、変位量は予め定められた変位量ずつ区分されており、図１１では、区分毎における処理対象画像の出現頻度が表されている。

例えば、図１０の動作例のように処理対象画像を選択する場合に、変位量が図１１における“－２”から“２”までの範囲を処理範囲とした場合には、図１１において斜線を付した出現頻度に応じた分の処理対象画像が選択される。この図に表されているように、処理対象画像が選択されない場合に比べて、処理対象画像を選択することにより、参照選択部２１４や画像解析部２１５により処理される処理対象画像の数が削減される。これにより、画像解析部２１５により処理された処理対象画像を参照画像として記憶装置２２に格納する場合に、処理対象画像を選択する構成は、参照画像の蓄積量を抑制できる。

なお、処理対象画像を選択する処理で用いる処理範囲を十分に小さくした場合には、ステップＳ８やステップＳ９の処理を不要にすることも可能となる。この場合、画像処理装置２１は、さらに高速に処理でき、画像記憶部２２１に記録する参照画像を減らすことができるため、さらに小さな記憶容量の記憶装置２２を用いた場合でも適用可能となる。

・変形例４
第２実施形態では、代表選択部２１２は、撮影制御部２１１を通して受け取った撮影画像の中から代表画像を設定（選択）する構成であることを説明している。これに代えて、代表選択部２１２は、記憶装置２２に参照画像が記憶されている場合には、記憶装置２２の参照画像から代表画像を設定（選択）してもよい。

・変形例５
また、第２実施形態の構成（機能）に加えて、画像処理装置２１は、代表画像を予め設定されたタイミングで更新する構成を備えていてもよい。更新する代表画像を設定（選択）する手法としては、例えば次のような手法が考えられる。例えば、記憶装置２２の画像記憶部２２１に登録されている代表画像に対する各参照画像の変位量のうちの中央値あるいは平均値に対応する参照画像を代表画像として選択する手法が考えられる。このように代表画像を選択することによって代表画像と処理対象画像とのずれが小さくなるので、そのような代表画像の選択構成は、代表画像と処理対象画像との変位量を算出する処理の負荷を軽減することができ、処理の高速化を図ることができる。

なお、代表画像を更新する場合には、更新後の代表画像に対する参照画像の変位量を算出し、更新後の代表画像に、参照画像と、算出した変位量とを関連付けた情報（データ）を記憶装置２２の画像記憶部２２１に登録し直す必要がある。

・変形例６
さらに、画像記憶部２２１には、複数の代表画像がそれぞれ参照画像および変位量に関連付けられた状態で登録されていてもよい。この場合には、変位解析部２１３は、複数の代表画像のそれぞれと、処理対象画像との変位量を算出してもよい。さらに、参照選択部２１４は、変位量を算出した各代表画像に関連付けられている参照画像の中から、算出された変位量に対応する参照画像を選択してもよい。このような場合には、画像解析部２１５は、１枚の処理対象画像に、異なるタイミングで撮影された複数の参照画像を比較して画像解析することができる。

・変形例７
さらに、参照選択部２１４は、画像記憶部１２１から複数枚の参照画像を参照画像群として選択してもよい。例えば、参照選択部２１４は、代表画像に対する処理対象画像の変位量を中心にした予め設定された幅の範囲（例えば、変位量Ｐから所定値βを差し引いた値（Ｐ－β）から変位量Ｐに所定値βを加算した値（Ｐ＋β）までの範囲）を算出する。そして、参照選択部２１４は、その範囲内の変位量に関連付けられている参照画像を参照画像群として選択する。

・変形例８
さらに、変位量を複数の階級に区分し、代表画像に対する参照画像の変位量に基づいて参照画像がそれら階級の何れかに分類されてもよい。この場合には、図１２に表されるように、画像記憶部２２１に登録されている参照画像には、そのように分類された階級の情報も関連付けられる。また、参照選択部２１４は、変位解析部２１３により算出された変位量に基づいて処理対象画像がどの階級に属するかを判定し、処理対象画像が属すると判定された階級と同じ階級に属する参照画像の全てを選択してもよい。

変形例７や変形例８のような処理によって参照選択部２１４が参照画像群を選択することにより、処理対象画像に近い複数の参照画像が得られるので、画像解析部２１５によって、より精密な画像解析結果を得ることができる。

なお、変形例７における所定値βや、変形例８における変位量の各階級の範囲は、観察したい挙動の大きさに応じて設定してもよい。例えば、変形例８において、各変位量の階級の範囲をαとし、観察したい挙動の大きさをγとしたとき、γ＞αとなるように階級の範囲を設定してもよい。この場合には、観察したい挙動の大きさγよりも、画像解析部２１５で処理に用いられる複数の参照画像間のずれ幅が小さいので、複数の参照画像間のずれ幅の影響が小さく、画像解析部２１５は、観察したい動きγを容易に検知（観察）できる。

・変形例９
また、記憶装置２２の画像記憶部２２１に登録される参照画像に関連付けられる変位量の情報は、例えば、“物体の運動方向の変位量”と、“物体の運動に垂直な方向の変位量”というように、互いに異なる複数の変位量の情報が含まれていてもよい。例えば、観察対象の物体の運動方向をＸ方向とし、その運動方向に垂直な方向をＹ方向とした場合には、図１３のイメージ図に表されるように、参照画像に関連付けられる変位量の情報は、Ｘ方向変位量の情報と、Ｙ方向変位量の情報とを含む。

このような場合には、例えば、変位解析部２１３は、代表画像に対する処理対象画像のＸ方向の変位量と、Ｙ方向の変位量とを求め、参照選択部２１４は、それら算出されたＸ方向とＹ方向の変位量に基づいて参照画像を選択する。画像解析部２１５は、そのように選択された参照画像と、処理対象画像とに基づいた画像解析によって、より精度の良い観察対象の物体の動き（挙動）等の検知（観察）を行うことができる。

また、一般的に、物体が運動している状態で画像を撮影する場合には、“物体の運動方向の変位量の成分”が“物体の運動に垂直な方向の変位量の成分”よりも大きくなる傾向がある。このため、例えば、変位解析部２１３は、“物体の運動方向の変位量の成分”に着目して変位量を算出し、その他の影響を切り分けることで、参照選択部２１４は、物体の運動方向に着目して処理対象画像に合う参照画像を選択できる。

・変形例１０
また、記憶装置２２の画像記憶部２２１に登録される参照画像には、代表画像に対する変位量の情報が関連付けられるだけでなく、例えば、図１４に表されるように、参照画像の撮影時に得られる情報である撮影時刻の情報が関連付けられていてもよい。さらに、参照画像には、変位量算出に失敗したというような画像処理装置２１の処理に関わる情報が撮影時に得られる情報として関連付けられていてもよい。

さらに、記憶装置２２の画像記憶部２２１に登録される参照画像には、図１５のイメージ図に表されるように、撮影時に得られる情報としてのデータが関連付けられていてもよい。ここでの撮影時に得られる情報としては、例えば、画像の撮影時刻や、撮影環境情報（撮影時の照度、風向き、風速など）や、検知装置２３から得た情報（画像の類似度など）がある。さらに、撮影時に得られる情報は、観察対象の物体の存在や状態をセンシングするために設置した各種センサ（光電センサ、距離センサ、加速度センサ、ジャイロなど）から撮影時に得られるセンサ値やその演算値であってもよい。

上記のような撮影時に得られる一つあるいは複数の情報がデータとして参照画像に関連付けられる場合には、参照選択部２１４で処理される処理対象画像にも同様なデータが関連付けられている構成とする。そして、参照選択部２１４は、変位量だけでなく、そのようなデータをも利用して参照画像を選択する。これにより、参照選択部２１４は、より処理対象画像に合う参照画像を選択できる。画像解析部２１５は、処理対象画像に関連付けられているそのようなデータを利用して、処理対象画像を並べて解析することにより、例えば時系列変化の影響や、照度変化の影響などを検知（観察）できる。より具体的に述べれば、例えば、画像解析部２１５は、撮影時刻が近い処理対象画像同士、参照画像同士の比較により、観察対象の物体のより詳細な挙動の変化を解析することが可能となる。また、画像解析部２１５は、撮影の照度が同様な画像同士を比較することにより、照度の違いの影響が軽減された状態で観察対象の物体の挙動を解析することが可能となる。画像解析部２１５は、撮影時に得られる情報を考慮して画像解析することにより、観察対象の物体における観察したい事項が発生する要因を解析することも可能になる。

さらに、画像解析部２１５は、撮影時刻が近く、かつ、撮影の照度が同様な処理対象画像同士を比較するというように、撮影時に得られる複数の情報に基づいて選択された複数の処理対象画像に基づいて、観察対象の物体の挙動を解析することも可能となる。このように、撮影時に得られる情報をも考慮して選択された処理対象画像と参照画像（つまり、撮影状況が近い画像）に基づき画像解析することにより、画像解析部２１５は、観察対象の物体における観察したい事項をより容易に、かつ、精度良く検知できるようになる。

＜第３実施形態＞
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態の画像処理装置と画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

図１６は、第３実施形態の画像処理装置の構成を簡略化して表すブロック図である。第３実施形態の画像処理装置２１は、第２実施形態における参照選択部２１４に代えて、分類部２３０と参照部２３１を備える。

分類部２３０は、変位解析部２１３から得た変位量に基づいて、撮影制御部２１１を通して受け取った撮影画像である処理対象画像を分類する機能を備えている。例えば、前述したように、変位量が階級に区分されており、分類部２３０は、代表画像に対する処理対象画像の変位量に基づいて、処理対象画像を何れかの階級に分類する。

分類部２３０は、さらに、処理対象画像と、分類された階級の情報とを書き込み部２１６に出力し、書き込み部２１６によって、処理対象画像を参照画像とし、代表画像と階級情報に関連付けられた状態で記憶装置２２に書き込ませる機能を備えている。

参照部２３１は、記憶装置２２に接続されており、例えば、参照の要求をシステムのユーザから受けた場合に、予め設定された選択手法に基づいて変位量の階級を選択する機能を備える。その選択手法には様々な手法が考えられる。例えば、参照部２３１は、変位解析部２１３により算出された直近の変位量に対応する変位量の階級を選択する。あるいは、参照部２３１は、最も出現頻度が高い参照画像群を選択する。

さらに、参照部２３１は、そのように選択された階級に属している複数の参照画像を記憶装置２２から取得する機能を備える。

画像解析部２１５は、参照部２３１が取得した複数の参照画像を解析することにより、観察対象の物体の動き（挙動）等を検知（観察）する。

第３実施形態における画像処理装置２１の上記以外の構成は、第２実施形態の画像処理装置の構成と同様である。

次に、第３実施形態の画像処理装置２１の動作例を図１７のフローチャートに基づいて説明する。なお、図１７においては、図７、図９や図１０のフローチャートにおいて説明される動作と同様な動作のステップには、同一のステップ番号を付し、その共通部分の重複説明は省略する。

この例では、画像処理装置２１の動作が、第２実施形態における画像処理装置２１の動作と次の点で異なる。すなわち、第３実施形態では、画像処理装置２１は、撮影装置２４により撮影された観察対象の物体の映像（処理対象画像）を参照画像あるいは代表画像として記憶装置２２に順次、登録していく。そして、画像処理装置２１は、参照の要求が有った場合（ステップＳ２１、Ｓ２２、Ｓ２３の動作を参照）に、参照画像を利用した画像解析の処理を実行する。

また、ステップＳ２２において、画像処理装置２１（参照部２３１）は、予め設定された選択手法に基づいて変位量の階級を選択し、選択した階級に分類されている複数の参照画像を参照画像群として記憶装置２２から読み出す。

さらにまた、ステップＳ２３において、画像解析部２１５は、その読み出した参照画像群における複数の参照画像について、各参照画像間の変位量を画像解析により算出し、この変位量を利用して観察対象の物体の動き（挙動）等を観察（検知）する。

第３実施形態における画像処理装置２１の上記以外の動作は、第２実施形態の画像処理装置２１の動作と同様である。

第３実施形態の画像処理装置２１とそれを備える画像処理システム２０は、上記のような構成を備えることにより、第２実施形態で述べた効果を得ることができ、また、次のような効果を得ることもできる。すなわち、第３実施形態の画像処理装置２１は、観察対象の物体の動き等を観察（検知）する画像解析において利用する参照画像として、変位量が同じ階級に属する複数の参照画像を利用する。つまり、画像処理装置２１は、撮影タイミングのばらつき成分が小さい参照画像間で画像を解析するので、撮影タイミングのばらつきの影響が小さい状態で観察対象の物体の動きを観察することができる。

また、第３実施形態の画像処理装置２１における参照部２３１は、適宜に選択した階級の参照画像群を選択できるので、例えば、最も出現頻度が高い参照画像群を選択することにより、撮影タイミングのばらつき成分が小さい多くの参照画像を得ることができる。このように取得された多くの参照画像を利用することにより、画像解析部２１５は、観察対象の物体における観察したい挙動を高い確率で検知することができる。

＜第３実施形態における変形例＞
なお、上述した第３実施形態の画像処理装置２１の構成に加えて、図１８に表されるように、画像整列部２１７がさらに画像処理装置２１に備えられてもよい。その画像整列部２１７は、第２実施形態における変形例１にて説明した画像整列部２１７と同様に、参照部２３１により選択され取得された参照画像群に属する複数の参照画像を予め定められたルールに従って整列（ソート）する機能を有する。

この第３実施形態では、多くの参照画像が解析されることも想定されることから、画像整列部２１７によって多数の参照画像を整列（ソート）できる構成は、参照画像の煩雑化を抑制することができる。また、整列（ソート）するルール（条件）を適宜設定することにより、画像解析部２５は、観察対象の物体における観察したい事項をより容易に、かつ、精度良く検知できるようになる。

さらに、観察対象の物体の運動方向とは異なる方向（例えば運動方向に垂直な方向）の変位量に基づいて複数の画像（参照画像や処理対象画像）を整列する機能を持つ画像整列部が設けられてもよい。そのように整列された画像と、画像解析部２１５により得られた変位量分布とを利用することにより、観察対象の物体の挙動の変化や、その変化のプロセスを精度良く検知することや、人間が見た目で分かり易くする可視化することが容易となる。

＜第４実施形態＞
以下に、本発明に係る第４実施形態を説明する。なお、第４実施形態の説明において、第２と第３の各実施形態における画像処理装置と画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。

図１９は、第４実施形態の画像処理装置２１を備える画像処理システム２０の構成を簡略化して表すブロック図である。この第４実施形態では、画像処理システム２０は、第２又は第３の実施形態と同様の構成を備えるが、検知装置２３として運動検知装置３３が設けられている。画像処理システム２０におけるそれ以外の構成は、第２又は第３の実施形態の画像処理システム２０の構成と同様である。

図２０は、記憶装置２２における画像記憶部２２１に登録される情報（データ）の具体例を表している。

第４実施形態では、検知装置としての運動検知装置３３は、観察対象の物体４０（図１９参照）の回転を監視し、当該物体４０が予め定められた回転状態になったことを検知すると、それを知らせる同期信号を出力する機能を備えている。

画像記憶部２２１には、１つの代表画像に対して複数の参照画像と、その変位量、当該変位量の階級、撮影時刻等が関連付けられて記憶されている。なお、代表画像は１つに限定されず、複数であってもよい。また、記憶装置２２は、ハードディスク装置やＳＳＤ（Solid State Drive）により構成される。あるいは、例えば、記憶する容量が少ない場合や、リアルタイムで情報（データ）を処理する場合は、記憶装置２２は、ＲＡＭ等のメモリにより構成されていてもよい。

第４実施形態の画像処理装置２１およびそれを備える画像処理システム２０は、第２又は第３の実施形態と同様の構成を備えているので、第２又は第３の実施形態と同様の効果を得ることができる。

ここで、図２１を利用して、第４実施形態の画像処理装置２１の具体的な動作例を説明する。なお、この説明における動作例は、第２実施形態に基づいた動作例である。

例えば、観察対象の物体がＸ周期目の動作の際に運動検知装置３３によって得られた信号を基に、撮影装置２４が作動してＸ周期目の観察対象の画像が撮影されたとする。画像処理装置２１の撮影制御部２１１は、その撮影画像を受け取ると、当該撮影画像をＸ周期目の処理対象画像とする。また、記憶装置２２の画像記憶部２２１には、複数の代表画像が登録されており、代表選択部２１２は、それら代表画像の中から、Ｘ周期目の処理対象画像に関連付ける代表画像としての代表画像を選択する。そして、変位解析部２１３は、Ｘ周期目の処理対象画像と代表画像との間の変位量を算出し、例えば、－０．６[pixel]を得る。

参照選択部２１４は、算出した変位量－０．６[pixel]に最も近い参照画像として、参照画像を選択する。さらに、画像解析部２１５は、Ｘ周期目の処理対象画像と、選択された参照画像との間の変位分布を解析し、変位分布画像を得る。例えば、画像処理装置２１は、その得られた変位分布画像を解析結果として表示装置に出力する。図２２は、上記のようにして得られた複数の変位分布画像がまとめて表示されている表示例が表されている。その変位分布画像と共に、変位解析部２１３の処理により得られる図２３に表されるような変位量（階級）とその変位量の出現回数との関係データも表示してもよい。

さらに、画像整列部２１７が備えられている場合には、図２４のように選択・整列処理が行われた後の変位分布画像や、図２５に表されるような変位量（階級）とその変位量の出現回数との関係データが切り替え表示されてもよい。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１６年８月２５日に出願された日本出願特願２０１６－１６４７１９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１，２１ 画像処理装置
２，２１２ 代表選択部
３，２１３ 変位解析部
４，２１４ 参照選択部
７，２４ 撮影装置
２１５ 画像解析部
２１７ 画像整列部

Claims (10)

1. 検知対象の回転体である物体を、前記物体の回転軸に交差する方向から撮影した複数の撮影時間が異なる撮影画像の中から、前記物体の動きを解析する処理において基準となる代表画像を選択する代表選択手段と、
   前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる撮影時間に撮影された前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する変位解析手段と、
   参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する参照選択手段と
   を備える画像処理装置。
2. 前記参照画像には、前記代表画像との間の変位量の情報が関連付けられており、
   前記参照選択手段は、前記変位解析手段により算出された変位量を含む予め設定された範囲内の変位量に関連付けられている前記参照画像を選択する請求項１に記載の画像処理装置。
3. 前記参照画像には、前記代表画像との間の変位量に基づいて分類された変位量の階級の情報が関連付けられており、
   前記参照選択手段は、前記変位解析手段により算出された変位量の前記階級を判定し、判定された前記階級に属する前記参照画像を選択する請求項１に記載の画像処理装置。
4. 前記変位解析手段は、前記検知対象の物体の予め定められた運動方向の変位量を算出し、
   前記参照画像には、前記代表画像との間における前記運動方向の変位量が関連付けられており、
   前記参照選択手段は、前記算出された運動方向の変位量に基づいて前記参照画像を選択する請求項１に記載の画像処理装置。
5. 前記撮影画像には前記検知対象の物体の撮影時に得られる情報が関連付けられ、また、前記参照画像にも、前記検知対象の物体の撮影時に得られる情報が関連付けられており、
   前記参照選択手段は、前記変位量と前記撮影時に得られる情報に基づいて前記参照画像を選択する請求項１乃至請求項４の何れか一つに記載の画像処理装置。
6. 前記参照選択手段により選択された前記参照画像と、前記撮影画像とを比較することにより、前記検知対象の物体の動きを解析する画像解析手段をさらに備える請求項１乃至請求項５の何れか一つに記載の画像処理装置。
7. 前記参照画像に関連付けられている情報に基づいて前記参照画像を予め与えられたルールに従って整列する画像整列手段をさらに備える請求項１乃至請求項６の何れか一つに記載の画像処理装置。
8. 検知対象の物体を撮影する撮影装置と、
   請求項１乃至請求項７の何れか一つに記載の画像処理装置と
   を備える画像処理システム。
9. 検知対象の回転体である物体を、前記物体の回転軸に交差する方向から撮影した複数の撮影時間が異なる撮影画像の中から、前記物体の動きを解析する処理において基準となる代表画像を選択し、
   前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる撮影時間に撮影された前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出し、
   参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択し、
   選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する画像処理方法。
10. 検知対象の回転体である物体を、前記物体の回転軸に交差する方向から撮影した複数の撮影時間が異なる撮影画像の中から、前記物体の動きを解析する処理において基準となる代表画像を選択する処理と、
    前記代表画像が選択されている状態で、前記代表画像と、当該代表画像として選択された前記撮影画像とは異なる撮影時間に撮影された前記撮影画像とを比較解析することにより、それら代表画像と撮影画像との変位量を算出する処理と、
    参照画像として定められた前記撮影画像の中から、前記検知対象の物体の動きを解析する処理で使用する前記参照画像を、前記算出された変位量に基づいて選択する処理と、
    選択された前記参照画像と、前記撮影画像とに基づいて、前記検知対象の物体の動きを解析する処理と
    をコンピュータに実行させるコンピュータプログラム。

Images