JPH07129781A - 時系列画像情報抽出装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 特殊な照明・照射装置を必要とせずに、非接
触的かつ遠隔的に変化情報を連続動画像から新たな時系
列情報として抽出し、必要に応じて引き続く処理系を駆
動し得るセンシングシステムを構成し、動画像に内在す
る任意の周波数帯域の現象を明示することを目的として
いる。 【構成】 対象物の動画像を入力する手段と、所定のフ
レームレートで入力される該動画像上の自然の時系列情
報について、更新されるＴ０時点での画像とＴ０に対し
て所定の関係で更新されるＴ１時点での画像との各々の
対応する領域における第１次情報変化量を検出するため
の１次加工手段と、該第１次情報変化量を要素として新
たに配列することにより任意の時系列情報である時系列
信号化第１次情報変化量を生成し必要に応じて該時系列
信号化第１次情報変化量とは異なる物理的意義を有する
時系列信号化第２次情報変化量までを抽出するための２
次加工手段等を具備した時系列画像情報抽出装置、及び
方法を提供する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像上の変化成分を、
時系列情報として抽出する装置および方法に関するもの
であり、従来の変位センサーの大巾改良に相当するもの
でもある。

【０００２】産業上の各種利用分野において、微小な変
位計測から直進運動や回転運動あるいはその組合せの運
動解析そして振動解析や頻度計数や機器の状態認識など
が行え、所定の物品の生産ラインでは不良品検出や色調
判定や仕分け判定が行え、生物を対象にしても植物の成
長や動物の生理現象や行動が時系列信号として取り扱え
るようになる。これらの信号を後続の制御系で利用する
と位置制御や姿勢制御さらには警報の報知や信号の転送
プロトコールの起動あるいはプログラムされた所定の作
業を、対象とのフィードバックを保って実行可能とする
ものである。

【０００３】家庭用機器や産業用機器や建設作業用機器
や工場のラインの設備の運転稼働状態の把握や制御およ
びあるいは地域の交通状況の把握や制御さらにはヒトや
動植物の行動や生理的状態の把握や施薬や飼料配給や肥
料散布の制御など、動画像が得られる限りにおいてはあ
らゆる範囲の対象にわたり希望する現象について多種の
設定で状況把握や異常予知に応用することができる。

【０００４】

【従来技術】対象物の変化成分を抽出するための変位セ
ンサーには、機械式変位センサー、渦電流式変位センサ
ー、レーザー式変位センサー、超音波式変位センサーな
どがある。またビデオカメラ入力による変位計測の分野
ではコンピュータビジョンと呼ばれる方法があり、これ
らについて従来の技術を述べる。

【０００５】機械式変位センサーとは、対象物にセンサ
ーの一部を接触させて直接変位を計るものであり、その
一例として差動トランスがある。これは３つのコイルよ
りなり、対象物と直接接触した金属部と連結されたコア
がコイルの中を直線的に移動するものである。中央のコ
イルに交流電流を流し、電磁誘導の原理を応用して、左
右のコイルから差動的に信号を取り出し、コアの位置を
検出する。

【０００６】渦電流変位センサーとは、絶縁体に巻いた
コイルに交流電圧を加えておき、導電体で出来ている測
定対象を近づけると、コイルによって作られた交流磁界
によって導電体に渦電流が発生する。この渦電流は、対
象物との距離によって変化するため、検出コイルに励起
された電圧変化量を測定することで対象物の位置や変位
を検出する。

【０００７】レーザー式変位センサーとは、レーザー光
の干渉を利用して対象物の変位を測定するものである。
原理はマイケルソンの干渉計と本質的に同じで、レーザ
ー光を半透鏡によって反射光と透過光に分け、反射光は
固定反射鏡で反射させた後に光検出器に、また、透過光
は可動反射鏡で反射させた後に光検出器に集光する。光
検出器には、これらの２つの光束が入射するため、光検
出器上の面上に干渉縞が出来る。光検出器の面上の一点
を横切った干渉縞の本数をカウントすることで可動鏡の
動いた距離を測定することが出来る。

【０００８】超音波式変位センサーとは、気体、液体、
固体や生体などの媒体内を超音波が伝搬する時間を利用
したり、ドップラー効果や干渉を利用して対象物の位置
や変位を検出する。

【０００９】また、画像処理技術を応用し、移動物体の
運動と形状を計測するために、ＣＣＤセンサー等により
入力された画像を扱い、空間情報の抽出を行なう技術と
してコンピュータビジョンと呼ばれるものがある。これ
は、１枚ないし同時刻の複数枚画像から移動物体の形状
に関する特定点を数学的に各種の連立方程式を解く複雑
なアルゴリズムにより抽出し、その値と現実の３次元空
間との対応づけを行うことで３次元空間情報の再構成を
行うという工程で、移動物体の運動や形状を観察するも
のである。

【００１０】これらの従来技術に対し、ビデオ画像の差
分抽出という高速度に演算可能な画像処理で、生体の変
化成分を抽出して表示する技術が研究されている。

【００１１】この技術は、例えば、第１２回医療情報学
連合大会論文集（１９９２年１１月発行）の第７７頁か
ら第７８頁、及び第３２回日本ＭＥ学会大会論文集（１
９９３年５月１日発行）の２１８頁に記載されている。

【００１２】これは、対象物が含まれるビデオ動画像を
ある時間差毎に連続減算することで変化しない部分の情
報をキャンセルし、対象物の変化している成分のみを連
続的に抽出し表示するものであった。

【００１３】

【発明が解決しようとする課題】対象物の変化成分を抽
出するための変位センサーには、上記のような様々なも
のがあるが、それぞれに以下のような欠点を有してい
る。

【００１４】機械式変位センサーは各種プラントにおけ
る変位検出器等で利用されているが、対象物に直接接触
させる必要があるため、接触を避けるべき系における測
定は不可能である。

【００１５】渦電流式変位センサーも、鉄鋼業における
鋳型内溶鋼レベル変位検出等で利用されているが、対象
の材質により出力値が異なるため、測定にあたっては、
対象までの距離と出力電圧の関係をあらかじめ調査し、
ゼロスパンを調整しておかなければならないし、対象物
も渦電流を生じるものに限られる。

【００１６】レーザー式変位センサーは、その干渉性の
高さを利用して、変位、流速、距離、形状等の測定に幅
広く利用されているが、高価で取扱に注意を要する特殊
な光源であるレーザー照射装置が必要となる。

【００１７】超音波式変位センサーも、超音波がほとん
どすべての媒質中を伝搬する性質を利用して各種の応用
センサーが開発され、特に物質の内部の状態を非破壊的
に測定できるといった優れた特徴を有するが、レーザー
式変位センサーと同様に照射装置が必要であること、ま
た、空間認識が正確には出来ないため、測定部位の同定
が困難な場合があるなどの欠点を持つ。

【００１８】コンピュータビジョンは、動画像を取り扱
える点で、一見本技術に類似しているが、基本的には１
枚ないし同時刻の複数枚画像すなわちいわゆるステレオ
視などから抽出した特定点を３次元空間情報に再構成
（あるいは復元）せざるをえないため、最適解を求める
ためのアルゴリズムや回路が非常に複雑になり、高速処
理ができないばかりでなく、ノイズに弱いため最適解が
発散したり、実用的な精度が得られない場合が多い。ま
た、コンピュータビジョンでは、１枚ないし複数枚の画
像を取り扱ってはいるが、それらの画像から抽出された
特定点は測定毎に、例えばＣＲＴ表示されたりはするも
のの、その特定点を時系列的に配列し、時系列信号とし
て取り扱うものではなかった。

【００１９】また、前記の第１２回医療情報学連合大会
論文集と第３２回日本ＭＥ学会大会論文集の二つの論文
に記載された技術は、対象物の変化成分を高精度に検出
する方法であるが、その機能はある時点での差分画像や
測定値のＣＲＴ等への出力のみであり、例えばその技術
をプラントの異常診断に応用する場合、オペレータが画
面を必ず見ておかなければならず、省力化の点において
実用的ではなかった。また、連続する動画像としての差
分画像ではあったが、数値データとしての時系列信号で
はなかっため通常のＡＤ変換器のサンプリングにより時
系列信号として処理することも出来ず、過去の各種デー
タの履歴が蓄積されていないため、過去と現在の履歴が
分からず、異常診断の精度向上や異常検出へ応用するに
は情報が不十分であった。

【００２０】本発明の基本的な目的は、従来のレーザー
式変位センサーや超音波式変位センサーのような特殊な
照明・照射装置を必要とせずに、非接触的かつ遠隔的に
変化情報を連続動画像から新たな時系列情報として抽出
し、必要に応じて引き続く処理系を駆動し得るセンシン
グシステムを構成することである。これは単に差分画像
等を連続的に画面出力するのみではなく、画像間演算に
より抽出された時間領域における各種の変化の情報を時
系列信号化して動画像に内在する任意の周波数帯域の現
象を明示するものであり、さらに必要に応じて該時系列
信号から所定の特徴量を抽出して現象の性質を表現した
り後続の処理・判断系を自動的に起動することを目的と
するものである。

【００２１】従来、動画像は連続する莫大な情報の塊と
してのみとらえられることが多かった。動画像上で移動
したり、回転したり、出没したり、色調変化したりする
時系列的な現象の変化は、所定の面積上に分布している
ために、ＡＤ変換器にてサンプリングできる通常の時系
列信号とは、一線を画されて認識されていたものと考え
られる。

【００２２】本発明は、第１次加工手段および第２次加
工手段によって、動画像上で移動したり、回転したり、
出没したり、色調変化したりする所定の面積上に分布し
ている時系列的な現象の変化を、時空間の所定の時間間
隔での時間断面における各画素の変化量の面積分として
の情報変化量という値の要素とし、さらにこの要素の時
間領域における集合を再配列して時系列情報としてアナ
ログデジタル（ＡＤ）変換器にてサンプリングできる通
常の時系列信号の形に変換することを可能にしたもので
ある。

【００２３】実際の応用領域としては、微小な変位計測
から直進運動や回転運動あるいはその組合せの運動解析
そして振動解析や頻度計数や機器の状態認識などが行
え、所定の物品の生産ラインでは不良品検出や色調判定
や仕分け判定が行え、生物を対象にしても植物の成長や
動物の生理現象や行動が任意の時系列信号として取り扱
えるようになる。これらの信号を後続の制御系で利用す
ると位置制御や姿勢制御さらには警報の報知や信号の転
送プロトコールの起動あるいはプログラムされた所定の
作業を、対象とのフィードバックを保って実行可能とす
るものである。

【００２４】家庭用機器や産業用機器や建設作業用機器
や工場のラインの設備の運転稼働状態の把握や制御およ
びあるいは地域の交通状況の把握や制御さらにはヒトや
動植物の行動や生理的状態の把握や施薬や飼料配給や肥
料散布の制御など、動画像が得られる限りにおいてはあ
らゆる範囲の対象にわたり希望する現象について多種の
設定で状況把握や異常検出に応用することができる。

【００２５】

【課題を解決するための手段】本発明は、既存の動画像
撮影手段を用いて記録された動画像における自然の時系
列情報、すなわち未だ画質改善以外の画像処理や信号処
理を施されていない記録されたままともいうべき連続動
画像に内在する未加工あるいは未抽出の時系列情報か
ら、計測すべき現象の必要とする周波数帯域や変位速度
あるいは発生頻度などにより必然的に決定する変化成分
抽出法とサンプリング間隔を用いて、好ましくは自然の
時間とは異なる任意の時系列情報を新たに加工抽出する
ものであり、その手段は後述の例に示すとおりである。

【００２６】本発明の時系列画像情報抽出装置は、対象
物の動画像を入力する手段と、所定のフレームレートで
入力される該動画像上の自然の時系列情報について、更
新されるＴ０時点での画像とＴ０に対して所定の関係で
更新されるＴ１時点での画像との各々の対応する領域に
おける第１次情報変化量を検出するための１次加工手段
と、該第１次情報変化量を要素として新たに配列するこ
とにより任意の時系列情報である時系列信号化第１次情
報変化量を生成し必要に応じて該時系列信号化第１次情
報変化量とは異なる物理的意義を有する時系列信号化第
２次情報変化量までを抽出するための２次加工手段と、
必要に応じて高次な特徴量を抽出するための高次加工手
段を備え、さらに加工後の情報および／または特徴量を
出力する手段とそれらを制御する内部制御手段を具備し
たことを特徴とするものである（請求項１）。

【００２７】かかる本発明による時系列画像情報抽出装
置は、対象物の動画像を入力する手段を有する。入力手
段により所定のフレームレートで入力する該動画像に内
在している未加工すなわち自然の時系列情報に関して
は、次のように１次加工手段によって画素毎の変化成分
を検出し、それらの集合としての変化成分画像を抽出す
る。入力した該動画像の所定の関心領域に関して、該動
画像更新あるいは所定のプログラムに従って更新される
Ｔ０時点での画像と、Ｔ０に対して所定の関係で更新さ
れるＴ１時点での画像との各々の対応する領域における
変化成分画像を、画像間の差分や割り算あるいは所定の
参照表による画素毎の変化の抽出にて作成する。

【００２８】ここでＴ０時点とは、通常の場合は最新の
画像を入力した時点が望ましいが、必要とする情報によ
っては既に記録された所定の過去の時点であることもあ
る。Ｔ１時点は、計測したい現象の必要とする周波数帯
域や変位速度あるいは発生頻度などにより必然的に決定
する変化成分抽出法から定まる所定の間隔をＴ０時点に
対して保つ時点である。

【００２９】変化成分画像とは、連続する動画像の異な
る複数時点での画像間において対応する画素毎の変化成
分を所定の画像間演算で抽出し、変化成分が所定の閾値
以下の場合には所定の一定値を与え、変化成分が所定の
閾値を越える場合には変化成分の大きさに応じた値を与
え、２次元画像として表現したものである。

【００３０】また、第１次情報変化量とは、一枚の該変
化成分画像の要素である画素毎の変化成分を加算したも
のである。従って、第１次情報変化量はもとの入力動画
像が白黒の濃淡のみの２次元画像である場合には、一個
のスカラー値となり次元が下がり、引き続く処理を行う
に際して好都合である。ここまでが１次加工手段によっ
て行われる。

【００３１】該第１次情報変化量を要素として新たに配
列することにより、任意の時系列情報である時系列信号
化第１次情報変化量を生成することを２次加工手段で行
う。必要に応じて、該時系列信号化第１次情報変化量と
は異なる物理的意義の時系列信号化第２次情報変化量ま
でを抽出することを２次加工手段にて行う。

【００３２】例を挙げると、時系列信号化第１次情報変
化量が、計測対象の運動あるいは変化の速度の時系列信
号を現わしている場合には、時系列信号化第２次情報変
化量は微分により加速度あるいは積分により位置または
距離などの異なる物理的意義の時系列信号となる。

【００３３】必要に応じて、該時系列信号化第１次情報
変化量および／または該時系列信号化第２次情報変化量
の時系列信号としての性質を代表する高次な特徴量の抽
出を高次加工手段で行う。例としては、時系列信号化第
２次情報変化量が位置の場合にはこれを高速フーリエ変
換などの周波数解析することにより変動の主な周期や周
波数特性が得られる。

【００３４】さらに加工後の情報および／または特徴量
を出力する手段とそれらを制御する内部制御手段を設け
て、上記目的を達成する。

【００３５】かかる装置においては、所定の周波数帯域
内に変動の周期性をもつ対象物の変化および／または運
動に対しては、入力手段の該所定のフレームレートが対
象物の該周期性の２〜１０倍であることが、効率的な時
系列画像情報抽出装置として望ましい。

【００３６】周期性をもたないあるいは周期性不明の対
象物の変化および／または運動に対しては、入力手段の
該所定のフレームレートにこだわらず、基準となる画像
情報をあらかじめ保存し、変化の有無の検出を希望する
所定の時刻に入力画像を比較することも、時系列画像情
報抽出装置の好ましい使用法の１つである。

【００３７】また、本発明は、請求項１の入力手段にお
いて、通常使用される撮影速度であるか高速度撮影であ
るか低速度撮影であるかを問わず、ビデオカメラ手段、
ビデオ内視鏡、ＲＡＭチップの光感受性を利用して撮像
素子の代わりに用いる撮影手段、銀塩映像撮影手段、サ
ーモグラフィー、超音波断層手段、ＭＲＩ、Ｘ線ＣＴ、
シンチグラフィー、ディジタルラジオグラフィーからな
る群の少なくとも１つの手段および／または媒体を用い
る事で上記目的を達成するものである。

【００３８】また、本発明は、請求項１の動画像におい
て、１次元および２次元のポジションセンシングディテ
クター、ピンポイントやエリアの単純な反射のみを検出
する光センサー、または電磁波センサーからの動画像を
用いてもよい。

【００３９】また、本発明の時系列画像情報抽出装置に
は、請求項１の入力手段において、必要に応じて１ない
し複数個の任意の空間的および／または時間的な関心領
域を選択する手段を具備するものが含まれ、かかる構成
で上記目的がより有利に達成できる（請求項２）。

【００４０】また、本発明の時系列画像情報抽出装置に
は、請求項１の入力手段において、対象物が画面から逸
脱しないように撮影位置を移動させて追跡するための手
段を具備することで上記目的をより容易に達成するもの
が含まれる（請求項３）。

【００４１】また、本発明の時系列画像情報抽出装置に
は、請求項１の入力手段において、まとまった対象物の
一部分の変化を検出する際、画面内における対象物全体
の移動を補正する手段を具備する事で上記目的をより容
易に達成するものが含まれる（請求項４）。

【００４２】さらに本発明の時系列画像情報抽出装置に
は、請求項１の入力手段、１次加工手段、２次加工手段
および／または高次加工手段において、必要に応じて補
間手段、平滑化手段、閾値下雑音除去手段、バイアス加
減手段、離散余弦変換（画像圧縮技術におけるいわゆる
ＤＣＴ）手段、周波数解析手段、誤り信号の補正手段の
少なくとも１手段を具備する事で上記目的をより容易に
達成できるようにすることが望ましい。

【００４３】さらに本発明の装置では、請求項１の入力
手段、１次加工手段、２次加工手段、高次加工手段、出
力手段および／または制御手段の少なくとも１手段にお
いて、画像情報、入力情報、変化成分、変化成分画像、
第１次情報変化量、時系列信号化第１次情報変化量、時
系列信号化第２次情報変化量、高次の特徴量、前記に関
する加工情報、出力情報および制御情報のうち必要なも
のを記憶するための手段を具備する事で上記目的をより
容易に達成できるようにすることが望ましい。

【００４４】また、本発明の時系列画像情報抽出装置に
は、請求項１の１次加工手段において、Ｔ０時点での画
像と、Ｔ０と所定の関係で更新されるＴ１時点での画像
の各々の対応する同一部位の画像から、差分処理あるい
は割り算処理することによりおよび／もしくは情報抽出
の目的に応じて作成された参照表（ルックアップテーブ
ル）を参照することにより変化成分画像を抽出し、その
変化成分画像から変化成分の面積分や空間的重心位置等
の第１次情報変化量を抽出する機能を具備する事で上記
目的がより容易に達成できるようにしたものが含まれる
（請求項５）。

【００４５】また、本発明の時系列画像情報抽出装置に
は、請求項１の２次加工手段において、１次加工手段か
ら得られた第１次情報変化量を所定の閾値と比較し閾値
を超える毎にラベリングと所定の配列を行い、時系列配
列のデータに採用し、閾値処理、平滑化処理、補間処理
や中央値フィルターによる信号の信号雑音比Ｓ／Ｎ改善
を行った後、必要に応じて微積分処理や差分処理、シュ
ミットトリガ処理及び、平均化処理の少なくとも１種に
より、第１次情報変化量とは異なる物理的意義を有する
時系列信号化第２次情報変化量を抽出する機能を具備す
る事で上記目的がより容易に達成できるようにしたもの
が含まれる（請求項６）。

【００４６】また、本発明の装置では、請求項１の高次
加工手段において、時系列信号処理、高速フーリエ変
換、自己相関関数、相互相関関数、離散余弦変換、零交
叉法、最大エントロピー法、周波数解析、位相変移検
出、微積分、モーメントおよびセプストラムなる群の少
なくとも１つの処理を行う機能を具備する事で上記目的
を達成するものが好ましい。

【００４７】また、本発明の装置では、請求項１の出力
手段において、ビデオ信号、強弱信号、周波数変調信
号、シリアルディジタル信号、ディジタルバス信号、パ
ルス変調信号なる群の少なくとも一つの信号を用いる機
能を具備する事で上記目的を達成するものが好ましい。

【００４８】また、本発明の装置は、請求項１の内部制
御手段において、入出力信号によって、警告手段、イベ
ントトリガー、外部制御手段の少なくとも一つと連動し
得る機能を具備する事で上記目的をより容易に達成でき
るようにしたものが含まれる（請求項７）。

【００４９】また、本発明の装置では、請求項１の出力
手段において、計測機器およびコンピュータ間通信プロ
トコル、公衆電話回線、ＩＮＳ回線、ＩＳＤＮ回線、Ｆ
ＤＤＩ回線、イーサネット、ＧＰＩＢ，ＲＳ２３２Ｃ，
ＲＳ４２２Ａ、光ケーブルネットワーク、有線ケーブル
ネットワーク、データバス、アドレスバスなる群の少な
くとも一つの通信方式および／または自動通信制御方式
に対応する機能を有する事で上記目的をより容易に達成
するものであることが望ましい。

【００５０】本発明の時系列画像情報抽出方法は、対象
物の動画像を入力する工程と、所定のフレームレートの
該動画像に記録された自然の時系列情報について、更新
されるＴ０時点での画像とＴ０に対して所定の関係で更
新されるＴ１時点での画像との各々の対応する領域にお
ける第１次情報変化量を検出するための１次加工工程
と、該第１次情報変化量を要素として新たに配列するこ
とにより任意の時系列情報である時系列信号化第１次情
報変化量を生成し必要に応じて該時系列信号化第１次情
報変化量とは異なる物理的意義を有する時系列信号化第
２次情報変化量までを抽出するための２次加工工程と、
必要に応じて高次な特徴量を抽出するための高次加工工
程を備え、さらに加工後の情報および／または特徴量を
出力する工程を有することを特徴としており、かかる構
成の採用によって上記目的を達成することを可能にした
ものである（請求項８）。

【００５１】かかる本発明の方法では、請求項８の入力
工程において、ビデオカメラを用いた撮影工程、ビデオ
内視鏡、ＲＡＭチップの光感受性を流用した撮像工程、
銀塩映像撮影工程、サーモグラフィー、超音波断層工
程、ＭＲＩ、Ｘ線ＣＴ、シンチグラフィー、ディジタル
ラジオグラフィーからなる群の少なくとも１つの工程お
よび／または媒体を用いる事で上記目的をより容易に達
成するようにしたものが好ましい。

【００５２】また、本発明の方法には、請求項８の２次
加工工程において、１次加工工程から得られた第１次情
報変化量を所定の閾値と比較し閾値を超える毎にラベリ
ングと所定の配列を行い、時系列配列のデータに採用
し、閾値処理、平滑化処理、補間処理や中央値フィルタ
ーによる信号のＳ／Ｎ改善を行った後、必要に応じて微
積分処理や差分処理、シュミットトリガ処理及び、平均
化処理の少なくとも１種の処理により、第１次情報変化
量とは異なる物理的意義を有する時系列信号化第２次情
報変化量を抽出する事で工程を有する上記目的をより容
易に達成できるようにしたものが含まれる（請求項
９）。

【００５３】尚、本発明の装置における１次加工手段、
２次加工手段及び高次加工手段は、具体的にはＣＰＵ等
のコンピュータ手段に含まれる機能を意味する。

【００５４】本発明の装置の入力手段においては、対象
物の追従機能、対象位置補正機能を有しているため、常
時必要な情報が抽出出来る。また、１ないし複数個の関
心領域を選択するため、物理的データ量が減少し、情報
としての有用性を失わずに、冗長性の低減やリアルタイ
ム計測、通信上の転送の容易さが実現できる。

【００５５】１次加工手段においては、情報抽出の目的
（差分、商、微積分、２値化、ガンマ補正）に応じて作
成された参照表（ルックアップテーブル）を参照するこ
とにより画像間演算の高速処理や多用な処理が実現でき
る。抽出された変化成分画像および変化成分画像から抽
出された、変化成分の面積分や対象物の移動の特性を表
す空間的重心位置などの第１次情報変化量は、例えばＣ
ＲＴ画面に連続出力され、対象物の異常状況を工場のオ
ペレータに視覚的に訴える手段として有効利用できる。

【００５６】２次加工手段においては、１次加工手段に
より抽出された第１次情報変化量の時系列化処理、さら
には微積分処理や差分処理、シュミットトリガ処理、平
均化処理による、第１次情報変化量とは異なる物理的意
義を有する時系列信号化第２次情報変化量の抽出処理が
行われる。時系列信号化第２次情報変化量も、変化成分
画像やノイズ改善後の時系列信号化第１次情報変化量と
同様に、例えばＣＲＴ画面に表示され、対象物の異常診
断ばかりでなく、異常の予知にも有効利用される。

【００５７】本発明の従来技術と異なる大きな特徴は、
連続動画像の画像間演算を行なった結果得られた２次元
画像情報ではない数値情報としての情報変化量を時系列
信号化した点である。時系列信号化することにより、各
種情報変化量や特徴量の時間的変化、時間的推移が認識
され、その結果例えば機器やプラントの異常検出が実現
される。

【００５８】また、外部制御手段においては、他の計測
機器やコンピュータの制御を行なう事が可能となり、通
信手段を使って遠隔地にある対象物の必要情報の変化を
遠隔監視でき、情報変化量に応じた最適な対応がオペレ
ータにより実現される。

【００５９】また本発明の時系列画像情報抽出装置で
は、各工程手段をモジュール化または全構成部品・回路
をもってなし、該工程モジュールを一筐体内に装備して
一体化してもよい。また第１次加工手段から高次加工手
段および内部制御手段をもって一体化し、他の入力手段
および出力手段を別体としてもよい。

【００６０】さらに本発明の装置としては、第１次加工
手段から高次加工手段および内部制御手段の構成部品・
回路を１基盤上に設置して、いわゆるワーンボード化を
なすことができる。さらに入力手段および出力手段をも
加工手段ボードに搭載して、ワンボード装置としてもよ
い。

【００６１】さらに本発明の装置としては、第１次加工
手段から高次加工手段および内部制御手段の構成部品・
回路を１集積回路をもってなし、いわゆるワンチップ化
をなすことができる。さらに入力手段および出力手段の
一部または全部を加工手段と同じワンチップ化してもよ
い。この態様はワンチップ・センサとして使用できる。

【００６２】

【実施例】以下、本発明の好ましい実施態様例について
図面を用いながら詳述する。図１は本発明の全体構成を
示すブロック図である。本発明は、図に示すように入力
手段１０と、１次加工手段２０と、２次加工手段３０
と、高次加工手段４０と、出力手段５０と、外部制御手
段７０と内部制御手段６０から成る。

【００６３】図２は図１の詳細図である。図２におい
て、１０１は測定対象物、１０は対象物１０１の画像入
力部で、例えばＣＣＤ撮像素子から成る。１０２はＡ／
Ｄ変換器で、画像入力部１０から入力された画像を各画
素毎にディジタル信号に変換するものである。

【００６４】１０３は関心領域選択部であるが、その一
連の動作を図３に示すフローチャートを参照して説明す
る。まず１０２のＡ／Ｄ変換器でディジタル信号に変換
された対象物の含まれる画像に対して、画面上の関心領
域を一個あるいは複数個初期選択する（ステップＡ）。
そして、画像を入力する毎に、初期選択した該関心領域
での該対象物が更新された入力画像内に全て含まれるか
を、パターンマッチング処理や変化成分量の閾値との比
較処理により判断し（ステップＢ）、該対象物が画面に
一部分でも含まれていなかった場合、もとの該関心領域
に含まれていた該対象物の全体が視野の画面に含まれる
ようＣＣＤ撮像素子の移動によって追跡し、該関心領域
に該対象物が最も一致するように再設定する（ステップ
Ｃ）。

【００６５】該対象物が画像内に全て含まれていた場合
あるいはステップＣにより該対象物が画面内に全て含ま
れるよう操作された後、該対象物全体が該関心領域から
移動していないかどうかをステップＢと同様に、パター
ンマッチング処理や変化成分量の閾値との比較処理によ
り判断し（ステップＤ）、移動していた場合には該対象
物と該関心領域が最も一致するよう該対象物画像の画面
上での位置移動によりおよびあるいは該関心領域の再設
定により、該対象物と該関心領域の位置関係の補正を行
なう（ステップＥ）。これにより新たな関心領域の選択
が完了し、最初に設定した関心領域に含まれていた対象
物を連続的に観測出来ることとなる。

【００６６】１０４は関心領域選択部から選択された複
数の関心領域画像を一時保存しておくための画像バッフ
ァである。

【００６７】２０１〜２０５は１次加工手段２０の構成
部であるが、その一連の動作を図４に示すフローチャー
トを参照して説明する。

【００６８】２０１はＳ／Ｎ改善部で、画面バッファ１
０４に保存された動画像に対して、各画素毎の閾値処理
や平滑化処理、補間処理や中央値フィルター処理による
ノイズ改善を行なう（ステップＦ）。

【００６９】２０２は変化成分画像抽出部で、１０で入
力されたＴ０時点での動画像と、Ｔ０と所定の関係で更
新されるＴ１時点での画像の各々の対応する同一部位の
画像から、情報抽出の目的（差分、割算、微積分、２値
化、ガンマ補正）に応じて作成された参照表（ルックア
ップテーブル）を参照したりあるいは直接に画像間の差
分や割り算などの演算をすることにより変化成分画像を
抽出する（ステップＧ）。

【００７０】２０２で抽出された変化成分画像は一時画
面バッファ２０３に保存される（ステップＨ）。２０３
で保存された画像は、例えばＣＲＴ画面に連続出力さ
れ、対象物の異常状況を工場のオペレータに視覚的に訴
える手段としても用いられる（ステップＩ）。

【００７１】画面バッファ２０３に保存された変化成分
画像は、正規化処理部２０４により正規化処理（差分抽
出の場合負の値をもつ画素での符号変換処理、商の場合
１を越える値をもつ画素での逆数化）された後（ステッ
プＪ）、２０５の第１次情報変化量抽出部により変化成
分の面積分や空間的重心位置等の第１次情報変化量が抽
出される（ステップＫ）。なお、以上の処理は、必要に
応じて取捨選択が可能となっている。

【００７２】３０は２次加工手段であるが、その構成と
一連の動作を図２の構成図および図５のフローチャート
を参照して説明する。

【００７３】３０１は、２０で得られた第１次情報変化
量を所定の閥値と比較するための比較器で、第１次情報
変化量が所定閾値の範囲内かどうかを判断し（ステップ
Ｌ）範囲内の場合、３０２の時系列配列処理部へデータ
を送出する。

【００７４】３０２では時系列データの時刻コードおよ
び／または識別コードなどのラベリングと所定の時系列
配列化が実施される（ステップＭ）。時系列配列化され
た情報変化量のことを時系列信号化第１次情報変化量と
定義する。例えば、第１次情報変化量とは、一枚の該変
化成分画像の要素である画素毎の変化成分を加算したも
のである。従って、第１次情報変化量はもとの入力動画
像が白黒の濃淡のみの２次元画像である場合には、一個
のスカラー値となり次元が下がり、引き続く処理を行う
に際して好都合である。

【００７５】時系列信号化第１次情報変化量に対して、
Ｓ／Ｎ改善器３０３により閾値処理、平滑化処理、補間
処理や中央値フィルター処理によるノイズ改善が実施さ
れる（ステップＮ）。

【００７６】ノイズ改善後の時系列信号化第１次情報変
化量は、必要に応じて変化成分画像とともに、例えばＣ
ＲＴ画面に出力され（ステップＯ）、測定対象物の異常
部位や異常の程度の同定にも有効利用される。

【００７７】この情報に対して、さらに３０４の時系列
信号化第２次情報変化量抽出部により、微積分処理や差
分処理、シュミットトリガ処理、平均化処理が行われ、
第１次情報変化量とは異なる物理的意義を有する時系列
信号化第２次情報変化量が抽出される（ステップＰ）。

【００７８】時系列信号化第２次情報変化量も、変化成
分画像やノイズ改善後の時系列信号化第１次情報変化量
と同様に、例えばＣＲＴ画面に表示され（ステップ
Ｑ）、対象物の異常診断、注目している状態量の分布観
測、出現頻度解析等にも有効利用される。なお、以上の
処理は、必要に応じて取捨選択が可能となっている。

【００７９】４０は３０で時系列化された第２次情報変
化量から時系列信号処理等により特徴量を抽出する高次
加工手段である。特徴量の抽出方法としては、時系列信
号処理、高速フーリエ変換、自己相関関数、相互相関関
数、離散余弦変換、零交叉法、最大エントロピー法、周
波数解析、位相変移検出、微積分、モーメントおよびセ
プストラムなる群の少なくとも１つの処理を用いる。以
上の１次加工手段や２次加工手段や高次加工手段は、計
測中の対象とその現象に応じて一つないし一つ以上の手
段にまとめることもよいし、逆にさらに細かい手段に分
けても良い。

【００８０】なお、特徴量抽出の前処理として、必要に
応じて補間手段、平均化手段、平滑化手段、閾値下雑音
除去手段、バイアス加減手段、離散余弦変換、周波数解
析手段、誤り信号の補正手段の少なくとも１手段が用い
られている。

【００８１】４０で抽出された各種特徴量、例えば変動
周期や周波数スペクトル、単位時間当たりの閾値を超え
る変位回数、加速度成分、位相情報などは、変化成分画
像やノイズ改善後の時系列信号化第１次情報変化量、時
系列信号化第２次情報変化量と同一の、例えばＣＲＴ画
面に表示され、対象物の異常診断、異常予知の精度向上
にも有効利用される。なお、以上の処理は、必要に応じ
て取捨選択が可能となっている。

【００８２】５０は２０〜４０で抽出された各種情報を
ＣＲＴ等の画面に表示したり、他の計測機器、コンピュ
ータ効果器等への出力を行う出力手段である。５０の各
構成部の役割りを図２を用いて説明する。

【００８３】５０１は、変化成分画像やノイズ除去後の
時系列信号化第１次情報変化量、時系列信号化第２次情
報変化量や特徴量を表示するための表示用メモリであ
る。

【００８４】５０２は、表示用メモリ５０１に蓄積され
た画像データをアナログビデオ信号に変換したり、外部
に電圧、電流等の強弱信号を出力するためにディジタル
信号をアナログ信号に変換するためのＤ／Ａ変換器であ
る。

【００８５】Ｄ／Ａ変換器５０２からのアナログビデオ
信号は、表示部５０３に送信され、テレビ表示方式によ
り画像として表示部５０３、例えばテレビモニタに表示
されるが、デジタル入力の可能な表示装置には不要であ
る。

【００８６】また、必要に応じてアナログ信号に変換さ
れた各種信号は、５０４の強弱信号出力部に送信され、
外部機器とのデータ送信が行われる。

【００８７】５０５はブザーや光点滅、画面表示などに
よる警告手段であり、ノイズ改善後の時系列信号化第１
次情報変化量、時系列信号化第２次情報変化量や特徴量
を所定の閾値と比較し、閾値の範囲を超えた場合、例え
ばオペレータ室に設置された警告ブザーを鳴らし、操業
の異常状況や計測機器の異常状況をオペレータに通報
し、適切な対処を促すこともできる。

【００８８】５０６は、外部制御手段７０への各種信号
の出力及び７０からの各種信号の入力を行なう制御信号
入出力部である。

【００８９】７０は５０からの出力信号に応じて他の計
測機器、コンピュータ等を制御したり、他の計測機器や
コンピュータ等からの信号を内部制御手段６０に送信し
たりするための外部制御手段である。

【００９０】６０は１０〜５０および７０の各手段の動
作を制御する内部制御手段で、例えば中央処理装置（例
えばインテル社製ｉ８０４８６と所定のデイジタルシグ
ナルプロセサや数値演算プロセサ、メモリ等）から成
る。

【００９１】図６は、本発明の時系列画像情報抽出方法
の実施態様例における、動画像の入力工程および第１次
加工工程に関するフローチャートの詳細を示す。

【００９２】図６中、ＲＯＩ画面バッファ更新の工程
で、自然の時系列データの離散標本Ｂｋはｘ×ｙの２次
元データを表わす。尚カラー信号の場合Ｒ．Ｇ．Ｂ．そ
れぞれに設定・処理できるようにすることが望ましい。
また同図中の最終工程において変化成分を面積として扱
う場合には、ここで始めて２次元データより１次元スカ
ラー化、値が得られる。あるいはＢｋがＲ．Ｂ．Ｇ．な
どカラーデータならば３次元以下のベクトルが得られる
ようにしてもよい。また変化成分を重心位のベクトルと
して扱う場合には、２次データより２次ベクトルを得、
あるいはＢｋがＲ．Ｂ．Ｇ．などカラーデータならば６
要素の行列を得るようにしてもよい。

【００９３】図７は、本発明の時系列画像情報抽出方法
の実施態様例における、第２次加工工程および高次加工
工程に関するフローチャートの詳細を示したものであ
る。同図中、所定閾値の範囲か否かを判断する工程で
は、時系列データとしてではなく単独データとしても明
らかな異常の除去ができるようにすることが望ましい。
また時系列データとして配列等する工程では、情報変化
量Ｃの任意の時系列データである時系列信号化第１次情
報変化量が得られる。さらに必要に応じた時系列表示工
程では、例えばシュミットトリガや積分の処理あるいは
２回目差分による加速度を得る処理等により、時系列信
号化第１次情報変化量とは物理的意義の異なる時系列信
号化第２次情報変化量が得られる。

【００９４】同図中の高次加工工程は、主として特微量
を抽出するためのものの例示である。

【００９５】

【発明の効果】本発明の効果は、従来のレーザー式変位
センサーや超音波式変位センサーのような特殊な照明・
照射装置を必要とせずに、非接触的かつ遠隔的に変化情
報を連続動画像から新たな時系列情報として抽出し、必
要に応じて引き続く処理系を駆動し得るセンシングシス
テムを構成することである。これは単に差分画像等を連
続的に画面出力するのみではなく、画像間演算により抽
出された時間領域における各種の変化の情報を所定の時
系列信号化を行なって動画像に内在する任意の周波数帯
域の現象を明示するものであり、さらに必要に応じて該
時系列信号から所定の特徴量を抽出して現象の性質を表
現したり後続の処理・判断系を自動的に起動することを
目的とするものである。

【００９６】従来、動画像は連続する莫大な情報の塊と
してのみとらえられることが多かった。動画像上で移動
したり、回転したり、出没したり、色調変化したりする
時系列的な現象の変化は、所定の面積上に分布している
ために、ＡＤ変換器にてサンプリングできる通常の時系
列信号とは、一線を画されて認識されていたものと考え
られる。本発明は、動画像上で移動したり、回転した
り、出没したり、色調変化したりする所定の面積上に分
布している時系列的な現象の変化を、時空間の所定の時
間間隔での時間断面における各画素の変化量の面積分と
しての情報変化量という値の要素とし、さらにこの要素
の時間領域における集合を再配列して時系列情報として
ＡＤ変換器にてサンプリングできる通常の時系列信号の
形に変換することを特徴とするものである。

【００９７】産業上の各種利用分野において、微小な変
位計測から直進運動や回転運動あるいはその組合せの運
動解析そして振動解析や頻度計数や機器の状態認識など
が行え、所定の物品の生産ラインでは不良品検出や色調
判定や仕分け判定が行え、生物を対象にしても植物の成
長や動物の生理現象や行動が時系列信号として取り扱え
るようになる。これらの信号を後続の制御系で利用する
と位置制御や姿勢制御さらには警報の報知や信号の転送
プロトコールの起動あるいはプログラムされた所定の作
業を、対象とのフィードバックを保って実行可能とする
ものである。

【００９８】家庭用機器や産業用機器や建設作業用機器
や工場のラインの設備の運転稼働状態の把握や制御およ
びあるいは地域の交通状況の把握や制御さらにはヒトや
動植物の行動や生理的状態の把握や施薬や飼料配給や肥
料散布の制御など、動画像が得られる限りにおいてはあ
らゆる範囲の対象にわたり希望する現象について多種の
設定で状況把握や異常予知に応用することができる。

【００９９】また、プール、スキー場、公園等における
事故の早期発見、警報の自動発信などにも有用である。

【図面の簡単な説明】

【図１】本発明の装置の好ましい実施態様例の全体構成
のブロック図。

【図２】本発明の装置の好ましい実施態様例の詳細なブ
ロック図。

【図３】本発明の方法における関心領域選択工程に関す
るフローチャートの例示。

【図４】本発明の方法における第１次加工工程に関する
フローチャートの例示。

【図５】本発明の方法に置ける第２次加工工程に関する
フローチャートの例示。

【図６】本発明の方法における入力工程から１次加工工
程に関する詳細なフローチャートの例示。

【図７】本発明の方法における２次加工工程及び高次加
工工程に関する詳細なスローチャートの例示。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 対象物の動画像を入力する手段と、所定
   のフレームレートで入力される該動画像上の自然の時系
   列情報について、更新されるＴ０時点での画像とＴ０に
   対して所定の関係で更新されるＴ１時点での画像との各
   々の対応する領域における第１次情報変化量を検出する
   ための１次加工手段と、該第１次情報変化量を要素とし
   て新たに配列することにより任意の時系列情報である時
   系列信号化第１次情報変化量を生成し必要に応じて該時
   系列信号化第１次情報変化量とは異なる物理的意義を有
   する時系列信号化第２次情報変化量までを抽出するため
   の２次加工手段と、必要に応じて高次な特徴量を抽出す
   るための高次加工手段を備え、さらに加工後の情報およ
   び／または特徴量を出力する手段とそれらを制御する内
   部制御手段を具備した時系列画像情報抽出装置。
2. 【請求項２】 請求項１の入力手段が、必要に応じて１
   ないし複数個の任意の空間的および／または時間的な関
   心領域を選択する手段を具備した時系列画像情報抽出装
   置。
3. 【請求項３】 請求項１の入力手段が、対象物をその視
   野の画像内に存在するよう追跡するための手段を具備す
   る時系列画像情報抽出装置。
4. 【請求項４】 請求項１の入力手段において、対象物の
   一部分の変化を検出する場合、画面内における対象物全
   体の移動を補正する手段を具備する時系列画像情報抽出
   装置。
5. 【請求項５】 請求項１の１次加工手段が、Ｔ０時点で
   の画像と、Ｔ０と所定の関係で更新されるＴ１時点での
   画像の各々の対応する同一部位の画像から、差分処理あ
   るいは割り算処理することによりおよび／もしくは情報
   抽出の目的に応じて作成された参照表を参照することに
   より変化成分画像を抽出し、その変化成分画像から変化
   成分の面積分や空間的重心位置等の第１次情報変化量を
   抽出するものである時系列画像情報抽出装置。
6. 【請求項６】 請求項１の２次加工手段が、１次加工手
   段から得られた第１次情報変化量を所定の閾値と比較し
   閾値を超える毎にラベリングと所定の配列を行い、時系
   列配列のデータに採用し、閾値処理、平滑化処理、補間
   処理や中央値フィルターによる信号の信号雑音比（Ｓ／
   Ｎ）改善を行った後、必要に応じて微積分処理や差分処
   理、割算処理、シュミットトリガ処理及び平均化処理の
   少なくとも１種の処理により、時系列信号化第１次情報
   変化量とは異なる物理的意義を有する時系列信号化第２
   次情報変化量を抽出するものである時系列画像情報抽出
   装置。
7. 【請求項７】 請求項１の内部制御手段が、入出力信号
   によって、警告手段、イベントトリガー、外部制御手段
   の少なくとも一つと連動するものである時系列画像情報
   抽出装置。
8. 【請求項８】 対象物の動画像を入力する工程と、所定
   のフレームレートで入力される該動画像上の自然の時系
   列情報について、更新されるＴ０時点での画像とＴ０に
   対して所定の関係で更新されるＴ１時点での画像との各
   々の対応する領域における第１次情報変化量を検出する
   ための１次加工工程と、該第１次情報変化量を要素とし
   て新たに配列することにより任意の時系列情報である時
   系列信号化第１次情報変化量を生成し必要に応じて該時
   系列信号化第１次情報変化量とは異なる物理的意義を有
   する時系列信号化第２次情報変化量までを抽出するため
   の２次加工工程と、必要に応じて高次な特徴量を抽出す
   るための高次加工工程を備え、さらに加工後の情報およ
   び／または特徴量を出力する工程を具備した時系列画像
   情報抽出方法。
9. 【請求項９】 請求項８の２次加工工程が、１次加工工
   程から得られた第１次情報変化量を所定の閾値と比較し
   閾値を超える毎にラベリングと所定の配列を行い、時系
   列配列のデータに採用し、閾値処理、平滑化処理、補間
   処理や中央値フィルターによる信号の信号雑音比（Ｓ／
   Ｎ）改善を行った後、必要に応じて微積分処理や差分処
   理、割算処理、シュミットトリガ処理及び平均化処理の
   少なくとも１種の処理により、第１次情報変化量とは異
   なる物理的意義を有する時系列信号化第２次情報変化量
   を抽出するものである時系列画像情報抽出方法。