JPWO2013088827A1 - 動画像解析装置、動画像解析方法、動画像解析プログラム - Google Patents

動画像解析装置、動画像解析方法、動画像解析プログラム Download PDF

Info

Publication number
JPWO2013088827A1
JPWO2013088827A1 JP2013549150A JP2013549150A JPWO2013088827A1 JP WO2013088827 A1 JPWO2013088827 A1 JP WO2013088827A1 JP 2013549150 A JP2013549150 A JP 2013549150A JP 2013549150 A JP2013549150 A JP 2013549150A JP WO2013088827 A1 JPWO2013088827 A1 JP WO2013088827A1
Authority
JP
Japan
Prior art keywords
difference
moving image
pixel
difference data
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013549150A
Other languages
English (en)
Inventor
信 楜澤
信 楜澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AGC Inc
Original Assignee
Asahi Glass Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Glass Co Ltd filed Critical Asahi Glass Co Ltd
Priority to JP2013549150A priority Critical patent/JPWO2013088827A1/ja
Publication of JPWO2013088827A1 publication Critical patent/JPWO2013088827A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C03—GLASS; MINERAL OR SLAG WOOL
    • C03B—MANUFACTURE, SHAPING, OR SUPPLEMENTARY PROCESSES
    • C03B5/00—Melting in furnaces; Furnaces so far as specially adapted for glass manufacture
    • C03B5/16—Special features of the melting process; Auxiliary means specially adapted for glass-melting furnaces
    • C03B5/225—Refining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • C—CHEMISTRY; METALLURGY
    • C03—GLASS; MINERAL OR SLAG WOOL
    • C03B—MANUFACTURE, SHAPING, OR SUPPLEMENTARY PROCESSES
    • C03B18/00—Shaping glass in contact with the surface of a liquid
    • C03B18/02—Forming sheets
    • C—CHEMISTRY; METALLURGY
    • C03—GLASS; MINERAL OR SLAG WOOL
    • C03B—MANUFACTURE, SHAPING, OR SUPPLEMENTARY PROCESSES
    • C03B5/00—Melting in furnaces; Furnaces so far as specially adapted for glass manufacture
    • C03B5/16—Special features of the melting process; Auxiliary means specially adapted for glass-melting furnaces
    • C03B5/24—Automatically regulating the melting process
    • C03B5/245—Regulating the melt or batch level, depth or thickness

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Materials Engineering (AREA)
  • Organic Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析装置であって、同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する観察対象物判定手段と、を備える動画像解析装置。

Description

本発明は、動画データを解析する動画像解析装置及び方法、並びにプログラムに関し、特にガラス製造工程における溶融ガラス等の状態の解析に関する。
従来、動画データを解析して、画像に含まれる物体を特定したり、撮像されている観察対象の状態を判定したりする技術について研究が進められている。
特許文献１には、三次元データすなわち動画データのフレーム間差分又はエッジ差分を算出し、これを二値化した上で、立体高次局所自己相関特徴抽出処理を行って更に係数行列を乗じた新特徴データを登録データと比較することによって、物体を認識することについて記載されている。
特開２００５−９２３４６号公報
しかしながら、上記特許文献１に記載の技術は、二値化画像に対して処理を行っているため、比較的輪郭がはっきりした画像に対しては有効であるが、ガラスの製造工程のように、輪郭があいまいで形状変化が大きい動画に対しては適切な解析を行うことができない場合がある。
本発明は、１側面によれば、より適切に動画を解析することが可能な動画像解析装置を提供することを目的とする。
上記目的を達成するための本発明の第１の態様は、
複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析装置であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する観察対象物判定手段と、
を備える動画像解析装置である。
本発明の第２の態様は、
観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析装置であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
前記画像中の評価領域における、前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する異常状態判定手段と、
を備える動画像解析装置である。
本発明の第３の態様は、
コンピュータが、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析方法であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
をコンピュータが実行する動画像解析方法である。
本発明の第４の態様は、
コンピュータが、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析方法であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
をコンピュータが実行する動画像解析方法である。
本発明の第５の態様は、
コンピュータに、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定させる動画像解析プログラムであって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
をコンピュータに実行させる動画像解析プログラムである。
本発明の第６の態様は、
コンピュータに、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断させる動画像解析プログラムであって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
をコンピュータに実行させる動画像解析プログラムである。
本発明は、１側面によれば、より適切に動画を解析することが可能な動画像解析装置を提供することができる。
本発明は、ガラス製造工程の溶解槽における溶融ガラス上のガラス原料の浮遊状態、溶融ガラス上のバブラー泡や泡層の状態、前記清澄槽における泡や泡層の状態、またはフロート法成形装置における溶融錫上の異物等の状態を把握するのに好ましく、前記溶解槽における溶融ガラス上のガラス原料の浮遊状態、溶融ガラス上のバブラー泡や泡層の状態を把握するのにより好ましく、前記溶解槽における溶融ガラス上のガラス原料の浮遊状態を把握するのにさらに好ましい。
ガラスを製造するための製造装置１００の構成を簡略に示す図である。 本発明の一実施例に係る動画像解析装置１のハードウエア構成例である。 動画像解析装置１の機能構成例である。 差分データＦ*を示す図である。 第１実施例の動画像解析装置１が実行する特徴的な処理の流れを示すフローチャートである。 溶解槽１１０内を撮像した原画像である。 観察対象物判定部４２による判定結果を示す疑似画像である。 清澄槽１２０内を撮像した原画像である。 観察対象物判定部４２による判定結果を示す疑似画像である。 動画像解析装置２の機能構成例である。 差分データＦ*に含まれる特徴量に乗算される係数を例示した図である。 係数列を差分データＦ*に乗算し、得られた全画素についての乗算結果を集計した指標値の推移を示す図である。 第２実施例の動画像解析装置２が実行する特徴的な処理の流れを示すフローチャートである。
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
ここで、動画像解析装置自体の説明に先立って、本発明の動画像解析装置が好適に適用されるガラスの製造工程について説明する。
図１は、ガラスを製造するための製造装置１００の構成を簡略に示す図である。製造装置１００は、原料が導入される上流側から順に、例えば溶解槽１１０と、清澄槽１２０と、成形装置１３０と、徐冷装置１４０と、を備える。
溶解槽１１０には、粉状のＳｉＯ２、Ａｌ２Ｏ３、Ｂ２Ｏ３、ＭｇＯ、ＣａＯ、ＳｒＯ、ＢａＯ等のガラス原料が導入され、複数のバーナー１１２によって加熱されることにより溶融ガラスＡが生成される。溶融ガラスＡは、例えば１５００〜１６００℃程度に加熱される。
また、溶解槽１１０には、底部にバブラー１１４が取り付けられる。バブラー１１４は、エアー、窒素ガス等の泡Ｂを発生させて溶融ガラスを循環させる。これによって、溶融ガラスを均質化させ、液晶ディスプレイ用のガラス等、均質化が難しいガラスの品質を一定に保つことができる。
溶解槽１１０では、溶融ガラスＡの液面上に、溶ける前の粉状のガラス原料が浮遊した状態となっている。以下、係る浮遊したガラス原料をバッチ山Ｃと称する。
溶解槽１１０で生成された溶融ガラスＡは、清澄槽１２０に送られ、減圧することにより、或いは温度を更に上昇させることにより、溶融ガラスＡに含まれる泡が除去される。
清澄槽１２０で泡が除去された溶融ガラスＡは、成形装置１３０に送られ、平板状に成形される。成形装置１３０では、例えば底部に溶融スズＤが張られ、溶融スズＤの上に溶融ガラスが載置されることによって平らな平面が形成される（フロート法）。溶融ガラスＡは、成形装置１３０に導入された時には例えば１２００℃程度の温度であるが、成形装置１３０からの退出時には８００℃程度の板ガラスの状態となる。
成形装置１３０から退出した板ガラスは、徐冷装置１４０でローラーによって送られながら常温まで温度が低下する。成形装置１３０では、幅方向に板ガラスが引き延ばされ、所望の厚さ（例えば０．１〜５ｍｍ、好ましくは０．１〜２ｍｍ、より好ましくは０．１〜１．３ｍｍ、さらに好ましくは０．１〜０．７ｍｍ）に調整される。
従来、このようなガラスの製造工程に関し、溶解槽１１０におけるバッチ山Ｃの状態を監視するために、これらに監視カメラを取り付けて人が目視で監視を行っていた。
そのため、作業性や正確性の問題があったが、本発明により、容易にかつ正確に、バッチ山の状態（溶融ガラス上のガラス原料の浮遊状態）を把握することができ、必要に応じて迅速に製造条件（原料投入タイミングまたは原料溶解加熱量等）の調整を行なうことが可能になる。
なお、本発明は、前記バッチ山の状態のほか、溶解槽内の溶融ガラス上のバブラー泡や泡層の状態や、清澄槽における泡や泡層の状態や、フロートバス内の溶融錫上の異物の浮遊状態や溶融ガラスの位置状態を容易にかつ正確に把握することも可能である。ただし、輪郭があいまいで形状変化の大きい前記バッチ山の状態の把握に特に有効である。
＜第１実施例＞
以下、図面を参照し、本発明の第１実施例に係る動画像解析装置１について説明する。
［ハードウエア構成］
図２は、本発明の一実施例に係る動画像解析装置１のハードウエア構成例である。動画像解析装置１は、例えば、ＣＰＵ（Central Processing Unit）１０と、ドライブ装置１２と、補助記憶装置１６と、メモリ装置１８と、インターフェース装置２０と、入力装置２２と、表示装置２４と、を備える。これらの構成要素は、バスやシリアル回線等を介して接続されている。
ＣＰＵ１０は、例えば、プログラムカウンタや命令デコーダ、各種演算器、ＬＳＵ（Load Store Unit）、汎用レジスタ等を有するプロセッサである。
ドライブ装置１２は、記憶媒体１４からプログラムやデータを読み込み可能な装置である。プログラムを記録した記憶媒体１４がドライブ装置１２に装着されると、プログラムが記憶媒体１４からドライブ装置１２を介して補助記憶装置１６にインストールされる。記憶媒体１４は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記憶媒体である。また、補助記憶装置１６は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリである。
プログラムのインストールは、上記のように記憶媒体１４を用いる他、インターフェース装置２０がネットワークを介して他のコンピュータよりダウンロードし、補助記憶装置１６にインストールすることによって行うこともできる。ネットワークは、インターネット、ＬＡＮ（Local Area Network）、無線ネットワーク等である。また、プログラムは、動画像解析装置１の出荷時に、予め補助記憶装置１６やＲＯＭ（Read Only Memory）等に格納されていてもよい。
このようにしてインストール又は予め格納されたプログラムをＣＰＵ１０が実行することにより、図２に示す態様の情報処理装置が、本実施例の動画像解析装置１として機能することができる。
メモリ装置１８は、例えば、ＲＡＭ（Random Access Memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）である。インターフェース装置２０は、上記ネットワークとの接続等を制御する。
入力装置２２は、例えば、キーボード、マウス、ボタン、タッチパッド、タッチパネル、マイク等である。また、表示装置２４は、例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等の表示装置である。動画像解析装置１は、表示装置２４の他、プリンタ、スピーカ等の他の種類の出力装置を備えてもよい。
動画像解析装置１は、インターフェース装置２０を介してビデオカメラ３０と接続される。ビデオカメラ３０は、前述したように、ガラスの製造工程における清澄槽１２０内を撮像可能な位置に取り付けられる。ビデオカメラ３０の撮像した動画データは、例えばフレーム毎に動画像解析装置１に送信され、一定期間、メモリ装置１８に格納される。以下、各フレームの画像を画像データと称する。
［機能構成］
図３は、動画像解析装置１の機能構成例である。動画像解析装置１は、差分データ生成部４０と、観察対象物判定部４２と、異常状態判定部４４と、を備える。
（差分データ生成）
差分データ生成部４０は、あるタイミング「ｔ」で撮像された画像データｆに含まれる画素（ｘ，ｙ，ｔ）と、当該画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出する。なおこれらの差分データの算出は、画像データ全体について行うのに限らず、画像データ中の一又は複数の評価領域について行ってよい。以下、画素（ｘ，ｙ，ｔ）と、当該画素を中心とした上下左右斜めに存在する他画素との画素値の差分を表すマトリクスデータｆ*を、次式（１）で定義する。なお、マトリクスデータｆ*のうち中央の値は、他画素との差分ではなく、画素（ｘ，ｙ）の画素値そのものである。式中、Ｉ（ｘ，ｙ，ｔ）は、画素（ｘ，ｙ，ｔ）の画素値を示している。
Figure 2013088827
 また、差分データ生成部４０は、画像データｆに時間軸方向に前後する（例えば１フレーム前と１フレーム後の）画像データｆ−１、ｆ＋１について、画素（ｘ，ｙ，ｔ）と、当該画素の上下左右斜めに存在する他画素との差分のうち少なくとも一部を算出する。以下、画素（ｘ，ｙ，ｔ）と、当該画素の上下左右斜めに存在する他画素との差分を表すマトリクスデータｆ−１*、ｆ＋１*を、次式（２）、（３）で定義する。
Figure 2013088827
 なお、画像のサンプリング時間が最適であれば１フレーム前と１フレーム後の画像データを上記画像データｆ−１、ｆ＋１としてよいが、サンプリング時間が短い場合には、数フレーム前（或いは数十フレーム前）と数フレーム後（或いは数十フレーム後）の画像データを上記画像データｆ−１、ｆ＋１としてよい。
「画素の上下左右斜めに存在する他画素との画素値の差分」についても同様であり、画像の分解能が高い場合、複数画素（例えば隣接する４画素）を統合して１画素とするような前処理を行ってもよい。また、各画素について、空間分解能、時間的サンプリング周期を変えた複数の条件で差分データを算出してもよい。
マトリクスデータｆ−１*、ｆ*、ｆ＋１*を合わせると、２７要素の差分データＦ*｛ｆ−１*、ｆ*、ｆ＋１*｝となる。差分データＦ*は、メモリ装置１８に格納される。図４は、差分データＦ*を示す図である。
ここで、差分データ生成部４０は、差分データＦ*の全ての差分要素（又は画素値）を算出するのではなく、一部の差分要素（又は画素値）の算出を省略、或いはフィルタリングによって除去してもよい。以下、ｆ−１*、ｆ*、ｆ＋１*のうち算出する差分要素（又は画素値）を１、省略する差分要素を０で表す。また、差分要素と中央の画素値を合わせて「特徴量」と称する。
全ての特徴量を算出する場合、差分データＦ*は以下のように表される。
Figure 2013088827
 また、同じベクトル上の重複する特徴量を省略した場合、差分データＦ*は以下のように表される。この差分データＦ*は、鋭いエッジや急な方向転換等の動きが無い動画に対して好適に適用される。
Figure 2013088827
 また、主に観察対象物が上下方向（ｙ軸方向）に動くことが想定される動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。
Figure 2013088827
 また、主に観察対象物が上下方向（ｙ軸方向）に動くことが想定され、且つ鋭いエッジや急な方向転換等の動きが無い動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。
Figure 2013088827
 また、主に観察対象物が左右方向（ｘ軸方向）に動くことが想定される動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。
Figure 2013088827
 また、主に観察対象物が左右方向（ｘ軸方向）に動くことが想定され、且つ鋭いエッジや急な方向転換等の動きが無い動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。
Figure 2013088827
 このような差分データＦ*の選択は、人の判断によって行ってもよいし、自動的に行うこともできる。後者の場合、例えば後述する観察対象物判定を有効に行うことができる差分データＦ*を網羅的に探索してもよいし、効果が低い特徴量を減らしながら最適な差分データＦ*に至るようにしてもよいし、単体で最も有効な特徴量から一つずつ特徴量を増加させながら最適な差分データＦ*に至るようにしてもよい。
（観察対象物判定）
観察対象物判定部４２は、上記のように最大２７個の特徴量を含む差分データＦ*と、予め定められた比較データＦｒｅｆとを比較することにより、各画素が観察対象物（例えば泡Ｅ）に属するか否かを判定する。
観察対象物の判定は、例えば、比較データＦｒｅｆに含まれる複数の比較データＦｒｅｆ１、Ｆｒｅｆ２、…を母集団とする差分データＦ*のマハラノビス距離を算出し、マハラノビス距離の大小によっていずれの母集団のクラスタに属するか否かを判定するクラスタリング分析を用いて行う。マハラノビス距離は、マハラノビス平方距離（Mahalanobis Squared Distance）ＭＨＤから算出する。マハラノビス平方距離ＭＨＤは、次式（４）により求められる。式（４）における行列Ｖにおける各要素Ｖ（ｉ）は、未知データの多次元の特徴量ｖ（ｉ）に対して、該当クラスタ内の学習データの特徴量の平均値avg.（ｉ）と標準偏差std.（ｉ）により、次式（５）により求めた特徴量である。ｎは自由度である。マハラノビス平方距離ＭＨＤは、ｎ個の変換された特徴量の差分を加算した数値であり、（マハラノビス平方距離ＭＨＤ）／ｎにより母集団平均の単位距離が１となる。また、ＶＴは特徴量ｖ（ｉ）を要素とする行列Ｖの転置行列であり、Ｒ−１はクラスタ内の学習データにおける各特徴量間の相関行列（Correlation Matrix）Ｒの逆行列である。
ＭＨＤ＝（１／ｎ）・（ＶＴＲ−１Ｖ） …（４）
Ｖ（ｉ）＝（ｖ（ｉ）−avg.（ｉ））／std.（ｉ） …（５）
なお、観察対象物は一種類である必要はなく、複数の観察対象物について判定を行うことが可能である。
（異常状態判定）
異常状態判定部４４は、観察対象物判定手段４２による判定結果に基づき得られる画像に含まれる観察対象物（例えば泡Ｅ）の割合に基づいて、観察対象物を生じさせる観察対象、すなわち清澄槽１２０における泡除去工程が異常状態であるか否かを判定する。より具体的には、観察対象物判定手段４２により泡Ｅに属すると判定された画素の数と、その他の画素の数との比が一定範囲内であれば清澄槽１２０における泡除去工程は正常状態であり、一定範囲外であれば異常状態であると判定する。
［処理フロー］
以下、本実施例の動画像解析装置１が観察対象の監視のための動画像解析を行う際の動作について説明する。図５は、第１実施例の動画像解析装置１が実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば１フレーム分の画像データがビデオカメラ３０から入力される度に実行される。
まず、差分データ生成部４０が、直近の３フレーム分の画像データをメモリ装置１８から読み込む（Ｓ２００）
差分データ生成部４０は、画素を一つ取り出し、当該画素について差分データＦ*を生成する（Ｓ２０２）。
次に、観察対象物判定部４２が、当該画素についてマハラノビス距離によるクラスタリング分析を行い、当該画素が観察対象物に属するか否かを判定する（Ｓ２０４）。判定結果は、メモリ装置１８に格納される。
そして、動画像解析装置１の図示しない制御部は、全ての画素についてＳ２０２、Ｓ２０４の処理を行ったか否かを判定する（Ｓ２０６）。全ての画素についてＳ２０２、Ｓ２０４の処理を行っていない場合、Ｓ２０２に戻り、次の画素を取り出して処理を行う。画素の取り出しは、例えば左上から右方向に順次走査し、右端まで到達すると下段に移動するという順序で行われる。
全ての画素についてＳ２０２、Ｓ２０４の処理を行うと、異常状態判定部４４は、観察対象物に属すると判定された画素の数を集計し（Ｓ２０８）、観察対象物に属すると判定された画素の数が一定範囲内に収まっているか否かを判定する（Ｓ２１０）。
異常状態判定部４４は、観察対象物に属すると判定された画素の数が一定範囲内に収まっている場合は、観察対象が正常状態であると判定し（Ｓ２１２）、一定範囲内に収まっていない場合は、観察対象が異常状態であると判定する（Ｓ２１４）。
前述したように、観察対象物が複数存在する場合、Ｓ２１０の判定処理は、異なるものとなる。この場合、「各」観察対象物に属すると判定された画素の数が、「それぞれ」一定範囲内に収まっているか否かを判定する等と変更する。
［実験結果］
本出願の発明者は、溶解槽１１０内を撮像した動画像に対して、実際に上記説明した処理を実行し、各画素が対象物（バッチ山Ｃ）に属するか否かを判定する処理を行った。図６は、溶解槽１１０内を撮像した原画像であり、バッチ山Ｃに相当する箇所を囲い線で示したものである。図７は、観察対象物判定部４２による判定結果を示す疑似画像である。図７における白い部分が、バッチ山Ｃに属すると判定された画素を示しており、黒い部分がバッチ山Ｃ以外の部分（溶融ガラス面）に属すると判定された画素を示している。図示するように、光の具合による過剰検出が点状に見られるものの、ほぼ全てのバッチ山Ｃを検出することができた。
また、本出願の発明者は、清澄槽１２０内を撮像した動画像に対して、実際に上記説明した処理を実行し、各画素が対象物（泡Ｅ）に属するか否かを判定する処理を行った。図８は、清澄槽１２０内を撮像した原画像であり、図９は、観察対象物判定部４２による判定結果を示す疑似画像である。図９における白い部分が、泡Ｅに属すると判定された画素を示しており、黒い部分が泡Ｅ以外の部分（ガラス面）に属すると判定された画素を示している。図示するように、画像下端部において光の具合による過剰検出が見られるものの、ほぼ全ての泡Ｅを検出することができた。
［まとめ］
以上説明した本実施例の動画像解析装置１によれば、二値化処理等を行うことなく、画素値の差分に対して直接的に観察対象物に属するか否かを判定するため、特に輪郭があいまいで形状変化が大きい動画に対して、より適切に解析を行うことができる。
また、図５のフローに示すように、１フレームの入力毎に判定結果を出力することができるため、リアルタイムに観察対象を監視することができる。
従って、より迅速且つ適切に動画を解析することができる。
＜第２実施例＞
以下、図面を参照し、本発明の第２実施例に係る動画像解析装置２について説明する。
［ハードウエア構成］
第１実施例と共通するため、説明を省略する。
［機能構成］
図１０は、動画像解析装置２の機能構成例である。動画像解析装置２は、差分データ生成部４０と、異常状態判定部４６と、を備える。
（差分データ生成）
第１実施例と共通するため、説明を省略する。
（異常状態判定）
異常状態判定部４６は、メモリ装置１８に格納された差分データＦ*に対して所定の係数を乗じて集計した指標値に基づいて、観察対象が異常状態であるか否かを判定する。
図１１は、差分データＦ*に含まれる特徴量に乗算される係数を例示した図である。図中、ｐ１〜ｐ２７は、差分データＦ*に含まれる特徴量であり、ｐ１〜ｐ９がｆ＋１*に含まれる特徴量を、ｐ１０〜１８がｆ*に含まれる特徴量を、ｐ１９〜２７がｆ*−１に含まれる特徴量を、それぞれ示している。
また、図中、ＰＣ１〜ＰＣ９は、各特徴量に乗算される係数列を示しており、それぞれが抽出すべき画像の変化に応じた値となっている。例えば、ＰＣ２ではｐ１〜ｐ９に乗算される係数が負の値であると共にｐ１９〜２７に乗算される係数が正の値であるため、ＰＣ２が乗算された差分データＦ*は、画像が暗くなっていくタイミングで大きい値を示すことになる。また、ＰＣ３ではｐ４〜６とｐ２２〜２４の絶対値が大きいため、動画に含まれる物体が左右に広がったり狭まったりするタイミングで大きい値を示すことになる。また、ＰＣ４ではｐ１４が大きいため、全体の明るさを反映した値を示す。また、ＰＣ５ではｐ１３〜１５の値が大きいため、物体の動きとは関係なく縦の線要素を反映した値を示す。また、ＰＣ６ではｐ１〜３が正、ｐ２５〜２７が負の値であるため、物体が上方向に移動しているタイミングで大きい値を示すことになる。
異常状態判定部４６は、上記ＰＣ１〜ＰＣ９のように目的に応じて決定される係数列を、画像に含まれる全ての画素の差分データＦ*に乗算し、得られた全画素についての乗算結果を集計する。そして、集計結果＝指標値Ｈを時系列に観察し、比較データＨｒｅｆを母集団とした指標値Ｈのマハラノビス平方距離ＭＨＤを算出し、マハラノビス平方距離ＭＨＤが例えば正規分布における５σ等の閾値を超えた場合に、観察対象が異常状態であると判定する。図１２は、適切に選択された係数列を画像に含まれる全ての画素の差分データＦ*に乗算し、得られた全画素についての乗算結果を集計した指標値の推移を示す図である。図示するように、数箇所において異常な指標値の上昇が見られ、観察対象の異常状態を適切に検出することができる。
［処理フロー］
以下、本実施例の動画像解析装置２が観察対象の監視のための動画像解析を行う際の動作について説明する。図１３は、第２実施例の動画像解析装置２が実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば１フレーム分の画像データがビデオカメラ３０から入力される度に実行される。
まず、差分データ生成部４０が、直近の３フレーム分の画像データをメモリ装置１８から読み込む（Ｓ３００）。
差分データ生成部４０は、画素を一つ取り出し、当該画素について差分データＦ*を生成する（Ｓ３０２）。
次に、異常状態判定部４６が、Ｓ３０２で生成された差分データＦ*の各特徴量に対して係数列を乗算し、当該画素についての部分指標値Ｈｐを算出する（Ｓ３０４）。
そして、動画像解析装置１の図示しない制御部は、全ての画素についてＳ３０２、Ｓ３０４の処理を行ったか否かを判定する（Ｓ３０６）。全ての画素についてＳ３０２、Ｓ３０４の処理を行っていない場合、Ｓ３０２に戻り、次の画素を取り出して処理を行う。画素の取り出しは、例えば左上から右方向に順次走査し、右端まで到達すると下段に移動するという順序で行われる。
全ての画素についてＳ３０２、Ｓ３０４の処理を行うと、異常状態判定部４６は、算出した部分指標値Ｈｐを集計し、指標値合計Ｈ及びマハラノビス平方距離ＭＨＤを算出する（Ｓ３０８）。
そして、異常状態判定部４６は、算出したマハラノビス平方距離ＭＨＤが統計的に異常値であるか否かを判定する（Ｓ３１０）。
異常状態判定部４６は、算出したマハラノビス平方距離ＭＨＤが統計的に異常値でない場合は、観察対象が正常状態であると判定し（Ｓ３１２）、算出したマハラノビス平方距離ＭＨＤが統計的に異常値である場合は、観察対象が異常状態であると判定する（Ｓ３１４）。
［まとめ］
以上説明した本実施例の動画像解析装置２によれば、二値化処理等を行うことなく、画素値の差分を用いて直接的に観察対象が異常であるか否かを判定するため、特に輪郭があいまいで形状変化が大きい動画に対して、より適切に解析を行うことができる。
また、図１３のフローに示すように、１フレームの入力毎に判定結果を出力することができるため、リアルタイムに観察対象を監視することができる。
従って、より迅速且つ適切に動画を解析することができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、本発明に係る動画像解析装置は、ガラスの製造工程以外にも適用可能である。
また、上記実施例は、単色画像を前提として説明したが、カラー画像に対しても適用可能である。カラー画像の場合、Ｒ、Ｇ、Ｂそれぞれの要素について同一の処理を行うものとすればよい。この場合、観察対象物判定部４２の処理は、例えばＲ、Ｇ、Ｂそれぞれについてのクラスタリング分析を行った後に、Ｒ、Ｇ、Ｂ全てについて該当すれば観察対象物に属すると判定し、一部についてのみ該当すれば不明であると判定する、等が考えられる。
また、カラー画像の場合、上記の他、ＲＧＢそれぞれの差分データを算出し、それらを統合してクラスタリング分析を行ってもよいし、（ｘ，ｙ，ｔ）の三次元に加えて四次元で差分を求めて特徴量を算出し、クラスタリング分析を行ってもよい。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
本国際出願は、２０１１年１２月１６日に出願した日本国特許出願２０１１−２７６４３５号に基づく優先権を主張するものであり、日本国特許出願２０１１−２７６４３５号の全内容をここに本国際出願に援用する。
１、２ 動画像解析装置
１０ ＣＰＵ
１２ ドライブ装置
１４ 記憶媒体
１６ 補助記憶装置
１８ メモリ装置
２０ インターフェース装置
２２ 入力装置
２４ 表示装置
３０ ビデオカメラ
４０ 差分データ生成部
４２ 観察対象物判定部
４４、４６ 異常状態判定

Claims (14)

  1. 複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析装置であって、
    同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
    前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する観察対象物判定手段と、
    を備える動画像解析装置。
  2. 請求項１に記載の動画像解析装置であって、
    前記観察対象物判定手段は、前記記憶手段に格納された差分データと、予め定められた比較データを母集団としたマハラノビス距離の大小によって、前記差分データがいずれの母集団のクラスタに属するか否かを判定するクラスタリング分析を用いて各画素が前記観察対象物に属するか否かを判定する手段である、
    動画像解析装置。
  3. 請求項１又は２に記載の動画像解析装置であって、
    前記観察対象物判定手段による判定結果に基づき得られる前記画像中の評価領域に含まれる前記観察対象物の割合に基づいて、前記観察対象物を生じさせる観察対象が異常状態であるか否かを判定する異常状態判定手段を備える動画像解析装置。
  4. 観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析装置であって、
    同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
    前記画像中の評価領域における、前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する異常状態判定手段と、
    を備える動画像解析装置。
  5. 請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
    前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
    Figure 2013088827
     において１で表された差分要素のみを算出する手段である、
    動画像解析装置。
  6. 請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
    前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
    Figure 2013088827
     において１で表された差分要素のみを算出する手段である、
    動画像解析装置。
  7. 請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
    前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
    Figure 2013088827
     において１で表された差分要素のみを算出する手段である、
    動画像解析装置。
  8. 請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
    前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
    Figure 2013088827
     において１で表された差分要素のみを算出する手段である、
    動画像解析装置。
  9. 請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
    前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
    Figure 2013088827
     において１で表された差分要素のみを算出する手段である、
    動画像解析装置。
  10. ガラスの製造工程において溶融ガラスの状態を監視する監視カメラによる動画を解析するのに用いられる、請求項１ないし９のいずれか１項に記載の動画像解析装置。
  11. コンピュータが、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析方法であって、
    同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
    前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
    をコンピュータが実行する動画像解析方法。
  12. コンピュータが、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析方法であって、
    同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
    前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
    をコンピュータが実行する動画像解析方法。
  13. コンピュータに、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定させる動画像解析プログラムであって、
    同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
    前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
    をコンピュータに実行させる動画像解析プログラム。
  14. コンピュータに、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断させる動画像解析プログラムであって、
    同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
    前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
    をコンピュータに実行させる動画像解析プログラム。
JP2013549150A 2011-12-16 2012-10-11 動画像解析装置、動画像解析方法、動画像解析プログラム Pending JPWO2013088827A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013549150A JPWO2013088827A1 (ja) 2011-12-16 2012-10-11 動画像解析装置、動画像解析方法、動画像解析プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011276435 2011-12-16
JP2011276435 2011-12-16
JP2013549150A JPWO2013088827A1 (ja) 2011-12-16 2012-10-11 動画像解析装置、動画像解析方法、動画像解析プログラム

Publications (1)

Publication Number Publication Date
JPWO2013088827A1 true JPWO2013088827A1 (ja) 2015-04-27

Family

ID=48612284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013549150A Pending JPWO2013088827A1 (ja) 2011-12-16 2012-10-11 動画像解析装置、動画像解析方法、動画像解析プログラム

Country Status (3)

Country Link
JP (1) JPWO2013088827A1 (ja)
TW (1) TW201327477A (ja)
WO (1) WO2013088827A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6759785B2 (ja) * 2016-07-12 2020-09-23 日本製鉄株式会社 液面形状の抽出方法、装置及びプログラム
CN111414938B (zh) * 2020-03-04 2023-06-20 中国计量大学 一种板式换热器内气泡的目标检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3903890B2 (ja) * 2002-08-15 2007-04-11 ソニー株式会社 画像処理装置および画像処理方法
JP4663756B2 (ja) * 2008-04-28 2011-04-06 株式会社日立製作所 異常行動検知装置
KR20120116476A (ko) * 2010-02-19 2012-10-22 니혼 야마무라가라스 가부시키가이샤 유리 용융로의 감시 방법, 원료 투입 제어 방법, 및 원료 투입 제어 장치

Also Published As

Publication number Publication date
WO2013088827A1 (ja) 2013-06-20
TW201327477A (zh) 2013-07-01

Similar Documents

Publication Publication Date Title
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
JP6292122B2 (ja) オブジェクト情報抽出装置、オブジェクト情報抽出プログラム、及びオブジェクト情報抽出方法
KR20070076337A (ko) 에지영역 판단장치 및 에지영역 판단방법
JP2010507155A5 (ja)
JP7234502B2 (ja) 方法、装置、及びプログラム
JP2010056689A5 (ja)
JP4901462B2 (ja) 炉頂部のガス流状態監視方法、監視装置、及びコンピュータプログラム
KR100868884B1 (ko) 유리 기판 유리 불량 정보 시스템 및 분류 방법
KR20120138635A (ko) 영상 처리 방법, 영상 처리 장치 및 스캐너
CN114332004A (zh) 一种瓷砖表面缺陷检测方法、装置、电子设备及存储介质
JPWO2013088827A1 (ja) 動画像解析装置、動画像解析方法、動画像解析プログラム
JP2012094068A (ja) 情報処理装置、その処理方法及びプログラム
US11430130B2 (en) Image processing method and computer-readable recording medium having recorded thereon image processing program
Nikolaev et al. Estimation of The Surface Quality Of Galvanazed Steel: The Method Of Decomposing The Image Into Layers
CN117314863A (zh) 缺陷输出方法、装置、设备及存储介质
JPH09293141A (ja) 移動物体検出装置
JP2001050921A (ja) 物体の内部欠陥の自動検出方法及び装置
CN113284133B (zh) 一种光伏电池片间距的确定方法、装置、设备及存储介质
JP7414629B2 (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム
CN114196799A (zh) 一种转炉溢渣的检测方法、装置及计算机设备
Mazur Monitoring the surface quality in sheet rolling
KR101959619B1 (ko) 반도체 결함 시각화 방법 및 시스템
JP4266864B2 (ja) 金物類の腐食度評価方法
JP2004028836A (ja) 撮像検査装置における８近傍点隣接比較方式による欠陥検出方法、欠陥検出システム
JP5400087B2 (ja) 画像処理装置、画像処理方法、及び、プログラム