JP6737164B2

JP6737164B2 - 液面形状の抽出方法、装置及びプログラム

Info

Publication number: JP6737164B2
Application number: JP2016246531A
Authority: JP
Inventors: 山本　浩貴; 浩貴山本
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2016-12-20
Filing date: 2016-12-20
Publication date: 2020-08-05
Anticipated expiration: 2036-12-20
Also published as: JP2018100878A

Description

本発明は、容器内の自由液面を撮影した、時間的に連続する画像に基づいて液面形状を抽出する液面形状の抽出方法、装置及びプログラムに関する。

鉄鋼製造プロセスにおける鋼の連続鋳造工程においては、鋳型内の湯面挙動が鋳片欠陥に影響することが知られている。
従来から、鋳型内の溶鋼の流動状況、湯面挙動を適正化するのに必要な操業因子を明らかにするために、水モデル実験が用いられている（非特許文献１を参照）。水モデル実験とは、透明なアクリル樹脂板等を用いて鋳型を模した容器を作成し、溶鋼の代わりに水を満たすことで、溶鋼の流動状況、湯面挙動を模擬する実験である。このような水モデル実験において水面高さを定量測定する必要がある場合には、非特許文献１で示されるように、通常、フロートとレーザー変位計を利用し、レーザー変位計の設置位置での水面高さを測定することが行われるが、この場合、レーザー変位計で測定していない位置での水面高さを知ることはできなかった。

このような課題に対し、特許文献１では、液体が注水される水槽を挟んで、一方の側に光源を設置し、他方の側に近赤外ＣＣＤカメラを設置して、近赤外ＣＣＤカメラの撮影画像から輝度比（水槽が空の位置と注水位置との輝度比）を算出し、エッジ処理により液面位置を検出する手法が開示されている。
また、非特許文献２では、ビデオカメラ等の撮影画像から、画像処理技術により曲線を検出する手法が開示されている。非特許文献２では、微分フィルタで山岳の稜線を含むエッジを強調した上で、稜線の連続性を利用し動的計画法により稜線を抽出する手法が提案されている。

特開２００５−２９１８３０号公報

手嶋ら：スラブ高速鋳造時の連鋳鋳型内溶鋼流動におよぼす鋳造条件の影響，鉄と鋼，vol.79，No.5，1992． W. Lie, T. T. Lin, K. Hung, A robust dynamic programming algorithm to extract skyline in images for navigation. Pattern. Recogn. Lett. 26, 221-230 (2005). R.A.Maronna，R.D.Martin，V.J.Yohai：Robust Statistics：Theory and Methods，Wiley，2006．

しかしながら、水のような無色透明な液体の気液界面付近は、輝度のコントラストが小さく、特許文献１のような単純なエッジ処理では、画像中のノイズ成分と気液界面を見分けることは困難で、気液界面を見誤ることがある。
また、非特許文献２の手法では、動的計画法による曲線（液面）の抽出の際、画像中のノイズに反応し、液面を誤識別することがある。
このように気液界面を見誤ったり、液面を誤識別したりすると、正確な液体の流動状況、液面挙動を把握できなくなってしまう。

本発明は上記のような点に鑑みてなされたものであり、容器内の自由液面を撮影した、時間的に連続する画像に基づいて、正確な液体の流動状況、液面挙動を把握できるようにすることを目的とする。

上記の課題を解決するための本発明の要旨は、以下のとおりである。
［１］容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出方法であって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定ステップを有し、
前記液面高さ推定ステップでは、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出方法。
［２］前記対角化による対角行列の固有値を小さい順に所定の数だけ選択し、前記選択した固有値に対応する固有ベクトルを前記直交行列から選んで部分行列とすることを特徴とする［１］に記載の液面形状の抽出方法。
［３］前記対角化による対角行列の固有値のうち所定の閾値を下回るものを選択し、前記選択した固有値に対応する固有ベクトルを前記直交行列から選んで部分行列とすることを特徴とする［１］に記載の液面形状の抽出方法。
［４］前記液面高さ推定ステップにおいて、前記水平方向及び時間方向において、前記液面高さ推定ステップで用いる原データを間引くことを特徴とする［１］乃至［３］のいずれか一つに記載の液面形状の抽出方法。
［５］前記原データと液面高さの計算値との差分に関する項は、ｊを前記水平方向の各位置（ｊ＝１、２、・・・、Ｍ）、ｔを各時刻（ｔ＝１、２、・・・、Ｔ）とし、前記原データにおける液面高さｙ_j（ｔ）と、液面高さの計算値ｄ_j（ｔ）との誤差絶対値｜ｙ_j（ｔ）−ｄ_j（ｔ）｜の前記水平方向の各位置、各時刻に関する和で表わされることを特徴とする［１］乃至［４］のいずれか一つに記載の液面形状の抽出方法。
［６］前記液面高さの計算値の時間差分に関する項は、時間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする［１］乃至［５］のいずれか一つに記載の液面形状の抽出方法。
［７］前記液面高さの計算値の空間差分に関する項は、空間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする［１］乃至［６］のいずれか一つに記載の液面形状の抽出方法。
［８］容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出装置であって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定手段を備え、
前記液面高さ推定手段は、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出装置。
［９］容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出するためのプログラムであって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定処理をコンピュータに実行させ、
前記液面高さ推定処理では、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とするプログラム。

本発明によれば、原データにおいて液面の誤識別が生じていても、その誤識別を取り除いて、時間方向及び空間方向になめらかに変動する液面形状を抽出することができる。これにより、正確な液体の流動状況、液面挙動を把握することが可能となる。

実施形態に係る液面形状の抽出装置の機能構成を示す図である。実施形態に係る液面形状の抽出装置による液面形状の抽出方法を示すフローチャートである。原データと、原データを対象として液面形状を抽出した結果とを示す特性図である。原データにおける液面形状を表わす写真と、原データを対象として抽出した液面形状を表わす写真を示す図である。基底数、間引きのデータ分割数を変えて液面形状を抽出した結果を示す特性図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
図１に、実施形態に係る液面形状の抽出装置１００の機能構成を示す。
図１に示すように、透明なアクリル樹脂板等を用いて鋳型を模した容器２００を作成し、溶鋼の代わりに水２０１を満たす。そして、容器２００の一面に対向させるようにしてカメラ３００を設置し、カメラ３００により、容器２００内の自由液面を撮影した時間的に連続する画像、ここでは動画像を取得する。カメラ３００で撮影する画像は、可視光画像に限らず、赤外線画像等としてもよい。

液面形状の抽出装置１００において、１０１は入力部であり、カメラ３００で撮影した容器２００内の自由液面の動画像データを入力する。

１０２は原データ作成部であり、入力部１０１で入力する動画像データを用いて、各時間において一水平方向（以下、幅方向と呼ぶ）の各位置で液面高さが単一に定まる原データを作成する。原データは、各時刻での画像について、例えば高さ方向に微分フィルタ演算を行い、その輝度変化のピーク位置を液面と判定する手法で作成される。或いは、原データは、各時刻での画像について、例えば非特許文献２のように動的計画法により曲線を抽出する手法で作成される。

１０３は液面高さ推定部であり、原データ作成部１０２で作成した原データを対象として、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数Ｊで表される数理計画問題を解いて、この評価関数Ｊを最小にする幅方向の各位置、各時刻の液面高さを推定する。
本実施形態において、液面高さ推定部１０３は、構築部１０３ａと、変換部１０３ｂと、求解部１０３ｃと、間引き部１０３ｄとを備える。
構築部１０３ａは、原データ作成部１０２で作成した原データを対象として、上述した評価関数Ｊで表される数理計画問題を構築する。
変換部１０３ｂは、ベクトルを用いて表現された評価関数Ｊのうち、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを係数行列Ｌを用いた二次形式として表現して、係数行列Ｌを直交行列Ｖを用いて対角化する操作を通じて、直交行列Ｖの各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換する。
求解部１０３ｃは、変換部１０３ｂで変換した線形回帰モデルを解く。このとき、直交行列Ｖから固有ベクトルを選んで部分行列を構成し、それを用いて前記線形回帰モデルの近似問題を解く。より詳しくは、前記直交行列Ｖから固有ベクトルを選んで構成した部分行列で直交行列Ｖを置き換えた前記線形回帰モデルを決定する問題を解く。
間引き部１０３ｄは、原データ作成部１０２で作成した原データを間引いて、液面高さを推定するのに用いるデータ点数を減らす。

１０４は出力部であり、液面高さ推定部１０３で推定した液面高さから得られる液面形状の抽出結果を出力する。例えば液面形状の抽出結果を表示装置に表示したり、ネットワークを介して外部機器に送信したりする。

以下、実施形態における液面形状の抽出方法の詳細を説明する。
図２は、実施形態に係る液面形状の抽出装置１００による液面形状の抽出方法を示すフローチャートである。
ステップＳ１で、入力部１０１は、カメラ３００で撮影した容器２００内の自由液面の動画像データを入力する。

ステップＳ２で、原データ作成部１０２は、ステップＳ１で入力する動画像データを用いて原データを作成する。
図３（ａ）に、非特許文献２のように動的計画法により曲線を抽出する手法（以下、単に動的計画法と呼ぶ）により作成した原データの例を示す。また、図４（ａ）に、ある時刻において、原データにおける液面形状４０１を原画像に重ね合わせて示す。
図４（ａ）に示すように、画像中のノイズに反応し、液面をなす曲線を誤識別することが原因で、幅方向の広い範囲（図中の左側の領域Ｘ）で液面の誤識別が生じている。このように広範囲に渡る誤識別は、空間方向のローパスフィルタ処理等で除去することが困難である。

ステップＳ３で、液面高さ推定部１０３の構築部１０３ａは、ステップＳ２で作成した原データを対象として、原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項との重み付き和として評価関数Ｊで表される数理計画問題を構築する。ここでいう数理計画問題の構築とは、あらかじめ設定されている評価関数を含む数理計画問題の枠組みに、ステップＳ２で作成した原データを反映させて定式化することをいう。

評価関数Ｊとしては、次に述べる式（１）、（２）、（３）がある。
図３（ａ）、図４（ａ）のような原データを対象として、式（１）の評価関数Ｊを最小にする幅方向の各位置ｊ（ｊ＝１、２、・・・、Ｍ）、各時刻ｔ（ｔ＝１、２、・・・、Ｔ）の液面高さｄ_j（ｔ）を計算する。ｙ_j（ｔ）は、原データにおける液面高さ（動的計画法により求めた液面高さ）である。

式（１）の第１項は液面高さの推定誤差を表わし、第２項は液面の時間方向変動のなめらかさに関する正則化項を表わし、第３項は液面の幅方向変動のなめらかさに関する正則化項を表わす。式（１）は、液面が時間方向及び空間方向にわたりなめらかに変化することを利用して、液面の時間及び空間変動のなめらかさの制約の下で、再構成誤差を最小化するものである。なお、λ₁、λ₂は推定値変動のなめらかさを制御する調整パラメータである。

なお、第２項及び第３項のなめらかさに関する正則化項として、式（１）のような時間方向及び幅方向における液面高さの２階差分の二乗和でなく、式（２）のように、時間方向及び幅方向における液面高さの１階差分の二乗和としてもよい。

また、動的計画法により求めた液面高さｙ_j（ｔ）は、大きな外れ値を含む場合がある。このため、観測値とのあてはまりの尺度として二乗誤差｛ｙ_j（ｔ）−ｄ_j（ｔ）｝²を選んだ場合に、外れ値に推定結果が引きずられ過ぎるおそれがある。これを防ぐため、観測値とのあてはまりの尺度として、二乗誤差でなく誤差絶対値｜ｙ_j（ｔ）−ｄ_j（ｔ）｜を選ぶようにしてもよい。この考え方は、ロバスト統計学の分野においてＬ１損失最小化と呼ばれるものである（非特許文献３を参照）。この場合、式（３）の評価関数Ｊを最小にする液面高さｄ_j（ｔ）を計算する。

式（３）の評価関数Ｊで表される数理計画問題は、スラック変数ξ_j（ｔ）を追加し、式（４）のように書き換えることができる。この変換により、誤差絶対値の項を不等式制約に置き換えることができ、２次計画法を用いて解くことができる。

ここで、ステップＳ３で構築した数理計画問題のままでは、幅方向の各位置、各時刻の液面高さを決定係数とするため、決定変数が多く、計算量が多くなる。
そこで、ステップＳ４で、液面高さ推定部１０３の変換部１０３ｂは、式（３）の評価関数Ｊのうち、右辺第２項の液面高さの計算値の時間差分に関する項と、右辺第３項の液面高さの計算値の空間差分に関する項とを係数行列Ｌを用いた二次形式として表現して、係数行列Ｌを直交行列Ｖを用いて対角化する操作を通じて、直交行列Ｖの各列ベクトルを基底関数とする線形回帰モデルを解く問題に変換する。

本実施形態では、式（３）の評価関数Ｊで表される数理計画問題を例として説明する。
まず、式（３）の評価関数Ｊを式（５）のようにベクトルを用いて表現する。ここで、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項を、係数行列Ｌを用いた二次形式として表現する。係数行列Ｌは、ＭＴ次の正方行列である。

次に、数理計画問題の規模を小さくすべく、係数行列Ｌの対角化を利用した問題規模の低次元化を行う。係数行列Ｌは対称行列であるので、式（６）のように、直交行列Ｖ（係数行列Ｌの固有ベクトルを並べた行列）を用いて対角化することができる。Λは固有値を並べた対角行列である。式（６）の関係を用いて、式（５）を式（７）のように変換する。

そして、式（８）のように変数ｚを定義した上で、式（７）に式（８）を代入し、あらためて式（９）を評価関数とする数理計画問題に書き換える。これは、直交行列Ｖの各列ベクトルを基底関数とし、変数ｚに関する正則化項を持つ線形回帰モデルの係数ｚを決める問題である。

ステップＳ５で、液面高さ推定部１０３の求解部１０３ｃは、変数の低次元化を図るため、対角行列Λの固有値を小さい順に所定の数であるＫ個だけ選択し、これらＫ個の固有値に対応する固有ベクトルを直交行列ＶからＫ本だけ選ぶことにより、式（１０）のように部分行列Ｖ＾を構成する。なお、Ｖ＾の表記はＶの上に＾が付されているものとする。この部分行列Ｖ＾を用いて、あらためて式（１１）のように変数ｚを定義し、式（１２）の線形回帰モデルを構成する。ここで、式（１２）の線形回帰モデルの係数ｚを決める問題は、式（９）の線形回帰モデルの係数ｚを決める問題の近似問題であると言うことができる。

式（１３）の部分行列Λ＾は、対角行列Λから固有値の小さい順にＫ個だけ選び構成した部分行列である。なお、Λ＾の表記はΛの上に＾が付されているものとする。基底数Ｋ＝ＭＴと選べば、式（１２）は式（９）と等価である。

式（１２）も、式（４）と同様に２次計画法を用いて解くことができる（式（１４））。λ＝０とすれば、線形計画法を用いて解くこともできる。なお、（Ｖ＾ｚ）_jは、Ｖ＾ｚのｊ成分である。

ステップＳ６で、液面高さ推定部１０３の求解部１０３ｃは、式（１４）の最適解ｚ^*を用いて、ｄ^*＝Ｖ＾ｚ^*により液面高さを計算、推定する。

ステップＳ７で、出力部１０４は、ステップＳ３〜Ｓ６で推定した液面高さから得られる液面形状の抽出結果を出力する。出力部１０４から出力する液面形状の抽出結果としては、例えば図３（ｂ）のようにグラフとして出力してもよいし、図４（ｂ）のように原画像に液面形状の再構成結果４０２を重ね合わせて出力してもよいし、単に液面高さの値を出力するようにしてもよい。

図３（ｂ）に、図３（ａ）の原データを対象として、式（１４）を解いて得られた、液面形状の抽出結果（再構成結果）を示す。なお、Ｍ＝１７６点、Ｔ＝１２フレーム（０．２ｓｅｃ間）とし、基底数Ｋ＝５０、データ点数は等間隔に半分に間引いた。図３（ｂ）の再構成結果では、図３（ａ）の原データに含まれる異常値が除去され、時間方向及び空間方向になめらかに変動する液面形状を抽出できている。

また、図４（ｂ）に、図４（ａ）と同タイミング（１２フレーム中の３フレーム目の画像）において、液面形状の再構成結果４０２を原画像に重ね合わせて示す。図４（ｂ）に示すように、図４（ａ）で生じていた液面の誤識別が取り除かれ、なめらかな液面形状を抽出できていることがわかる。
なお、式（４）を直接解いた場合、計算時間が０．４３ｓｅｃ程度であったのに対して、式（１４）を解いた場合、計算時間は０．２０ｓｅｃ程度まで短縮される。

図２のフローチャートでは省略したが、さらなる計算量の低減を図るため、間引き部１０３ｄにより、ステップＳ２で作成した原データからデータを間引いて、液面高さを推定するのに用いるデータ点数を減らしてもよい。すなわち、ＭＴ点すべてのデータを利用するのではなく、例えば格子状に配置されたＭＴ点の格子点の間隔が均等になるようにデータを選択するようにすればよい。

また、本実施形態では、係数行列Ｌを直交行列Ｖを用いて対角化する操作において、対角行列Λの固有値を小さい順にＫ個だけ選択する方式を説明したが、それに限定されるものではない。例えば対角行列Λの固有値に対して閾値を設定しておき、それを下回る固有値を選択するようにしてもよい。

また、複数の動画像データの解析を行うにあたって、これらの動画像の液面波形挙動の特徴が共通するとみなせる場合には、一部の動画像データを利用し、式（４）のアルゴリズムにより液面形状を計算した上で、その計算結果を用いて基底関数（直交行列Ｖの列ベクトル）の係数を算出し、これら係数の変動（標準偏差等）の大きい順に基底関数を選ぶことができる。ここで選んだ基底関数を用いて式（１４）の数理計画問題を構成し、残りの動画像データの解析に適用してもよい。
また、固有値分解によらず、係数行列Ｌの分解にあたって、特異値分解等を用いた低階数近似法等を用いてもよい。

以下、本実施形態において液面形状を抽出した結果について説明する。
図５（ａ）に、式（３）の評価関数Jによる液面形状と、式（１２）の線形回帰モデルによる液面形状との再構成誤差のＲＭＳＥを、基底数Ｋ、間引きのデータ分割数を変えて比較した結果を示す。分割数＝ｎとは、入力データを（ｎ−１）点飛ばしで等間隔に選ぶことにより、入力データをｎ分割したことを意味する。基底数Ｋの決め方としては、所望の検出精度を達成可能な条件に決めればよい。本水モデル試験の場合、画像解析による液面検出精度が１画素程度であるので、誤差σ＝０．２５[画素]程度（±２σ＜１[画素]）を達成すれば十分である。図５（ａ）の結果から、分割数ｎ＝２に選べば、基底数Ｋ＝５０としても、誤差σ＝０．２５[画素]程度（±２σ＜１[画素]）を達成することがわかる。また、基底数Ｋ＝７０とすれば、分割数ｎ＝３の場合でも、誤差σ＝０．２５を達成することができる。

次に、図５（ｂ）に、式（１２）の線形回帰モデルによる液面形状の計算時間を、基底数Ｋ、間引きのデータ分割数を変えて比較した結果を示す。ここでは、撮影時間である０．２ｓｅｃを基準とした相対値をプロットした。所望の精度を達成可能な条件のうち、計算時間が短いことが望ましいが、上記の２つのケースのうちで、基底数＝７０、分割数ｎ＝３の場合は、実行速度が１．２程度であり、基底数＝５０、分割数ｎ＝２の場合は、実行速度が１．０程度となる。いずれの場合も十分な高速化を達成するが、基底数Ｋ＝５０、データ分割数＝２として計算する方が計算速度の面で有利であることがわかる。
このように、本発明は、元の数理計画問題から直接導出される線形回帰モデルを決定する問題の近似問題を解くものであるが、要求される推定精度に応じて適切なパラメータ（規定数Ｋ及び分割数ｎ）を選択することにより、要求される推定精度を満足し、且つ、十分高速に湯面形状の抽出を行うことを可能とするものである。

以上述べた実施形態では、式（３）の評価関数Ｊで表される数理計画問題を例として説明したが、式（１）、式（２）の評価関数Ｊで表される数理計画問題とする場合も同様である。
式（１）の評価関数Ｊで表される数理計画問題の場合、式（１）の評価関数Ｊを式（１５）のようにベクトルを用いて表現する。なお、式（１５）における係数行列Ｌは、式（５）における係数行列Ｌと同じである。

そして、上記実施形態で述べたのと同様に、係数行列Ｌの対角化を利用した問題規模の低次元化を行い、部分行列Ｖ＾を用いて、式（１６）のように変数ｚを定義し、式（１７）の線形回帰モデルを構成する。
式（１７）を変形すると、式（１８）が得られる。式（１８）を解けば、式（１９）が得られる。式（１９）の最適解ｚ^*を用いて、ｄ^*＝Ｖ＾ｚ^*により液面高さを計算、推定する。

次に、式（２）の評価関数Ｊで表される数理計画問題の場合、式（２）の評価関数Ｊを式（２０）のようにベクトルを用いて表現する。評価関数Ｊのうち、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを係数行列Ｌ〜を用いた二次形式として表現する。なお、Ｌ〜の表記はＬの上に〜が付されているものとする。以降の操作は、式（５）〜式（１４）と同様である。

以上述べたように、液面形状の変動は、幅方向、高さ方向及び時間方向の三次元空間においてなめらかな曲面を構成することを見出し、液面の誤識別を含む原データの異常値除去アルゴリズムを構築した。この異常値除去アルゴリズムにより、原データにおいて液面の誤識別が生じていても、その誤識別を取り除いて、時間方向及び空間方向になめらかに変動する液面形状を抽出することができる。
これにより、正確な液体の流動状況、液面挙動を把握することが可能となり、安価なコスト、簡易なセッティングで、連続鋳造機の鋳型を対象とする水モデル実験での水面高さの定量測定ができるようになる。この結果、実機では実施困難な各種実験を可能とし、良好な鋳片品質を可能とする操業因子を明らかにすることができる。
しかも、評価関数Ｊのうち、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、係数行列Ｌを直交行列Ｖを用いて対角化する操作を通じて、直交行列Ｖの各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、直交行列Ｖから固有ベクトルを選んで構成した部分行列Ｖ＾で直交行列Ｖを置き換えた前記線形回帰モデルを決定する問題を解くようにしたので、つまり、元の数理計画問題から直接導出される線形回帰モデルを決定する問題の近似問題を解くようにしたので、推定精度を維持しつつ計算量を低減させることができる。

以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、発明の範囲内で変更等が可能である。例えば図１では、液面形状の抽出装置１００において原データを作成するようにしたが、原データは外部で作成するようにして、液面形状の抽出装置１００では、作成済みの原データを入力して、液面高さ推定部１０３で液面高さを推定する構成としてもよい。

また、本発明は、連続鋳造機の鋳型の水モデル実験に限定されるものではない。例えば電力会社における原油燃料タンクや原子炉溶融プール等におけるスロッシング現象解明を目的として水モデル実験が行われることがあり、このような場合においても本発明は適用可能である。また、容器２００の形状は、用途に合わせたものとすればよい。
さらに、本発明は、水モデル実験に限定されるものではなく、一般に、誤差やノイズを含む動画像から、なめらかな変化を有する自由液面形状を抽出するのに適用可能である。

本発明を適用した液面形状の抽出装置は、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータ装置により実現される。
また、本発明は、本発明の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行することによっても実現可能である。

１００：液面形状の抽出装置
１０１：入力部
１０２：原データ作成部
１０３：液面高さ推定部
１０３ａ：構築部
１０３ｂ：変換部
１０３ｃ：求解部
１０３ｄ：間引き部
１０４：出力部
２００：容器
２０１：水
３００：カメラ

Claims

容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出方法であって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定ステップを有し、
前記液面高さ推定ステップでは、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出方法。
前記対角化による対角行列の固有値を小さい順に所定の数だけ選択し、前記選択した固有値に対応する固有ベクトルを前記直交行列から選んで部分行列とすることを特徴とする請求項１に記載の液面形状の抽出方法。
前記対角化による対角行列の固有値のうち所定の閾値を下回るものを選択し、前記選択した固有値に対応する固有ベクトルを前記直交行列から選んで部分行列とすることを特徴とする請求項１に記載の液面形状の抽出方法。
前記液面高さ推定ステップにおいて、前記水平方向及び時間方向において、前記液面高さ推定ステップで用いる原データを間引くことを特徴とする請求項１乃至３のいずれか１項に記載の液面形状の抽出方法。
前記原データと液面高さの計算値との差分に関する項は、ｊを前記水平方向の各位置（ｊ＝１、２、・・・、Ｍ）、ｔを各時刻（ｔ＝１、２、・・・、Ｔ）とし、前記原データにおける液面高さｙ_j（ｔ）と、液面高さの計算値ｄ_j（ｔ）との誤差絶対値｜ｙ_j（ｔ）−ｄ_j（ｔ）｜の前記水平方向の各位置、各時刻に関する和で表わされることを特徴とする請求項１乃至４のいずれか１項に記載の液面形状の抽出方法。
前記液面高さの計算値の時間差分に関する項は、時間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする請求項１乃至５のいずれか１項に記載の液面形状の抽出方法。
前記液面高さの計算値の空間差分に関する項は、空間方向における液面高さの１階差分又は２階差分の二乗和で表わされることを特徴とする請求項１乃至６のいずれか１項に記載の液面形状の抽出方法。
容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出する液面形状の抽出装置であって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定手段を備え、
前記液面高さ推定手段は、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とする液面形状の抽出装置。
容器内の自由液面を撮影した、時間的に連続する複数の画像に基づいて液面形状を抽出するためのプログラムであって、
前記時間的に連続する画像を用いて作成される、各時間において水平方向の各位置で液面高さが単一に定まる原データを対象として、
前記原データと液面高さの計算値との差分に関する項と、液面高さの計算値の時間差分に関する項と、液面高さの計算値の空間差分に関する項とを含む評価関数で表される数理計画問題を解いて、前記水平方向の各位置、各時刻の液面高さを推定する液面高さ推定処理をコンピュータに実行させ、
前記液面高さ推定処理では、
ベクトルを用いて表現された前記評価関数のうち、前記液面高さの計算値の時間差分に関する項と、前記液面高さの計算値の空間差分に関する項とを係数行列を用いた二次形式として表現して、前記係数行列を直交行列を用いて対角化する操作を通じて、前記直交行列の各列ベクトルを基底関数とする線形回帰モデルを決定する問題に変換し、
前記直交行列から固有ベクトルを選んで構成した部分行列で前記直交行列を置き換えた前記線形回帰モデルを決定する問題を解くことを特徴とするプログラム。