JP5394908B2 - コークス炉壁観察装置のカメラ校正方法およびプログラム - Google Patents

Description

本発明は、コークス炉壁観察装置のカメラ校正方法およびプログラムに関する。さらに詳しくは、コークス炉内にカメラを挿入し、その画像を用いて炉壁の状態を観察するコークス炉観察装置において、カメラの取り付けを校正するためのカメラ校正方法およびプログラムに関する。

製鉄に用いるコークスを製造するために、幅数十センチメートル、高さ数メートル、奥行き十数メートルのレンガ造りのコークス炉が用いられる。コークスの製造は、コークス炉の上面に設けられた石炭挿入口から炉内に石炭を挿入し、高温に熱せられた炉内で石炭を乾留することにより行われる。完成したコークスは、コークス炉両端の炉入口および炉出口を開放した後に押出機が炉入口から挿入され、炉出口側に配置されたバケットに押し出される。その際に炉内ではレンガが剥落したり、カーボンが付着したりして、炉壁が損傷する。製鉄所の主要設備であるコークス炉の安定操業と長寿命化の為には、炉壁の状態を随時観察し、損傷箇所を早期発見し、修繕する必要がある。

従来、コークス炉の炉壁の観察は目視観察によるものが一般的であり、作業員が操業の合間に、コークス炉の両端から、あるいは石炭挿入口から直接観察を行っていた。そのため、狭窄な炉内を観察できる範囲は限られており、特に炉壁中心部の観察は困難であった。また、高温に保たれたコークス炉の観察は作業員にとって危険な作業でもあった。

この問題に対する解決策として、熱対策したカメラを炉内に挿入し、炉壁を撮影した映像を観察する方法がある（例えば特許文献１）。カメラの映像により炉壁の状態を観察することができるので、炉壁中心部においても観察することができ、作業員にとっても確認作業を安全に行うことができる。
しかるに、特許文献１の方法では、図２０（Ａ）に示すようにカメラの向きを炉壁に対して正面としているため、幅が数十センチメートルのコークス炉の場合、カメラと炉壁との距離が短く、カメラで撮影できる視野が限られ、炉壁全体について迅速に観察することは困難であった。
また、カメラで撮影した映像は録画されるが、その録画された映像を観察する場合、映像をはじめから再生する必要があるため、確認作業に時間のかかるものであり、一見して炉壁全体の状況を把握できるものではなかった。

これに対して特許文献２のコークス炉の内壁観察方法は、図２０（Ｂ）に示すように、カメラの向きを炉壁に対して斜めとし、カメラをコークス炉内に挿入し、カメラの位置と対応付けながら炉壁の画像を斜視像として順次撮影する方法である。さらに、その斜視像を画像処理して炉壁を正面から見た視点変換画像を生成し、カメラ位置に従って視点変換画像を張り合わせることで、炉壁全体画像の合成を行うようにしている。
図２０（Ｂ）に示すように、カメラの向きを炉壁に対して斜めとすれば、撮影できる視野を広くすることができ、炉壁全体について迅速に観察することが可能となる。また、合成された炉壁全体画像により一見して炉壁全体の状況を把握することが可能となる。

しかるに、視点変換画像を生成するには、カメラの光軸と炉壁とのなす角度を用いて画像処理の演算を行う必要があるが、カメラをカメラ挿入用の装置に取り付ける際、実際には設計された角度から誤差を持って取り付けられ、また、カメラ挿入時の振動などにより徐々に取り付け誤差が生じてくるため、このカメラの取り付けを校正せず、設計値に従って視点変換の画像処理を行うと、炉壁の正面に対して取り付け誤差分だけずれた視点から見た視点変換画像を生成してしまうという問題がある。
また、この誤差を含んだ視点変換画像を張り合わせて炉壁全体画像の合成を行うと、視点変換画像の繋ぎ目で不一致を生じ、炉壁状態の観察に支障が出るという問題がある。

ここで、カメラの取り付け誤差を解消するために、カメラの取り付けを定期的に調整することが考えられるが、カメラは熱対策のため冷却ボックスなどに囲まれているため頻繁に調整することは困難である。
そこで、ソフトウェア側でカメラの取り付けを校正することが考えられるが、一般に行われる校正用ターゲットを用いての校正は、高温となるコークス炉内に校正用ターゲットを設置することができないため実施することができない。

特開昭６３−２５２２４２号公報 特許第２６６４４９４号公報

本発明は上記事情に鑑み、校正用ターゲットを用いることなく、カメラ校正を実施することができるコークス炉壁観察装置のカメラ校正方法およびプログラムを提供することを目的とする。

第１発明のコークス炉壁観察装置のレンガ目地カメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付け誤差および／またはレンズ歪を含んだ前記視点変換画像を校正するためのカメラ校正方法であって、前記カメラで前記炉壁画像を撮影し、該炉壁画像を視点変換処理して前記視点変換画像を生成し、下記の（ａ）、（ｂ）、（ｃ）、（ｄ）の工程のうち、いずれか一つ、または、２つ以上の工程により、カメラ校正の量を表すカメラ校正パラメータを調整することを特徴とする。（ａ）前記カメラ校正パラメータの１つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、前記パン校正パラメータを、前記炉壁のレンガ目地の複数の水平な線が、前記視点変換画像において互いに平行に表示されるように調整する工程（ｂ）前記カメラ校正パラメータの１つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、前記チルト校正パラメータを、前記炉壁のレンガ目地の垂直および水平な線が、前記視点変換画像において垂直および水平に表示されるように調整する工程（ｃ）前記カメラ校正パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、前記ロール校正パラメータを、前記炉壁のレンガ目地の複数の垂直な線が、前記視点変換画像において互いに平行に表示されるように調整する工程（ｄ）前記カメラ校正パラメータの１つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、前記歪曲校正パラメータを、前記炉壁のレンガ目地の垂直および水平な線が、前記視点変換画像において直線に表示されるように調整する工程
第２発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像を取り込むことのできるコンピュータに、請求項１記載のコークス炉壁観察装置のレンガ目地カメラ校正方法に用いるための処理を行わせるプログラムであって、前記炉壁画像を取り込み、下記の（ａ）、（ｂ）、（ｃ）、（ｄ）のステップのうち、いずれか一つ、または、２つ以上のステップにより、入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記視点変換画像を生成し、該校正後の視点変換画像を表示する処理をコンピュータに行わせることを特徴とする。（ａ）前記カメラ校正パラメータの１つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、入力された前記パン校正パラメータの値に従って、前記炉壁画像から前記カメラの左右の回転を校正した前記校正後の視点変換画像を生成するステップ（ｂ）前記カメラ校正パラメータの１つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、入力された前記チルト校正パラメータの値に従って、前記炉壁画像から前記カメラの上下の回転を校正した前記校正後の視点変換画像を生成するステップ（ｃ）前記カメラ校正パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、入力された前記ロール校正パラメータの値に従って、前記炉壁画像から前記カメラの光軸周りの回転を校正した前記校正後の視点変換画像を生成するステップ（ｄ）前記カメラ校正パラメータの１つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、入力された前記歪曲校正パラメータの値に従って、前記炉壁画像から前記カメラのレンズの歪を校正した前記校正後の視点変換画像を生成するステップ
第３発明のコークス炉壁観察装置のレンガ目地カメラ校正プログラムは、第２発明において、下記の（ａ）、（ｂ）、（ｃ）、（ｄ）のステップのうち、いずれか一つ、または、２つ以上のステップにより、入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記視点変換画像を生成することを特徴とする。（ａ）前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の垂直軸を回転軸とし、該回転軸周りの回転量が前記パン校正パラメータであり、前記炉壁画像を視点変換処理して視点変換画像を生成した後に、入力された前記パン校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成するステップ（ｂ）前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の炉幅方向の軸を回転軸とし、該回転軸周りの回転量を前記チルト校正パラメータとし、前記炉壁画像を視点変換処理して視点変換画像を生成した後に、入力された前記チルト校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成するステップ（ｃ）前記カメラの光軸を回転軸とし、該回転軸周りの回転量を前記ロール校正パラメータとし、入力された前記ロール校正パラメータの値に従って、前記炉壁画像を前記回転軸周りに回転させた校正後の炉壁画像を生成した後に、該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成するステップ（ｄ）前記カメラに取り付けられたレンズの歪曲の量を前記歪曲校正パラメータとし、入力された前記歪曲校正パラメータの値に従って、前記炉壁画像の歪曲を調整した校正後の炉壁画像を生成した後に、該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成するステップ
第４発明のコークス炉壁観察装置の炉入口カメラ校正方法は、カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付け誤差を含んだ前記視点変換画像を校正するためのカメラ校正方法であって、前記カメラで実際の炉壁画像を撮影し、前記コークス炉の設計値と、前記カメラの前記コークス炉内におけるカメラ位置から仮想の炉入口を算出し、下記の（ａ）、（ｂ）、（ｃ）の工程のうち、いずれか一つ、または、２つ以上の工程により、カメラ校正の量を表す取り付け誤差パラメータを調整することを特徴とする。（ａ）前記取り付け誤差パラメータの１つが、前記カメラの左右の回転の量を表すパン取り付け誤差パラメータであり、前記パン取り付け誤差パラメータを、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口のずれが最小となるように調整する工程（ｂ）前記取り付け誤差パラメータの１つが、前記カメラの上下の回転の量を表すチルト取り付け誤差パラメータであり、前記チルト取り付け誤差パラメータを、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口のずれが最小となるように調整する工程（ｃ）前記取り付け誤差パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール取り付け誤差パラメータであり、前記ロール取り付け誤差パラメータを、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口のずれが最小となるように調整する工程
第５発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像と、前記カメラの前記コークス炉内におけるカメラ位置を取り込むことのできるコンピュータに、請求項４記載のコークス炉壁観察装置の炉入口カメラ校正方法に用いるための処理を行わせるプログラムであって、前記炉壁画像と前記カメラ位置を取り込み、前記炉壁画像に表示される前記炉入口の座標を決定し、前記コークス炉の設計値と、前記カメラ位置から仮想の炉入口の座標を算出し、下記の（ａ）、（ｂ）、（ｃ）の工程のうち、いずれか一つ、または、２つ以上の工程により、カメラ校正の量を表す取り付け誤差パラメータを決定する処理をコンピュータに行わせることを特徴とする。（ａ）前記取り付け誤差パラメータの１つが、前記カメラの左右の回転の量を表すパン取り付け誤差パラメータであり、前記パン取り付け誤差パラメータを、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となるように決定する工程（ｂ）前記取り付け誤差パラメータの１つが、前記カメラの上下の回転の量を表すチルト取り付け誤差パラメータであり、前記チルト取り付け誤差パラメータを、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となるように決定する工程（ｃ）前記取り付け誤差パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール取り付け誤差パラメータであり、前記ロール取り付け誤差パラメータを、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となるように決定する工程
第６発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第５発明において、前記炉壁画像を画像解析し、前記炉壁画像に表示される前記炉入口の座標を検出することを特徴とする。
第７発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第５発明において、前記炉壁画像を表示し、前記炉壁画像における座標の指定を受け、該指定された座標を、前記炉壁画像に表示される前記炉入口の座標とすることを特徴とする。
第８発明のコークス炉壁観察装置の炉入口カメラ校正プログラムは、第５、第６または第７発明において、前記取り付け誤差パラメータを順次変化させながら、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となる、前記取り付け誤差パラメータを探索することを特徴とする。

第１発明によれば、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、炉壁のレンガ目地を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。さらに、視点変換画像に表示されるレンガ目地を指標としてカメラ校正を行うため、視点変換画像を確認しながらカメラ校正を行うことができ、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。しかも、指標が分かりやすく、カメラ校正が容易にできる。
第２発明によれば、入力されたカメラ校正パラメータに従って校正後の視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラ校正パラメータを決定することができ、校正用ターゲットを使用せず、画像処理の専門知識がなくても容易にカメラ校正ができる。また、校正用ターゲットを用いないため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。
第３発明によれば、コークス炉の垂直軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの左右の回転を校正することができる。また、視点変換画像のみに対する演算であるので処理を単純にすることができる。また、コークス炉の炉幅方向の軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの上下の回転を校正することができる。また、視点変換画像の単純な回転であるので処理を単純にすることができる。また、カメラの光軸を回転軸として回転させた視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの光軸周りの回転を校正することができる。また、炉壁画像の単純な回転であるので処理を単純にすることができる。また、レンズの歪曲を調整した視点変換画像を表示するので、表示された視点変換画像を確認しながらカメラの光軸周りの回転を校正することができる。また、炉壁画像のみに対する演算であるので処理を単純にすることができる。
第４発明によれば、カメラの取り付け誤差の影響のない視点変換画像を生成することができ、炉壁全体画像の合成を行っても視点変換画像の繋ぎ目で不一致が生じることがない。また、コークス炉の炉入口を指標としてカメラ校正を行うため、校正用ターゲットを高温となるコークス炉内に設置する必要がない。また、実際の炉壁画像に表示される炉入口と仮想の炉入口のずれが最小となるようにカメラ校正を行うため、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。さらに、炉壁画像とコークス炉の設計値とカメラ位置とからカメラ校正を行うので、オペレータの操作が少なく、カメラ校正の作業が容易である。
第５発明によれば、炉壁画像に表示される炉入口の座標と仮想の炉入口の座標のずれが最小となるように取り付け誤差パラメータを決定するので、校正用ターゲットを使用せず、画像処理の専門知識がなくてもカメラ校正ができる。また、炉壁画像とコークス炉の設計値とカメラ位置とから取り付け誤差パラメータを決定するので、オペレータの操作が少なく、カメラ校正の作業が容易である。
第６発明によれば、画像解析して炉入口の座標を検出するので、さらにオペレータの操作が少なく、カメラ校正の作業が容易である。
第７発明によれば、オペレータの操作により炉入口の座標を決定するので、画像解析の必要がなく、処理を単純にすることができる。
第８発明によれば、取り付け誤差パラメータを順次変化させながら探索するので、解析的に解く必要がなく、処理を単純にすることができる。

本発明の一実施形態に係るコークス炉壁観察装置の構成図であり、（Ａ）は平面図、（Ｂ）は側面図である。 炉壁画像の一例の説明図である。 視点変換画像の座標から炉壁画像の座標への座標変換の説明図である。 カメラ、その光学系および炉壁の位置関係の説明図である。 カメラ、その光学系および炉壁の位置関係の説明図であり、（Ａ）は平面図、（Ｂ）は側面図である。 座標変換テーブルの一例の説明図である。 視点変換画像の一例の説明図である。 炉壁全体画像の一例の説明図である。 取り付け誤差を含んだカメラ、その光学系および炉壁の位置関係の説明図である。 パン校正の説明図であり、（Ａ）はパン校正前後の視点変換画像、（Ｂ）はパン校正における回転軸の説明図である。 チルト校正の説明図であり、（Ａ）はチルト校正前後の視点変換画像、（Ｂ）はチルト校正における回転軸の説明図である。 ロール校正の説明図であり、（Ａ）はロール校正前後の視点変換画像、（Ｂ）はロール校正における回転軸の説明図である。 歪曲校正前後の視点変換画像である。 レンガ目地カメラ校正プログラムのフローチャートである。 レンガ目地カメラ校正画面の画面イメージである。 レンガ目地カメラ校正方法の説明図である。 （Ａ）は炉壁画像座標系、（Ｂ）は炉内座標系、カメラ座標系の説明図である。 取り付け誤差の決定方法の説明図であり、（Ａ）は炉壁座標系における炉入口の四隅の座標、（Ｂ）は炉内座標系における炉入口の四隅の座標である。 炉入口カメラ校正プログラムのフローチャートである。 従来技術のカメラの取り付け向きの説明図である。

［１］コークス炉壁観察装置
つぎに、本発明の実施形態を図面に基づき説明する。
図１に示すように、コークス炉１０は高さ数メートル、奥行き十数メートルの対となるレンガ造りの炉壁１１が数十センチメートルの間隔を隔てて設けられた、狭窄な炉である。コークス炉１０内で製造されたコークスＣは、コークス炉１０の片側の炉入口１２から押出機２０が挿入されることにより反対側の炉出口１３へと押し出される。
押出機２０は、押板２１とビーム２２とからなり、ビーム２２が図示しない駆動装置に接続されており、この駆動装置の動作により押板２１がコークス炉１０の炉入口１２から炉出口１３まで移動自在となっている。押板２１がコークス炉１０の断面と同形状をしているため、押板２１の移動によりコークスＣを押し出すことができる。

本発明の一実施形態に係るコークス炉壁観察装置は、押出機２０の押板２１に取り付けられたカメラ３０と、押出機２０のビーム２２の移動量からカメラ位置を計測するエンコーダ４０と、カメラ３０からの炉壁画像とエンコーダ４０からのカメラ位置情報を取り込み、画像処理を行うコンピュータ５０とからなる。

カメラ３０は、押板２１の背面に取り付けられており、コークスＣの押出方向と逆方向（図１の右方向）を向くように取り付けられている。これは、カメラ３０を押板２１の前面に取り付けるとコークスＣに阻まれて炉壁１１の撮影ができないからである。カメラ３０には、１台のカメラで両側の炉壁を撮影できるように、広角のレンズが取り付けられている。また、押出機２０は赤熱したコークス炉１０内（1000℃程度）に挿入されるため、カメラ３０には冷却ボックスの中に設置するなどの熱対策が施されている。

エンコーダ４０は、ビーム２２の挿入距離を計測することが可能な位置検出装置であり、ビーム２２の挿入距離から、カメラ３０のコークス炉１０内の炉長方向の挿入位置を計測するものである。

カメラ３０およびエンコーダ４０はコンピュータ５０とケーブル３１、４１を介して接続されており、カメラ３０で撮影された炉壁画像、およびエンコーダ４０で計測されたカメラ位置情報はコンピュータ５０に取込可能となっている。
コンピュータ５０は主に、ＣＰＵ５１、メモリ５２、ハードディスク５３、モニタ５４からなり、炉壁画像とカメラ位置情報から後述する画像処理を行い、その結果をモニタ５４に表示する。

［２］コークス炉壁観察方法
つぎに、本発明の一実施形態に係るコークス炉壁観察装置を用いた炉壁観察について説明する。
炉壁観察は大きく分けて、（１）炉壁画像から視点変換画像を生成し、その視点変換画像を押出機移動中に観察する即時観察、（２）視点変換画像から炉壁全体画像を合成、保存し、その炉壁全体画像を押出機の運用とは別の時期に観察する後日観察の２種類を行う。

［２．１］即時観察
即時観察は、押出機２０の運転者などが、コークス押出のための押出機の通常運用を行う際に同時に行う観察である。

まず、押出機２０とともにカメラ３０をコークス炉１０内に挿入し、カメラ３０で撮影した炉壁画像ＯＩ（図２参照）を、ケーブル３１を介してコンピュータ５０のメモリ５２に取り込む。
この際に得られる炉壁画像ＯＩは、図２に示すように、カメラ３０はコークスＣの押出方向と逆方向を向くように取り付けられているため、炉壁画像ＯＩの中央には炉入口１２が映し出される。また、カメラ３０には広角レンズが取り付けられているため左右の炉壁１１が、炉壁画像ＯＩの左右に映し出される。なお図中、１４はコークス炉の天井、１５はコークス炉の底である。実際には、押出機２０のビーム２２も映し出されるが、説明のため省略してある。

炉壁画像ＯＩにより炉壁１１の状態を観察することが可能であるが、炉壁画像ＯＩにおいて炉壁１１は斜視像として映し出されるため、これを炉壁１１の正面から見た画像とした方が、観察が行いやすい。
そこで、ＣＰＵ５１によりメモリ５２に記憶された炉壁画像ＯＩを視点変換処理して、炉壁１１を正面から見た視点変換画像ＴＩを生成する。

［２．１．１］視点変換処理
視点変換処理は例えば以下のように行われる。
一般に、画像処理により画像を変換して新たな画像を生成する場合、変換後の画像の各画素が変換前の画像のどの画素を参照すればよいかが分かればよい。すなわち、本実施形態の場合、視点変換画像ＴＩの各画素が炉壁画像ＯＩのどの画素を参照すればよいかが分かればよい。そのためには、図３に示すように、視点変換画像ＴＩ上の座標から炉壁画像ＯＩ上の座標を参照するための座標変換を導くことが必要である。
ここで、カメラ３０がＣＣＤカメラである場合、視点変換画像ＴＩ上の座標から炉壁画像ＯＩ上の座標への座標変換とは、炉壁１１上のある点から出た光がカメラ３０のＣＣＤ上のどこへ到達するか、という問題に置き換えることができる。つまり、カメラ３０、その光学系および炉壁１１の特性値および位置関係から座標変換を導くことができる。

図４において、s_x はカメラ３０のＣＣＤの幅[mm]、s_y はＣＣＤの高さ[mm]、f はＣＣＤ面から光学中心までの距離[mm]、d はカメラ３０と炉壁１１との距離[mm]、A は光学中心から炉壁１１上へ垂線を下ろした時の交点、B はカメラ３０で撮影可能な炉壁１１上の最近接位置、D は点A から点B までの距離（最近接距離）である。
以上の通りに定義した場合、最近接距離 D[pixel] は、炉壁画像ＯＩ上での画素スケールを k[mm/pixel]とすると次式で与えられる（図５（Ａ）参照）。

炉壁１１上（すなわち視点変換画像ＴＩ上）のある点(x,y)[pixel]を出た光は、光学中心を通り、ＣＣＤ面上（すなわち炉壁画像ＯＩ上）の点(u,v)[pixel]に到達する。
このように、光学中心を通る光線のみで撮像系をモデル化する手法をピンホールカメラモデルによるモデル化という。
図５（Ａ）より、x から u への変換は以下の通りに記述できる。

ここで、n_x はＣＣＤの幅方向の画素数であり、k’=s_x/n_x である。
また、図５（Ｂ）より、y から v への変換は以下の通りに記述できる。

ここで、n_y はＣＣＤの高さ方向の画素数であり、k’’=s_y/n_y である。
これら数２、数３が視点変換画像ＴＩ上の座標から炉壁画像ＯＩ上の座標への座標変換となる。

数２、数３で表わされる座標変換を、視点変換画像ＴＩの全画素について計算し、求めた座標から炉壁画像ＯＩ上の色情報を参照して視点変換画像ＴＩの色情報とすることで、視点変換画像ＴＩを生成することができる。
しかしながら、この座標変換に要する計算コストは非常に大きい。またカメラ３０などのハードウェアや、カメラ３０と炉壁１１との距離が変化しない限り、座標変換のためのパラメータも変化しないため、視点変換画像ＴＩを生成するたびに同じ計算を繰り返すことは無駄である。
そこで、視点変換画像ＴＩの全画素について一度だけ座標変換の演算を行い、その結果を保存しておくことが好ましい。より具体的には、視点変換画像ＴＩの各画素 (x,y) に対応する炉壁画像ＯＩ上の座標 (u,v) をテーブル（以下、座標変換テーブルとする。）として生成し、ハードディスク５３に保存しておく。座標変換テーブルは、例えば図６（Ａ）および（Ｂ）に示すようなテーブルであって、視点変換画像ＴＩ上の座標を示す視点変換画像座標行ｃ１と壁画像ＯＩ上の座標を示す炉壁画像座標行ｃ２とからなり、視点変換画像座標 (x,y) に対応する炉壁画像座標 (u,v) の値が炉壁画像座標行ｃ２に記録されている。
なお、図６においては視点変換画像ＴＩを 1000×1000[pixel] とし、炉壁画像座標 (u,v) として例示的な値を示している。
通常運用時の視点変換処理においてはこの座標変換テーブルを参照し、視点変換画像ＴＩの各画素の色情報を炉壁画像ＯＩの対応する画素の色情報とすることで、視点変換処理を高速に行うことができる。

なお、座標変換テーブルにサブピクセル単位（画素をより細分化した単位）での座標を格納しておけば、その座標の４近傍画素の色情報を内挿することにより、より鮮明な視点変換画像ＴＩを生成することができる。

［２．１．２］視点変換画像
以上の視点変換処理で生成された視点変換画像ＴＩは図７に示すようになる。図７は片方の炉壁１１に対する視点変換画像ＴＩであるが、同様の視点変換画像ＴＩを、左右の炉壁１１それぞれに対して１枚得ることができる。図７に示される視点変換画像ＴＩとして映し出される炉壁１１の範囲は、図４に示す視野Ｖに対応する。カメラ３０の手前側の手前側画像では、カメラ３０の上下の視野角の範囲外となる視野範囲外領域Ｏ（上下一対の三角形の領域）が現れる。そのため、視点変換画像ＴＩは、その手前側画像は高さ方向の視野が狭く、カメラ３０から奥側の奥側画像は高さ方向の視野が広くなる。なお、視点変換画像ＴＩに表示される複数の垂直および水平な線は炉壁１１のレンガ目地１６である。

以上の炉壁画像ＯＩの撮影と、視点変換画像ＴＩの生成は、押出機２０の移動中に所定の間隔で行われ、それにより得られる炉壁画像ＯＩと視点変換画像ＴＩはコンピュータ５０のモニタ５４に随時表示される。押出機２０の運転者は、押出機２０を運転しながら、モニタ５４に映し出される画像から炉壁１１の状態を観察する。

なお、押出機２０を移動する間、所定の間隔で生成される視点変換画像ＴＩは、後述する炉壁全体画像ＷＩの合成のために、エンコーダ４０から得られるカメラ位置情報とともにメモリ５２に一時記憶されていく。

［２．２］後日観察
後日観察は、視点変換画像ＴＩから炉壁１１全体の画像を合成し、それを炉壁全体画像ＷＩとして保存しておき、押出機の運用とは別の時期にその炉壁全体画像ＷＩを用いて行う観察である。炉壁全体画像ＷＩは、一見して炉壁１１全体の状況を把握することを容易にするために生成される。

前述の即時観察において、押出機２０の移動が炉入口１２から炉出口１３まで完了すると、コークス炉１０の全長にわたり、炉長方向の所定間隔ごとに視点変換画像ＴＩが生成され、その視点変換画像ＴＩに対応するカメラ位置情報とともにメモリ５２に一時記憶された状態となる。
ＣＰＵ５１は、このメモリ５２に一時記憶された視点変換画像ＴＩを、それに対応するカメラ位置情報をもとに適当な位置に配置し、つなぎ合せることで、炉壁全体画像ＷＩを合成する。

合成された炉壁全体画像ＷＩは図８に示すようになる。炉壁全体画像ＷＩは、複数の視点変換画像ＴＩがそれに対応するカメラ位置情報にもとづいて配置され、つなぎ合わされることで、コークス炉１０の全長にわたった、炉壁１１全体の画像となる。

また、炉壁全体画像ＷＩは、ハードディスク５３に記憶され、押出機の運用とは別の時期に炉壁１１の状態を観察する際に、モニタ５４に表示され、観察が行われる。

［３］レンガ目地カメラ校正
前述の視点変換処理は、カメラ３０の光軸が炉壁１１に対して平行、かつ、押出機２０の押出方向に対して平行である理想的な状態として演算を行っている。
しかし、カメラ３０を押出機２０に取り付ける際、実際には理想的な取り付け角度から誤差を持って取り付けられてしまう。また、押出機２０は移動により振動するので、その振動により徐々に取り付け誤差が生じてくる。このカメラ３０の取り付けを校正せず、数２、数３のみに従った視点変換処理を行うと、炉壁１１の正面に対して取り付け誤差分だけずれた視点から見た視点変換画像ＴＩを生成してしまう。
この誤差を含んだ視点変換画像ＴＩを張り合わせて炉壁全体画像ＷＩの合成を行うと、視点変換画像ＴＩの繋ぎ目で不一致を生じ、炉壁状態の観察に支障が出る。
また、本実施形態において、カメラ３０には広角レンズが取り付けられているが、安価な広角レンズを取り付けた場合、レンズの外周は画像に歪曲が生じる場合がある。

そこで、新たにカメラ３０を押出機２０に取り付けた後、あるいは押出機２０の振動によりカメラ３０の取り付けに誤差が生じた場合に、カメラ校正を行うことで、カメラ３０の取り付けの校正を行う。

一般に、ソフトウェアでカメラ校正を行う場合、校正用ターゲットを設置し、その校正用ターゲットを指標としてカメラ校正を行う。ところが、コークス炉１０では炉内が高温に熱せられた状態であるので、校正用ターゲットを設置する事が出来ない。そこで、カメラ校正の指標としてレンガ目地１６を用いる。以下、このレンガ目地１６を指標としたカメラ校正を、レンガ目地カメラ校正と称する。

［３．１］レンガ目地カメラ校正の原理
本実施形態において、カメラ３０の光軸は、理想的には炉壁１１およびカメラ３０の進行方向に対して平行であるので、カメラ３０の取り付け誤差をこの理想的な光軸に対するパン、チルト、ロールの３軸回転として扱う。パンとはカメラ３０の左右の回転、チルトとはカメラ３０の上下の回転、ロールとはカメラ３０の光軸周りの回転である。

図９に示すように、カメラ３０が理想的に取り付けられた場合の炉壁１１を理想炉壁ＩＷとして定義し、３軸周りの校正を含んだ視点変換を、実際の炉壁１１である実炉壁ＲＷから理想炉壁ＩＷへの変換と、理想炉壁ＩＷからカメラ３０のＣＣＤ面への変換とに分けて考える。
より詳細には、カメラ３０のパンとチルトの校正により、実炉壁ＲＷから理想炉壁ＩＷへの変換を行い、ついで前述の視点変換とロールと歪曲の校正により、理想炉壁ＩＷからＣＣＤ面への変換を行う。ここで、ロールの校正を理想炉壁ＩＷからＣＣＤ面への変換において行うのは、この方が単純な画像の回転となり、変換が容易であるためである。
以下、各校正について説明する。

［３．１．１］パン校正
図１０（Ａ）に示すように、パン校正前の視点変換画像ＴＩは、奥もしくは手前方向にあおられた画像となる。パンの校正は、図１０（Ｂ）に示される点A（図９における点A と同一）を通り y軸に平行な直線（コークス炉１０における垂直軸）を回転軸とし、その回転軸周りの回転として行われる。したがって、パン校正後のある点(x,y)[pixel]に対応するパン校正前の点(u,v)[pixel]は以下の通りに記述できる。

ここで、式中の α は回転軸周りの回転量を表すパン校正パラメータである。

［３．１．２］チルト校正
図１１（Ａ）に示すように、チルト校正前の視点変換画像ＴＩは、画像平面内で回転した画像となる。チルトの校正は、図１１（Ｂ）に示される点A を通り画像平面に垂直な直線（コークス炉１０における炉幅方向の軸）を回転軸とし、その回転軸周りの回転として行われる。したがって、チルト校正後のある点(x,y)[pixel]に対応するチルト校正前の点(u,v)[pixel]は以下の通りに記述できる。

ここで、式中の θ は回転軸周りの回転量を表すチルト校正パラメータである。

［３．１．３］ロール校正
図１２（Ａ）に示すように、ロール校正前の炉壁画像ＯＩは、画像平面内で回転した画像となる。ロールの校正は、図１２（Ｂ）に示される炉壁画像ＯＩの中心を通り画像平面に垂直な直線（カメラ光軸）を回転軸とし、その回転軸周りの回転として行われる。したがって、ロール校正後のある点(x,y)[pixel]に対応するロール校正前の点(u,v)[pixel]は以下の通りに記述できる。

ここで、式中の φ は回転軸周りの回転量を表すロール校正パラメータである。

［３．１．４］歪曲校正
図１３に示すように、歪曲校正前の炉壁画像ＯＩは、樽型や糸巻き型に歪曲した画像となる。歪曲の原点を炉壁画像ＯＩの中心とすると、歪曲校正後のある点(x,y)[pixel]に対応する歪曲校正前の点(u,v)[pixel]は一般に以下の通りに近似できる。

ここで、式中の κ は歪曲の量を表す歪曲校正パラメータである。

以上の数４から数１１で表されるパン、チルト、ロールおよび歪曲校正と、数２および数３で表される視点変換を行うことにより、校正後の視点変換画像から炉壁画像への座標変換を算出することができる。
すなわち、視点変換画像ＴＩ上のある点(x,y)[pixel]に対応する炉壁画像ＯＩ上の点を(u,v)[pixel]とすると、x から u への変換は、歪曲校正の数１０、ロール校正の数８、視点変換の数２、チルト校正の数６、パン校正の数４をこの順に、各式の出力 u を次の式の入力 x とした演算であり、y から v への変換は、歪曲校正の数１１、ロール校正の数９、視点変換の数３、チルト校正の数７、パン校正の数５をこの順に、各式の出力 v を次の式の入力 y とした演算である。

そして、数４から数１１中の α、θ、φ、κ の各校正パラメータ（以下、カメラ校正パラメータとする。）の値を適切に決定することによりカメラ校正が可能となり、カメラ校正後の視点変換画像を生成することができる。
カメラ校正パラメータの値を決定するためには、後に詳説するように、カメラ校正処理をするとともに視点変換処理を行い、視点変換画像ＴＩを生成して、その生成された視点変換画像ＴＩを観察して誤差の影響がなくなるようにカメラ校正パラメータを調整することで行う。この際、カメラ校正パラメータを調整する指標となるのが視点変換画像に表示されるレンガ目地１６である。

［３．２］レンガ目地カメラ校正プログラム
レンガ目地カメラ校正を行うために、カメラ３０で撮影した炉壁画像ＯＩを取り込み、入力されたカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、炉壁画像ＯＩから視点変換画像ＴＩを生成し、その視点変換画像ＴＩを表示することが可能なレンガ目地カメラ校正プログラムを用いる。

図１４に示すフローチャートおよび図１５に示す画面イメージに基づいて本発明の一実施形態に係るレンガ目地カメラ校正プログラムの処理を説明する。
まず、オペレータがレンガ目地カメラ校正プログラムを起動すると、ＣＰＵ５１はモニタ５４にレンガ目地カメラ校正画面６０を表示するとともに、カメラ校正パラメータ α、θ、φ、κ を初期化する（ステップSTA1）。初期化は、カメラ校正が必要のない場合の各カメラ校正パラメータの値は 0 であるので、各カメラ校正パラメータの値を 0 とすればよい。

つぎに、オペレータが押出機２０をコークス炉１０内に挿入し、レンガ目地カメラ校正画面６０の炉壁画像撮影ボタン６１を押下すると、カメラ３０は炉壁画像ＯＩを撮影し、ＣＰＵ５１はその炉壁画像ＯＩをケーブル３１を介して取り込み、メモリ５２に一時記憶するとともに、画像表示部６６に表示する（ステップSTA2）。

レンガ目地カメラ校正画面６０には、画像表示部６６に表示する画像を、炉壁画像ＯＩと左右の炉壁１１の視点変換画像ＴＩ（右炉壁視点変換画像および左炉壁視点変換画像）とを切り替える画像切替オプションボタン６２が表示されている。オペレータが画像切替オプションボタン６２で一方の視点変換画像ＴＩ（図１５においては右炉壁視点変換画像）を選択すると、ＣＰＵ５１はカメラ校正処理STA3および視点変換画像生成STA4を行い、画像表示部６６に視点変換画像ＴＩを表示する（ステップSTA5）。
この段階では、カメラ校正パラメータは初期化されている状態であるので、画像表示部６６には、カメラ校正前の視点変換画像ＴＩが表示されることになる。

オペレータは、画像表示部６６に表示された視点変換画像ＴＩを確認し、カメラ校正が必要であるか否かを決定する（ステップSTA6）。ここで、カメラ校正の要否を決める指標となるのが、レンガ目地１６であり、このレンガ目地１６が垂直または水平あるいは直線なっている状態であればカメラ校正が完了となる。

オペレータが、カメラ校正が必要であると判断した場合には、カメラ校正パラメータ調整スライドバー６３を動かして、各カメラ校正パラメータを調整する（ステップSTA7）。
より詳細には、図１６に示すように、画像表示部６６に表示された視点変換画像ＴＩのレンガ目地１６の垂直および水平な線が歪曲している場合には、直線に表示されるように歪曲校正パラメータを調整する（図１６（Ａ）参照）。レンガ目地１６の複数の垂直な線が互いに平行でない場合には、互いに平行に表示されるようにロール校正パラメータを調整する（図１６（Ｂ）参照）。レンガ目地１６の垂直および水平な線が傾いている場合には、レンガ目地１６が垂直および水平に表示されるようにチルト校正パラメータを調整する（図１６（Ｃ）参照）。レンガ目地１６の複数の水平な線が互いに平行でない場合には、互いに平行に表示されるようにパン校正パラメータを調整する（図１６（Ｄ）参照）。
このように、カメラ校正の指標が分かりやすいのでカメラ校正が容易にできる。

また、画像表示部６６にはマス目状のグリッド６７が表示されている。このグリッド６７により、レンガ目地１６が垂直または水平あるいは直線になっていることが確認しやすく、カメラ校正パラメータの調整が容易となる。

カメラ校正パラメータが変更された場合には、ＣＰＵ５１は変更後のカメラ校正パラメータを用いて再度カメラ校正処理STA3を行う。
カメラ校正処理STA3では、数１０および数１１で表される歪曲校正STA3.1、数８および数９で表されるロール校正STA3.2、数２および数３で表される視点変換STA3.3、数６および数７で表されるチルト校正STA3.4、数４および数５で表されるパン校正STA3.5をこの順で行う。
これらの処理は、炉壁画像ＯＩもしくは視点変換画像ＴＩのみに対する演算であるので処理を単純にすることができる。

そして上記演算結果で座標変換テーブルを更新する（ステップSTA3.6）。視点変換画像上ＴＩの全ての点(x,y)について座標変換テーブルを更新するため、ＣＰＵ５１はカメラ校正処理STA3を全ての点(x,y)について順に繰り返し実行する（ループRA1）。

ＣＰＵ５１は、更新された座標変換テーブルを用いて、視点変換画像ＴＩの各画素の色情報を炉壁画像ＯＩの対応する画素の色情報とすることで、視点変換処理ＴＩを生成し（ステップSTA4）、生成した視点変換画像ＴＩを画像表示部６６に表示する（ステップSTA5）。

オペレータは、画像表示部６６に表示されたカメラ校正後の視点変換画像ＴＩを再度確認し、カメラ校正の要否を決定する（ステップSTA6）。カメラ校正が必要であると判断する場合には、再度カメラ校正パラメータ入力STA7を行い、ＣＰＵ５１により再度更新された視点変換画像ＴＩを確認するという作業を繰り返す。
オペレータは、一方の炉壁の視点変換画像についてカメラ校正が完了したと判断した場合には、画像切替オプションボタン６２で他方の視点変換画像に切り替え、同様のカメラ校正作業を行い、そのカメラ校正も完了したと判断した場合には、座標変換テーブル保存ボタン６４を押下する。そうすると、ＣＰＵ５１はカメラ校正処理STA3により更新された座標変換テーブルをハードディスク５３に保存する（ステップSTA8）。
最後にオペレータは終了ボタン６５を押下し、ＣＰＵ５１はレンガ目地カメラ校正プログラムを終了する。

通常運用時の視点変換処理においては、この更新後の座標変換テーブルを参照することで、カメラ校正後の視点変換画像ＴＩを生成することができる。そのため、カメラ校正後の視点変換画像ＴＩを高速に生成することができる。

以上のように、レンガ目地カメラ校正により、カメラ３０の取り付け誤差およびレンズ歪の影響のない視点変換画像ＴＩを生成することができ、炉壁全体画像ＷＩの合成を行っても視点変換画像ＴＩの繋ぎ目で不一致が生じることがない。
また、レンガ目地１６を指標としてカメラ校正を行うため、一般的に用いられる校正用ターゲットを高温となるコークス炉内に設置する必要がない。
さらに、モニタ５４に表示された視点変換画像を確認しながらカメラ校正パラメータ決定することができるので、校正用ターゲット使用せず、画像処理の専門知識がなくても容易にカメラ校正ができる。

［４］炉入口カメラ校正
前述のレンガ目地カメラ校正は炉壁１１のレンガ目地１６を指標としてカメラ校正を行うが、コークス炉１０の炉入口１２を指標としてもカメラ校正を行うことができる。以下、炉入口１２を指標としたカメラ校正を、炉入口カメラ校正と称する。

［４．１］炉入口カメラ校正の原理
炉入口カメラ校正は、主に以下の３つのステップで行う。
（１）まず、カメラ３０の取り付け誤差を理想的な光軸に対するパン、チルト、ロールの３軸回転として、カメラ３０とコークス炉１０の設計値およびカメラ位置から、仮想の炉入口１２を幾何学的に算出する。
（２）つぎに、実際に撮影された炉壁画像ＯＩに表示される炉入口１２と、幾何学的に算出された仮想の炉入口１２が一致するようにパン、チルト、ロールの３軸回転（取り付け誤差）を決定する。
（３）最後に、決定した取り付け誤差から、炉壁１１上（視点変換画像ＴＩ上）のある点に対応する炉壁画像ＯＩ上の点を幾何学的に算出し、その結果から視点変換画像ＴＩを生成する。
以下、（１）から（３）の３つのステップについて詳説する。

［４．１．１］ステップ（１）
図１７（Ａ）に示すように、炉壁画像ＯＩ上の位置を表す炉壁画像座標系(u,v) を、原点を炉壁画像ＯＩの中心として定義する。また、図１７（Ｂ）に示すように、コークス炉１０内の位置を表す炉内座標系(X_O,Y_O,Z_O) と、カメラ３０の撮像系を表すカメラ座標系(X_C,Y_C,Z_C) を定義する。炉壁座標系とカメラ座標系の原点はどちらもカメラ３０の光学中心とする。炉内座標系の Z_O軸は、炉壁１１に対して平行、かつ、コークス炉１０の水平面に対して平行であり、取り付け誤差のない理想的な状態のカメラ３０の光軸を表す。そして X_O軸は炉幅方向を、Y_O軸はコークス炉１０の垂直方向を表す。カメラ座標系の Z_C軸は、取り付け誤差を含んだ実際のカメラ３０の光軸を表す。そして X_C軸はカメラ３０の左右方向を、Y_C軸はカメラ３０の上下方向を表す。

炉内座標系からカメラ座標系への座標変換は、３次元の回転として以下の式で表される。

ここで、式中の η は X_O軸周りの回転角度[度]（取り付け誤差のチルト成分）、ζ は Y_O軸周りの回転角度[度］（取り付け誤差のパン成分）、ξ は Z_O軸周りの回転角度[度]（取り付け誤差のロール成分）である。

カメラ座標系を、カメラ３０の光学中心（座標系の原点）を投影中心とする中心投影変換によりカメラ３０のＣＣＤ面上に投影することで、炉壁画像座標系に座標変換する。この座標変換は、以下の式で表される。

ここで、k_u はＣＣＤ面上での水平方向の画素スケール[mm/pixel]、k_v はＣＣＤ面上での垂直方向の画素スケール[mm/pixel]である。

［４．１．２］ステップ（２）
数１２における座標変換は、未知数が取り付け誤差のη、ζ、ξの３変数であるから、変換前後で対応する点を数点調べて、連立方程式を立てて解くことにより、取り付け誤差を求めることができる。しかしながら、数１２を展開すると大変複雑な式となり、実際には解析的に解く事は困難である。そこで取り付け誤差η、ζ、ξの採りうる値の範囲を限定し、探索的に解くことが好ましい。
例えば、取り付け誤差は各軸周りに±１０°以内の範囲に収まると仮定すると、取り付け誤差を各軸に対して0.1°単位で全数探索しても8,000,000パターンであり、一般的なコンピュータでも数秒で探索を完了できる。さらに最適探索手法を取り入れれば、十分に短時間で探索が可能である。

図１８（Ａ）に示すように、カメラ３０を炉入口１２からあるカメラ位置まで挿入した時の、炉壁画像ＯＩに表示された炉入口１２の四隅 a₁,a₂,a₃,a₄ の座標が、炉壁画像座標系でa₁(a_1u,a_1v)、a₂(a_2u,a_2v)、a₃(a_3u,a_3v)、a₄(a_4u,a_4v)であるとする。
また図１８（Ｂ）に示すように、コークス炉１０の設計値およびカメラ位置から算出される炉入口１２の四隅 b₁,b₂,b₃,b₄ の座標が、炉内座標系でb₁(b_1x,b_1y,b_1z)、b₂(b_2x,b_2y,b_2z)、b₃(b_3x,b_3y,b_3z)、b₄(b_4x,b_4y,b_4z)であるとする。

取り付け誤差がある場合に、炉内座標系での炉入口１２の四隅の座標 b₁,b₂,b₃,b₄ を、数１２を用い η=0、ζ=0、ξ=0 としてカメラ座標系へ変換し、さらに数１３、数１４を用い炉壁画像座標系へ変換し、これをc₁(c_1u,c_1v)、c₂(c_2u,c_2v)、c₃(c_3u,c_3v)、c₄(c_4u,c_4v)とすると、a₁,a₂,a₃,a₄ と c₁,c₂,c₃,c₄ にはずれが生じるはずである。
そこで、a₁,a₂,a₃,a₄ と c₁,c₂,c₃,c₄ のずれが最小となるη、ζ、ξを探索することにより取り付け誤差を求める。
ここで、a₁,a₂,a₃,a₄ と c₁,c₂,c₃,c₄ のずれを評価するための評価値は、例えば炉壁画像座標系における炉入口１２の四隅の各座標のずれの二乗和とすればよい。この場合、この評価値を最小化する取り付け誤差η、ζ、ξが解となる。

［４．１．３］ステップ（３）
取り付け誤差η、ζ、ξを決定する事により、炉内座標系での任意の点が炉壁画像座標系でのどの点に対応するかを、数１２から数１４を用いて求めることができる。
そこで、炉内座標系における炉壁１１上の視点変換画像ＴＩに相当するエリアを、視点変換画像ＴＩの画素に対応するピッチで走査しながら、炉壁画像座標系での対応する座標を演算し、視点変換画像ＴＩの各画素の色情報を炉壁画像ＯＩの対応する画素の色情報とすることで、視点変換画像ＴＩを生成する。

［４．２］炉入口カメラ校正プログラム
つぎに、図１９に示すフローチャートに基づいて本発明の一実施形態に係る炉入口カメラ校正プログラムの処理を説明する。
まず、ＣＰＵ５１は取り付け誤差パラメータη、ζ、ξを初期化する（ステップSTB1）。ここで、η はチルト取り付け誤差パラメータ、ζ パン取り付け誤差パラメータ、ξ はロール取り付け誤差パラメータである。初期化は、取り付け誤差がない状態であるとして各値を 0 としてもよいし、以前に実行した炉入口カメラ校正プログラムにおいて取り付け誤差パラメータの結果を記憶しているのであれば、その値で初期化してもよい。あるいは、ステップSTB4における取り付け誤差探索の探索方法に適した値に初期化を行う。

つぎに、オペレータが押出機２０をコークス炉１０内に挿入し、カメラ３０で炉壁画像ＯＩを撮影する。ＣＰＵ５１はその炉壁画像ＯＩと、エンコーダ４０で計測されたカメラ位置情報を、ケーブル３１、４１を介して取り込み、メモリ５２に一時記憶する（ステップSTB2）。

ＣＰＵ５１は、メモリ５２に一時記憶された炉壁画像ＯＩに対して、カメラ３０に取り付けられたレンズの歪曲校正を行う（ステップSTB3）。歪曲校正は、歪曲の原点を炉壁画像ＯＩの中心とし、歪曲校正後のある点(u,v)[pixel]に対応する歪曲校正前の点(x,y)[pixel]を表した以下の式を用いた座標変換により行う。

ここで、式中の κ は歪曲の量を表す歪曲校正パラメータである。この κ は、炉壁画像ＯＩにおいて炉入口１２や炉壁１１のレンガ目地１６などが直線として表示されるように解析的に決定する。

ＣＰＵ５１は、歪曲校正後の炉壁画像ＯＩを画像解析し、炉壁画像座標系における炉入口１２の四隅の座標を検出する（ステップSTB4）。あるいは、ＣＰＵ５１は、炉壁画像ＯＩをモニタ５４に表示し、オペレータが炉入口１２の四隅を指定する事で炉壁画像座標系での座標を決定する実施形態としてもよい。
画像解析により座標を検出した場合には、オペレータの作業が少なくなるので、カメラ校正の作業が容易となる。一方、オペレータが指定する場合には、画像解析の必要がないので、処理を単純にすることができる。

つぎにＣＰＵ５１は、あらかじめ設定されたコークス炉１０の設計値およびメモリ５２に一時記憶されたカメラ位置から炉内座標系での仮想の炉入口１２の四隅の座標を算出する。そして、その炉内座標系での座標を、数１２から数１４を用いて炉壁画像座標系へ変換し、ステップSTB4で決定された座標とのずれが最小となる取り付け誤差パラメータの値を決定する（ステップSTB5）。
ここで前述のとおり、ステップSTB5の処理は、取り付け誤差パラメータη、ζ、ξを順次変化させながら、ずれが最小となる値を探索する。そのため数１２から数１４を解析的に解く必要がなく、処理を単純にすることができる。

ＣＰＵ５１は、ステップSTB5で決定された取り付け誤差パラメータη、ζ、ξの値と数１２から数１４を用いて、炉内座標系における炉壁１１上の視点変換画像ＴＩの全ての点 (x,y) に相当する座標について走査しながら、炉壁画像座標系での対応する座標 (u,v) を演算し、座標変換テーブルを生成する。そして、生成した座標変換テーブルをハードディスク５３に保存する（ステップSTB6）。ここで、取り付け誤差パラメータや歪曲校正パラメータの値もハードディスク５３に保存する実施形態としてもよい。

通常運用時の視点変換処理においては、この更新後の座標変換テーブルを参照することで、カメラ校正後の視点変換画像ＴＩを生成することができる。そのため、カメラ校正後の視点変換画像ＴＩを高速に生成することができる。
また、取り付け誤差パラメータを保存する場合には、ハードウェア側でカメラの取り付けを調整する場合に、取り付け誤差パラメータを調整の参考とすることができ、調整作業が容易となる。

以上のように、炉入口カメラ校正により、カメラ３０の取り付け誤差の影響のない視点変換画像ＴＩを生成することができ、炉壁全体画像ＷＩの合成を行っても視点変換画像ＴＩの繋ぎ目で不一致が生じることがない。
また、炉入口１２を指標としてカメラ校正を行うため、一般的に用いられる校正用ターゲットを高温となるコークス炉内に設置する必要がない。そして、校正用ターゲットを用いないため画像処理の専門知識がなくてもカメラ校正ができる。
さらに、オペレータの操作が少ないので、カメラ校正の作業が容易である。

ＯＩ 炉壁画像
ＴＩ 視点変換画像
ＷＩ 炉壁全体画像
Ｖ 視野
Ｏ 視野範囲外領域
１０ コークス炉
１１ 炉壁
１２ 炉入口
１６ レンガ目地
２０ 押出機
３０ カメラ
４０ エンコーダ
５０ コンピュータ
６０ レンガ目地カメラ校正画面

Claims (8)

1. カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付け誤差および／またはレンズ歪を含んだ前記視点変換画像を校正するためのカメラ校正方法であって、
   前記カメラで前記炉壁画像を撮影し、
   該炉壁画像を視点変換処理して前記視点変換画像を生成し、
   下記の（ａ）、（ｂ）、（ｃ）、（ｄ）の工程のうち、いずれか一つ、または、２つ以上の工程により、カメラ校正の量を表すカメラ校正パラメータを調整する
   ことを特徴とするコークス炉壁観察装置のレンガ目地カメラ校正方法。
   （ａ）前記カメラ校正パラメータの１つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、
   前記パン校正パラメータを、前記炉壁のレンガ目地の複数の水平な線が、前記視点変換画像において互いに平行に表示されるように調整する工程
   （ｂ）前記カメラ校正パラメータの１つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、
   前記チルト校正パラメータを、前記炉壁のレンガ目地の垂直および水平な線が、前記視点変換画像において垂直および水平に表示されるように調整する工程
   （ｃ）前記カメラ校正パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、
   前記ロール校正パラメータを、前記炉壁のレンガ目地の複数の垂直な線が、前記視点変換画像において互いに平行に表示されるように調整する工程
   （ｄ）前記カメラ校正パラメータの１つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、
   前記歪曲校正パラメータを、前記炉壁のレンガ目地の垂直および水平な線が、前記視点変換画像において直線に表示されるように調整する工程
2. コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像を取り込むことのできるコンピュータに、請求項１記載のコークス炉壁観察装置のレンガ目地カメラ校正方法に用いるための処理を行わせるプログラムであって、
   前記炉壁画像を取り込み、
   下記の（ａ）、（ｂ）、（ｃ）、（ｄ）のステップのうち、いずれか一つ、または、２つ以上のステップにより、入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記視点変換画像を生成し、
   該校正後の視点変換画像を表示する
   処理をコンピュータに行わせる
   ことを特徴とするコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
   （ａ）前記カメラ校正パラメータの１つが、前記カメラの左右の回転の量を表すパン校正パラメータであり、
   入力された前記パン校正パラメータの値に従って、前記炉壁画像から前記カメラの左右の回転を校正した前記校正後の視点変換画像を生成するステップ
   （ｂ）前記カメラ校正パラメータの１つが、前記カメラの上下の回転の量を表すチルト校正パラメータであり、
   入力された前記チルト校正パラメータの値に従って、前記炉壁画像から前記カメラの上下の回転を校正した前記校正後の視点変換画像を生成するステップ
   （ｃ）前記カメラ校正パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール校正パラメータであり、
   入力された前記ロール校正パラメータの値に従って、前記炉壁画像から前記カメラの光軸周りの回転を校正した前記校正後の視点変換画像を生成するステップ
   （ｄ）前記カメラ校正パラメータの１つが、前記カメラに取り付けられたレンズの歪曲の量を表す歪曲校正パラメータであり、
   入力された前記歪曲校正パラメータの値に従って、前記炉壁画像から前記カメラのレンズの歪を校正した前記校正後の視点変換画像を生成するステップ
3. 下記の（ａ）、（ｂ）、（ｃ）、（ｄ）のステップのうち、いずれか一つ、または、２つ以上のステップにより、入力されたカメラ校正の量を表すカメラ校正パラメータに従ってカメラ校正処理をするとともに、視点変換処理をして、前記炉壁画像から校正後の前記視点変換画像を生成する
   ことを特徴とする請求項２記載のコークス炉壁観察装置のレンガ目地カメラ校正プログラム。
   （ａ）前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の垂直軸を回転軸とし、該回転軸周りの回転量が前記パン校正パラメータであり、
   前記炉壁画像を視点変換処理して視点変換画像を生成した後に、
   入力された前記パン校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成するステップ
   （ｂ）前記カメラの光学中心から前記炉壁上へ垂線を下ろした時の交点を通る前記コークス炉の炉幅方向の軸を回転軸とし、該回転軸周りの回転量を前記チルト校正パラメータとし、
   前記炉壁画像を視点変換処理して視点変換画像を生成した後に、
   入力された前記チルト校正パラメータの値に従って、前記視点変換画像を前記回転軸周りに回転させた前記校正後の視点変換画像を生成するステップ
   （ｃ）前記カメラの光軸を回転軸とし、該回転軸周りの回転量を前記ロール校正パラメータとし、
   入力された前記ロール校正パラメータの値に従って、前記炉壁画像を前記回転軸周りに回転させた校正後の炉壁画像を生成した後に、
   該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成するステップ
   （ｄ）前記カメラに取り付けられたレンズの歪曲の量を前記歪曲校正パラメータとし、
   入力された前記歪曲校正パラメータの値に従って、前記炉壁画像の歪曲を調整した校正後の炉壁画像を生成した後に、
   該校正後の炉壁画像を視点変換処理して前記校正後の視点変換画像を生成するステップ
4. カメラをコークス炉内に挿入し、該コークス炉内の炉壁を斜視像である炉壁画像として撮影し、該炉壁画像を視点変換処理して前記炉壁を正面から見た視点変換画像を生成するコークス炉壁観察装置における、前記カメラの取り付け誤差を含んだ前記視点変換画像を校正するためのカメラ校正方法であって、
   前記カメラで実際の炉壁画像を撮影し、
   前記コークス炉の設計値と、前記カメラの前記コークス炉内におけるカメラ位置から仮想の炉入口を算出し、
   下記の（ａ）、（ｂ）、（ｃ）の工程のうち、いずれか一つ、または、２つ以上の工程により、カメラ校正の量を表す取り付け誤差パラメータを調整する
   ことを特徴とするコークス炉壁観察装置の炉入口カメラ校正方法。
   （ａ）前記取り付け誤差パラメータの１つが、前記カメラの左右の回転の量を表すパン取り付け誤差パラメータであり、
   前記パン取り付け誤差パラメータを、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口のずれが最小となるように調整する工程
   （ｂ）前記取り付け誤差パラメータの１つが、前記カメラの上下の回転の量を表すチルト取り付け誤差パラメータであり、
   前記チルト取り付け誤差パラメータを、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口のずれが最小となるように調整する工程
   （ｃ）前記取り付け誤差パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール取り付け誤差パラメータであり、
   前記ロール取り付け誤差パラメータを、前記実際の炉壁画像に表示される前記炉入口と、前記仮想の炉入口のずれが最小となるように調整する工程
5. コークス炉内に挿入されたカメラで撮影された、該コークス炉内の炉壁の斜視像である炉壁画像と、前記カメラの前記コークス炉内におけるカメラ位置を取り込むことのできるコンピュータに、請求項４記載のコークス炉壁観察装置の炉入口カメラ校正方法に用いるための処理を行わせるプログラムであって、
   前記炉壁画像と前記カメラ位置を取り込み、
   前記炉壁画像に表示される前記炉入口の座標を決定し、
   前記コークス炉の設計値と、前記カメラ位置から仮想の炉入口の座標を算出し、
   下記の（ａ）、（ｂ）、（ｃ）の工程のうち、いずれか一つ、または、２つ以上の工程により、カメラ校正の量を表す取り付け誤差パラメータを決定する
   処理をコンピュータに行わせる
   ことを特徴とするコークス炉壁観察装置の炉入口カメラ校正プログラム。
   （ａ）前記取り付け誤差パラメータの１つが、前記カメラの左右の回転の量を表すパン取り付け誤差パラメータであり、
   前記パン取り付け誤差パラメータを、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となるように決定する工程
   （ｂ）前記取り付け誤差パラメータの１つが、前記カメラの上下の回転の量を表すチルト取り付け誤差パラメータであり、
   前記チルト取り付け誤差パラメータを、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となるように決定する工程
   （ｃ）前記取り付け誤差パラメータの１つが、前記カメラの光軸周りの回転の量を表すロール取り付け誤差パラメータであり、
   前記ロール取り付け誤差パラメータを、前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となるように決定する工程
6. 前記炉壁画像を画像解析し、前記炉壁画像に表示される前記炉入口の座標を検出する
   ことを特徴とする請求項５記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
7. 前記炉壁画像を表示し、
   前記炉壁画像における座標の指定を受け、
   該指定された座標を、前記炉壁画像に表示される前記炉入口の座標とする
   ことを特徴とする請求項５記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。
8. 前記取り付け誤差パラメータを順次変化させながら、
   前記炉壁画像に表示される前記炉入口の座標と、前記仮想の炉入口の座標のずれが最小となる、前記取り付け誤差パラメータを探索する
   ことを特徴とする請求項５、６または７記載のコークス炉壁観察装置の炉入口カメラ校正プログラム。

Images