JP6734999B1

JP6734999B1 - 画像生成装置及び画像生成方法

Info

Publication number: JP6734999B1
Application number: JP2020003664A
Authority: JP
Inventors: 二郎大野
Original assignee: MSK JAPAN CO., LTD.
Current assignee: MSK JAPAN CO., LTD.
Priority date: 2020-01-14
Filing date: 2020-01-14
Publication date: 2020-08-05
Anticipated expiration: 2040-01-14
Also published as: JP2021111899A; WO2021145168A1

Abstract

【課題】高温の対象の鮮明なモノクロム画像を生成する画像生成装置を提供する。【解決手段】画像生成装置１０００は、減光フィルタ１１０と、赤外カットフィルタ１２０と、カラーカメラ２００と、プロセッサ３１０と、を含む。プロセッサは、カラーカメラに接続され、カラーカメラから受け取った画像データを使用して、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とするモノクロム画像を生成する。ｃ１、ｃ２及びｃ３は、それぞれ０以上０．８以下であり、ｃ１、ｃ２及びｃ３の和は１．０である。【選択図】図１

Description

本発明は、高温の対象の画像を生成する画像生成装置及び画像生成方法に関する。対象は一例として、１０００℃以上の温度の製鋼用電気炉の内部である。

１０００℃以上の温度の製鋼用電気炉の内部を通常のカラーカメラで撮影すると、取得した画像は色が変化し、または色がにじんだものとなる。その理由はカラーカメラのゲイン調整及び露光時間調整が正常に機能せずハレーションが生じるためである。１０００℃以上の温度の製鋼用電気炉の内部から発生する光のうちでは赤外光の比率が圧倒的に大きい。通常のカラーカメラは可視光フィルタなどのフィルタを備えているがこのようなフィルタは圧倒的に大きな比率の赤外光をカットするには十分ではなく、赤外光がカラーカメラに大きな影響を与える。

特許文献１は、溶融炉の熔融スラグの表面付近をテレビカメラにより撮影し電子画像を得る工程を含む溶融炉の自動運転制御方法を開示している。特許文献１には以下の記載がある。

「本発明の運転制御方法は、好ましくは次の特徴を含むことができる。（ａ）所定温度は、約１３００°Ｃである。（ｂ）高温領域を低温領域から区別する工程は、電子画像の部分的明るさに基づいて遂行される。（ｃ）高温領域は、所定値以上の明るさを有する画像部分であり、低温領域は、所定値未満の明るさを有する画像部分である。（ｄ）高温領域を低温領域から区別する工程は、電子画像の色度により決定される。（ｅ）高温領域は、所定色度を有する画像部分であり、低温領域は、所定色度を有しない画像部分である。」
このように特許文献１において画像は高温領域を含む対象の温度を推定するために使用されている。

特許文献２は、絶縁性耐火物で形成された炉内壁を鉄皮で被覆した炉本体を有し、該炉本体に対向して挿入した主電極及び炉底電極間にプラズマアークを発生させて炉内を高温に保持してなるプラズマアーク式溶融炉の運転制御方法を開示している。特許文献２には以下の記載がある。

「かかる構成のプラズマアーク式溶融炉５０は、一般的に環状黒鉛電極が用いられることが多く、炉内にプラズマアーク生成ガスを供給しながら電極間に電圧を印加してプラズマアークを生成し被溶融物を溶融処理する。炉内温度は１０００℃以上に維持され、炉底部には被溶融物が溶融したスラグ層とメタル層とからなる出滓物が層状に形成される。」
「溶融炉内に発生したプラズマアークは固有の放射率を有しており、この放射率と温度に応じて赤外線放射量が異なる。そこで前記プラズマアーク検知手段は、前記赤外線カメラで撮像した赤外線画像信号を前記画像処理装置に取り込み、該画像処理装置により赤外線画像信号から赤外線放射量を輝度値とした濃淡画像を生成し、この画像データに基づきプラズマアーク形状、温度分布等のプラズマアーク状態を解析する構成とする。」
このように特許文献２において赤外線カメラによって赤外線放射量を輝度値とした濃淡画像が生成される。

従来、１０００℃以上の高温の対象の画像は主に温度推定に使用されており、製鋼用電気炉の内部など１０００℃以上の高温の対象の鮮明なモノクロム画像を生成する画像生成装置及び画像生成方法は開発されていなかった。上記の鮮明なモノクロム画像は特に画像解析に有用である。

WO98/054514 JP2004-156865A

したがって、高温の対象の鮮明なモノクロム画像を生成する画像生成装置及び画像生成方法に対するニーズがある。本発明の技術的課題は、高温の対象の鮮明なモノクロム画像を生成する画像生成装置及び画像生成方法を提供することである。

本発明の第１の態様の画像生成装置は、減光フィルタと、赤外カットフィルタと、カラーカメラと、プロセッサと、を含む。該プロセッサは該カラーカメラに接続され、該カラーカメラから受け取った画像データを使用して、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とするモノクロム画像を生成するように構成され、ｃ１、ｃ２及びｃ３はそれぞれ０以上０．８以下であり、ｃ１、ｃ２及びｃ３の和は１．０である。

本態様の画像生成装置は、減光フィルタ及び赤外カットフィルタを備えているのでカラーカメラのハレーションの発生を防止し、カラーカメラのゲイン調整及び露光時間調整を有効に機能させることができる。また、本態様の画像生成装置においてプロセッサは、カラーカメラから受け取った画像データを使用して、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とするモノクロム画像を生成するように構成されているので、それぞれの重みを適切に定めることにより、一例として、高温の製鋼用電気炉を撮像した場合に、比較的低温の炉壁部分から比較的高温の炉底部分まで広い温度範囲の対象が鮮明なモノクロム画像が得られる。

本発明の第１の態様の第１の実施形態の画像生成装置は、ディスプレイをさらに備え、該ディスプレイの画像を観察しながら該重みを調整することができるように構成されている。

本発明の第１の態様の第２の実施形態の画像生成装置において、該減光フィルタが４００-７００ナノメータの波長範囲のＮＤフィルタである。

本発明の第２の態様の画像生成方法は、減光フィルタと、赤外カットフィルタと、カラーカメラと、によって、ハレーションを抑えながら最高温度が１０００℃以上の対象の画像データを生成するステップと、プロセッサによって該画像データから、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とする対象のモノクロム画像を生成するステップと、を含み、ｃ１、ｃ２及びｃ３はそれぞれ０以上０．８以下であり、ｃ１、ｃ２及びｃ３の和は１．０である。

本態様の画像生成方法において、減光フィルタ及び赤外カットフィルタを使用してカラーカメラのハレーションの発生を防止し、カラーカメラのゲイン調整及び露光時間調整を有効に機能させることができる。また、本態様の画像生成方法においてプロセッサによって、画像データから、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とするモノクロム画像を生成するので、それぞれの重みを適切に定めることにより、一例として、高温の製鋼用電気炉を撮像した場合に、比較的低温の炉壁部分から比較的高温の炉底部分まで広い温度範囲の対象が鮮明なモノクロム画像が得られる。

本発明の第２の態様の第１の実施形態の画像生成方法において、該対象の画像データを生成する際にＲ値のみが比較的高温の温度領域で部分的に飽和し、Ｇ値及びＢ値が全温度領域で飽和しないように該減光フィルタを選択する。

本実施形態の画像生成方法において、Ｒ画素が飽和している領域ではＲ画素の出力は変化しなくなるが、Ｇ画素及びＢ画素の出力が変化して色が変化し、広い温度範囲にわたって明るい画像が実現される。

本発明の一実施形態による画像生成装置の構成を示す図である。カラーカメラ及び付帯部材の構成の一実施形態を示す図である。カラーカメラの構成の一実施形態を示す図である。カラーカメラ、プロセッサ及びディスプレイの構成を示す図である。本発明の一実施形態による画像生成装置の機能を説明するための流れ図である。Ｒ、Ｇ及びＢフィルタの透過率及びＣＭＯＳ素子の量子効率(波長感度)を示す図である。温度とカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度と色との関係を示す図である。温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度と色との関係を示す図である。温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタ及び減光フィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度と色との関係を示す図である。ｘｙ色度図上の黒体軌跡を示す図である。高温の製鋼用電気炉のＲ画像を示す図である。高温の製鋼用電気炉のＧ画像を示す図である。高温の製鋼用電気炉のＢ画像を示す図である。上述の本発明の画像生成方法によって生成された高温の製鋼用電気炉のモノクロム画像を示す図である。減光フィルタ及び赤外カットフィルタを備えたカラーカメラで生成された高温の製鋼用電気炉のカラー画像を示す図である。

図１は、本発明の一実施形態による画像生成装置１０００の構成を示す図である。画像生成装置１０００は、減光フィルタ１１０と赤外カットフィルタ１２０とカラーカメラ２００とプロセッサ３１０とディスプレイ３２０とを含む。減光フィルタ１１０と赤外カットフィルタ１２０とカラーカメラ２００とは後で説明するように防塵・耐熱用ケース２５１に収納される。

図２はカラーカメラ２００及び付帯部材の構成の一実施形態を示す図である。本実施形態において撮像対象は高温の製鋼用電気炉であるので、カラーカメラ２００は断熱材を含む壁面を備える防塵・耐熱用ケース２５１に収納される。防塵・耐熱用ケース２５１内にはさらに電源及び温度センサ２５３が備わる。カラーカメラ２００及び温度センサ２５３はコネクタ２５５を介してプロセッサ３１０など外部の機器と接続される。防塵・耐熱用ケース２５１には冷却エアノズル２５７を介してエアクーラ２５９から冷却エアが送られる。エアクーラ２５９には供給口２６１を介して高圧エアが供給される。防塵・耐熱用ケース２５１にはカラーカメラ２００用の開口２５１１が備わる。一例として、開口２５１１の直径は１０ミリメータであり、カラーカメラ２００の視野角度は９０度である。

図２に図示していないが、減光フィルタ１１０及び赤外カットフィルタ１２０は、防塵・耐熱用ケース２５１内において開口２５１１とカラーカメラ２００との間に配置してもよい。

減光フィルタ１１０は、いわゆるＮＤ（Neutral Density）フィルタであり４００-７００ナノメータの可視光域で一定の透過率を有し一様に光量を減少させる。

赤外カットフィルタ１２０は、４００-７００ナノメータの波長範囲の光を透過させるように形成されている。

図３はカラーカメラ２００の構成の一実施形態を示す図である。カラーカメラ２００は、光学系２１０と撮像系２２０と信号処理系２３０と制御系２４０とを含む。光学系２１０と撮像系２２０と信号処理系２３０と制御系２４０については後で図４を使用して説明する。本実施形態では、光学系２１０と撮像系２２０との間に減光フィルタ１１０及び赤外カットフィルタ１２０が配置されている。また、光学系２１０はカバー２１１で部分的に覆われている。図1に示すように減光フィルタ１１０及び赤外カットフィルタ１２０は、カラーカメラ２００の物体側に配置してもよい。

図４はカラーカメラ２００、プロセッサ３１０及びディスプレイ３２０の構成を示す図である。

カラーカメラ２００の光学系２１０はレンズ、絞りなどを含み、撮影対象からの光線を撮像系２２０へ供給する。本実施形態において絞りは固定である。

カラーカメラ２００の撮像系２２０は、表面にＲ（赤色）、Ｇ（緑色）またはＢ（青色）のフィルタを取り付けられたＣＭＯＳ素子から構成される。Ｒ、Ｇ及びＢフィルタを取り付けたＣＭＯＳ素子をそれぞれＲ画素、Ｇ画素及びＢ画素と呼称する。Ｒ画素、Ｇ画素及びＢ画素は、受光面上に規則的かつ離散的に配列されている。外部からの光線によって生成されたＲ画素、Ｇ画素及びＢ画素の出力はＡ／Ｄ変換された後、信号処理系２３０へ供給される。

カラーカメラ２００の信号処理系２３０は撮像系２２０から供給された信号に基づいて画像データを生成する。

カラーカメラ２００の制御系２４０は信号処理系２３０からの情報に基づいて、撮像系２２０のＣＭＯＳ撮像素子のアナログゲイン及び露光時間を自動調整する。

信号処理系２３０の処理についてさらに詳細に説明する。信号処理系２３０は、撮像系２２０からＲ画素、Ｇ画素及びＢ画素の出力値を時系列信号として受け取る。信号処理系２３０は、この時系列信号を処理して画像データを生成する。画像データは画像の各画素のＲＧＢ値から構成される。

プロセッサ３１０は、一例としてパソコンであってもよい。プロセッサ３１０は、カラーカメラ２００から画像データを受け取る。プロセッサ３１０は、画像出力用のディスプレイ３２０と接続されている。

図５は、本発明の一実施形態による画像生成装置１０００の機能を説明するための流れ図である。

図５のステップＳ１０１０において、カラーカメラ２００は画像データを生成する。

図６は、Ｒ、Ｇ及びＢフィルタの透過率及びＣＭＯＳ素子の量子効率(波長感度)を示す図である。図６の横軸は光の波長を示し単位はナノメータである。図６の縦軸はＲ、Ｇ及びＢフィルタの透過率（左側の目盛）及びＣＭＯＳ素子の量子効率（右側の目盛）を示す。

高温の炉内の放射光の波長分布は黒体分布に類似しているのでＲ画素、Ｇ画素及びＢ画素の出力はプランクの式を含む以下の式（１）−（３）で近似できる。

式（４）はプランクの式である。ここで、λは光の波長、Ｔは炉の絶対温度、ｋはボルツマン定数である。ａ、ｂ１及びｂ２は定数を表す。ｆｒ、ｆｇ及びｆｂはそれぞれ、Ｒ画素、Ｇ画素及びＢ画素のフィルタの透過率とＣＭＯＳ素子の量子効率(ＱＥ)との積であり波長λの関数である。Ｒ（Ｔ）、Ｇ（Ｔ）及びＢ（Ｔ）は絶対温度ＴにおけるカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力信号である。

図６によると、８００ナノメータよりも長い波長領域において、Ｒ、Ｇ及びＢフィルタの透過率はほぼ同じである。この波長領域の透過率は、ガラスの波長透過特性やフィルタの積層構造に依存するものと考えられる。この結果、８００ナノメータよりも長い波長領域においては、Ｒ画素、Ｇ画素及びＢ画素において赤外光の影響が同じように大きくなる。

図７は、温度とフィルタを取り付けていないカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度とカラーカメラによって得られる色との関係を示す図である。図７の左側のグラフの横軸は温度（℃）を示し、図７の左側のグラフの縦軸はカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力を式（１）-（４）に従って計算した結果を示す。出力は、Ｒ画素、Ｇ画素及びＢ画素の出力の中で最も大きいＲ画素の出力の最大値が上限（２５６）となるように定めている。Ｒ画素、Ｇ画素及びＢ画素の出力の間に大きな差は生じない。図７の右側の図によると１４００℃を超えると画像は白っぽくなる。この状態で、制御系２４０の自動調整は正常に機能せず、いわゆるハレーションが生じる。

図８は、温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度とカラーカメラによって得られる色との関係を示す図である。図８の左側のグラフの横軸は温度（℃）を示し、図８の左側のグラフの縦軸はカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力を式（１）-（４）に従って計算した結果を示す。出力は、Ｒ画素、Ｇ画素及びＢ画素の出力の中で最も大きいＲ画素の出力の最大値が上限（２５６）となるように定めている。図８の右側の図によると、１５００℃で画像は赤くなるが、１３００℃以下では画像は暗くて見えにくくなる。

図９は、温度と７００ナノメータを超える波長の光をカットする赤外光カットフィルタ及び減光フィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力との関係及び温度とカラーカメラによって得られる色との関係を示す図である。図９の左側のグラフの横軸は温度（℃）を示し、図９の左側のグラフの縦軸はカラーカメラのＲ画素、Ｇ画素及びＢ画素の８ビット出力を式（１）-（４）にしたがって計算した結果を示す。出力は、Ｒ画素、Ｇ画素及びＢ画素の出力の中で最も大きいＲ画素の出力の最大値が上限（２５６）となるように定めている。減光フィルタはＲ画素の出力が比較的高温の温度領域で部分的に飽和しその他の画素の出力がすべての温度領域で飽和しないように定める。具体的に減光フィルタ１１０の透過率は１０％とした。図９の右側の図によると広い温度範囲にわたって明るい画像が実現されている。１３５０℃を超えるとＲ画素の出力は飽和して変化しなくなるが、Ｇ画素及びＢ画素の出力が変化して色が変化してゆく。

図１０は、ｘｙ色度図上の黒体軌跡を示す図である。図９の右側の図の色度は、対応する温度の黒体軌跡の色度と類似する。このように、７００ナノメータを超える波長の光をカットする赤外光カットフィルタ及び上記の減光フィルタを取り付けたカラーカメラのＲ画素、Ｇ画素及びＢ画素の出力によって目視による色と同様の色が得られる。

上述のように減光フィルタ１１０の透過率を１０％としたときに、アナログゲインのスパンの中間値は３０パーセントであり、露光時間のスパンの中間値は３０００マイクロ秒であった。

このように、可視光領域において適正な光量を受光するようにフィルタ及びカラーカメラを調整すると、カラーカメラが備えている色調補正機能や自動ゲイン調整機能が設計通りに使用できるようになり、炉内温度が変化してもカラーカメラの調整機能によってきれいな画像を出力できるようになる。

図５のステップＳ１０２０において、プロセッサ３１０はカラーカメラ２００から画像の各画素のＲＧＢ値から構成される画像データを受け取りメモリに記憶する。プロセッサ３１０は画像データからＲ画像データ、Ｇ画像データ及びＢ画像データを生成する。Ｒ画像データ、Ｇ画像データ及びＢ画像データは、各画素の値が、それぞれＲの値、Ｇの値及びＢの値であるデータである。ＲＧＢ値を含むカラー画像の画素のデータ量が２４ビットであるのに対し、Ｒ画像、Ｇ画像及びＢ画像の各画素のデータ量は８ビットである。

図１１は高温の製鋼用電気炉のＲ画像を示す図である。

図１２は高温の製鋼用電気炉のＧ画像を示す図である。

図１３は高温の製鋼用電気炉のＢ画像を示す図である。

Ｒ画像、Ｇ画像及びＢ画像を比較すると、Ｒ画像にのみ飽和した領域があり、エッジがボケた画像になっている。

図５のステップＳ１０３０において、プロセッサ３１０は、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とするモノクロム画像を生成する。画像内の画素の位置を(i,j)で表し、Ｒ画像、Ｇ画像、Ｂ画像及びモノクロム画像の(i,j)の位置の画素値をそれぞれ R(i,j)、G(i,j)、B(i,j)及びM(i,j)で表すと以下の関係が成立する。

M(i,j)=c1・R(i,j)＋c2・G(i,j)＋c3・B(i,j)

ここで、c1、c2及びc3の和は１．０である。プロセッサ３１０に接続されたディスプレイ３２０に生成されたモノクロ画像を表示させて観察しながらモノクロ画像ができるだけ鮮明になるようにc1、c2及びc3の値を定める。c1、c2及びc3の値は、それぞれ０から０．８の範囲である。一例として、c1、c2及びc3の値は、それぞれ０．２，０．５及び０．３である。

他の実施形態において、c1、c2及びc3の和は１．０であり、c1、c2及びc3の値は、それぞれ０から０．８の範囲である場合に、c1、c2及びc3のそれぞれの値をＲ値の関数、Ｇ値の関数、Ｂ値の関数またはＲ値、Ｇ値、及びＢ値の合計値の関数として定めてもよい。

上述のようにＲＧＢ値を含むカラー画像の画素のデータ量が２４ビットであるのに対し、モノクロム画像の各画素のデータ量は８ビットである。したがって、モノクロム画像は画像解析などの用途に適している。

c1、c2及びc3の値を適切に定めることにより、一例として、高温の製鋼用電気炉の内部を撮像した場合に、比較的低温の炉壁部分から比較的高温の炉底部分までを含む広い温度範囲の製鋼用電気炉の内部の鮮明な画像が得られる。

プロセッサ３１０は、上記のＲ画像、Ｇ画像、Ｂ画像及びモノクロム画像をオペレータが観察できるようにディスプレイ３２０に表示してもよい。

図１４は上述の本発明の画像生成方法によって生成された高温の製鋼用電気炉のモノクロム画像を示す図である。

図１５は減光フィルタ及び赤外カットフィルタを備えたカラーカメラ２００で生成された高温の製鋼用電気炉のカラー画像を示す図である。

図１４のモノクロム画像と図１５のカラー画像とを比較すると、図１４のモノクロム画像において炉底部及び側壁部の細かな濃淡のパターンが図１５のカラー画像よりも鮮明に表現されている。

また、上述のように画像解析の用途にはカラー画像よりもデータ量の少ないモノクロム画像が有利である。

本発明の画像生成装置及び画像生成方法によれば、画像解析の使用に適した鮮明なモノクロム画像を生成することができる。

Claims

減光フィルタと、赤外カットフィルタと、カラーカメラと、によって、ハレーションを抑えながら最高温度が１０００℃以上の対象の画像データを生成するステップと、
プロセッサによって該画像データから、各画素のＲ値、Ｇ値、及びＢ値のそれぞれに重みｃ１、ｃ２及びｃ３を掛けた値を合算した値を各画素の値とする対象のモノクロム画像を生成するステップと、を含み、ｃ１、ｃ２及びｃ３はそれぞれ０以上０．８以下であり、ｃ１、ｃ２及びｃ３の和は１．０である画像生成方法。
該対象の画像データを生成する際にＲ値のみが比較的高温の温度領域で部分的に飽和し、Ｇ値及びＢ値が全温度領域で飽和しないように該減光フィルタを選択する請求項１に記載の画像生成方法。
減光フィルタと、赤外カットフィルタと、カラーカメラと、プロセッサと、を含み、請求項１または２に記載の画像生成方法を実施するように構成された画像生成装置であって、該プロセッサは該カラーカメラに接続され、該カラーカメラから受け取った画像データを使用してモノクロム画像を生成するように構成された画像生成装置。