JP3411260B2 - 状態表示器の認識処理装置および認識処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、アナログ指示計・
ディジタル指示計・故障表示器・状態表示ランプなど、
プラント設備の状態を表示する状態表示器（以下、単に
状態表示器という。）の認識処理装置および認識処理方
法に関する。

【０００２】

【従来の技術】従来、自動遠隔監視の対象外の設備の状
態を把握するため、プラント設備の状態を表示する状態
表示器をＴＶカメラにより撮影して遠隔地にいる監視員
がモニタリングして監視したり、または、検査員が定期
的に巡視したりするのが一般的であった。

【０００３】ＴＶカメラを用いて状態表示器のモニタリ
ングを行う従来技術は各種存在するが、 プラント設備
の状態を示す状態表示器の一つである指示計に限定・特
化し、この指示計の指示値を自動的に読み取るという特
許第２８４６２１７号（発明の名称：メータ指示読取装
置）の特許発明がある。この特許発明は、丸または四角
というメータの輪郭形状を図形発生装置に予め登録して
おき、入力画像と図形発生装置の出力図形とのマッチン
グ演算を行って、入力画像の中からメータ位置を検出
し、メータの指針方位を読み取ることを特徴とするもの
である。

【０００４】従来技術のうち、角型指示計の指示値を自
動的に読み取る処理について説明する。図１０は、従来
技術のメータ指示読取フローを示すフローチャートであ
る。まず、カメラの撮影位置を移動させて画像内に指示
計をとらえ（ステップＳＴ１０）、画像を入力する（ス
テップＳＴ１１）。次に入力された画像に対して微分演
算を行い、しきい値処理する等によってメータの輪郭成
分を検出する（ステップＳＴ１２）。次に、対象とする
メータの枠形状に対応した図形を発生させ（ステップＳ
Ｔ１３）、この図形と入力画像の輪郭成分とのマッチン
グ演算を行い（ステップＳＴ１４）、図形と枠形状とが
最も一致する点をメータ位置として決定する（ステップ
ＳＴ１５）。

【０００５】このようにして求めた画面内のメータ位置
に対して、メータの指針領域を適当なしきい値で２値化
を行い、指針部を“１”、背景部を“０”とした２値画
像を生成する（ステップＳＴ１６）。この２値画像に対
してメータの目盛範囲で指針の長さ方向に“１”となっ
ている画素数を計数した投影図を求める（ステップＳＴ
１７）。例えば、図２（ｃ）の画像となるような分布が
得られ、ピーク位置（最大画素数）を検出することで指
針位置が読み取られる（ステップＳＴ１８）。これをも
とにメータの種別から、指示値に変換することによりメ
ータの指示値の読み取りが完了する（ステップＳＴ１
９）。

【０００６】上記処理は角型指示計の指針の指示値を自
動的に読み取る処理であるが、メータが丸型の場合は、
上記処理のステップＳＴ１７を、メータの中心からの
長さをメータの範囲で放射状に画素数を計数するステッ
プに代替することで対応する。また、上記処理に加え、
色情報を用いて検出感度を上げることを目的として、入
力画像をＲＧＢ画像とし、輪郭形状を得る際にＲＧＢ画
像から算出する濃度情報を使い、指針検出は指針の色に
対応した成分を演算して２値化している。

【０００７】

【発明が解決しようとする課題】従来技術では各種問題
点がある。第一の問題点として、従来技術ではメータな
どの指示計には対応できるものの、例えば、異常時に点
灯するような状態表示器に対応できないという点が挙げ
られる。第二の問題点として、従来技術では丸型・角型
という指示計の輪郭形状を用いたマッチング処理によっ
て指示計を区別している。しかし、実際には指示計の輪
郭形状は同一形状であっても指示計内の目盛のスケール
は多種多様であり、これらが一つの撮像画像内に複数存
在する場合に区別して抽出することができないという点
が挙げられる。

【０００８】第三の問題点としては、指針検出において
指針の色に対応した成分を演算して２値化するとしてい
るが、実際の撮像環境では、日光や照明の影響によって
画像の色相、彩度（色のあざやかさ）、明るさが変化す
るため、単純な２値化によると、指針が検出できなかっ
たり、誤って指針以外のものを検出することがあるとい
う点が挙げられる。第四の問題点として、１台の指示計
内に複数の指針が存在すると検出ができなくなる点が挙
げられる。

【０００９】本発明は上記のような課題を解決するため
になされたものであり、その目的は、指示計も含め多種
類の状態表示器の位置を、たとえ同一形状であっても区
別して把握し、しかも、日光や照明等の影響による画像
の色相、彩度、明るさの変化に対応して安定してその表
示内容を認識する状態表示器の認識処理装置および方法
を得ることにある。また、以上に加え、状態表示器がア
ナログ指示計である場合には、１台の指示計内に複数の
指針が存在する場合にそれらを区別して読み取る状態表
示器の認識処理装置および方法を得ることにある。

【００１０】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、ＴＶカメラ等の画像撮像手段により状態
表示器を撮像し、得られた画像データを用いて状態表示
器を認識処理して、その状態表示器が示す状態を自動的
に把握するようにするが、認識処理の性能を高めるため
に、予め状態表示器付近にマーカを配置する（例えばシ
ールであるマーカを貼り付ける、ねじによりマーカ部品
を取り付けるなど）ことを前提とする。そして、予め画
像データを取り込んで、このマーカ部分の幾何学的情報
と色情報を、また、状態表示器に関する幾何学的情報と
色情報を取得する。ここで幾何学的情報とは画像データ
から抽出される大きさ、形状および位置に関する情報を
指す。このようにすれば、認識処理を行う際、撮像条件
が変化したとしても、予め登録してある状態表示器の情
報とマーカの情報と比較して認識に必要な特徴量を算出
することによって、カメラの位置ずれ、明るさの変化な
ど、撮像条件の変化に対応しながら安定した認識性能を
実現する。

【００１１】請求項１に記載した状態表示器の認識処理
装置によれば、状態表示器、および、この状態表示器付
近に存するマーカを撮像範囲内に含むように撮像する画
像撮像手段と、前記画像撮像手段からの画像に係る出力
を画像データとして読み込み、この画像データを演算処
理して状態表示器の状態を認識する演算処理手段と、を
少なくとも備える状態表示器の認識処理装置であって、
前記演算処理手段は、認識処理開始前に状態表示器およ
びマーカを含む画像データを読み込んで、マーカについ
ての基準マーカ幾何学的情報および基準マーカ色情報、
並びに、状態表示器についての基準表示器幾何学的情報
および基準表示器色情報を、予め取得して登録しておく
認識処理基準情報登録手段と、認識処理を開始して状態
表示器およびマーカを含む画像データを読み込む画像読
み込み手段と、基準マーカ幾何学的情報および基準マー
カ色情報を参照して画像データからマーカ候補領域に係
るデータを抽出し、検出したマーカ数が実際のマーカ数
未満の場合に認識処理を中止するマーカ検出手段と、マ
ーカ候補領域に係るデータを用いて検出マーカ幾何学的
情報および検出マーカ色情報を取得するマーカ情報抽出
手段と、検出マーカ幾何学的情報および検出マーカ色情
報、並びに、基準表示器幾何学的情報および基準表示器
色情報を参考にして状態表示器について検出表示器幾何
学的情報および検出表示器色情報を取得する状態表示器
情報抽出手段と、基準表示器幾何学的情報、検出表示器
幾何学的情報、基準表示器色情報、検出表示器色情報、
基準マーカ幾何学的情報、検出マーカ幾何学的情報、基
準マーカ色情報、および、検出マーカ色情報を参照して
状態表示器の表示内容を認識するための特徴量を算出す
る認識処理特徴量抽出手段と、抽出した特徴量を用い
て、状態表示器の表示内容を認識する表示内容認識手段
と、を備えることを特徴とする。

【００１２】また、請求項２に記載した状態表示器の認
識処理装置によれば、状態表示器、および、この状態表
示器付近に存するマーカを撮像範囲内に含むように撮像
する画像撮像手段と、前記画像撮像手段からの画像に係
る出力を画像データとして読み込み、この画像データを
演算処理して状態表示器の状態を認識する演算処理手段
と、を少なくとも備える状態表示器の認識処理装置であ
って、前記演算処理手段は、認識処理開始前に状態表示
器およびマーカを含む画像データを読み込んで、マーカ
についての基準マーカ幾何学的情報および基準マーカ色
情報、並びに、状態表示器についての基準表示器幾何学
的情報および基準表示器色情報を、予め取得して登録し
ておく認識処理基準情報登録手段と、認識処理を開始し
て状態表示器およびマーカを含む画像データを読み込む
画像読み込み手段と、基準マーカ幾何学的情報および基
準マーカ色情報を参照して画像データからマーカ候補領
域に係るデータを抽出するマーカ検出手段と、マーカ候
補領域に係るデータを用いて検出マーカ幾何学的情報お
よび検出マーカ色情報を取得し、取得した検出マーカ幾
何学的情報と基準マーカ幾何学的情報との比較、およ
び、検出マーカ色情報と基準マーカ色情報との比較を行
って、所定の条件を超えて幾何学的情報および色情報が
相違する場合、認識処理を中止するマーカ情報抽出手段
と、検出マーカ幾何学的情報および検出マーカ色情報、
並びに、基準表示器幾何学的情報および基準表示器色情
報を参考にして状態表示器について検出表示器幾何学的
情報および検出表示器色情報を取得する状態表示器情報
抽出手段と、基準表示器幾何学的情報、検出表示器幾何
学的情報、基準表示器色情報、検出表示器色情報、基準
マーカ幾何学的情報、検出マーカ幾何学的情報、基準マ
ーカ色情報、および、検出マーカ色情報を参照して状態
表示器の表示内容を認識するための特徴量を算出する認
識処理特徴量抽出手段と、抽出した特徴量を用いて、状
態表示器の表示内容を認識する表示内容認識手段 と、を
備えることを特徴とする。

【００１３】請求項１，２に記載の発明では、、マーカ
の位置・大きさなどの幾何学的情報を用いることによ
り、カメラの位置ずれに起因して画像の中での状態表示
器の大きさ・位置・傾きに変化があったとしても、演算
により位置ずれを修正し、状態表示器の認識が可能とな
る。また、 マーカの色という色情報を用いることによ
り、状態表示器の指針などで色を用いて認識する必要が
ある際に明るさや色合いに変化があったとしても、演算
により明るさや色合いの変化を修正し、認識が可能とな
る。

【００１４】また、例えば、 画像データからマーカを
抽出できない場合や、また、画像データからマーカを抽
出できてもマーカの幾何学的情報や色情報に極端な変化
があった場合は、例えば、カメラ位置の変動など、正常
に認識処理が行えない恐れがあると判断して以後の認識
処理を中止する。無理な演算処理によって発生する誤認
識を防ぐことが可能となる。これにより、例えば、認識
処理後に行われる事後処理、例えば、警報の誤報などを
防止でき、信頼性を高めることができる。

【００１５】また、請求項３に記載した状態表示器の認
識処理装置によれば、請求項１または請求項２記載の状
態表示器の認識処理装置において、前記認識処理基準情
報登録手段は、認識処理開始前に画像データを読み込ん
でマーカについての基準マーカ幾何学的情報および基準
マーカ色情報、並びに、状態表示器についての基準表示
器幾何学的情報および基準表示器色情報を、人為的に判
断のうえ指定することで取得して予め登録しておく手段
であることを特徴とする。

【００１６】また、請求項４に記載した状態表示器の認
識処理装置によれば、請求項１または請求項２記載の状
態表示器の認識処理装置において、前記認識処理基準情
報登録手段は、認識処理開始前に画像データを読み込ん
でマーカについての基準マーカ幾何学的情報および基準
マーカ色情報、並びに、状態表示器についての基準表示
器幾何学的情報および基準表示器色情報を、画像処理に
より自動的に指定することで取得して予め登録しておく
手段であることを特徴とする。

【００１７】この請求項３，４の発明の認識処理基準情
報登録手段では、マーカについての基準マーカ幾何学的
情報および基準マーカ色情報、並びに、状態表示器につ
いての基準表示器幾何学的情報および基準表示器色情報
を、人為的に指定、または、画像処理により自動的に指
定するものとした。基準情報の精度が高まることによ
り、画像処理により得られるマーカの検出マーカ幾何学
的情報および検出マーカ色情報、並びに、検出表示器幾
何学的情報および検出表示器色情報、および、これらを
用いて得られる特徴量は精度が高くなり、最終的には状
態表示器が確実に認識できるようになる。

【００１８】また、請求項５に記載した状態表示器の認
識処理装置によれば、請求項１〜請求項４の何れか１項
に記載の状態表示器の認識処理装置において、前記状態
表示器はアナログ指示計とし、基準表示器幾何学的情報
および検出表示器幾何学的情報としてアナログ指示計の
指針の長さおよび太さに関する情報を含め、また、基準
表示器色情報および検出表示器色情報をアナログ指示計
の色に関する情報を含めることで、１台のアナログ指示
計が有する複数の指針を区別して抽出し、それぞれの指
示値を読み取ることを特徴とする。

【００１９】請求項５に係る発明では、状態表示器をア
ナログ指示計に絞ってより具体化したものであり、１台
のアナログ指示計に複数の指針が存在しても、指針の長
さや太さに関する幾何学的情報、指針の色に関する色情
報の特徴の違いを区別して読み取ることが可能となる。

【００２０】また、請求項６に記載した状態表示器の認
識処理装置によれば、請求項１〜請求項５の何れか１項
に記載の状態表示器の認識処理装置において、前記マー
カとは、色彩を有するバーコード状のマーカを配してな
るマーカとし、前記バーコード状のマーカには、このマ
ーカが存する付近の状態表示器に関する情報がバーコー
ド情報として登録されており、前記演算処理手段は、バ
ーコード情報を読み込んで状態表示器を判別する状態表
示器判別手段と、判別された状態表示器に応じた最適の
状態表示器情報抽出手段、認識処理特徴量抽出手段、お
よび、表示内容認識手段を選択する選択手段を備えるこ
とを特徴とする。

【００２１】請求項６に係る発明では、バーコード情報
を利用して状態表示器の種類などを認識できるようにな
り、状態表示器に応じた最適なプログラムの選択が可能
となる。

【００２２】請求項７〜請求項１２は、状態表示器の認
識処理方法に関する発明とする。請求項７に記載した状
態表示器の認識処理方法によれば、状態表示器、およ
び、この状態表示器付近に存するマーカを撮像範囲内に
含むように撮像した画像に係る画像データを演算処理し
て状態表示器の状態を認識する状態表示器の認識処理方
法であって、認識処理開始前に状態表示器およびマーカ
を含む画像データを読み込んで、マーカについての基準
マーカ幾何学的情報および基準マーカ色情報、並びに、
状態表示器についての基準表示器幾何学的情報および基
準表示器色情報を、予め取得して登録しておき、認識処
理を開始して状態表示器およびマーカを含む画像データ
を読み込み、基準マーカ幾何学的情報および基準マーカ
色情報を参照して画像データからマーカ候補領域に係る
データを抽出し、マーカ検出時に、検出したマーカ数が
実際のマーカ数未満の場合、認識処理を中止し、マーカ
候補領域に係るデータを用いて検出マーカ幾何学的情報
および検出マーカ色情報を取得し、検出マーカ幾何学的
情報および検出マーカ色情報、並びに、基準表示器幾何
学的情報および基準表示器色情報を参考にして状態表示
器について検出表示器幾何学的情報および検出表示器色
情報を取得し、基準表示器幾何学的情報、検出表示器幾
何学的情報、基準表示器色情報、検出表示器色情報、基
準マーカ幾何学的情報、検出マーカ幾何学的情報、基準
マーカ色情報、および、検出マーカ色情報を参照して状
態表示器の表示内容を認識するための特徴量を算出し、
抽出した特徴量を用いて、状態表示器の表示内容を認識
することを特徴とする。

【００２３】また、請求項８に記載した状態表示器の認
識処理方法によれば、状態表示器、および、この状態表
示器付近に存するマーカを撮像範囲内に含むように撮像
した画像に係る画像データを演算処理して状態表示器の
状態を認識する状態表示器の認識処理方法であって、認
識処理開始前に状態表示器およびマーカを含む画像デー
タを読み込んで、マーカについての基準マーカ幾何学的
情報および基準マーカ色情報、並びに、状態表示器につ
いての基準表示器幾何学的情報および基準表示器色情報
を、予め取得して登録しておき、認識処理を開始して状
態表示器およびマーカを含む画像データを読み込み、基
準マーカ幾何学的情報および基準マーカ色情報を参照し
て画像データからマーカ候補領域に係るデータを抽出
し、マーカ候補領域に係るデータを用いて検出マーカ幾
何学的情報および検出マーカ色情報を取得し、マーカ情
報抽出時に、取得した検出マーカ幾何学的情報と基準マ
ーカ幾何学的情報との比較、および、検出マーカ色情報
と基準マーカ色情報との比較を行って、所定の条件を超
えて幾何学的情報および色情報が相違する場合、認識処
理を中止し、検出マーカ幾何学的情報および検出マーカ
色情報、並びに、基準表示器幾何学的情報および基準表
示器色情報を参考にして状態表示器について検出表示器
幾何学的情報および検出表示器色情報を取得し、基準表
示器幾何学的情報、検出表示器幾何学的情報、基準表示
器色情報、検出表示器色情報、基準マーカ幾何学的情
報、検出マーカ幾何学的情報、基準マーカ色情報、およ
び、検出マーカ色情報を参照して状態表示器の表示内容
を認識するための特徴量を算出し、抽出した特徴量を用
いて、状態表示器の表示内容を認識することを特徴とす
る。

【００２４】また、請求項９に記載した状態表示器の認
識処理方法によれば、請求項７または請求項８記載の状
態表示器の認識処理方法において、認識処理開始前に画
像データを読み込んでマーカについての基準マーカ幾何
学的情報および基準マーカ色情報、並びに、状態表示器
についての基準表示器幾何学的情報および基準表示器色
情報を、人為的に判断のうえ指定することで取得して予
め登録しておくことを特徴とする。

【００２５】また、請求項１０に記載した状態表示器の
認識処理方法によれば、請求項７または請求項８記載の
状態表示器の認識処理方法において、認識処理開始前に
画像データを読み込んでマーカについての基準マーカ幾
何学的情報および基準マーカ色情報、並びに、状態表示
器についての基準表示器幾何学的情報および基準表示器
色情報を、画像処理により自動的に指定することで取得
して予め登録しておくことを特徴とする。

【００２６】また、請求項１１に記載した状態表示器の
認識処理方法によれば、請求項７〜請求項１０の何れか
１項に記載の状態表示器の認識処理方法において、状態
表示器はアナログ指示計とし、基準表示器幾何学的情報
および検出表示器幾何学的情報としてアナログ指示計の
指針の長さおよび太さに関する情報を含め、また、基準
表示器色情報および検出表示器色情報をアナログ指示計
の色に関する情報を含めることで、１台のアナログ指示
計が有する複数の指針を区別して抽出し、それぞれの指
示値を読み取ることを特徴とする。

【００２７】また、請求項１２に記載した状態表示器の
認識処理方法によれば、請求項７〜請求項１１の何れか
１項に記載の状態表示器の認識処理方法において、前記
マーカとは、色彩を有するバーコード状のマーカを配し
てなるマーカとし、前記バーコード状のマーカには、こ
のマーカが存する付近の状態表示器に関する情報がバー
コード情報として登録されており、バーコード情報を読
み込んで状態表示器を判別し、判別された状態表示器に
応じて最適となるように状態表示器情報の抽出、認識処
理特徴量の抽出、および、表示内容の認識を行うことを
特徴とする。

【００２８】

【００２９】

【００３０】

【発明の実施の形態】以下、本発明による状態表示器の
認識処理装置および認識処理方法について一括して説明
する。図１は本実施形態のシステム構成図、図２は状態
表示器を例示する説明図、図３は本実施形態の認識処理
基準情報登録処理のフローを示すフローチャート、図４
は本実施形態の表示内容認識処理のフローを示すフロー
チャート、図５は状態表示器のマーカ配置例とマーカの
幾何学的情報を説明する説明図、図６はＯＮ／ＯＦＦの
二つの状態を表示する状態表示器における表示領域例を
説明する説明図、図７はマーカの幾何学的情報を用いた
座標補正方法を説明する説明図、図８は指針回転型アナ
ログ指示計における幾何学的情報例を説明する説明図、
図９は指針回転型アナログ指示計における指針候補の抽
出方法を説明する説明図である。以下、図を参照して、
説明する。

【００３１】まず、第１実施形態について説明する。状
態表示器の認識処理装置のシステム構成は、図１に示す
ように、画像撮像手段１、画像伝送手段２、演算処理手
段３を備えている。撮像される状態表示器の周辺にはマ
ーカが配置されている。このマーカとは、例えば、状態
表示器の周囲に貼り付けられるシールなどのマーカであ
ったり、状態表示器に直接着色されたマーカであった
り、状態表示器のカバーに予め印刷されたマーカであっ
たりする。

【００３２】画像撮像手段１は、状態表示器とマーカと
を撮像範囲内に含めて一つの画像として撮像する。画像
撮像手段１は、ＴＶカメラなどアナログの映像信号とし
て撮る、あるいはディジタルカメラのようにディジタル
の画像データとして撮るなど特にその方法は問わない。
画像撮像手段１は、アナログの映像信号、または、ディ
ジタルの画像データである画像信号を画像伝送手段２へ
出力する。

【００３３】画像伝送手段２は、有線・無線等により画
像信号を伝送する手段であり、遠隔地まで伝送するなら
ばネットワークなども含む概念である。伝送に際して
は、アナログの映像信号での伝送、ディジタルの画像デ
ータとしての伝送、また、画像データの圧縮・伸張な
ど、その方法や伝送距離は特に問わない。また、後段の
演算処理手段３の内部処理はディジタルデータを用いて
行うため、伝送する画像信号がアナログ映像信号の場合
は、この画像伝送手段２でアナログ／ディジタル変換を
行っておいてもよい。画像伝送手段２は、このようにし
て画像信号を演算処理手段３まで伝送する。

【００３４】演算処理手段３では、画像伝送手段２から
の画像信号がアナログ映像信号の場合は図示しないアナ
ログ／ディジタル変換手段によりＡ／Ｄ変換したディジ
タルの画像データを演算処理手段３が読み込み、また、
画像信号がディジタルの画像データであるならば、その
ままの画像データを演算処理手段３が読み込み、演算処
理行って状態表示器の表示内容を認識することとなる。
このように、画像撮像手段１から出力され、画像伝送手
段２から出力される画像信号の種類はアナログ・デジタ
ルを問わないが、演算処理手段３が読み込む場合にデジ
タル形式の画像データとなっていればよい。

【００３５】次に、認識処理される状態表示器例につい
て説明する。図２（ａ）〜（ｅ）は、プラント・設備の
各種状態を表示する状態表示器である。 図２（ａ）、
（ｂ）、（ｃ）は、温度、圧力、流量など設備の状態の
測定値を表すアナログ式指示計の例であり、詳しくは、
図２（ａ），（ｂ）は指針が回転するタイプ、図２
（ｃ）は指針が移動（図２（ｃ）の指針移動型メータで
は上下に移動）するタイプである。これらアナログ指示
計には、指針移動方法の違いの他、文字盤や指針の形
状、色などが相違するさまざまなタイプがあり、図２
（ａ）のように一つの文字盤に複数の指針が存在するも
のもある。また、図示しないが、指示計としては液面計
やディジタル表示の指示計もある。

【００３６】指示計以外の状態表示器では、ＯＮ／ＯＦ
Ｆや異常／非異常などの状態を表示する表示器がある。
図２（ｄ）の例は、落下式表示器と呼ばれる表示器で、
表示部前面の表示窓内に表示板が落下することによって
表示するタイプである。また、図２（ｅ）は、照光式表
示器の例であり、ランプのＯＮ／ＯＦＦで異常の有無が
判断できるものである。

【００３７】その他、図示しないが、温度を感知し、温
度の高低に応じて自身の色を変換させるシールがある。
これは一般的に「サーモラベル」と呼ばれ、設備の発熱
を監視するためによく利用されている。本実施形態で
は、以上紹介した状態表示器に加え、設備の状態を人間
の目で確認する各種状態表示器を対象としている。

【００３８】続いて演算処理手段３による状態表示装置
の認識処理方法に係る処理フローについて説明する。認
識処理方法に係る処理フローとしては、認識処理基準情
報登録処理および表示内容認識処理が用いられる。認識
処理を行う際に必要となる基準情報（以下、認識処理基
準情報という）を、予め認識対象ごとに登録しておき、
この認識処理基準情報に基づいて表示内容認識処理を行
う。図３に認識処理基準情報登録処理のフローを、図４
に表示内容認識処理のフローをそれぞれ示す。

【００３９】まず、認識処理基準情報登録処理について
説明する。認識処理基準情報登録処理では、まず、演算
処理手段３は、カラー画像である画像データを読み込む
（ステップＳ１１：画像読み込み手段）。次に、画像デ
ータから、形状特徴、面積、色などが所定の条件（マー
カ抽出条件は使用するマーカによって異なる）にあては
まる領域をマーカ候補領域として抽出し、マーカ候補数
が実際のマーカ数に等しい場合は、人為的な選択なしに
マーカ候補をそのままマーカとする。マーカ候補数が実
際のマーカ数より多い場合は、この中から実際のマーカ
を人為的に選択する（ステップＳ１２：マーカ候補検出
およびマーカ選択手段）。

【００４０】選択をする際、マーカを複数使用した場合
には、マーカの一つを選択し、他のマーカは選択された
マーカに近い特徴を持つ領域を他のマーカとして自動的
に選択することもできる。また、検出されたマーカ候補
の数が実際のマーカ数未満の場合は、カメラ位置がずれ
た状態でマーカが撮像されたと演算処理手段３が判断
し、その旨を管理者に通報することができる。

【００４１】続いて、マーカについての基準マーカ幾何
学的情報および基準マーカ色情報を抽出し、登録する
（ステップＳ１３：基準マーカ情報抽出および登録手
段）。ここでマーカ貼付例とマーカについての基準マー
カ幾何学的情報および基準マーカ色情報を図５を用いて
説明する。 図５（ａ）は、円形型マーカを２個使用し
た例であり、２個のマーカの重心間を結んだマーカベク
トルとその始点であるマーカの基準座標を基準マーカ幾
何学的情報として登録する。また、必要に応じてマーカ
の半径など大きさを表す情報を基準マーカ幾何学的情報
に加えてもよい。

【００４２】図５（ｂ）は、四角形タイプのマーカを１
個使用し、マーカの左上隅の座標をマーカベクトルの始
点とし、マーカの外接四角形の輪郭をマーカベクトルと
した例である。また、必要に応じてマーカを長方形と
し、長辺と短辺の比を基準マーカ幾何学的情報に加えて
もよい。

【００４３】図５（ｃ）は、バーコードタイプのマーカ
を使用し、バーコードの外接四角形を抽出して、四角形
タイプと同様にマーカベクトルを抽出した例である。こ
の場合、バーコード情報にその認識対象を示す情報を入
れておき、認識処理時にバーコードを読み取ることによ
って認識処理基準情報を自動的に呼び出すことが可能と
なる。なお、バーコードは、読み取り誤差を減らすべく
簡便なものとし、例えば細線を０に太線を１に対応させ
るようにして、演算処理手段３に確実に読み取らせるよ
うなバーコードとしてもよい。

【００４４】一方、図５（ａ），（ｂ），（ｃ）で示す
マーカについての基準マーカ色情報としては、画像Ｒ，
Ｇ，Ｂ成分をそのまま用いてもよいが、ここでは代表的
な色の表現方法である、色相、彩度、明度からなる色の
３属性を用いることとする。なお、色情報としてはＬ，
ａ，ｂなど現用周知の色情報を用いることができる。こ
れら基準マーカ色情報は画像データから算出される。こ
のようにステップＳ１３の基準マーカ情報抽出および登
録手段により基準マーカ幾何学的情報および基準マーカ
色情報が登録される。

【００４５】最後に、認識処理に必要となる状態表示器
についての基準表示器幾何学的情報と基準表示器色情報
を登録する（ステップＳ１４：認識処理基準情報登録手
段）。基準表示器幾何学的情報として、まず、表示領域
の座標情報が挙げられ、さらにこの表示領域内の幾何学
的情報と色情報が挙げられる。図６にＯＮ／ＯＦＦの二
つの状態を表示する表示器における表示領域の例を示
す。これらの表示器ではＯＮとＯＦＦにおける画像差を
表現した認識処理基準情報を登録する。

【００４６】例えば、この表示領域内に存在するエッジ
成分の形状的特徴などは幾何学的情報に該当するし、表
示領域内の色の特徴など色情報に該当する。また、色情
報の算出にあたっては、マーカの色情報と同じ色表現方
法を用いる。これらの認識処理基準情報は状態表示器の
種別によって異なるが、同種類のものでも撮像条件によ
って変化するものもある。したがって、これを事前に調
べておくこともできるが、認識処理開始直前にＯＮとＯ
ＦＦの状態を擬似的に発生させて、表示領域内の特徴を
抽出し、幾何学的情報と色情報とを登録するという方法
もある。また、表示器に幾何学的情報、色情報に一定量
の変化があった場合に、単純に”状態変化あり”と認識
定する場合には、現在（登録時）の情報のみを登録すれ
ばよい。これら情報を、状態表示器についての基準表示
器幾何学的情報と基準表示器色情報とする。

【００４７】本明細書中では、以下、マーカについての
基準マーカ幾何学的情報および基準マーカ色情報、並び
に、状態表示器についての基準表示器幾何学的情報およ
び基準表示器色情報についてを総称して認識処理基準情
報という。認識処理基準情報には、画像認識に用いる上
記のような幾何学的情報と色情報とに加えて、画像認識
に必要な各種パラメータや、認識処理の時間的間隔など
の時間的実施条件、認識結果の記録方法、管理者への通
報条件などの運用に関わる条件も含まれる。

【００４８】続いて表示内容認識処理について説明す
る。 表示内容認識処理とは、一定周期や指定日時など
の時間的実施条件に基づいて画像を取得し、登録された
認識処理基準情報を用いて表示内容を認識する処理であ
る。以下に、図４のフローにしたがって認識処理の実施
例を説明する。まず、認識処理に必要なカラー画像を読
み込む（ステップＳ２１：画像取り込み手段）。

【００４９】次に、画像データから、形状、特徴、面
積、または、色などが所定の条件（マーカ抽出条件は使
用するマーカによって異なる）にあてはまる領域をマー
カ候補領域として抽出したあと、登録された基準マーカ
幾何学的情報および基準マーカ色情報を利用して対象を
絞り込むなどして所定の数のマーカを検出する（ステッ
プＳ２２：マーカ検出手段）。

【００５０】この際、検出したマーカ数が実際のマーカ
数未満の場合は、カメラ位置が大きくずれてマーカが画
像からはみ出していたり、著しく暗くなっていてマーカ
が正常に検出できないなど、撮像条件が悪化しているこ
とを示す。したがって、この場合は認識処理が正常に行
えないとして、認識処理を中止したり、または、中断し
ないまでもその旨を管理者に通報するようなマーカ検出
手段とすることも可能である。認識処理の中止・管理者
通報をマーカ検出手段に含めるか否かについては適宜設
定選択される。

【００５１】続いて検出したマーカ（以下、検出マーカ
という）に係るマーカ信号を用いて幾何学的情報と色情
報を抽出する（ステップ２３：マーカ情報抽出手段）。
まず、幾何学的情報としてマーカの基準座標およびベク
トルを算出する。そして、これらマーカの基準座標およ
びベクトルと、認識処理基準情報であるマーカの基準座
標およびベクトルと比較することによって、カメラ位
置、画角および傾きなど、登録時からの撮像条件のずれ
を求める。また、求めたずれ具合が一定値を超える場合
にも、認識処理が正常に行えないとして、認識処理を中
止したり、または、中断しないまでもその旨を管理者に
通報するようなマーカ情報抽出手段とすることも可能で
ある。認識処理の中止・管理者通報をマーカ情報抽出手
段に含めるか否かについては適宜設定選択される。その
旨を管理者に通報したり、することもできる。

【００５２】続いて、認識処理に必要な状態表示器の検
出表示器幾何学的情報と検出表示器色情報を抽出する
（ステップ２４：状態表示器情報抽出手段）。処理にあ
たって、表示領域を抽出するなど座標を用いて情報を抽
出する場合には、登録された状態表示器の座標情報をマ
ーカ情報抽出手段（ステップＳ２３）で求めた撮像条件
のずれ分を補正すべく座標補正を行う。

【００５３】図７に座標補正方法を説明する図を示す。
座標補正は、登録マーカの基準座標と検出マーカの基準
座標との差を用いた平行移動量、登録マーカベクトルと
検出マーカベクトルの差を用いた回転移動量、および、
ベクトルの大きさの比率を用いた縮尺補正量の組み合わ
せによる。

【００５４】続いて、基準表示器幾何学的情報、検出表
示器幾何学的情報、基準表示器色情報、検出表示器色情
報、基準マーカ幾何学的情報、検出マーカ幾何学的情
報、基準マーカ色情報、および、検出マーカ色情報を参
照して状態表示器の表示内容を認識するための特徴量を
算出する認識処理特徴量抽出手段（ステップＳ２５：認
識処理特徴量抽出手段）。

【００５５】例えば、基準表示器幾何学的情報と検出表
示器幾何学的情報との比較、基準表示器色情報と検出表
示器色情報との比較、基準マーカ幾何学的情報と検出マ
ーカ幾何学的情報との比較、基準マーカ色情報と検出マ
ーカ色情報との比較により、状態表示器の表示内容を認
識するための特徴量を算出する。あるいは、基準マーカ
幾何学的情報と基準表示器幾何学的情報との比較、基準
マーカ色情報と基準表示器色情報との比較、検出マーカ
幾何学的情報と検出表示器色情報との比較、検出マーカ
色情報と検出表示器幾何学的情報との比較により、状態
表示器の表示内容を認識するための特徴量を算出する。

【００５６】より具体的な例として、図２（ｄ）の落下
式表示器では、表示領域内（表示窓内）の斜線模様を幾
何学的情報として抽出し、この模様の向き、大きさにつ
いて、それぞれマーカベクトルの長さ、向きとの相対値
をもとにして二つの特徴量を算出できる。また、表示領
域内の斜線模様の色相、彩度、明度を色情報として抽出
し、それぞれ検出マーカの色相、彩度、明度との相対値
をもとにして３つの特徴量を算出できる。

【００５７】また、表示領域内の斜線模様が”入”また
は”切”という文字の場合もあるが、この”入”また
は”切”という文字を幾何学的情報として抽出し、この
文字の向き、大きさについて、それぞれマーカベクトル
の長さ、向きとの相対値をもとにして二つの特徴量を算
出できる。このように文字・図形・記号等を認識するこ
とができる。これらの特徴量は状態表示器の種別によっ
て異なり、必ずしも幾何学的情報、色情報をともに利用
する必要もない。また、特徴量によっては必ずしも相対
値を用いなくてもよい。

【００５８】認識処理特徴量抽出手段（ステップＳ２
５）で算出された複数の特徴量を用いて状態表示器の表
示内容を認識する（ステップＳ２６：表示内容認識手
段）。認識方法は、表示器の種別によって異なる。例え
ば、ＯＮ／ＯＦＦの二つの状態を表示する表示器におい
ては、得られた特徴量と、認識処理基準情報として登録
されたＯＮ／ＯＦＦ時の特徴量と比較し、近い特徴量を
示す表示内容を選択する。また、表示器に幾何学的情
報、色情報に一定量の変化があった場合に、単純に”状
態変化あり”と判定する。また、アナログ指示計の場合
は、指針値を読み取る処理を行う。指示計の指針値読み
取り方法については後述する。

【００５９】最後に、表示内容認識手段（ステップＳ２
６）での認識結果を記録するとともに、ＯＦＦからＯＮ
への反転した場合や、指針値がしきい値を越えたり、急
変した場合など、予め設定された条件に該当する場合
は、自動的に管理者に通報する（ステップＳ２７：認識
結果の記録・通報手段）。また、必要に応じ、認識結果
を用いて設備を制御することも可能である。以上が第１
実施形態である。

【００６０】続いて第２実施形態について説明する。第
２実施形態では、状態表示器がアナログ指示計の場合の
具体的な処理方法に関するものである。構成については
第１実施形態として図１を用いて説明した構成と同じで
あり、処理のフローは、第１実施形態において図３を用
いて説明した認識処理基準情報登録処理および図４を用
いて説明した表示内容認識処理とほぼ同じフローである
が、一部が相違している。以下、相違点を中心に図３お
よび図４を用いて説明する。

【００６１】まず、本実施形態における認識処理基準情
報登録処理について説明する。 画像読み込み手段（ス
テップＳ１１）、マーカ候補検出およびマーカ選択手段
（ステップＳ１２）、マーカ基準情報抽出および登録手
段（ステップＳ１３）の処理は、第１実施形態の説明と
同じのため説明を省略し、認識処理基準情報登録手段
（ステップＳ１４）のアナログ指示計の幾何学的情報と
色情報とを扱う点について以下に説明する。

【００６２】図８に指針回転型のアナログ指示計におけ
る幾何学的情報例を示す。この例では、基準表示器幾何
学的情報として、扇形状の表示領域（指針の探索領
域）、指針の支点位置、文字盤に記された目盛の指示角
度、および、指針自身の形状特徴を用いている。指針自
身の形状特徴としては、長さと太さとを基本とするが、
さらに複雑な形状特徴を定義づけて登録してもよい。

【００６３】なお、図２（ｃ）で示したような指針移動
型指示計では、表示領域を矩形とし、指針の支点位置は
必要ない。また、文字盤の目盛に関する情報としては、
指針の移動方向を示す座標軸上の指示位置を用いればよ
い。次に、基準表示器色情報として、指針部分の色情報
を登録する。色情報の登録にあたっては、マーカの色情
報と同じ色表現方法を用いる。

【００６４】これらの認識処理基準情報の抽出は、人に
よる設定と自動抽出を使い分け、場合によってはこれら
を組み合わせて行う。例えば、指針回転型指示計の表示
領域の設定は、扇形状の外円半径、内円半径とその中心
座標および角度範囲を、画像を見ながら人が設定するの
が実用的である。また、指針の特徴抽出にあたっては、
表示領域内から、エッジ抽出処理、しきい値処理などの
画像処理を使って指針候補領域を自動的に抽出するた
め、表示領域内の文字を選択することがあるが、人為的
に真の指針部分のみを選択して他を排除し、この部分の
形状特徴と色情報とを抽出するといった方法がある。図
８（ｂ）では、２本の指針部分と、「メータ」と書かれ
た文字盤情報の文字部分が指針候補領域として選択され
るが、指針部分２本のみを真の指針部分として選択する
ことになる。

【００６５】続いて本実施形態における表示内容認識処
理の説明について説明する。第２実施形態における表示
内容認識処理も、第１実施形態と同様に図４に示すフロ
ーによるものであり、画像読み込み手段（ステップＳ２
１）、マーカ検出手段（ステップＳ２２）、マーカ情報
抽出手段（ステップＳ２３）の処理は、第１実施形態の
説明と同じであり説明は省略する。以下、認識対象を指
針回転型のアナログ指示計とする場合の、状態表示器情
報抽出手段（ステップ２４）、認識処理特徴量抽出（ス
テップＳ２５）、表示内容認識手段（ステップ２６）の
処理方法例について説明する。

【００６６】状態表示器情報抽出手段（ステップＳ２
４）において、状態表示器に関する検出表示器幾何学的
情報と検出表示器色情報とを抽出する。検出表示器幾何
学的情報として、まず、扇形状の表示領域を抽出する。
この表示領域は指針の探索領域となる。抽出にあたって
は、登録された表示領域に関する座標情報をもとに、マ
ーカ情報抽出手段（ステップＳ２３）で求めた撮像条件
のずれ分を補正して求める。補正方法は、第１実施形態
の補正方法と同じであり説明は省く。

【００６７】次に表示領域から、画像の微分処理、閾値
処理などによって、エッジ部分を含んだ領域を指針候補
領域として抽出する。また、登録された指針の支点座標
をもとに撮像条件のずれを補正して、指針の支点座標を
求める。続いて、指針候補領域を、指針の支点を原点と
して極座標変換する。これをθ座標に投影すると、図９
のような、θ値に対する投影値Ｒをプロットした曲線が
得られる。

【００６８】この曲線のピーク部分のうち、一定値以上
の投影値を示す部分を指針候補として絞り込み、そのθ
値を指針候補の示す角度として求める。この際、文字盤
に文字や模様が書かれている場合は、この部分も指針候
補として抽出されることもある。そして、指針候補の幾
何学的情報として、指針候補として抽出されたピーク部
分の投影値を用いて指針候補の長さを示す特徴量を求
め、また、ピーク部分の幅を用いて指針候補の太さを示
す特徴量を求める。さらに、指針候補の色情報の特徴量
として、色相値、彩度値、明度値を求める。

【００６９】認識処理特徴量抽出手段（ステップＳ２
５）では、求めた指針候補の長さ、太さに関する特徴量
について、検出マーカのベクトル長との相対値で表した
特徴量に変換する。また、指針候補の色相値、彩度値、
明度値は、それぞれ検出マーカの色相値、彩度値、明度
値との相対値で表した値に変換する。このように、特徴
量の算出にあたって、マーカを基準とすることで、カメ
ラのズームなどによる指針の画像中の相対的な大きさの
変化や、照明条件の変化などによる指針の色の変化への
対応力を増した認識処理が可能となる。

【００７０】以上の方法で算出した、長さ、太さ、色相
値、彩度値および明度値に関する特徴量を成分とした５
次元の特徴量ベクトル空間を算出する。なお、本発明で
は、次元数を５に限定するものではなく、必要に応じ
て、次元数を減らしてもよいし、長さと太さの比で表し
た形状特徴量など他の特徴量を加えて次元数を増やして
もよい。また、特徴量によっては必ずしも相対値を用い
なくてもよく、絶対値でもよい。

【００７１】続いて、表示内容認識手段（ステップＳ２
６）では、認識処理特徴量抽出手段（ステップＳ２５）
で得られた指針候補の特徴量ベクトルを用いて指針候補
の中から、複数の実際の指針を区別して選択するととも
に、その指針の示す位置から指針値を算出する。まず、
登録された指針（以下、登録指針）ごとに、検出された
全ての指針候補との特徴量ベクトル空間距離を算出す
る。この距離が小さいほど指針の特徴が似ていることを
示しており、最も短い距離を示す指針候補を対応づけ
る。そして、その指針候補の指示角度を算出し、マーカ
によって検出された画像の傾きのずれ分を補正したうえ
で、登録された文字盤目盛の指示角度との比較によって
指針値を算出する。

【００７２】なお、上記の対応づけ処理において、存在
する複数の指針同士の特徴が似ている場合には、一つに
指針候補に対し複数の登録指針が重複して対応づけられ
ることがある。この場合には、ユークリッド距離が最小
となる対応づけを選択し、選択にもれた登録指針は次に
距離が短い指針候補を選択するというようにして、重複
しないように対応づける。また、このような場合は対応
づけ結果の信頼性が低いとして、無理に指針値を算出せ
ずに、その旨を管理者に通報してもよい。

【００７３】そして、認識結果の記録・通報手段（ステ
ップＳ２７）における処理がなされるが、詳細について
は、第１実施形態で説明されているのでここでの説明は
省略する。

【００７４】以上、認識対象を指針回転型のアナログ指
示計とした場合の表示内容認識処理について説明した。
指針移動型のアナログ指示計については、指針候補領域
を極座標変換をせずに、指針の移動方向となる座標軸に
投影する、また、指針角度を用いずに移動方向の座標軸
上の指示位置を用いて指針値を算出するといった若干の
個別処理方法に違いがあるが、基本的には指針回転型と
同一の処理フローで処理できる。

【００７５】なお、第１および第２実施形態の状態表示
器の認識処理装置において、 図５（ｃ）で示したバー
コード状のマーカを用いる場合には、このマーカが存す
る状態表示器に関する情報をバーコード情報として登録
することもできる。ここに、状態表示器に関する情報と
は、指針回転型表示器・指針移動型表示器・落下式表示
器・照光式表示器・アナログ指示計・ディジタル指示計
・故障表示器・状態表示ランプ・液面計というような状
態表示器の種類，状態表示器が対象とする物理量，指針
表示・デジタル文字表示の相違，設置個所など状態表示
器に関する情報である。また、単に識別番号のみのバー
コード情報とし、識別番号に関連づけて上記の状態表示
器に関する情報をデータベースに登録しておき、識別番
号が読み出されたらデータベースから状態表示器に関す
る情報を適宜読み出すようにしてもよい。このようにバ
ーコード情報については適宜設定・選択される。

【００７６】前記演算処理手段３は、このようなバーコ
ード情報を読み込んで状態表示器を判別し（状態表示器
判別手段）、判別された状態表示器に応じた最適の状態
表示器情報抽出手段（上記のステップＳ２４）、認識処
理特徴量抽出手段（上記のステップＳ２５）、および、
表示内容認識手段（上記のステップＳ２６）を選択する
（選択手段）。

【００７７】例えば、バーコード情報から状態表示器が
デジタル表示の状態表示器と判断されたならば、前記演
算処理手段３は、第１実施形態で説明した演算処理を行
うが、バーコード情報から状態表示器がアナログ指示計
の状態表示器と判断されたならば、前記演算処理手段３
は、第２実施形態で説明した演算処理を行うものであ
る。このような状態表示器の認識処理装置および認識処
理方法とすれば、認識能力をさらに高めることができ
る。

【００７８】

【発明の効果】本発明の請求項１，２，７，８に係る発
明の効果について説明する。第一の効果として、予め撮
像範囲内にマーカを貼付などにより配置し、これを基準
にすることで、形状、大きさ、色など、種類の異なる状
態表示器が一つの撮像画像に複数存在し、たとえ、カメ
ラの位置ずれなどによってそれらの大きさや位置、傾き
に変化があってもその表示内容を認識することが可能と
なる。

【００７９】第二の効果として、状態表示器の色の特徴
を用いて認識する必要がある際に、マーカの色との相対
値を用いることで、照明や太陽光の影響などによる、画
像の明るさや色合いの変化への対応力を増した認識が可
能となる。

【００８０】さらに、第三の効果として、マーカを抽出
できない場合や、抽出できてもマーカの幾何学的情報や
色情報に極端な変化があった場合に、正常に認識処理が
行えない恐れがあると判断できることから、無理な処理
を取り止めてその旨を管理者に通報することによって、
現象の見逃しを防ぐことが可能となったことが挙げられ
る。

【００８１】本発明の請求項５，１１に係る発明の効果
は上記の請求項１，２，７，８の効果に加え、認識対象
がアナログ指示計の場合の認識対象物に関する情報とし
て、指針の長さ、太さ、色情報など複数の特徴量を用い
ることによって、同一のアナログ指示計に複数の指針が
存在していてもそれぞれの指示値を読み取ることが可能
となったことが挙げられる。

【００８２】総じて、本発明によれば、指示計も含め多
種類の状態表示器の位置を、たとえ同一形状であっても
区別して把握し、しかも、日光や照明等の影響による画
像の色相、彩度、明るさの変化に対応して安定してその
表示内容を認識する状態表示器の認識処理装置および認
識処理方法を提供できる。また、以上に加え、状態表示
器がアナログ指示計である場合には、１台の指示計内に
複数の指針が存在する場合にそれらを区別して読み取る
状態表示器の認識処理装置および認識処理方法を提供で
きる。

【図面の簡単な説明】

【図１】 本発明による状態表示器の認識
処理装置の実施形態のシステム構成図である。

【図２】状態表示器を例示する説明図である。

【図３】本発明による状態表示器の認識処理装置および
方法の実施形態の認識処理基準情報登録処理のフローを
示すフローチャートである。

【図４】本発明による状態表示器の認識処理装置および
方法の実施形態の表示内容認識処理のフローを示すフロ
ーチャートである。

【図５】状態表示器のマーカ配置例とマーカの幾何学的
情報を説明する説明図である。

【図６】ＯＮ／ＯＦＦの二つの状態を表示する状態表示
器における表示領域例を説明する説明図である。

【図７】マーカの幾何学的情報を用いた座標補正方法を
説明する説明図である。

【図８】指針回転型アナログ指示計における幾何学的情
報例を説明する説明図である。

【図９】指針回転型アナログ指示計における指針候補の
抽出方法を説明する説明図である。

【図１０】従来技術のメータ指示読取フローを示すフロ
ーチャートである。

【符号の説明】

１ 画像撮像手段 ２ 画像伝送手段 ３ 演算処理手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川角 浩亮 東京都千代田区内幸町一丁目１番３号 東京電力株式会社内 (72)発明者 鈴木 守 東京都千代田区内幸町一丁目１番３号 東京電力株式会社内 (56)参考文献 特開 平２−71699（ＪＰ，Ａ) 特開 平９−22467（ＪＰ，Ａ) 特開 平７−19814（ＪＰ，Ａ) 特開 平７−65152（ＪＰ，Ａ) 特開 平９−93570（ＪＰ，Ａ) 特開2000−182021（ＪＰ，Ａ) 実用新案登録3035916（ＪＰ，Ｕ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06T 1/00 G01B 11/00 - 11/30 G01D 21/00 H04Q 9/00 H04N 7/18 G08B 23/00 - 31/00 G08C 13/00 - 25/04

Claims (12)

(57)【特許請求の範囲】
1. 【請求項１】状態表示器、および、この状態表示器付近
   に存するマーカを撮像範囲内に含むように撮像する画像
   撮像手段と、 前記画像撮像手段からの画像に係る出力を画像データと
   して読み込み、この画像データを演算処理して状態表示
   器の状態を認識する演算処理手段と、 を少なくとも備える状態表示器の認識処理装置であっ
   て、 前記演算処理手段は、 認識処理開始前に状態表示器およびマーカを含む画像デ
   ータを読み込んで、マーカについての基準マーカ幾何学
   的情報および基準マーカ色情報、並びに、状態表示器に
   ついての基準表示器幾何学的情報および基準表示器色情
   報を、予め取得して登録しておく認識処理基準情報登録
   手段と、 認識処理を開始して状態表示器およびマーカを含む画像
   データを読み込む画像読み込み手段と、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   して画像データからマーカ候補領域に係るデータを抽出
   し、検出したマーカ数が実際のマーカ数未満の場合に認
   識処理を中止するマーカ検出手段と、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得するマーカ情報抽
   出手段と、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準表示器幾何学的情報および基準表示器色情報を
   参考にして状態表示器について検出表示器幾何学的情報
   および検出表示器色情報を取得する状態表示器情報抽出
   手段と、 基準表示器幾何学的情報、検出表示器幾何学的情報、基
   準表示器色情報、検出表示器色情報、基準マーカ幾何学
   的情報、検出マーカ幾何学的情報、基準マーカ色情報、
   および、検出マーカ色情報を参照して状態表示器の表示
   内容を認識するための特徴量を算出する認識処理特徴量
   抽出手段と、 抽出した特徴量を用いて、状態表示器の表示内容を認識
   する表示内容認識手段と、 を備えることを特徴とする状態表示器の認識処理装置。
2. 【請求項２】状態表示器、および、この状態表示器付近
   に存するマーカを撮像範囲内に含むように撮像する画像
   撮像手段と、 前記画像撮像手段からの画像に係る出力を画像データと
   して読み込み、この画像データを演算処理して状態表示
   器の状態を認識する演算処理手段と、 を少なくとも備える状態表示器の認識処理装置であっ
   て、 前記演算処理手段は、 認識処理開始前に状態表示器およびマーカを含む画像デ
   ータを読み込んで、マーカについての基準マーカ幾何学
   的情報および基準マーカ色情報、並びに、状態表示器に
   ついての基準表示器幾何学的情報および基準表示器色情
   報を、予め取得して登録しておく認識処理基準情報登録
   手段と、 認識処理を開始して状態表示器およびマーカを含む画像
   データを読み込む画像読み込み手段と、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   して画像データからマーカ候補領域に係るデータを抽出
   するマーカ検出手段と、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得し、取得した検出
   マーカ幾何学的情報と基準マーカ幾何学的情報との比
   較、および、検出マーカ色情報と基準マーカ色情報との
   比較を行って、所定の条件を超えて幾何学的情報および
   色情報が相違する場合、認識処理を中止するマーカ情報
   抽出手段と、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準表示器幾何学的情報および基準表示器色情報を
   参考にして状態表示器について検出表示器幾何学的情報
   および検出表示器色情報を取得する状態表示器情報抽出
   手段と、 基準表示器幾何学的情報、検出表示器幾何学的情報、基
   準表示器色情報、検出表示器色情報、基準マーカ幾何学
   的情報、検出マーカ幾何学的情報、基準マーカ色情報、
   および、検出マーカ色情報を参照して状態表示器の表示
   内容を認識するための特徴量を算出する認識処理特徴量
   抽出手段と、 抽出した特徴量を用いて、状態表示器の表示内容を認識
   する表示内容認識手段と、 を備える ことを特徴とする状態表示器の認識処理装置。
3. 【請求項３】請求項１または請求項２記載の状態表示器
   の認識処理装置において、 前記認識処理基準情報登録手段は、認識処理開始前に画
   像データを読み込んでマーカについての基準マーカ幾何
   学的情報および基準マーカ色情報、並びに、状態表示器
   についての基準表示器幾何学的情報および基準表示器色
   情報を、人為的に判断のうえ指定することで取得して予
   め登録しておく手段であることを特徴とする状態表示器
   の認識処理装置。
4. 【請求項４】請求項１または請求項２記載の状態表示器
   の認識処理装置において、前記認識処理基準情報登録手段は、認識処理開始前に画
   像データを読み込んでマーカについての基準マーカ幾何
   学的情報および基準マーカ色情報、並びに、状態表示器
   についての基準表示器幾何学的情報および基準表示器色
   情報を、画像処理により自動的に指定することで取得し
   て予め登録しておく手段である ことを特徴とする状態表
   示器の認識処理装置。
5. 【請求項５】請求項１〜請求項４の何れか１項に記載の
   状態表示器の認識処理装置において、前記状態表示器はアナログ指示計とし、基準表示器幾何
   学的情報および検出表示器幾何学的情報としてアナログ
   指示計の指針の長さおよび太さに関する情報を含め、ま
   た、基準表示器色情報および検出表示器色情報をアナロ
   グ指示計の色に関する情報を含めることで、１台のアナ
   ログ指示計が有する複数の指針を区別して抽出し、それ
   ぞれの指示値を読み取る ことを特徴とする状態表示器の
   認識処理装置。
6. 【請求項６】請求項１〜請求項５の何れか１項に記載の
   状態表示器の認識処理装置において、 前記マーカとは、色彩を有するバーコード状のマーカを
   配してなるマーカとし、 前記バーコード状のマーカには、このマーカが存する付
   近の状態表示器に関する情報がバーコード情報として登
   録されており、 前記演算処理手段は、 バーコード情報を読み込んで状態表示器を判別する状態
   表示器判別手段と、 判別された状態表示器に応じた最適の状態表示器情報抽
   出手段、認識処理特徴量抽出手段、および、表示内容認
   識手段を選択する選択手段を備える ことを特徴とする状
   態表示器の認識処理装置。
7. 【請求項７】状態表示器、および、この状態表示器付近
   に存するマーカを撮像範囲内に含むように撮像した画像
   に係る画像データを演算処理して状態表示器の状態を認
   識する状態表示器の認識処理方法であって、 認識処理開始前に状態表示器およびマーカを含む画像デ
   ータを読み込んで、マーカについての基準マーカ幾何学
   的情報および基準マーカ色情報、並びに、状態表示器に
   ついての基準表示器幾何学的情報および基準表示器色情
   報を、予め取得して登録しておき、 認識処理を開始して状態表示器およびマーカを含む画像
   データを読み込み、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   して画像データからマーカ候補領域に係るデータを抽出
   し、 マーカ検出時に、検出したマーカ数が実際のマーカ数未
   満の場合、認識処理を中止し、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得し、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準表示器幾何学的情報および基準表示器色情報を
   参考にして状態表示器について検出表示器幾何学的情報
   および検出表示器色情報を取得し、 基準表示器幾何学的情報、検出表示器幾何学的情報、基
   準表示器色情報、検出表示器色情報、基準マーカ幾何学
   的情報、検出マーカ幾何学的情報、基準マーカ色情報、
   および、検出マーカ色情報を参照して状態表示器の表示
   内容を認識するための特徴量を算出し、 抽出した特徴量を用いて、状態表示器の表示内容を認識
   する こ とを特徴とする状態表示器の認識処理方法。
8. 【請求項８】状態表示器、および、この状態表示器付近
   に存するマーカを撮像範囲内に含むように撮像した画像
   に係る画像データを演算処理して状態表示器の状態を認
   識する状態表示器の認識処理方法であって、 認識処理開始前に状態表示器およびマーカを含む画像デ
   ータを読み込んで、マーカについての基準マーカ幾何学
   的情報および基準マーカ色情報、並びに、状態表示器に
   ついての基準表示器幾何学的情報および基準表示器色情
   報を、予め取得して登録しておき、 認識処理を開始して状態表示器およびマーカを含む画像
   データを読み込み、 基準マーカ幾何学的情報および基準マーカ色情報を参照
   して画像データからマーカ候補領域に係るデータを抽出
   し、 マーカ候補領域に係るデータを用いて検出マーカ幾何学
   的情報および検出マーカ色情報を取得し、マーカ情報抽出時に、取得した検出マーカ幾何学的情報
   と基準マーカ幾何学的情報との比較、および、検出マー
   カ色情報と基準マーカ色情報との比較を行って、所定の
   条件を超えて幾何学的情報および色情報が相違する場
   合、認識処理を中止し、 検出マーカ幾何学的情報および検出マーカ色情報、並び
   に、基準表示器幾何学的情報および基準表示器色情報を
   参考にして状態表示器について検出表示器幾何学的情報
   および検出表示器色情報を取得し、 基準表示器幾何学的情報、検出表示器幾何学的情報、基
   準表示器色情報、検出表示器色情報、基準マーカ幾何学
   的情報、検出マーカ幾何学的情報、基準マーカ色情報、
   および、検出マーカ色情報を参照して状態表示器の表示
   内容を認識するための特徴量を算出し、 抽出した特徴量を用いて、状態表示器の表示内容を認識
   することを特徴とする状態表示器の認識処理方法。
9. 【請求項９】請求項７または請求項８記載の状態表示器
   の認識処理方法において、 認識処理開始前に画像データを読み込んでマーカについ
   ての基準マーカ幾何学的情報および基準マーカ色情報、
   並びに、状態表示器についての基準表示器幾何学的情報
   および基準表示器色情報を、人為的に判断のうえ指定す
   ることで取得して予め登録しておくことを特徴とする状
   態表示器の認識処理方法。
10. 【請求項１０】請求項７または請求項８記載の状態表示
    器の認識処理方法において、 認識処理開始前に画像データを読み込んでマーカについ
    ての基準マーカ幾何学的情報および基準マーカ色情報、
    並びに、状態表示器についての基準表示器幾何学的情報
    および基準表示器色情報を、画像処理により自動的に指
    定することで取得して予め登録しておくことを特徴とす
    る状態表示器の認識処理方法。
11. 【請求項１１】請求項７〜請求項１０の何れか１項に記
    載の状態表示器の認識処理方法において、 状態表示器はアナログ指示計とし、基準表示器幾何学的
    情報および検出表示器幾何学的情報としてアナログ指示
    計の指針の長さおよび太さに関する情報を含め、また、
    基準表示器色情報および検出表示器色情報をアナログ指
    示計の色に関する情報を含めることで、１台のアナログ
    指示計が有する複数の指針を区別して抽出し、それぞれ
    の指示値を読み取ることを特徴とする状態表示器の認識
    処理方法。
12. 【請求項１２】請求項７〜請求項１１の何れか１項に記
    載の状態表示器の認識処理方法において、 前記マーカとは、色彩を有するバーコード状のマーカを
    配してなるマーカとし、 前 記バーコード状のマーカには、このマーカが存する付
    近の状態表示器に関する情報がバーコード情報として登
    録されており、 バーコード情報を読み込んで状態表示器を判別し、判別
    された状態表示器に応じて最適となるように状態表示器
    情報の抽出、認識処理特徴量の抽出、および、表示内容
    の認識を行うことを特徴とする状態表示器の認識処理方
    法。