JP3802737B2 - 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法 - Google Patents
情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法 Download PDFInfo
- Publication number
- JP3802737B2 JP3802737B2 JP2000239138A JP2000239138A JP3802737B2 JP 3802737 B2 JP3802737 B2 JP 3802737B2 JP 2000239138 A JP2000239138 A JP 2000239138A JP 2000239138 A JP2000239138 A JP 2000239138A JP 3802737 B2 JP3802737 B2 JP 3802737B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- identification marker
- information identification
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理技術を用い、ビデオ映像等の画像情報から管理対象物を識別するための情報識別用マーカ及びその検出方法に関する。
【０００２】
【従来の技術】
最近の電子技術や関連技術の発展によりビデオカメラが普及し、多量の画像情報を保有できる環境になっている。このような環境において画像情報の有効利用が各種の技術分野で計られている。例えば電気事業においては、電力設備の巡視点検時にビデオカメラが活用されており、当該巡視点検において得られた多量の画像情報を後日再生等行い、保守の資料にしたり、事故の発見に使用したり、新人教育に使用したりすることが行われている。またこれらの画像情報をデータベース化して、巡視点検時に必要な関連情報が自由に検索・閲覧できるようになれば、異常の早期発見や、発見された異常に対する迅速な対応が可能となる。そこで、ビデオ映像等の多量の画像情報をデータベース化する技術の利用が図られている。
【０００３】
一方、多量の画像情報をデータベース化して有効活用するためには、計算機が容易に各画像情報を識別する必要がある。そこで、撮影対象設備に情報識別用のマーカを付すことが考えられる。現実の物体に計算機が識別できるマーカを付して計算機に物体を識別させる最も代表的なものとしてバーコードがある。また、バーコードを２次元に拡張した２次元マトリクスコードなども提案されている。
【０００４】
また、データベース化された多量の画像情報を利用して、例えば、異なる時に撮影した同一設備の画像情報を比較する場合や、錆など色が重要な監視項目である場合の画像情報の比較や検索を行なう場合は、各画像情報の色が比較・検索の対象となる。このような場合、撮影時の照度条件（照明の違いによる明るさや色合い）によって、再現される色が大きく異なり、それに比較・検索の結果が大きく左右されてしまうことがある。比較・検索の精度を高めるには、画像情報の照度条件を同じにするように色補正を行なう必要がある。このため、各画像情報毎に撮影時の照度条件を検出する必要がある。従来、ビデオ映像の色補正を行なうために、リファレンスとなる既知の色を同時に映像の中に撮り込み、撮影時の照度条件（照明の違いによる明るさや色合い）を検出する方法が行なわれている。
【０００５】
また、得られた画像情報を加工するために、管理対象物にマーカを貼付して、それをビデオカメラで撮影し、ビデオカメラに写っているマーカの形状からビデオカメラと管理対象物との三次元的相対位置を計算する画像処理技術が従来ある。
【０００６】
【発明が解決しようとする課題】
しかしながら、管理対象物の識別機能と、撮影時の照度条件の検出機能と、管理対象物の三次元的相対位置の検出機能とを同時に満たす情報識別用マーカは従来ない。このため、データベース化される多量の画像情報の有効活用を難しいものとしている。
【０００７】
情報識別用マーカとしてバーコードを用いた場合、バーコードそのものは人間にはわからないコードであるため、多量の異なるバーコードを異なる管理対象物に貼付する場合に貼付ミスが起こりかねない。ここで、パーソナルコンピュータ等のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）で用いられるアイコンを実世界に適用しバーコードとを組み合わせて、現実の物体に貼付することが提案されているが、この場合、どこかでバーコードとアイコンとの対応を管理する必要があり、バーコード及びアイコンが多量であると管理は非常に煩雑となる。
【０００８】
一方、２次元マトリクスコードによれば、文字や図形の２次元パターンによって人間が理解できるコードを作成することが可能ではあるが、コードを構成する図形や文字は２次元マトリクスの升目で構成されるものに限定されるため、簡単な文字や図形しか表現できず、必ずしも管理対象物を容易に特定できるものとはならない。
【０００９】
また、従来のバーコードや２次元マトリクスコードは、白黒で構成されているために、バーコードや２次元マトリクスコードをリファレンスとして撮影時の照度条件を検出することはできない。そのため、別途、リファレンスとなる既知の色を撮影毎に映像の中に撮り込む必要がある。
【００１０】
そこで、本発明は、管理対象物の識別機能と、撮影時の照度条件の検出機能と、管理対象物の三次元的相対位置の検出機能とを同時に満たす情報識別用マーカ及びその検出方法を提供することを目的とする。
【００１１】
また、本発明は、情報識別用マーカを用いて管理対象物に関連した情報を取得する関連情報取得方法及び関連情報取得システムを提供することを目的とする。
【００１２】
かかる目的を達成するため請求項１に記載の発明は、平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、四隅のマークの最外辺を結ぶ表示領域に管理対象物を特定するデータを人間がそのまま理解可能な文字、図柄又はこれらの組み合わせとして表記されているアイコンとから成ることを特徴とする情報識別用マーカと、情報識別用マーカの画像情報と情報識別用マーカが貼付される管理対象物に関する関連情報とが関連付けされて登録される画像データベースと、管理対象物を撮影する画像入力手段と、画像入力手段により得られる入力画像情報を処理する画像処理手段と、画像処理手段からの出力を表示する利用者端末とを備え、画像処理手段は、入力画像情報から情報識別用マーカを検出して検索用画像情報を得ると共に、マークの色及び背景色と予め記憶された参考色値との色値の違いに基づいて撮影時の照度条件を検出し、検索用画像情報及び画像データベースに登録される入力画像情報の色値を参考色値に一致させる補正を行い、補正がされた検索用画像情報を用いて画像データベースに登録されている既登録情報識別用マーカの画像情報と比較照合し、一致若しくは最も類似する既登録情報識別用マーカに関連付けられている管理対象物の関連情報を取り出し、入力画像情報におけるマークの座標位置から情報識別用マーカの画像入力手段に対する三次元的相対位置を検出し、入力画像情報に、関連情報及び表示位置を既登録情報識別用マーカの画像情報と三次元的相対位置情報に基づいて補正した管理対象物の特定の部位を指示するガイドを合成して利用者端末に出力表示するようにしている。また、請求項２に記載の発明は、平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、四隅のマークの最外辺を結ぶ表示領域に管理対象物を特定するデータを人間がそのまま理解可能な文字、図柄又はこれらの組み合わせとして表記されているアイコンとから成ることを特徴とする情報識別用マーカを管理対象物に貼付し、この情報識別用マーカを含む管理対象物を画像入力手段によって画像情報として取り込む一方、該入力画像情報から情報識別用マーカを検出して検索用画像情報を得ると共に、マークの色及び背景色と予め記憶された参考色値との色値の違いに基づいて撮影時の照度条件を検出し、検索用画像情報及び画像データベースに登録される入力画像情報の色値を参考色値に一致させる補正を行い、補正がされた検索用画像情報を用いて情報識別用マーカの画像情報とマーカが付される管理対象物の関連情報とが関連付けされて予め登録された画像データベースを検索し、一致若しくは最も類似する既登録情報識別用マーカに関連付けられている管理対象物の関連情報を取り出し、マークの座標位置から情報識別用マーカの画像入力手段に対する三次元的相対位置を検出し、入力画像情報に、関連情報及び表示位置を既登録情報識別用マーカの画像情報と三次元的相対位置情報に基づいて補正した管理対象物の特定の部位を指示するガイドを合成して利用者端末に出力表示するようにしている。
【００１３】
したがって、情報識別用マーカが付された管理対象物の画像情報を用いて画像処理を行なうと、管理対象物識別のための画像処理の対象を四隅のマークに囲まれた情報識別用マーカ内に限定させてアイコンを認識させることができ、かつリファレンス（参照）とする照明の下で検出した背景色及び四隅のマークの色値と入力画像から得た色との違いをもとに、撮影時の照度条件を検出することができ、更に画像情報中の四隅のマークの座標位置より管理対象物の三次元的相対位置を検出することができる。また、アイコンを用いることで情報識別用マーカの貼付者が容易に管理対象物を特定でき、貼付ミスを防止する。また、設備巡視等で、利用者が画像入力手段で情報識別用マーカが付された撮影対象設備を撮影することで、画像入力手段と撮影対象設備との三次元的相対位置や撮影時の照度条件が検出でき、さらに撮影対象設備に関連する有用な情報を即座に利用者に提示できる。また、管理対象物に関連した有用な情報を撮影映像に的確に組み合わせて利用者端末側に表示させることが可能となる。
【００１４】
また、請求項３記載の請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における情報識別用マーカは、四隅のマークの１つが他のマークと異なる色を有するようにしている。したがって、人間の目視によるのは勿論、計算機での情報処理によっても、情報識別用マーカの天地左右が認識可能になる。
【００１５】
また、請求項４記載の請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における情報識別用マーカは、背景色を白色とし、四隅のマークの１つを赤色とし他は緑としている。したがって、赤と緑および背景の白が、相互に色の値が大きく異なり、計算機による色領域の検出が照明状況の違いによらずに安定してできる。
【００１６】
また、請求項５記載の請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における情報識別用マーカは、マークは正方形であり、表示領域の四隅に角を合わせて配置されているものとしている。したがって、情報識別用マーカを検出するための幾何学的条件を容易に設定することができる。
【００２３】
【発明の実施の形態】
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
【００２４】
図１から図１４に本発明の情報識別用マーカと、この情報識別用マーカを用いて関連情報取得システムを利用する電気設備の巡視点検支援システムの実施の一形態を示す。情報識別用マーカ１は、点検対象となる電気設備等の管理対象物４（以下、単に管理対象物と呼ぶ）に付されるもので、平面上の単色の背景色の中で四角形の表示領域２の四隅にそれぞれ配置される有色のマーク２ａ，２ｂ，２ｃ，２ｄと、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最外辺を結ぶ表示領域２に管理対象物４を特定するデータを人間がそのまま理解可能な文字や図柄又はこれらの組み合わせ等として表記されているアイコン３とから成るものである。
【００２５】
情報識別用マーカ１は、大きく３つの機能を提供するものである。１つは情報識別用マーカ１が付される管理対象物４の識別機能である。１つは情報識別用マーカ１とビデオカメラ等の画像入力機器５との三次元的相対位置の検出機能である。１つは撮影時点の照度条件の検出機能である。これら機能は、情報識別用マーカ１が付された管理対象物４の画像情報に対し後述する所定処理を行なう中で発揮される。
【００２６】
まず、上記機能を発揮する情報識別用マーカ１の構成の好適な一例について説明する。
【００２７】
四隅のマーク２ａ，２ｂ，２ｃ，２ｄは、好ましくは、その中の１つ例えばマーク２ａと他のマーク２ｂ，２ｃ，２ｄとが互いに区別できる異なる色を有するようにしている。これにより、目視による場合は勿論のこと、計算機での情報処理によっても、情報識別用マーカ１の天地左右が認識可能になる。勿論、マーカ１の天地左右を識別する別の手段を講ずる場合には、必ずしも４つのマーク２ａ，２ｂ，２ｃ，２ｄに対して色分けをすることはない。しかしながら、本実施形態では、好適な一例として背景色を白、左上マーク２ａを赤、残りのマーク２ｂ，２ｃ，２ｄの３つを緑としている。この赤と緑および背景の白は、相互に色の値が大きく異なるため、撮影時の照度条件をリファレンスとする照明の下で検出した同じ３つの色値と比較して補正値を求める際に安定して計算できるからである。
【００２８】
マーク２ａ，２ｂ，２ｃ，２ｄは、例えば、本実施形態では同じ大きさの正方形であり、表示領域２の四隅に角を合わせて即ち同じ向きにして、四角形の表示領域２の四隅に配置されている。ここで、各マーク２ａ，２ｂ，２ｃ，２ｄの形状は、正方形に限られず、長方形、台形、三角形、扇形、『形、円、楕円、菱形などのさまざまの形状が使用可能であるが、表示領域２を認識する画像処理を容易にするには表示領域２の四隅の角に合致する角を有する形状、例えば四角形、長方形、台形、三角形、扇形、『形の使用がより好ましく、最も好ましくは画像入力手段５と情報識別用マーカ１との位置関係、即ち撮影位置を３次元的に計算で求める際に図形の歪にその位置関係が正確に反映する正方形の使用である。また、四隅の各マーク２ａ，２ｂ，２ｃ，２ｄは、同じ形状、同じ大きさ、同じ向きで配置されることが好ましいが、場合によっては異なる形状、異なる大きさの、異なる向きのものを組み合わせて使用することも可能である。例えば、マーカ１の向きを定める基準となる色違いのマーク２ａの代わりに、異なる形状、異なる大きさ、異なる向きのマークを採用することも可能である。尚、表示領域２は正方形に限られるものではなく、縦横比が一定であれば長方形のような形状でも良い。
【００２９】
四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最外辺を結ぶ輪郭の内側即ち表示領域２には、管理対象物４を特定するデータを人間がそのまま理解可能な文字や図柄又はこれらの組み合わせ等として表すアイコン３が表記される。アイコン３は、例えば図２に例示するように、情報識別用マーカ１を管理対象物４に貼付する作業者が直に見ることによって管理対象物４を特定できるものであり、人間がそのまま理解できる図柄だけではなく視覚では認識し難い図柄等の濃淡（濃度変化）や描画密度、大きさ、位置等での情報の描画も必要に応じて含まれる識別コードである。なお、アイコン３には、マーク２ａ，２ｂ，２ｃ，２ｄおよび背景色に用いる色以外の色で容易に区別のできる色を用いることが望ましい。照度条件によっては、マーク２ａ，２ｂ，２ｃ，２ｄの色と混同する色を用いると、マーカ検出処理において情報識別用マーカ１の検出精度が下がる場合があるからである。
【００３０】
このように構成された情報識別用マーカ１は、例えば、情報識別用マーカ１が付された管理対象物４の画像情報を用いて、マーク２ａ，２ｂ，２ｃ，２ｄの色と背景色と表示領域２の輪郭を示す四角形の形状との条件より情報識別用マーカ１を検出するマーカ検出処理によって、容易に検出することができる。
【００３１】
ここで、情報識別用マーカ１が付された管理対象物４の画像情報は、画像入力手段例えばデジタルビデオカメラ等のデジタル画像入力機器５によって取り込まれ、画像処理手段でデータベースへの登録のための処理並びにデータベース検索のための処理が行われると共に利用者端末６にフレーム毎の画像データ７（図１あるいは図３参照）として表示される。
【００３２】
本実施形態では、処理高速化のために、例えば図３〜図８に示すように、例えば、縦４８０画素、横６４０画素から成るオリジナルの画像データ（以下、オリジナル画像データと呼ぶ）７を一旦荒くサンプリング（例えば、横８０画素、縦６０画素）して画像データ（以下、サンプリング画像データと呼ぶ）８とし、その上でマーク２ａ，２ｂ，２ｃ，２ｄの検出を行い、その後、検出したマーク２ａ，２ｂ，２ｃ，２ｄを基にオリジナル画像データ７から情報識別用マーカ１を切り出すようにしている。
【００３３】
ただし、サンプリング画像データ８を利用するものに限るものではなく、最初からオリジナル画像データ７の解像度で処理を行うことも勿論可能である。この場合は、サンプリングに起因する検出ミスは起こらない。ただし当然ながら、計算に要するステップ数は格段に増加し、並列処理装置を用いない場合は、同じ演算装置の場合に比して処理速度が遅くなる。
【００３４】
サンプリング画像データ８を利用する場合において、マーカ検出処理にて検出ミスが起こった場合は、例えば、サンプリングの初期値の解像度を上げて再度サンプリングすることで、検出ミスを減らすことができる。
【００３５】
マーカ検出処理の詳細な内容の一例を図１１に示すフローチャートに従って説明する。
【００３６】
先ず、サンプリング画像データ８から、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色即ち本実施形態では赤と緑の領域を検出する（マーカ検出処理；ステップ１）。色領域検出の具体的方法としては、例えば、色を色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）のＨＳＶ色空間に変換し、色相を厳しく、彩度と明度を緩くして検出するという従来からある色領域検出方法を用いる。これにより照度条件に対して比較的安定して、緑と赤の領域を検出できる。サンプリング画像データ８から検出された赤領域を図５に、緑領域を図６に示す。この段階（マーカ検出処理；ステップ１）では、情報識別用マーカ１でない場所も多数検出していることがわかる。
【００３７】
次に、背景色の情報を用いて、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色領域の絞り込みを行う（マーカ検出処理；ステップ２）。即ち、本実施形態では、白地に赤と、白地に緑という特徴を使って絞り込む。これにより、マーク２ａ，２ｂ，２ｃ，２ｄの色とまぎらわしい色の領域があっても、背景色上にあるもののみが取り出されるため、より確実に四隅のマーク２ａ，２ｂ，２ｃ，２ｄの領域を検出できる。白地に赤という条件で絞り込んだ赤の領域を図７に示す。この例の場合では、オリジナル画像データ７に示すように、左上の赤いサインペンと赤いプラグが白いテーブルの上にあるために当該領域が残っている。白地に緑という条件で絞り込まれた緑の領域を示す図を図８に示す。
【００３８】
次に、四角形の形状条件を用いて、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの領域を絞り込む（マーカ検出処理；ステップ３）。情報識別用マーカ１の四隅のマーク２ａ，２ｂ，２ｃ，２ｄは、四角形（本実施形態では、正方形）の四隅にあるという幾何学的条件を使って、ステップ２までに絞り込まれた候補をさらに絞り込む。例えば、ステップ２までで絞り込まれた、赤の領域と、緑の領域を結ぶベクトルを計算し、それらの組み合わせで、正方形を投影した状態にもっとも近い組み合わせを探し出す。具体的には、例えば、赤（マーク２ａ）から右上の緑（マーク２ｂ）へのベクトルをＬベクトル、赤から左下の緑（マーク２ｃ）へのベクトルをＲベクトル、赤から右下の緑（マーク２ｄ）へのベクトルをＤベクトルとし、Ｌ＋Ｒ＝Ｄにもっとも近い組み合わせを探す。これにより、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの大まかな位置と各々のマーク２ａ，２ｂ，２ｃ，２ｄが情報識別用マーカ１のどの位置（左上、右上、左下、右下）にあるかを検出することができる。図９に正しく情報識別用マーカ１のベクトルを表示した図を示す。これにより、例えば、ステップ２までに絞り込めなかった画面左の赤の領域は、上記条件を満たさず、マーク検出の候補から除外される（図１０）。
【００３９】
なお、実際には、情報識別用マーカ１平面の法線が画像入力機器５の視線とずれる量と、画像入力機器５への接近度合に応じて、上述の四角形の形状条件からずれてくる。ただし、本実施形態では、サンプリング画像データ８で粗く処理を行なっており、斜めから極端に接写しないかぎりは許容誤差範囲であるため、処理の単純さを優先している。
【００４０】
次に、ステップ３にて検出した四隅のマーク２ａ，２ｂ，２ｃ，２ｄの位置を出発点としてオリジナル画像データ７から、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの正確な領域を切り出す（マーカ検出処理；ステップ４）。これにより、オリジナル画像データ７から四隅のマーク２ａ，２ｂ，２ｃ，２ｄに囲まれた正確な表示領域２が検出される（図１２）。なお、切り出しには、例えば、上述したＨＳＶの値のうち、白地との差が大きい彩度（Ｓａｔｕｒａｔｉｏｎ）を優先して、ＨＳＶの閾値を設定し、検出に用いる。四隅のマーク２ａ，２ｂ，２ｃ，２ｄの端を繋ぐと、内部のアイコン３が描かれる正方形の表示領域２になる。
【００４１】
次に、オリジナル画像データ７から取り出される表示領域２に描かれているアイコン３は歪んでいるので、これを平面上の座標に変換し、検索用マーカ画像データ１’を生成する（マーカ検出処理；ステップ５）。生成された検索用マーカ画像データ１’の一例を図１３に示す。
【００４２】
なお、一旦マーカ検出処理（ステップ１〜５まで）が行われ情報識別用マーカ１が検出されると、それ以降は、初期値としてもともと決めておいた赤や緑の色の値を用いず、検出されたマーク２ａ，２ｂ，２ｃ，２ｄの赤や緑の色の値を基準としてステップ１の領域検出を行うことが好ましい。これにより、徐々に照度条件が変化し、赤や緑の色の値が初期値から大幅に変化するような場合でも、色の値を追跡して安定して色領域を検出することができる。
【００４３】
次に、情報識別用マーカ１の色を利用して行われる撮影時の照度条件の検出について説明する。
【００４４】
本発明の情報識別用マーカ１によれば、マーカ検出処理の過程で四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色と背景色の色値が得られる。例えば、本実施形態では、背景色の白と、四隅のマーク２ａ，２ｂ，２ｃ，２ｄに使われる赤及び緑との合計３色の色値が得られる。ここで、色値は一般にＲＧＢもしくはＨＳＶ等の３次元の配列データとして表現される。管理対象物４は同じでも、照明の変化により、オリジナル画像データ７から取得される色値は変化する。
【００４５】
一方、本実施形態においては、これら白・赤・緑の３色は、すべての情報識別用マーカ１に共通した既知の色である。そこで、照度条件検出処理では、所定照度条件の下で参考値として予め取得してある白・赤・緑の３つの色値（以下、参考色値と呼ぶ。）と、オリジナル画像データ７から得られた白・赤・緑の３つの色値（以下、計測色値と呼ぶ。）の違いをもとに、オリジナル画像データ７がどういった照度条件で撮影されたものであるかを計算し、撮影時の照度条件を検出する。
【００４６】
本実施形態では、精度の高い照度条件検出を行なうべく、例えば、画像データ７から得られる３つの色値を基に線形補間して、画像データ７の明るさや大まかな色合いを計測して照度条件を検出する。例えば、得られた照度条件を基に、参考色値の所定照度条件に合わせて、検索用マーカ画像データ１’の照度補正を行なう。
【００４７】
照度補正された検索用マーカ画像データ１’は、例えば画像データベース２０に予め登録されている情報識別用マーカ１の画像データと比較照合され、検索用マーカ画像データ１’と一致若しくは最も類似する既登録情報識別用マーカ１の画像データを検索するようにして、計算機により認識される。この結果、管理対象物４を識別することが可能となり、さらには、管理対象物４の関連情報を情報識別用マーカ１に関連付けて即ちリンクさせて画像データベース２０に登録しておくことで、当該関連情報を情報識別用マーカ１を検索キーとして画像データベース２０から取り出すことが可能となる。なお、関連情報とは、例えば、管理対象物４の名称等の属性情報、管理対象物４の過去の画像情報、担当管理者名、情報識別用マーカ１の貼付日時等、管理対象物４に関連したあらゆる情報を含むものであり、その内容が特に限定されるものではない。
【００４８】
例えば、本実施形態では、検索用マーカ画像データ１’を６４×６４の配列に蓄え、検索キー即ち検索用画像情報として用いる。この場合、各配列の値は、オリジナル画像データ７から抽出された画素の色値に上述の照度補正を用いて補正した値としている。
【００４９】
次に、情報識別用マーカ１とビデオカメラ等の画像入力機器５との三次元的相対位置を検出するマーカ位置検出処理について説明する。三次元的相対位置とは、実際の三次元空間で、情報識別用マーカ１の貼付対象面が画像入力機器５に対しどの方向を向いていて、どのくらい離れているか、という事である。
【００５０】
上述のマーカ検出処理の過程において、オリジナル画像データ７中におけるマーク２ａ，２ｂ，２ｃ，２ｄの正確な座標位置が検出される。これにより、情報識別用マーカ１と画像入力機器５との相対的な三次元位置関係を検出することができる。
【００５１】
まず四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最外辺を結んだ正方形の４頂点の画面上での座標を、ｓ１，ｓ２，ｓ３，ｓ４とする。ｓ１，ｓ２，ｓ３，ｓ４それぞれは四角形（正方形）の左上、右上、左下、右下に相当する。ｓ１からｓ２に向かうベクトルをａベクトル、ｓ１からｓ３に向かうベクトルをｂベクトルとする。
【００５２】
また、実際の三次元空間で、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの三次元座標を、Ｓ１，Ｓ２，Ｓ３，Ｓ４とする。それぞれ正方形の左上、右上、左下、右下に相当する。ここでＳ１からＳ２に向かうベクトルをＡベクトル、Ｓ１からＳ３に向かうベクトルをＢベクトルとする。
【００５３】
Ａ，Ｂ両ベクトルは本来直交しており、かつ長さがあらかじめわかっている。またａ，ｂベクトルはそれぞれＡ，Ｂベクトルの同一平面への射影である。これらの条件をもとにａ，ｂベクトルから、Ａ，Ｂベクトルのｚ成分を計算する。
【００５４】
これによりｚ成分が２組解として求められる。これは射影が平面への奥からの射影なのか、手前からの射影なのか、二つの可能性があるからである。ここで、ｓ２からｓ４へのベクトルをｃベクトル、ｓ３からｓ４へのベクトルをdベクトルとする。すると、以下の条件が成立する。
▲１▼ａベクトルの長さがｄベクトルより長く、かつ、ｂベクトルの長さがｃベクトルの長さより長い場合は、Ｓ１がもっとも手前でＳ４がもっとも奥に位置する。▲２▼ａベクトルの長さがｄベクトルより短く、かつ、ｂベクトルの長さがｃベクトルの長さより長い場合は、Ｓ３がもっとも手前でＳ２がもっとも奥に位置する。▲３▼ａベクトルの長さがｄベクトルより長く、かつ、ｂベクトルの長さがｃベクトルの長さより短い場合は、Ｓ２がもっとも手前でＳ３がもっとも奥に位置する。▲４▼ａベクトルの長さがｄベクトルより短く、かつ、ｂベクトルの長さがｃベクトルの長さより短い場合は、Ｓ４がもっとも手前でＳ１がもっとも奥に位置する。
【００５５】
これらの条件により、ｚ成分の２組解のうち一方の可能性を排除して、１つのｚ成分の組を解とする。なお、ベクトルの長さが等しい場合は上記条件による判定はできないが、この場合は、例えば前フレームの画像データの値を採用することで回避できる。
【００５６】
Ａ，Ｂベクトルが計算されると、その両方に直交するベクトルを計算することができ、それが情報識別用マーカ１平面の法線ベクトルとなる。これら３つのベクトルの値は、画像入力機器５と情報識別用マーカ１との三次元的な相対位置と等価な情報である。この情報を得ることで、例えば、表示画面内に管理対象物４の特定の部位を指示するガイドを三次元的に合成して表示するといった処理が可能となる。
【００５７】
なお、さらに正確な相対位置（距離と角度）を計算するには、使用する画像入力機器５がどういった光学的性質をもっているかを予め計測しておく必要がある。
【００５８】
また、上記マーカ位置検出処理では、演算量を少なくして高速処理を可能とするため、本来ビデオ映像が透視投影になっていることを考慮していない。このため、上述したマーカ検出手法と同様に、ビデオカメラが情報識別用マーカ１に斜めから接写した場合などに誤差を生じるが、その誤差は実用上問題とならない程度のものである。
【００５９】
このような機能を有する情報識別用マーカ１を利用することにより、関連情報取得システムを構成することができる。図１４に、同システムの構成の一例を示す。この関連情報取得システムは、情報識別用マーカ１と、情報識別用マーカ１の画像情報と情報識別用マーカ１が付される管理対象物４の関連情報とが関連付けされて登録される画像データベース２０と、管理対象物４を撮影する画像入力手段５と、画像入力手段５により得られる入力画像情報を処理する画像処理手段１７と、画像処理手段１７からの出力を表示する利用者端末６とから構成されている。
【００６０】
画像処理手段１７は、画像入力手段５から取り込まれる画像情報・ビデオ映像をそのままあるいはビデオシーン毎にマーカ関連情報としてデータベースへ記録すると共に、例えば先に説明したマーカ検出処理により入力画像情報を用いて情報識別用マーカ１を検出して検索用画像情報即ち検索用マーカ画像データ１’を得て、画像データベース２０に登録されている既登録情報識別用マーカ１の画像情報と検索用マーカ画像データ１’とを比較照合し、一致若しくは最も類似する既登録情報識別用マーカ１に関連付けられている管理対象物４の関連情報をデータベース２０から取り出し、関連情報９として利用者端末６の液晶ＴＶ１４に出力表示する。
【００６１】
また、本実施形態の画像処理手段１７では、例えば先に説明した照度条件検出処理により撮影時の照度条件を検出し、適宜検索用マーカ画像データ１’又はデータベース入力画像情報の照度補正を行うようにしている。
【００６２】
さらに、本実施形態の画像処理手段１７では、先に説明したマーカ位置検出処理を実行して情報識別用マーカ１の画像入力手段５に対する三次元的相対位置を検出し、必要に応じて、画像入力手段５から得た入力画像情報・オリジナル画像データ７と要点検箇所Ｐなどを示す関連情報とを合成して利用者端末６に出力表示するようにしている。
【００６３】
画像入力手段５は、例えば、電気設備等を撮像してビデオ映像を作成する電荷結合素子カメラ（以下、ＣＣＤカメラ５と呼ぶ。）である。ＣＣＤカメラ５からのビデオ映像は、例えば、無線インタフェース１０，１１を介し、テレビ電波で画像処理手段１７に送られる。ＣＣＤカメラ５は、非常に小型化されており、手に持って撮像が可能である。
【００６４】
利用者端末６は、例えば、画像処理手段１７から無線インターフェース１２，１３を介してテレビ電波を使って送られてくる画像処理した出力結果を受信し画面表示する液晶ＴＶジョン受像機１４（以下、「液晶ＴＶ１４」という）と、情報処理機能を有し画像処理手段１７とＬＡＮ（ローカル エリア ネットワーク）を経由して双方向情報通信を行う携帯情報端末１５とを有する。液晶ＴＶ１４は、例えば、掌に入る程の外形をしており、手にもって表示画面を見ることが可能である。携帯情報端末１５は、例えば、一人で現場に携帯が可能な大きさに形成されている。
【００６５】
画像処理手段１７及び画像データベース２０は、本実施形態では所定の画像処理及びデータベース処理を実行するプログラムとコンピュータシステム１６によって実現されている。コンピュータシステム１６は、画像処理等の各種の演算処理を実行する画像処理装置１７と、画像データベース２０並びにビデオデータ１９を格納する大容量外部記憶装置１８と、無線インタフェース１１，１３と、その他図示しないが、ディスプレイ、キーボード、マウス等の入出力装置や、利用者端末６とのＬＡＮ通信インターフェース等を備える。画像処理装置１７は、図示していないが、演算処理部、主メモリ、ＲＯＭ、入出力インターフェース等を備えており、適宜、主メモリ上に記憶される本発明を実現する処理プログラムに基づいて演算処理部が各画像情報の処理や各種の演算処理を実行し、本発明に係る各種の機能２１〜２８を実現する。
【００６６】
ビデオ映像録画・再生機能２１は、例えば、ＣＣＤカメラ５から送られるビデオ映像を、そのままモーションＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のビデオデータ１９として大容量外部記憶装置１８に蓄えて画像処理装置１７の制御下に録画・再生を可能とする機能である。
【００６７】
マーカ検出機能２３は、マーカ検出処理を実行して検索用マーカ画像データ１’を得る機能である。照度補正機能２４は、照度条件検出処理を実行してマーカ検出処理より得る検索用マーカ画像データ１’又はデータベース機能２２で得られた入力画像情報の照度補正を適宜行う機能である。マーカ検索機能２５は、検索用マーカ画像データ１’と画像データベース装置１８の登録済マーカ・関連情報データベース２０に登録されている既登録情報識別用マーカ１の画像情報とを比較照合し、一致若しくは最も類似する既登録情報識別用マーカ１を検索して、管理対象物４の関連情報を取り出すための機能である。マーカ位置検出機能２６は、マーカ位置検出処理を実行する機能である。
【００６８】
オーバレイ映像表示機能２７は、例えば、関連情報のうちＣＣＤカメラ５から得た画像情報にオーバレイ（重ね表示）すべき情報がある場合に、マーカ位置検出機能２６より得られる情報識別用マーカ１のＣＣＤカメラ５に対する三次元的相対位置情報を基に、ＣＣＤカメラ５から得た入力画像情報と関連情報取得処理より得た関連情報とを合成して、利用者端末６側でオーバレイ表示させるための機能である。例えば、点検箇所の指示や設備の操作方法などを具体的な場所を示しながら指示することも可能である。
【００６９】
関連情報登録・提示機能２８は、携帯情報端末１５に関連情報を出力表示すると共に、携帯情報端末１５からの関連情報の入力要求を受付て、画像データベース２０への関連情報の登録を可能とする機能である。
【００７０】
本実施形態の画像データベース装置は、大容量外部記憶装置１８から成り、情報識別用マーカ１及びその関連情報を蓄積しデータベース２０を構築するものである。
【００７１】
データベース機能２２は、入力されるビデオ映像を自動的にシーン毎に分割してマーカ１に関連した形でデータベース２０に自動登録するものである。また、図示していないが、例えば、画像区切処理機能と、登録処理可能の他に、変化特徴抽出機能を与えることによって、設備表面の特定の場所や錆、しみ等の特記事項の記録・検索を可能にすることもできる。画像処理装置１７により、主メモリにある処理プログラムに従って、画像区切処理手段と、登録処理手段、更には必要に応じて変化特徴抽出手段と検索処理手段とが実現され、データベース２０が構築される。
【００７２】
即ち、ＣＣＤカメラ５で撮像したビデオ映像は、無線インターフェース１０，１１を介しコンピュータシステム１６の画像処理装置１７に入力されると、フレーム間の差分をとり当該差分が所定の比較値から大きく逸脱したときに変化があったと判断してビデオ映像を時区間に区切る。そして、シーン毎に分割された画像は、当該マーカ１に関連した形でデータベース２０に登録される。また、錆やしみ等の特記事項の変化を検出する必要がある場合には、フレーム毎にビデオ映像の色情報が変化した部分の色パターンを変化特徴として抽出して変化のあった画素周辺を部分グリッドとして取り出すとともに、これら部分グリッドを画像区切処理工程で区切った時区間単位に含まれる画像の中から集計する。これにより、フレーム毎に色が変化した部分の色パターンを抽出し、色パターンの集合を得る。そして、変化特徴抽出工程で集計された部分グリッドは、当該マーカに関連した形でデータベース２０に登録される。
【００７３】
この一連の処理は、例えば、ＣＣＤカメラ５からビデオ映像の入力がある限り継続して実行されるようにする。
【００７４】
〔画像区切処理の説明〕
画像区切処理は、図１５に示すフローチャートのように、例えばフレーム間の色の変化を基本として時区間を区切るようにしている。この画像区切処理は、例えば、色変化フレーム間差分を取り、その過去数フレーム分の平均値（これを、「比較値」という）を基準とし、この基準から大きく逸脱した場合に変化があったと判定している。具体的には、次のようにしている。
【００７５】
まず、各フレーム画像の計算量を削減するため、例えばニアレストネイバー法を使用して取込みビデオ映像を粗く縮小する（Ｓ３０１）。次いで、縮小された画像の各画素値をc(x,y)として、フレーム間差分計算処理手段によりフレーム間差分dfを計算する（Ｓ３０２）。
【００７６】
このＳ３０２における計算（すなわち、フレーム間差分計算処理手段による計算）は、次のようにして行う。現在の各画素値をc(x,y)とし、一つ前のフレーム画素値をc'(x,y) とし、その差を取ったものをd とすると、
【数１】
d＝c(x,y)−c'(x,y)
が得られる。そして、この dをｓ(d) に代入することにより、
【数２】
となってフレーム間差分dfが得られることになる。
【００７７】
ここでは、画素値の差分は、赤（Ｒ）、青（Ｂ）、グリーン（Ｇ）の距離空間での距離とした。なお、色はＲＧＢのそれぞれを１０段階とする１０００色に規格化している。
【００７８】
さらに、s(d)として次のステップ関数を利用している。すなわち、
【数３】
ここに、s1，s2，s3は変化範囲を区分するパラメータである。このパラメータは、詳細なノイズの影響を除去するためと、各画素値の実際の差分よりも、差のある画素数を重視するためである。このようにする理由は、直接距離を利用すると、明るさが大きく変化するスポットばかりが強調されて、全体のうっすらとした変化が見過ごされてしまうことを防止するためである。
【００７９】
次に、フレーム間差分の過去ｎフレーム分の平均値（比較値）をdfn とし、これの比較値dfn を基に、あるフレームk の状態を次の３つの状態に分類する（Ｓ３０３， Ｓ３０６）。これらＳ３０３，Ｓ３０６の処理は、具体的には、フレーム状態決定手段により実行される。
【００８０】
まず、 数式４の計算をする（Ｓ３０３）。
【数４】
dfn＋ dfn×b ＋o
もし、df＞ dfn＋ dfn×b ＋o ならば（Ｓ３０４；ＹＥＳ）、フレームk は活性であるとする（Ｓ３０５）。
【００８１】
Ｓ３０４でＮＯと判定されたときには、
【数５】
dfn−dfn ÷c −o
の計算をし（Ｓ３０６）、仮に、df＜ dfn−dfn÷c −o ならば（Ｓ３０７；ＹＥＳ）、フレームk は沈静であるとする（Ｓ３０８）。
【００８２】
ステップ３０４及びステップ３０７でＮＯと判定されたときには（Ｓ３０７；ＮＯ）、フレームk は定常であるとする（Ｓ３０９）。
【００８３】
ここで、定数b ，c は逸脱範囲を決めるパラメータである。定数ｏはノイズの影響を免れるためのオフセット値である。
【００８４】
このように過去の平均値と現に入力されているフレームとを比較することにより、人間の視野における残像のような画像の処理が行われることになる。
【００８５】
そして、画像区切処理において状態遷移判定は、フレームの状態をフレーム毎に計算し、同じ状態がｍフレーム連続した場合に（Ｓ３１０；ＹＥＳ）、状態遷移が確定したとしている（Ｓ３１１）。もちろん、同じ状態がｍフレーム続かない場合には（Ｓ３１０；ＮＯ）、状態遷移は確定しないものとする。そして、どちらの場合も、通常は（Ｓ３１２；ＮＯ）、再び、最初のステップ３０１に戻って処理を継続させる。また、画像区切処理は、処理停止指令があったときに（Ｓ３１２；ＹＥＳ）、上記画像処理を停止する。
【００８６】
ここで、パラメータｍを小さくすると時間的な変化に敏感になり、パラメータｍを大きくすると時間的な変化に鈍感になる。この実施の形態では、ｍ＝３とし、３フレーム以上同じ状態が連続した場合、「定常」、「活性」、「沈静」の３状態を確定している。また、状態で確定した時点を変化点としている。
【００８７】
このような画像区切処理によれば、ＣＣＤカメラ５におけるビデオ映像の変化が小さいときは小さな変化に敏感になり、大きく変化しているビデオ映像では少々の映像の変化は無視されるように動作することになる。
【００８８】
以上のような画像処理装置１７によれば、ＣＣＤカメラ５から入力されるビデオ映像を、設備状態の変化や視野内への進入物、巡視者の移動などに応じて自動的にシーンを分割し、その場ですぐさまデータベース２０に登録することが可能であり、さらに、過去の類似ビデオ映像を関連情報として利用者に提示することが可能となる。なお、図１４中のデータベース機能２２は、画像データベース装置１８の画像区切処理、変化特徴抽出処理、登録・検索処理を実行する機能を表す。
【００８９】
以上のように構成される関連情報取得システムを、例えば、設備巡視点検の支援システムとして用いた一例について説明する。この場合、関連情報は、例えば、管理対象物となる設備４のプロファイル（設備名称、担当管理者等の属性）情報、操作マニュアル、点検記録、レポート、登録空間位置、過去の巡視ビデオ映像等、作業者の巡視点検を支援するための有用な情報である。なお、関連情報の内容が特にこれに限定されるものではない。
【００９０】
先ず、情報識別用マーカ１を巡視点検の対象となる設備４に貼付する。ここで、情報識別用マーカ１のアイコン３は、作業者に設備４を連想させる文字や図柄又はこれらの組み合わせ等であるため、人的要因による情報識別用マーカ１の貼付ミスを削減することができる。
【００９１】
次いで、情報識別用マーカ１をデータベース２０に例えば次のようにして登録する。情報識別用マーカ１を貼付した設備４をＣＣＤカメラ５により撮影する。ＣＣＤカメラ５のビデオ映像は、コンピュータシステム１６に送られ、ビデオ映像録画・再生機能２１により、そのままモーションＪＰＥＧのビデオデータ１９として録画される。それと同時に、マーカ検出機能２３により情報識別用マーカ１が検出される。そして、例えば、携帯情報端末１５より設備名称等のプロファイル情報を入力すると、関連情報登録・提示機能２８を介して、データベース２０に情報識別用マーカ１及びプロファイル情報が登録される。
【００９２】
以後、この情報識別用マーカ１をＣＣＤカメラ５に写すと、ＣＣＤカメラ５のビデオ映像はビデオ映像録画・再生機能２１に送られると同時に、データベース機能２２に送られ、シーンの区切り目が検出され、情報識別用マーカ１の関連情報の一つとしてデータベース２０に保存される。
【００９３】
また、ビデオ映像はマーカ検出機能２３へ送られ、照度補正機能２４により照度補正され、マーカ検索機能２５により、撮影される情報識別用マーカ１と一致若しくは最も類似する既登録情報識別用マーカ１が検索されて、管理対象物４の関連情報が取り出される。そして、関連情報登録・提示機能２８を介して携帯情報端末１５に関連情報が表示される。
【００９４】
なお、表示できる関連情報が複数項目ある場合は、例えば、作業者が知りたい関連情報を指定することができるように、携帯情報端末１５に選択可能な関連情報９を図１に示すようにメニュー表示するようにしても良い。利用者が携帯情報端末１５にて関連情報を選択すると、携帯情報端末１５からその旨が関連情報登録・提示機能２８に送られ、関連情報登録・提示機能２８では当該選択された関連情報が携帯情報端末１５に表示されるようにする。これにより、作業者は、設備４に関連した設備管理情報、操作マニュアル、点検記録、以前の巡回映像等の関連情報を適宜その場で簡単に見ることができる。
【００９５】
さらに、オーバレイすべき情報がある場合は、マーク位置検出機能２６及びオーバレイ映像表示機能２７により、ＣＣＤカメラ５から得たビデオ映像中の設備４の所望の場所に関連情報がオーバレイされ、その映像は利用者の手元の液晶ＴＶ１４に表示される。これにより、例えば、設備４における点検すべき箇所等が具体的に指示される。図１の矢印Ｐは、このオーバレイ表示された場合の一例を示す。
【００９６】
また、設備４表面の特定の場所を関連情報としてデータベース２０に記録する場合は、例えば次のようにして行なう。携帯情報端末１５のインターフェース画面上において当該記録したい場所をペン入力装置やマウス等のポインティングデバイスでクリックにより指定する。すると、当該指定された場所と情報識別用マーカ１との三次元的相対位置情報が、関連情報登録・提示機能２８を介して、関連情報の一つとしてデータベース２０に登録される。そして、以後、マーク位置検出機能２６及びオーバレイ映像表示機能２７により、登録された当該位置情報は液晶ＴＶ１４の画面上にオーバレイして表示することが可能となる。これにより、例えば、設備４の操作方法や必要点検個所を具体的な場所を指示しながら示すことが可能となる（図１の矢印Ｐ）。
【００９７】
また、例えば、設備４表面の錆やしみなどの特記事項を関連情報としてデータベース２０に記録することで、検索対象とすることもできる。さらに、錆等の色情報を登録又は検索する際に、照度補正機能２４により撮影時の照度条件を考慮して照度補正することで、検索精度を大幅に上げることができる。これにより、例えば、関連情報の一つとして過去の巡回映像を蓄積しておけば、これら関連情報を巡視点検の現場で効率的に取り出すことができ、同一設備４の過去の画像情報と現在の画像情報とを比較して錆の進行等をその場で容易に確認できる。
【００９８】
なお、上述の関連情報取得システムの構成は一例であり、これに限定されるものではない。例えば、関連情報取得システムの諸機能２１〜２８を１台のコンピュータシステム１６上で実行せず、複数のコンピュータシステム１６で分散処理させるようにしても良い。また、上述した液晶ＴＶ１４と携帯情報端末１５との両機能を備える一体型の利用者端末６を構成するものとしても良い。さらに、利用者端末６がＣＣＤカメラ５の機能を有するものとしても良い。また、利用者端末６、ＣＣＤカメラ５と計算機１６との通信インターフェース及び通信プロトコルは特に限定されるものでなく、例えば、すべて無線化するものとしても良い。
【００９９】
以上のように、本発明の情報識別用マーカ１によれば、管理対象物４の識別機能、撮影時の照度条件の検出機能、管理対象物４の三次元的相対位置の検出機能の３つの機能を１のマーカで同時に達成することが可能である。
【０１００】
即ち、本発明の情報識別用マーカ１では、作業者が管理対象物４を容易に特定できるアイコン３を用いているので、情報識別用マーカ１を管理対象物４へ貼付する際にミスを防止することができる。また、当該アイコン３自体がコンピュータシステム１６が認識対象とする識別コードとなるため、コンピュータシステム１６が読取可能なコードと人間が理解可能な文字や図柄とをあらためて対応付ける必要はなく、マーカ管理を容易に行なえる。
【０１０１】
さらに、情報識別用マーカ１の四隅のマーク２ａ，２ｂ，２ｃ，２ｄにより、管理対象物４識別のための画像処理の対象を情報識別用マーカ１内に限定させることが可能となり、計算機による画像処理の負担を軽減させることができる。
【０１０２】
さらに、情報識別用マーカ１の背景色と四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色を参考色として、撮影時の照度条件を検出することが可能であるから、照度条件を考慮した精度の高い画像検索が可能となる。これにより、錆などの設備表面の色が点検項目の一つである場合には、照度条件を揃えた状態で比較できるため、正確な点検が容易に可能となる。また、画像データベース２０に対して、色情報を登録又は検索する際に、この照度条件を考慮して登録又は検索することで検索精度を大幅に上げることができる。
【０１０３】
さらに、情報識別用マーカ１の四隅のマーク２ａ，２ｂ，２ｃ，２ｄにより、管理対象物４の三次元的相対位置を検出することで、撮影される映像に関連した有用な情報を撮影映像に的確に組み合わせることが可能となる。これにより、有用な作業支援システムを構築することができる。
【０１０４】
本発明の情報識別用マーカ１を用いた関連情報取得システムによれば、ＣＣＤカメラ５で情報識別用マーカ１が付された管理対象物４を撮影するだけで、ＣＣＤカメラ５と管理対象物４との三次元的相対位置や撮影時の照度条件が検出でき、さらに設備４に関連する有用な情報を即座に利用者に提示できるので、作業を効果的に支援することができる。
【０１０５】
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【０１０６】
例えば、マーカ検出処理の速度向上のために、一旦マーカが認識された後は、次のフレームではその近傍のみを検索するようにしても良い。
【０１０７】
また、情報識別用マーカ１表面とカメラの間で鏡面関係が結ばれると、いわゆる「てかり」の状態になり、瞬間的に色が変化してしまい情報識別用マーカ１の検出に失敗する場合がある。これに対し、例えば、従来道路標識などに使われている再帰性反射材などを用いて、このような問題を軽減するようにしても良い。
【０１０８】
また、より精密な照度補正を行いたい場合には、上述の実施形態で示した３色（赤、緑、白）での補正では十分でない場合がありえる。その場合はマーカ上に追加の色リファレンスを加えることで精度向上を計るようにしても良い。例えば、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの内側にさらに異なる色を有するマーク２ａ’，２ｂ’，２ｃ’，２ｄ’を付加したり、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの全てを互いに異なる色にするようにしても良い。
【０１０９】
また、ＣＣＤカメラ５が情報識別用マーカ１から離れて、ビデオ映像中で情報識別用マーカ１の占める領域が小さくなるに従って、既登録情報識別用マーカとの照合に用いる検索用画像データ１’は粗いものになり、それに応じて識別精度が落ちる場合がある。この場合、例えば、ビデオ映像中で情報識別用マーカ１の占める領域が所定大きさ以下であれば、マーカ検出機能２３にてこれを認識し、関連情報登録・提示機能２８を介して、情報識別用マーカ１に向かってカメラを近づける或いはズームアップする旨の指示を利用者端末６に出力するようにしても良い。
【０１１０】
以上の説明から明らかなように、請求項１記載の情報識別用マーカを用いた関連情報取得システム及び請求項２に記載の情報識別用マーカを用いた関連情報取得方法によると、平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、四隅のマークの最外辺を結ぶ表示領域に管理対象物を特定するデータを人間が理解可能な文字や図柄又はこれらの組み合わせ等として表記されているアイコンとから成るものとしているので、情報識別用マーカが付される管理対象物の識別機能、撮影時点の照度条件の検出機能、情報識別用マーカと画像入力機器との三次元的相対位置の検出機能とを１のマーカで同時に満たすことが可能となる。また、画像処理の対象を情報識別用マーカ内に限定させることで計算機による画像処理の負担を軽減させることができ、照度条件を検出することで照度条件を考慮した精度の高い画像検索が可能となり、三次元的相対位置を検出することで撮影される映像に関連した有用な情報を撮影映像に的確に組み合わせることが可能となる。さらに、人間がそのまま理解可能なアイコンを用いて、容易に管理対象物を特定できるものとして、対象物への貼付ミスを防止することができる。また、当該アイコン自体が計算機が認識対象とする識別コードとなるため、計算機が読取可能なコードと人間が理解可能な文字や図柄とをあらためて対応付ける必要はなく、マーカ管理を容易に行なえる。また、利用者が画像入力手段で情報識別用マーカが付された撮影対象設備を撮影するだけで、管理対象物を特定し、さらには管理対象物に関連する有用な情報を即座に利用者に提示できる。したがって、設備巡視等の点検作業等に利用すれば、その作業を効果的に支援することができる。さらに、管理対象物に関連した有用な情報を撮影映像に的確に組み合わせて利用者端末側に表示させることが可能となる。これにより、有用な作業支援システムを構築することができる。
【０１１１】
さらに、請求項３記載の情報識別用マーカでは、四隅のマークの１つが他のマークと異なる色を有するようにしているので、人間の目視によるのは勿論、計算機での情報処理によっても、情報識別用マーカの天地左右が認識可能になる。
【０１１２】
さらに、請求項４記載の情報識別用マーカでは、背景色を白色とし、四隅のマークの１つを赤色とし他は緑としているので、赤と緑および背景の白が相互に色の値が大きく異なり、計算機による色領域の検出が照明状況の違いによらずに安定して行なえる。
【０１１３】
さらに、請求項５記載の情報識別用マーカでは、マークを正方形とし、表示領域の四隅に角を合わせて配置されるものとしているので、情報識別用マーカを検出するための幾何学的条件を容易に設定することができる。
【図面の簡単な説明】
【図１】本発明の情報識別用マーカの実施の一形態を示した概略構成図である。
【図２】本発明の情報識別用マーカの例を示す図であり、（Ａ）から（Ｆ）は様々なアイコンを有する情報識別用マーカの例を示す。
【図３】マーカ検出処理において、画像入力手段より得られたオリジナルの画像データを示す図である。
【図４】マーカ検出処理において、画像データを粗くサンプリングした画像データを示す図である。
【図５】マーカ検出処理において、サンプリングした画像データから検出された赤領域を示す図である。
【図６】マーカ検出処理において、サンプリングした画像データから検出された緑領域を示す図である。
【図７】図５に示す赤領域から、白地に赤という条件で絞り込んだ赤領域を示す図である。
【図８】図６に示す緑領域から、白地に緑という条件で絞り込んだ緑領域を示す図である。
【図９】マーカ検出処理において、四角形の形状条件の一例を示す示す図である。
【図１０】マーカ検出処理において、四角形の形状条件による絞込みの一例を示す示す図である。
【図１１】マーカ検出処理の一例を示すフローチャートである。
【図１２】マーカ検出処理において、オリジナルの画像データから情報処理識別マーカの領域を検出する例を示す図である。
【図１３】マーカ検出処理において、生成された検索用画像データの一例を示す図である。
【図１４】本発明の情報識別用マーカを用いた関連情報取得システムの実施の一形態を示すブロック図である。
【図１５】ビデオ画像の自動画像区切処理の処理フローチャートの一例である。
【符号の説明】
１ 情報識別用マーカ
１’ 検索用マーカ画像情報
２ 表示領域
２ａ 左上のマーク（四隅のマーク）
２ｂ 右上のマーク（四隅のマーク）
２ｃ 左下のマーク（四隅のマーク）
２ｄ 右下のマーク（四隅のマーク）
３ アイコン
４ 管理対象物
５ ＣＣＤカメラ（画像入力手段）
６ 利用者端末
７ 入力画像（オリジナル画像データ）
９ 関連情報
１６ コンピュータシステム
１７ 画像処理手段
２０ データベース
【発明の属する技術分野】
本発明は、画像処理技術を用い、ビデオ映像等の画像情報から管理対象物を識別するための情報識別用マーカ及びその検出方法に関する。
【０００２】
【従来の技術】
最近の電子技術や関連技術の発展によりビデオカメラが普及し、多量の画像情報を保有できる環境になっている。このような環境において画像情報の有効利用が各種の技術分野で計られている。例えば電気事業においては、電力設備の巡視点検時にビデオカメラが活用されており、当該巡視点検において得られた多量の画像情報を後日再生等行い、保守の資料にしたり、事故の発見に使用したり、新人教育に使用したりすることが行われている。またこれらの画像情報をデータベース化して、巡視点検時に必要な関連情報が自由に検索・閲覧できるようになれば、異常の早期発見や、発見された異常に対する迅速な対応が可能となる。そこで、ビデオ映像等の多量の画像情報をデータベース化する技術の利用が図られている。
【０００３】
一方、多量の画像情報をデータベース化して有効活用するためには、計算機が容易に各画像情報を識別する必要がある。そこで、撮影対象設備に情報識別用のマーカを付すことが考えられる。現実の物体に計算機が識別できるマーカを付して計算機に物体を識別させる最も代表的なものとしてバーコードがある。また、バーコードを２次元に拡張した２次元マトリクスコードなども提案されている。
【０００４】
また、データベース化された多量の画像情報を利用して、例えば、異なる時に撮影した同一設備の画像情報を比較する場合や、錆など色が重要な監視項目である場合の画像情報の比較や検索を行なう場合は、各画像情報の色が比較・検索の対象となる。このような場合、撮影時の照度条件（照明の違いによる明るさや色合い）によって、再現される色が大きく異なり、それに比較・検索の結果が大きく左右されてしまうことがある。比較・検索の精度を高めるには、画像情報の照度条件を同じにするように色補正を行なう必要がある。このため、各画像情報毎に撮影時の照度条件を検出する必要がある。従来、ビデオ映像の色補正を行なうために、リファレンスとなる既知の色を同時に映像の中に撮り込み、撮影時の照度条件（照明の違いによる明るさや色合い）を検出する方法が行なわれている。
【０００５】
また、得られた画像情報を加工するために、管理対象物にマーカを貼付して、それをビデオカメラで撮影し、ビデオカメラに写っているマーカの形状からビデオカメラと管理対象物との三次元的相対位置を計算する画像処理技術が従来ある。
【０００６】
【発明が解決しようとする課題】
しかしながら、管理対象物の識別機能と、撮影時の照度条件の検出機能と、管理対象物の三次元的相対位置の検出機能とを同時に満たす情報識別用マーカは従来ない。このため、データベース化される多量の画像情報の有効活用を難しいものとしている。
【０００７】
情報識別用マーカとしてバーコードを用いた場合、バーコードそのものは人間にはわからないコードであるため、多量の異なるバーコードを異なる管理対象物に貼付する場合に貼付ミスが起こりかねない。ここで、パーソナルコンピュータ等のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）で用いられるアイコンを実世界に適用しバーコードとを組み合わせて、現実の物体に貼付することが提案されているが、この場合、どこかでバーコードとアイコンとの対応を管理する必要があり、バーコード及びアイコンが多量であると管理は非常に煩雑となる。
【０００８】
一方、２次元マトリクスコードによれば、文字や図形の２次元パターンによって人間が理解できるコードを作成することが可能ではあるが、コードを構成する図形や文字は２次元マトリクスの升目で構成されるものに限定されるため、簡単な文字や図形しか表現できず、必ずしも管理対象物を容易に特定できるものとはならない。
【０００９】
また、従来のバーコードや２次元マトリクスコードは、白黒で構成されているために、バーコードや２次元マトリクスコードをリファレンスとして撮影時の照度条件を検出することはできない。そのため、別途、リファレンスとなる既知の色を撮影毎に映像の中に撮り込む必要がある。
【００１０】
そこで、本発明は、管理対象物の識別機能と、撮影時の照度条件の検出機能と、管理対象物の三次元的相対位置の検出機能とを同時に満たす情報識別用マーカ及びその検出方法を提供することを目的とする。
【００１１】
また、本発明は、情報識別用マーカを用いて管理対象物に関連した情報を取得する関連情報取得方法及び関連情報取得システムを提供することを目的とする。
【００１２】
かかる目的を達成するため請求項１に記載の発明は、平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、四隅のマークの最外辺を結ぶ表示領域に管理対象物を特定するデータを人間がそのまま理解可能な文字、図柄又はこれらの組み合わせとして表記されているアイコンとから成ることを特徴とする情報識別用マーカと、情報識別用マーカの画像情報と情報識別用マーカが貼付される管理対象物に関する関連情報とが関連付けされて登録される画像データベースと、管理対象物を撮影する画像入力手段と、画像入力手段により得られる入力画像情報を処理する画像処理手段と、画像処理手段からの出力を表示する利用者端末とを備え、画像処理手段は、入力画像情報から情報識別用マーカを検出して検索用画像情報を得ると共に、マークの色及び背景色と予め記憶された参考色値との色値の違いに基づいて撮影時の照度条件を検出し、検索用画像情報及び画像データベースに登録される入力画像情報の色値を参考色値に一致させる補正を行い、補正がされた検索用画像情報を用いて画像データベースに登録されている既登録情報識別用マーカの画像情報と比較照合し、一致若しくは最も類似する既登録情報識別用マーカに関連付けられている管理対象物の関連情報を取り出し、入力画像情報におけるマークの座標位置から情報識別用マーカの画像入力手段に対する三次元的相対位置を検出し、入力画像情報に、関連情報及び表示位置を既登録情報識別用マーカの画像情報と三次元的相対位置情報に基づいて補正した管理対象物の特定の部位を指示するガイドを合成して利用者端末に出力表示するようにしている。また、請求項２に記載の発明は、平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、四隅のマークの最外辺を結ぶ表示領域に管理対象物を特定するデータを人間がそのまま理解可能な文字、図柄又はこれらの組み合わせとして表記されているアイコンとから成ることを特徴とする情報識別用マーカを管理対象物に貼付し、この情報識別用マーカを含む管理対象物を画像入力手段によって画像情報として取り込む一方、該入力画像情報から情報識別用マーカを検出して検索用画像情報を得ると共に、マークの色及び背景色と予め記憶された参考色値との色値の違いに基づいて撮影時の照度条件を検出し、検索用画像情報及び画像データベースに登録される入力画像情報の色値を参考色値に一致させる補正を行い、補正がされた検索用画像情報を用いて情報識別用マーカの画像情報とマーカが付される管理対象物の関連情報とが関連付けされて予め登録された画像データベースを検索し、一致若しくは最も類似する既登録情報識別用マーカに関連付けられている管理対象物の関連情報を取り出し、マークの座標位置から情報識別用マーカの画像入力手段に対する三次元的相対位置を検出し、入力画像情報に、関連情報及び表示位置を既登録情報識別用マーカの画像情報と三次元的相対位置情報に基づいて補正した管理対象物の特定の部位を指示するガイドを合成して利用者端末に出力表示するようにしている。
【００１３】
したがって、情報識別用マーカが付された管理対象物の画像情報を用いて画像処理を行なうと、管理対象物識別のための画像処理の対象を四隅のマークに囲まれた情報識別用マーカ内に限定させてアイコンを認識させることができ、かつリファレンス（参照）とする照明の下で検出した背景色及び四隅のマークの色値と入力画像から得た色との違いをもとに、撮影時の照度条件を検出することができ、更に画像情報中の四隅のマークの座標位置より管理対象物の三次元的相対位置を検出することができる。また、アイコンを用いることで情報識別用マーカの貼付者が容易に管理対象物を特定でき、貼付ミスを防止する。また、設備巡視等で、利用者が画像入力手段で情報識別用マーカが付された撮影対象設備を撮影することで、画像入力手段と撮影対象設備との三次元的相対位置や撮影時の照度条件が検出でき、さらに撮影対象設備に関連する有用な情報を即座に利用者に提示できる。また、管理対象物に関連した有用な情報を撮影映像に的確に組み合わせて利用者端末側に表示させることが可能となる。
【００１４】
また、請求項３記載の請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における情報識別用マーカは、四隅のマークの１つが他のマークと異なる色を有するようにしている。したがって、人間の目視によるのは勿論、計算機での情報処理によっても、情報識別用マーカの天地左右が認識可能になる。
【００１５】
また、請求項４記載の請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における情報識別用マーカは、背景色を白色とし、四隅のマークの１つを赤色とし他は緑としている。したがって、赤と緑および背景の白が、相互に色の値が大きく異なり、計算機による色領域の検出が照明状況の違いによらずに安定してできる。
【００１６】
また、請求項５記載の請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における情報識別用マーカは、マークは正方形であり、表示領域の四隅に角を合わせて配置されているものとしている。したがって、情報識別用マーカを検出するための幾何学的条件を容易に設定することができる。
【００２３】
【発明の実施の形態】
以下、本発明の構成を図面に示す実施形態に基づいて詳細に説明する。
【００２４】
図１から図１４に本発明の情報識別用マーカと、この情報識別用マーカを用いて関連情報取得システムを利用する電気設備の巡視点検支援システムの実施の一形態を示す。情報識別用マーカ１は、点検対象となる電気設備等の管理対象物４（以下、単に管理対象物と呼ぶ）に付されるもので、平面上の単色の背景色の中で四角形の表示領域２の四隅にそれぞれ配置される有色のマーク２ａ，２ｂ，２ｃ，２ｄと、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最外辺を結ぶ表示領域２に管理対象物４を特定するデータを人間がそのまま理解可能な文字や図柄又はこれらの組み合わせ等として表記されているアイコン３とから成るものである。
【００２５】
情報識別用マーカ１は、大きく３つの機能を提供するものである。１つは情報識別用マーカ１が付される管理対象物４の識別機能である。１つは情報識別用マーカ１とビデオカメラ等の画像入力機器５との三次元的相対位置の検出機能である。１つは撮影時点の照度条件の検出機能である。これら機能は、情報識別用マーカ１が付された管理対象物４の画像情報に対し後述する所定処理を行なう中で発揮される。
【００２６】
まず、上記機能を発揮する情報識別用マーカ１の構成の好適な一例について説明する。
【００２７】
四隅のマーク２ａ，２ｂ，２ｃ，２ｄは、好ましくは、その中の１つ例えばマーク２ａと他のマーク２ｂ，２ｃ，２ｄとが互いに区別できる異なる色を有するようにしている。これにより、目視による場合は勿論のこと、計算機での情報処理によっても、情報識別用マーカ１の天地左右が認識可能になる。勿論、マーカ１の天地左右を識別する別の手段を講ずる場合には、必ずしも４つのマーク２ａ，２ｂ，２ｃ，２ｄに対して色分けをすることはない。しかしながら、本実施形態では、好適な一例として背景色を白、左上マーク２ａを赤、残りのマーク２ｂ，２ｃ，２ｄの３つを緑としている。この赤と緑および背景の白は、相互に色の値が大きく異なるため、撮影時の照度条件をリファレンスとする照明の下で検出した同じ３つの色値と比較して補正値を求める際に安定して計算できるからである。
【００２８】
マーク２ａ，２ｂ，２ｃ，２ｄは、例えば、本実施形態では同じ大きさの正方形であり、表示領域２の四隅に角を合わせて即ち同じ向きにして、四角形の表示領域２の四隅に配置されている。ここで、各マーク２ａ，２ｂ，２ｃ，２ｄの形状は、正方形に限られず、長方形、台形、三角形、扇形、『形、円、楕円、菱形などのさまざまの形状が使用可能であるが、表示領域２を認識する画像処理を容易にするには表示領域２の四隅の角に合致する角を有する形状、例えば四角形、長方形、台形、三角形、扇形、『形の使用がより好ましく、最も好ましくは画像入力手段５と情報識別用マーカ１との位置関係、即ち撮影位置を３次元的に計算で求める際に図形の歪にその位置関係が正確に反映する正方形の使用である。また、四隅の各マーク２ａ，２ｂ，２ｃ，２ｄは、同じ形状、同じ大きさ、同じ向きで配置されることが好ましいが、場合によっては異なる形状、異なる大きさの、異なる向きのものを組み合わせて使用することも可能である。例えば、マーカ１の向きを定める基準となる色違いのマーク２ａの代わりに、異なる形状、異なる大きさ、異なる向きのマークを採用することも可能である。尚、表示領域２は正方形に限られるものではなく、縦横比が一定であれば長方形のような形状でも良い。
【００２９】
四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最外辺を結ぶ輪郭の内側即ち表示領域２には、管理対象物４を特定するデータを人間がそのまま理解可能な文字や図柄又はこれらの組み合わせ等として表すアイコン３が表記される。アイコン３は、例えば図２に例示するように、情報識別用マーカ１を管理対象物４に貼付する作業者が直に見ることによって管理対象物４を特定できるものであり、人間がそのまま理解できる図柄だけではなく視覚では認識し難い図柄等の濃淡（濃度変化）や描画密度、大きさ、位置等での情報の描画も必要に応じて含まれる識別コードである。なお、アイコン３には、マーク２ａ，２ｂ，２ｃ，２ｄおよび背景色に用いる色以外の色で容易に区別のできる色を用いることが望ましい。照度条件によっては、マーク２ａ，２ｂ，２ｃ，２ｄの色と混同する色を用いると、マーカ検出処理において情報識別用マーカ１の検出精度が下がる場合があるからである。
【００３０】
このように構成された情報識別用マーカ１は、例えば、情報識別用マーカ１が付された管理対象物４の画像情報を用いて、マーク２ａ，２ｂ，２ｃ，２ｄの色と背景色と表示領域２の輪郭を示す四角形の形状との条件より情報識別用マーカ１を検出するマーカ検出処理によって、容易に検出することができる。
【００３１】
ここで、情報識別用マーカ１が付された管理対象物４の画像情報は、画像入力手段例えばデジタルビデオカメラ等のデジタル画像入力機器５によって取り込まれ、画像処理手段でデータベースへの登録のための処理並びにデータベース検索のための処理が行われると共に利用者端末６にフレーム毎の画像データ７（図１あるいは図３参照）として表示される。
【００３２】
本実施形態では、処理高速化のために、例えば図３〜図８に示すように、例えば、縦４８０画素、横６４０画素から成るオリジナルの画像データ（以下、オリジナル画像データと呼ぶ）７を一旦荒くサンプリング（例えば、横８０画素、縦６０画素）して画像データ（以下、サンプリング画像データと呼ぶ）８とし、その上でマーク２ａ，２ｂ，２ｃ，２ｄの検出を行い、その後、検出したマーク２ａ，２ｂ，２ｃ，２ｄを基にオリジナル画像データ７から情報識別用マーカ１を切り出すようにしている。
【００３３】
ただし、サンプリング画像データ８を利用するものに限るものではなく、最初からオリジナル画像データ７の解像度で処理を行うことも勿論可能である。この場合は、サンプリングに起因する検出ミスは起こらない。ただし当然ながら、計算に要するステップ数は格段に増加し、並列処理装置を用いない場合は、同じ演算装置の場合に比して処理速度が遅くなる。
【００３４】
サンプリング画像データ８を利用する場合において、マーカ検出処理にて検出ミスが起こった場合は、例えば、サンプリングの初期値の解像度を上げて再度サンプリングすることで、検出ミスを減らすことができる。
【００３５】
マーカ検出処理の詳細な内容の一例を図１１に示すフローチャートに従って説明する。
【００３６】
先ず、サンプリング画像データ８から、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色即ち本実施形態では赤と緑の領域を検出する（マーカ検出処理；ステップ１）。色領域検出の具体的方法としては、例えば、色を色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ）のＨＳＶ色空間に変換し、色相を厳しく、彩度と明度を緩くして検出するという従来からある色領域検出方法を用いる。これにより照度条件に対して比較的安定して、緑と赤の領域を検出できる。サンプリング画像データ８から検出された赤領域を図５に、緑領域を図６に示す。この段階（マーカ検出処理；ステップ１）では、情報識別用マーカ１でない場所も多数検出していることがわかる。
【００３７】
次に、背景色の情報を用いて、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色領域の絞り込みを行う（マーカ検出処理；ステップ２）。即ち、本実施形態では、白地に赤と、白地に緑という特徴を使って絞り込む。これにより、マーク２ａ，２ｂ，２ｃ，２ｄの色とまぎらわしい色の領域があっても、背景色上にあるもののみが取り出されるため、より確実に四隅のマーク２ａ，２ｂ，２ｃ，２ｄの領域を検出できる。白地に赤という条件で絞り込んだ赤の領域を図７に示す。この例の場合では、オリジナル画像データ７に示すように、左上の赤いサインペンと赤いプラグが白いテーブルの上にあるために当該領域が残っている。白地に緑という条件で絞り込まれた緑の領域を示す図を図８に示す。
【００３８】
次に、四角形の形状条件を用いて、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの領域を絞り込む（マーカ検出処理；ステップ３）。情報識別用マーカ１の四隅のマーク２ａ，２ｂ，２ｃ，２ｄは、四角形（本実施形態では、正方形）の四隅にあるという幾何学的条件を使って、ステップ２までに絞り込まれた候補をさらに絞り込む。例えば、ステップ２までで絞り込まれた、赤の領域と、緑の領域を結ぶベクトルを計算し、それらの組み合わせで、正方形を投影した状態にもっとも近い組み合わせを探し出す。具体的には、例えば、赤（マーク２ａ）から右上の緑（マーク２ｂ）へのベクトルをＬベクトル、赤から左下の緑（マーク２ｃ）へのベクトルをＲベクトル、赤から右下の緑（マーク２ｄ）へのベクトルをＤベクトルとし、Ｌ＋Ｒ＝Ｄにもっとも近い組み合わせを探す。これにより、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの大まかな位置と各々のマーク２ａ，２ｂ，２ｃ，２ｄが情報識別用マーカ１のどの位置（左上、右上、左下、右下）にあるかを検出することができる。図９に正しく情報識別用マーカ１のベクトルを表示した図を示す。これにより、例えば、ステップ２までに絞り込めなかった画面左の赤の領域は、上記条件を満たさず、マーク検出の候補から除外される（図１０）。
【００３９】
なお、実際には、情報識別用マーカ１平面の法線が画像入力機器５の視線とずれる量と、画像入力機器５への接近度合に応じて、上述の四角形の形状条件からずれてくる。ただし、本実施形態では、サンプリング画像データ８で粗く処理を行なっており、斜めから極端に接写しないかぎりは許容誤差範囲であるため、処理の単純さを優先している。
【００４０】
次に、ステップ３にて検出した四隅のマーク２ａ，２ｂ，２ｃ，２ｄの位置を出発点としてオリジナル画像データ７から、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの正確な領域を切り出す（マーカ検出処理；ステップ４）。これにより、オリジナル画像データ７から四隅のマーク２ａ，２ｂ，２ｃ，２ｄに囲まれた正確な表示領域２が検出される（図１２）。なお、切り出しには、例えば、上述したＨＳＶの値のうち、白地との差が大きい彩度（Ｓａｔｕｒａｔｉｏｎ）を優先して、ＨＳＶの閾値を設定し、検出に用いる。四隅のマーク２ａ，２ｂ，２ｃ，２ｄの端を繋ぐと、内部のアイコン３が描かれる正方形の表示領域２になる。
【００４１】
次に、オリジナル画像データ７から取り出される表示領域２に描かれているアイコン３は歪んでいるので、これを平面上の座標に変換し、検索用マーカ画像データ１’を生成する（マーカ検出処理；ステップ５）。生成された検索用マーカ画像データ１’の一例を図１３に示す。
【００４２】
なお、一旦マーカ検出処理（ステップ１〜５まで）が行われ情報識別用マーカ１が検出されると、それ以降は、初期値としてもともと決めておいた赤や緑の色の値を用いず、検出されたマーク２ａ，２ｂ，２ｃ，２ｄの赤や緑の色の値を基準としてステップ１の領域検出を行うことが好ましい。これにより、徐々に照度条件が変化し、赤や緑の色の値が初期値から大幅に変化するような場合でも、色の値を追跡して安定して色領域を検出することができる。
【００４３】
次に、情報識別用マーカ１の色を利用して行われる撮影時の照度条件の検出について説明する。
【００４４】
本発明の情報識別用マーカ１によれば、マーカ検出処理の過程で四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色と背景色の色値が得られる。例えば、本実施形態では、背景色の白と、四隅のマーク２ａ，２ｂ，２ｃ，２ｄに使われる赤及び緑との合計３色の色値が得られる。ここで、色値は一般にＲＧＢもしくはＨＳＶ等の３次元の配列データとして表現される。管理対象物４は同じでも、照明の変化により、オリジナル画像データ７から取得される色値は変化する。
【００４５】
一方、本実施形態においては、これら白・赤・緑の３色は、すべての情報識別用マーカ１に共通した既知の色である。そこで、照度条件検出処理では、所定照度条件の下で参考値として予め取得してある白・赤・緑の３つの色値（以下、参考色値と呼ぶ。）と、オリジナル画像データ７から得られた白・赤・緑の３つの色値（以下、計測色値と呼ぶ。）の違いをもとに、オリジナル画像データ７がどういった照度条件で撮影されたものであるかを計算し、撮影時の照度条件を検出する。
【００４６】
本実施形態では、精度の高い照度条件検出を行なうべく、例えば、画像データ７から得られる３つの色値を基に線形補間して、画像データ７の明るさや大まかな色合いを計測して照度条件を検出する。例えば、得られた照度条件を基に、参考色値の所定照度条件に合わせて、検索用マーカ画像データ１’の照度補正を行なう。
【００４７】
照度補正された検索用マーカ画像データ１’は、例えば画像データベース２０に予め登録されている情報識別用マーカ１の画像データと比較照合され、検索用マーカ画像データ１’と一致若しくは最も類似する既登録情報識別用マーカ１の画像データを検索するようにして、計算機により認識される。この結果、管理対象物４を識別することが可能となり、さらには、管理対象物４の関連情報を情報識別用マーカ１に関連付けて即ちリンクさせて画像データベース２０に登録しておくことで、当該関連情報を情報識別用マーカ１を検索キーとして画像データベース２０から取り出すことが可能となる。なお、関連情報とは、例えば、管理対象物４の名称等の属性情報、管理対象物４の過去の画像情報、担当管理者名、情報識別用マーカ１の貼付日時等、管理対象物４に関連したあらゆる情報を含むものであり、その内容が特に限定されるものではない。
【００４８】
例えば、本実施形態では、検索用マーカ画像データ１’を６４×６４の配列に蓄え、検索キー即ち検索用画像情報として用いる。この場合、各配列の値は、オリジナル画像データ７から抽出された画素の色値に上述の照度補正を用いて補正した値としている。
【００４９】
次に、情報識別用マーカ１とビデオカメラ等の画像入力機器５との三次元的相対位置を検出するマーカ位置検出処理について説明する。三次元的相対位置とは、実際の三次元空間で、情報識別用マーカ１の貼付対象面が画像入力機器５に対しどの方向を向いていて、どのくらい離れているか、という事である。
【００５０】
上述のマーカ検出処理の過程において、オリジナル画像データ７中におけるマーク２ａ，２ｂ，２ｃ，２ｄの正確な座標位置が検出される。これにより、情報識別用マーカ１と画像入力機器５との相対的な三次元位置関係を検出することができる。
【００５１】
まず四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最外辺を結んだ正方形の４頂点の画面上での座標を、ｓ１，ｓ２，ｓ３，ｓ４とする。ｓ１，ｓ２，ｓ３，ｓ４それぞれは四角形（正方形）の左上、右上、左下、右下に相当する。ｓ１からｓ２に向かうベクトルをａベクトル、ｓ１からｓ３に向かうベクトルをｂベクトルとする。
【００５２】
また、実際の三次元空間で、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの三次元座標を、Ｓ１，Ｓ２，Ｓ３，Ｓ４とする。それぞれ正方形の左上、右上、左下、右下に相当する。ここでＳ１からＳ２に向かうベクトルをＡベクトル、Ｓ１からＳ３に向かうベクトルをＢベクトルとする。
【００５３】
Ａ，Ｂ両ベクトルは本来直交しており、かつ長さがあらかじめわかっている。またａ，ｂベクトルはそれぞれＡ，Ｂベクトルの同一平面への射影である。これらの条件をもとにａ，ｂベクトルから、Ａ，Ｂベクトルのｚ成分を計算する。
【００５４】
これによりｚ成分が２組解として求められる。これは射影が平面への奥からの射影なのか、手前からの射影なのか、二つの可能性があるからである。ここで、ｓ２からｓ４へのベクトルをｃベクトル、ｓ３からｓ４へのベクトルをdベクトルとする。すると、以下の条件が成立する。
▲１▼ａベクトルの長さがｄベクトルより長く、かつ、ｂベクトルの長さがｃベクトルの長さより長い場合は、Ｓ１がもっとも手前でＳ４がもっとも奥に位置する。▲２▼ａベクトルの長さがｄベクトルより短く、かつ、ｂベクトルの長さがｃベクトルの長さより長い場合は、Ｓ３がもっとも手前でＳ２がもっとも奥に位置する。▲３▼ａベクトルの長さがｄベクトルより長く、かつ、ｂベクトルの長さがｃベクトルの長さより短い場合は、Ｓ２がもっとも手前でＳ３がもっとも奥に位置する。▲４▼ａベクトルの長さがｄベクトルより短く、かつ、ｂベクトルの長さがｃベクトルの長さより短い場合は、Ｓ４がもっとも手前でＳ１がもっとも奥に位置する。
【００５５】
これらの条件により、ｚ成分の２組解のうち一方の可能性を排除して、１つのｚ成分の組を解とする。なお、ベクトルの長さが等しい場合は上記条件による判定はできないが、この場合は、例えば前フレームの画像データの値を採用することで回避できる。
【００５６】
Ａ，Ｂベクトルが計算されると、その両方に直交するベクトルを計算することができ、それが情報識別用マーカ１平面の法線ベクトルとなる。これら３つのベクトルの値は、画像入力機器５と情報識別用マーカ１との三次元的な相対位置と等価な情報である。この情報を得ることで、例えば、表示画面内に管理対象物４の特定の部位を指示するガイドを三次元的に合成して表示するといった処理が可能となる。
【００５７】
なお、さらに正確な相対位置（距離と角度）を計算するには、使用する画像入力機器５がどういった光学的性質をもっているかを予め計測しておく必要がある。
【００５８】
また、上記マーカ位置検出処理では、演算量を少なくして高速処理を可能とするため、本来ビデオ映像が透視投影になっていることを考慮していない。このため、上述したマーカ検出手法と同様に、ビデオカメラが情報識別用マーカ１に斜めから接写した場合などに誤差を生じるが、その誤差は実用上問題とならない程度のものである。
【００５９】
このような機能を有する情報識別用マーカ１を利用することにより、関連情報取得システムを構成することができる。図１４に、同システムの構成の一例を示す。この関連情報取得システムは、情報識別用マーカ１と、情報識別用マーカ１の画像情報と情報識別用マーカ１が付される管理対象物４の関連情報とが関連付けされて登録される画像データベース２０と、管理対象物４を撮影する画像入力手段５と、画像入力手段５により得られる入力画像情報を処理する画像処理手段１７と、画像処理手段１７からの出力を表示する利用者端末６とから構成されている。
【００６０】
画像処理手段１７は、画像入力手段５から取り込まれる画像情報・ビデオ映像をそのままあるいはビデオシーン毎にマーカ関連情報としてデータベースへ記録すると共に、例えば先に説明したマーカ検出処理により入力画像情報を用いて情報識別用マーカ１を検出して検索用画像情報即ち検索用マーカ画像データ１’を得て、画像データベース２０に登録されている既登録情報識別用マーカ１の画像情報と検索用マーカ画像データ１’とを比較照合し、一致若しくは最も類似する既登録情報識別用マーカ１に関連付けられている管理対象物４の関連情報をデータベース２０から取り出し、関連情報９として利用者端末６の液晶ＴＶ１４に出力表示する。
【００６１】
また、本実施形態の画像処理手段１７では、例えば先に説明した照度条件検出処理により撮影時の照度条件を検出し、適宜検索用マーカ画像データ１’又はデータベース入力画像情報の照度補正を行うようにしている。
【００６２】
さらに、本実施形態の画像処理手段１７では、先に説明したマーカ位置検出処理を実行して情報識別用マーカ１の画像入力手段５に対する三次元的相対位置を検出し、必要に応じて、画像入力手段５から得た入力画像情報・オリジナル画像データ７と要点検箇所Ｐなどを示す関連情報とを合成して利用者端末６に出力表示するようにしている。
【００６３】
画像入力手段５は、例えば、電気設備等を撮像してビデオ映像を作成する電荷結合素子カメラ（以下、ＣＣＤカメラ５と呼ぶ。）である。ＣＣＤカメラ５からのビデオ映像は、例えば、無線インタフェース１０，１１を介し、テレビ電波で画像処理手段１７に送られる。ＣＣＤカメラ５は、非常に小型化されており、手に持って撮像が可能である。
【００６４】
利用者端末６は、例えば、画像処理手段１７から無線インターフェース１２，１３を介してテレビ電波を使って送られてくる画像処理した出力結果を受信し画面表示する液晶ＴＶジョン受像機１４（以下、「液晶ＴＶ１４」という）と、情報処理機能を有し画像処理手段１７とＬＡＮ（ローカル エリア ネットワーク）を経由して双方向情報通信を行う携帯情報端末１５とを有する。液晶ＴＶ１４は、例えば、掌に入る程の外形をしており、手にもって表示画面を見ることが可能である。携帯情報端末１５は、例えば、一人で現場に携帯が可能な大きさに形成されている。
【００６５】
画像処理手段１７及び画像データベース２０は、本実施形態では所定の画像処理及びデータベース処理を実行するプログラムとコンピュータシステム１６によって実現されている。コンピュータシステム１６は、画像処理等の各種の演算処理を実行する画像処理装置１７と、画像データベース２０並びにビデオデータ１９を格納する大容量外部記憶装置１８と、無線インタフェース１１，１３と、その他図示しないが、ディスプレイ、キーボード、マウス等の入出力装置や、利用者端末６とのＬＡＮ通信インターフェース等を備える。画像処理装置１７は、図示していないが、演算処理部、主メモリ、ＲＯＭ、入出力インターフェース等を備えており、適宜、主メモリ上に記憶される本発明を実現する処理プログラムに基づいて演算処理部が各画像情報の処理や各種の演算処理を実行し、本発明に係る各種の機能２１〜２８を実現する。
【００６６】
ビデオ映像録画・再生機能２１は、例えば、ＣＣＤカメラ５から送られるビデオ映像を、そのままモーションＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のビデオデータ１９として大容量外部記憶装置１８に蓄えて画像処理装置１７の制御下に録画・再生を可能とする機能である。
【００６７】
マーカ検出機能２３は、マーカ検出処理を実行して検索用マーカ画像データ１’を得る機能である。照度補正機能２４は、照度条件検出処理を実行してマーカ検出処理より得る検索用マーカ画像データ１’又はデータベース機能２２で得られた入力画像情報の照度補正を適宜行う機能である。マーカ検索機能２５は、検索用マーカ画像データ１’と画像データベース装置１８の登録済マーカ・関連情報データベース２０に登録されている既登録情報識別用マーカ１の画像情報とを比較照合し、一致若しくは最も類似する既登録情報識別用マーカ１を検索して、管理対象物４の関連情報を取り出すための機能である。マーカ位置検出機能２６は、マーカ位置検出処理を実行する機能である。
【００６８】
オーバレイ映像表示機能２７は、例えば、関連情報のうちＣＣＤカメラ５から得た画像情報にオーバレイ（重ね表示）すべき情報がある場合に、マーカ位置検出機能２６より得られる情報識別用マーカ１のＣＣＤカメラ５に対する三次元的相対位置情報を基に、ＣＣＤカメラ５から得た入力画像情報と関連情報取得処理より得た関連情報とを合成して、利用者端末６側でオーバレイ表示させるための機能である。例えば、点検箇所の指示や設備の操作方法などを具体的な場所を示しながら指示することも可能である。
【００６９】
関連情報登録・提示機能２８は、携帯情報端末１５に関連情報を出力表示すると共に、携帯情報端末１５からの関連情報の入力要求を受付て、画像データベース２０への関連情報の登録を可能とする機能である。
【００７０】
本実施形態の画像データベース装置は、大容量外部記憶装置１８から成り、情報識別用マーカ１及びその関連情報を蓄積しデータベース２０を構築するものである。
【００７１】
データベース機能２２は、入力されるビデオ映像を自動的にシーン毎に分割してマーカ１に関連した形でデータベース２０に自動登録するものである。また、図示していないが、例えば、画像区切処理機能と、登録処理可能の他に、変化特徴抽出機能を与えることによって、設備表面の特定の場所や錆、しみ等の特記事項の記録・検索を可能にすることもできる。画像処理装置１７により、主メモリにある処理プログラムに従って、画像区切処理手段と、登録処理手段、更には必要に応じて変化特徴抽出手段と検索処理手段とが実現され、データベース２０が構築される。
【００７２】
即ち、ＣＣＤカメラ５で撮像したビデオ映像は、無線インターフェース１０，１１を介しコンピュータシステム１６の画像処理装置１７に入力されると、フレーム間の差分をとり当該差分が所定の比較値から大きく逸脱したときに変化があったと判断してビデオ映像を時区間に区切る。そして、シーン毎に分割された画像は、当該マーカ１に関連した形でデータベース２０に登録される。また、錆やしみ等の特記事項の変化を検出する必要がある場合には、フレーム毎にビデオ映像の色情報が変化した部分の色パターンを変化特徴として抽出して変化のあった画素周辺を部分グリッドとして取り出すとともに、これら部分グリッドを画像区切処理工程で区切った時区間単位に含まれる画像の中から集計する。これにより、フレーム毎に色が変化した部分の色パターンを抽出し、色パターンの集合を得る。そして、変化特徴抽出工程で集計された部分グリッドは、当該マーカに関連した形でデータベース２０に登録される。
【００７３】
この一連の処理は、例えば、ＣＣＤカメラ５からビデオ映像の入力がある限り継続して実行されるようにする。
【００７４】
〔画像区切処理の説明〕
画像区切処理は、図１５に示すフローチャートのように、例えばフレーム間の色の変化を基本として時区間を区切るようにしている。この画像区切処理は、例えば、色変化フレーム間差分を取り、その過去数フレーム分の平均値（これを、「比較値」という）を基準とし、この基準から大きく逸脱した場合に変化があったと判定している。具体的には、次のようにしている。
【００７５】
まず、各フレーム画像の計算量を削減するため、例えばニアレストネイバー法を使用して取込みビデオ映像を粗く縮小する（Ｓ３０１）。次いで、縮小された画像の各画素値をc(x,y)として、フレーム間差分計算処理手段によりフレーム間差分dfを計算する（Ｓ３０２）。
【００７６】
このＳ３０２における計算（すなわち、フレーム間差分計算処理手段による計算）は、次のようにして行う。現在の各画素値をc(x,y)とし、一つ前のフレーム画素値をc'(x,y) とし、その差を取ったものをd とすると、
【数１】
d＝c(x,y)−c'(x,y)
が得られる。そして、この dをｓ(d) に代入することにより、
【数２】
【００７７】
ここでは、画素値の差分は、赤（Ｒ）、青（Ｂ）、グリーン（Ｇ）の距離空間での距離とした。なお、色はＲＧＢのそれぞれを１０段階とする１０００色に規格化している。
【００７８】
さらに、s(d)として次のステップ関数を利用している。すなわち、
【数３】
【００７９】
次に、フレーム間差分の過去ｎフレーム分の平均値（比較値）をdfn とし、これの比較値dfn を基に、あるフレームk の状態を次の３つの状態に分類する（Ｓ３０３， Ｓ３０６）。これらＳ３０３，Ｓ３０６の処理は、具体的には、フレーム状態決定手段により実行される。
【００８０】
まず、 数式４の計算をする（Ｓ３０３）。
【数４】
dfn＋ dfn×b ＋o
もし、df＞ dfn＋ dfn×b ＋o ならば（Ｓ３０４；ＹＥＳ）、フレームk は活性であるとする（Ｓ３０５）。
【００８１】
Ｓ３０４でＮＯと判定されたときには、
【数５】
dfn−dfn ÷c −o
の計算をし（Ｓ３０６）、仮に、df＜ dfn−dfn÷c −o ならば（Ｓ３０７；ＹＥＳ）、フレームk は沈静であるとする（Ｓ３０８）。
【００８２】
ステップ３０４及びステップ３０７でＮＯと判定されたときには（Ｓ３０７；ＮＯ）、フレームk は定常であるとする（Ｓ３０９）。
【００８３】
ここで、定数b ，c は逸脱範囲を決めるパラメータである。定数ｏはノイズの影響を免れるためのオフセット値である。
【００８４】
このように過去の平均値と現に入力されているフレームとを比較することにより、人間の視野における残像のような画像の処理が行われることになる。
【００８５】
そして、画像区切処理において状態遷移判定は、フレームの状態をフレーム毎に計算し、同じ状態がｍフレーム連続した場合に（Ｓ３１０；ＹＥＳ）、状態遷移が確定したとしている（Ｓ３１１）。もちろん、同じ状態がｍフレーム続かない場合には（Ｓ３１０；ＮＯ）、状態遷移は確定しないものとする。そして、どちらの場合も、通常は（Ｓ３１２；ＮＯ）、再び、最初のステップ３０１に戻って処理を継続させる。また、画像区切処理は、処理停止指令があったときに（Ｓ３１２；ＹＥＳ）、上記画像処理を停止する。
【００８６】
ここで、パラメータｍを小さくすると時間的な変化に敏感になり、パラメータｍを大きくすると時間的な変化に鈍感になる。この実施の形態では、ｍ＝３とし、３フレーム以上同じ状態が連続した場合、「定常」、「活性」、「沈静」の３状態を確定している。また、状態で確定した時点を変化点としている。
【００８７】
このような画像区切処理によれば、ＣＣＤカメラ５におけるビデオ映像の変化が小さいときは小さな変化に敏感になり、大きく変化しているビデオ映像では少々の映像の変化は無視されるように動作することになる。
【００８８】
以上のような画像処理装置１７によれば、ＣＣＤカメラ５から入力されるビデオ映像を、設備状態の変化や視野内への進入物、巡視者の移動などに応じて自動的にシーンを分割し、その場ですぐさまデータベース２０に登録することが可能であり、さらに、過去の類似ビデオ映像を関連情報として利用者に提示することが可能となる。なお、図１４中のデータベース機能２２は、画像データベース装置１８の画像区切処理、変化特徴抽出処理、登録・検索処理を実行する機能を表す。
【００８９】
以上のように構成される関連情報取得システムを、例えば、設備巡視点検の支援システムとして用いた一例について説明する。この場合、関連情報は、例えば、管理対象物となる設備４のプロファイル（設備名称、担当管理者等の属性）情報、操作マニュアル、点検記録、レポート、登録空間位置、過去の巡視ビデオ映像等、作業者の巡視点検を支援するための有用な情報である。なお、関連情報の内容が特にこれに限定されるものではない。
【００９０】
先ず、情報識別用マーカ１を巡視点検の対象となる設備４に貼付する。ここで、情報識別用マーカ１のアイコン３は、作業者に設備４を連想させる文字や図柄又はこれらの組み合わせ等であるため、人的要因による情報識別用マーカ１の貼付ミスを削減することができる。
【００９１】
次いで、情報識別用マーカ１をデータベース２０に例えば次のようにして登録する。情報識別用マーカ１を貼付した設備４をＣＣＤカメラ５により撮影する。ＣＣＤカメラ５のビデオ映像は、コンピュータシステム１６に送られ、ビデオ映像録画・再生機能２１により、そのままモーションＪＰＥＧのビデオデータ１９として録画される。それと同時に、マーカ検出機能２３により情報識別用マーカ１が検出される。そして、例えば、携帯情報端末１５より設備名称等のプロファイル情報を入力すると、関連情報登録・提示機能２８を介して、データベース２０に情報識別用マーカ１及びプロファイル情報が登録される。
【００９２】
以後、この情報識別用マーカ１をＣＣＤカメラ５に写すと、ＣＣＤカメラ５のビデオ映像はビデオ映像録画・再生機能２１に送られると同時に、データベース機能２２に送られ、シーンの区切り目が検出され、情報識別用マーカ１の関連情報の一つとしてデータベース２０に保存される。
【００９３】
また、ビデオ映像はマーカ検出機能２３へ送られ、照度補正機能２４により照度補正され、マーカ検索機能２５により、撮影される情報識別用マーカ１と一致若しくは最も類似する既登録情報識別用マーカ１が検索されて、管理対象物４の関連情報が取り出される。そして、関連情報登録・提示機能２８を介して携帯情報端末１５に関連情報が表示される。
【００９４】
なお、表示できる関連情報が複数項目ある場合は、例えば、作業者が知りたい関連情報を指定することができるように、携帯情報端末１５に選択可能な関連情報９を図１に示すようにメニュー表示するようにしても良い。利用者が携帯情報端末１５にて関連情報を選択すると、携帯情報端末１５からその旨が関連情報登録・提示機能２８に送られ、関連情報登録・提示機能２８では当該選択された関連情報が携帯情報端末１５に表示されるようにする。これにより、作業者は、設備４に関連した設備管理情報、操作マニュアル、点検記録、以前の巡回映像等の関連情報を適宜その場で簡単に見ることができる。
【００９５】
さらに、オーバレイすべき情報がある場合は、マーク位置検出機能２６及びオーバレイ映像表示機能２７により、ＣＣＤカメラ５から得たビデオ映像中の設備４の所望の場所に関連情報がオーバレイされ、その映像は利用者の手元の液晶ＴＶ１４に表示される。これにより、例えば、設備４における点検すべき箇所等が具体的に指示される。図１の矢印Ｐは、このオーバレイ表示された場合の一例を示す。
【００９６】
また、設備４表面の特定の場所を関連情報としてデータベース２０に記録する場合は、例えば次のようにして行なう。携帯情報端末１５のインターフェース画面上において当該記録したい場所をペン入力装置やマウス等のポインティングデバイスでクリックにより指定する。すると、当該指定された場所と情報識別用マーカ１との三次元的相対位置情報が、関連情報登録・提示機能２８を介して、関連情報の一つとしてデータベース２０に登録される。そして、以後、マーク位置検出機能２６及びオーバレイ映像表示機能２７により、登録された当該位置情報は液晶ＴＶ１４の画面上にオーバレイして表示することが可能となる。これにより、例えば、設備４の操作方法や必要点検個所を具体的な場所を指示しながら示すことが可能となる（図１の矢印Ｐ）。
【００９７】
また、例えば、設備４表面の錆やしみなどの特記事項を関連情報としてデータベース２０に記録することで、検索対象とすることもできる。さらに、錆等の色情報を登録又は検索する際に、照度補正機能２４により撮影時の照度条件を考慮して照度補正することで、検索精度を大幅に上げることができる。これにより、例えば、関連情報の一つとして過去の巡回映像を蓄積しておけば、これら関連情報を巡視点検の現場で効率的に取り出すことができ、同一設備４の過去の画像情報と現在の画像情報とを比較して錆の進行等をその場で容易に確認できる。
【００９８】
なお、上述の関連情報取得システムの構成は一例であり、これに限定されるものではない。例えば、関連情報取得システムの諸機能２１〜２８を１台のコンピュータシステム１６上で実行せず、複数のコンピュータシステム１６で分散処理させるようにしても良い。また、上述した液晶ＴＶ１４と携帯情報端末１５との両機能を備える一体型の利用者端末６を構成するものとしても良い。さらに、利用者端末６がＣＣＤカメラ５の機能を有するものとしても良い。また、利用者端末６、ＣＣＤカメラ５と計算機１６との通信インターフェース及び通信プロトコルは特に限定されるものでなく、例えば、すべて無線化するものとしても良い。
【００９９】
以上のように、本発明の情報識別用マーカ１によれば、管理対象物４の識別機能、撮影時の照度条件の検出機能、管理対象物４の三次元的相対位置の検出機能の３つの機能を１のマーカで同時に達成することが可能である。
【０１００】
即ち、本発明の情報識別用マーカ１では、作業者が管理対象物４を容易に特定できるアイコン３を用いているので、情報識別用マーカ１を管理対象物４へ貼付する際にミスを防止することができる。また、当該アイコン３自体がコンピュータシステム１６が認識対象とする識別コードとなるため、コンピュータシステム１６が読取可能なコードと人間が理解可能な文字や図柄とをあらためて対応付ける必要はなく、マーカ管理を容易に行なえる。
【０１０１】
さらに、情報識別用マーカ１の四隅のマーク２ａ，２ｂ，２ｃ，２ｄにより、管理対象物４識別のための画像処理の対象を情報識別用マーカ１内に限定させることが可能となり、計算機による画像処理の負担を軽減させることができる。
【０１０２】
さらに、情報識別用マーカ１の背景色と四隅のマーク２ａ，２ｂ，２ｃ，２ｄの色を参考色として、撮影時の照度条件を検出することが可能であるから、照度条件を考慮した精度の高い画像検索が可能となる。これにより、錆などの設備表面の色が点検項目の一つである場合には、照度条件を揃えた状態で比較できるため、正確な点検が容易に可能となる。また、画像データベース２０に対して、色情報を登録又は検索する際に、この照度条件を考慮して登録又は検索することで検索精度を大幅に上げることができる。
【０１０３】
さらに、情報識別用マーカ１の四隅のマーク２ａ，２ｂ，２ｃ，２ｄにより、管理対象物４の三次元的相対位置を検出することで、撮影される映像に関連した有用な情報を撮影映像に的確に組み合わせることが可能となる。これにより、有用な作業支援システムを構築することができる。
【０１０４】
本発明の情報識別用マーカ１を用いた関連情報取得システムによれば、ＣＣＤカメラ５で情報識別用マーカ１が付された管理対象物４を撮影するだけで、ＣＣＤカメラ５と管理対象物４との三次元的相対位置や撮影時の照度条件が検出でき、さらに設備４に関連する有用な情報を即座に利用者に提示できるので、作業を効果的に支援することができる。
【０１０５】
なお、上述の実施形態は本発明の好適な実施の一例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。
【０１０６】
例えば、マーカ検出処理の速度向上のために、一旦マーカが認識された後は、次のフレームではその近傍のみを検索するようにしても良い。
【０１０７】
また、情報識別用マーカ１表面とカメラの間で鏡面関係が結ばれると、いわゆる「てかり」の状態になり、瞬間的に色が変化してしまい情報識別用マーカ１の検出に失敗する場合がある。これに対し、例えば、従来道路標識などに使われている再帰性反射材などを用いて、このような問題を軽減するようにしても良い。
【０１０８】
また、より精密な照度補正を行いたい場合には、上述の実施形態で示した３色（赤、緑、白）での補正では十分でない場合がありえる。その場合はマーカ上に追加の色リファレンスを加えることで精度向上を計るようにしても良い。例えば、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの内側にさらに異なる色を有するマーク２ａ’，２ｂ’，２ｃ’，２ｄ’を付加したり、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの全てを互いに異なる色にするようにしても良い。
【０１０９】
また、ＣＣＤカメラ５が情報識別用マーカ１から離れて、ビデオ映像中で情報識別用マーカ１の占める領域が小さくなるに従って、既登録情報識別用マーカとの照合に用いる検索用画像データ１’は粗いものになり、それに応じて識別精度が落ちる場合がある。この場合、例えば、ビデオ映像中で情報識別用マーカ１の占める領域が所定大きさ以下であれば、マーカ検出機能２３にてこれを認識し、関連情報登録・提示機能２８を介して、情報識別用マーカ１に向かってカメラを近づける或いはズームアップする旨の指示を利用者端末６に出力するようにしても良い。
【０１１０】
以上の説明から明らかなように、請求項１記載の情報識別用マーカを用いた関連情報取得システム及び請求項２に記載の情報識別用マーカを用いた関連情報取得方法によると、平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、四隅のマークの最外辺を結ぶ表示領域に管理対象物を特定するデータを人間が理解可能な文字や図柄又はこれらの組み合わせ等として表記されているアイコンとから成るものとしているので、情報識別用マーカが付される管理対象物の識別機能、撮影時点の照度条件の検出機能、情報識別用マーカと画像入力機器との三次元的相対位置の検出機能とを１のマーカで同時に満たすことが可能となる。また、画像処理の対象を情報識別用マーカ内に限定させることで計算機による画像処理の負担を軽減させることができ、照度条件を検出することで照度条件を考慮した精度の高い画像検索が可能となり、三次元的相対位置を検出することで撮影される映像に関連した有用な情報を撮影映像に的確に組み合わせることが可能となる。さらに、人間がそのまま理解可能なアイコンを用いて、容易に管理対象物を特定できるものとして、対象物への貼付ミスを防止することができる。また、当該アイコン自体が計算機が認識対象とする識別コードとなるため、計算機が読取可能なコードと人間が理解可能な文字や図柄とをあらためて対応付ける必要はなく、マーカ管理を容易に行なえる。また、利用者が画像入力手段で情報識別用マーカが付された撮影対象設備を撮影するだけで、管理対象物を特定し、さらには管理対象物に関連する有用な情報を即座に利用者に提示できる。したがって、設備巡視等の点検作業等に利用すれば、その作業を効果的に支援することができる。さらに、管理対象物に関連した有用な情報を撮影映像に的確に組み合わせて利用者端末側に表示させることが可能となる。これにより、有用な作業支援システムを構築することができる。
【０１１１】
さらに、請求項３記載の情報識別用マーカでは、四隅のマークの１つが他のマークと異なる色を有するようにしているので、人間の目視によるのは勿論、計算機での情報処理によっても、情報識別用マーカの天地左右が認識可能になる。
【０１１２】
さらに、請求項４記載の情報識別用マーカでは、背景色を白色とし、四隅のマークの１つを赤色とし他は緑としているので、赤と緑および背景の白が相互に色の値が大きく異なり、計算機による色領域の検出が照明状況の違いによらずに安定して行なえる。
【０１１３】
さらに、請求項５記載の情報識別用マーカでは、マークを正方形とし、表示領域の四隅に角を合わせて配置されるものとしているので、情報識別用マーカを検出するための幾何学的条件を容易に設定することができる。
【図面の簡単な説明】
【図１】本発明の情報識別用マーカの実施の一形態を示した概略構成図である。
【図２】本発明の情報識別用マーカの例を示す図であり、（Ａ）から（Ｆ）は様々なアイコンを有する情報識別用マーカの例を示す。
【図３】マーカ検出処理において、画像入力手段より得られたオリジナルの画像データを示す図である。
【図４】マーカ検出処理において、画像データを粗くサンプリングした画像データを示す図である。
【図５】マーカ検出処理において、サンプリングした画像データから検出された赤領域を示す図である。
【図６】マーカ検出処理において、サンプリングした画像データから検出された緑領域を示す図である。
【図７】図５に示す赤領域から、白地に赤という条件で絞り込んだ赤領域を示す図である。
【図８】図６に示す緑領域から、白地に緑という条件で絞り込んだ緑領域を示す図である。
【図９】マーカ検出処理において、四角形の形状条件の一例を示す示す図である。
【図１０】マーカ検出処理において、四角形の形状条件による絞込みの一例を示す示す図である。
【図１１】マーカ検出処理の一例を示すフローチャートである。
【図１２】マーカ検出処理において、オリジナルの画像データから情報処理識別マーカの領域を検出する例を示す図である。
【図１３】マーカ検出処理において、生成された検索用画像データの一例を示す図である。
【図１４】本発明の情報識別用マーカを用いた関連情報取得システムの実施の一形態を示すブロック図である。
【図１５】ビデオ画像の自動画像区切処理の処理フローチャートの一例である。
【符号の説明】
１ 情報識別用マーカ
１’ 検索用マーカ画像情報
２ 表示領域
２ａ 左上のマーク（四隅のマーク）
２ｂ 右上のマーク（四隅のマーク）
２ｃ 左下のマーク（四隅のマーク）
２ｄ 右下のマーク（四隅のマーク）
３ アイコン
４ 管理対象物
５ ＣＣＤカメラ（画像入力手段）
６ 利用者端末
７ 入力画像（オリジナル画像データ）
９ 関連情報
１６ コンピュータシステム
１７ 画像処理手段
２０ データベース
Claims (5)
- 平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、前記四隅のマークの最外辺を結ぶ表示領域に前記管理対象物を特定するデータを人間がそのまま理解可能な文字、図柄又はこれらの組み合わせとして表記されているアイコンとから成ることを特徴とする情報識別用マーカと、前記情報識別用マーカの画像情報と前記情報識別用マーカが貼付される管理対象物に関する関連情報とが関連付けされて登録される画像データベースと、前記管理対象物を撮影する画像入力手段と、前記画像入力手段により得られる入力画像情報を処理する画像処理手段と、前記画像処理手段からの出力を表示する利用者端末とを備え、前記画像処理手段は、前記入力画像情報から前記情報識別用マーカを検出して検索用画像情報を得ると共に、前記マークの色及び前記背景色と予め記憶された参考色値との色値の違いに基づいて撮影時の照度条件を検出し、前記検索用画像情報及び前記画像データベースに登録される入力画像情報の色値を前記参考色値に一致させる補正を行い、前記補正がされた前記検索用画像情報を用いて前記画像データベースに登録されている既登録情報識別用マーカの画像情報と比較照合し、一致若しくは最も類似する既登録情報識別用マーカに関連付けられている前記管理対象物の関連情報を取り出し、前記入力画像情報における前記マークの座標位置から前記情報識別用マーカの前記画像入力手段に対する三次元的相対位置を検出し、前記入力画像情報に、前記関連情報及び表示位置を前記既登録情報識別用マーカの画像情報と三次元的相対位置情報に基づいて補正した管理対象物の特定の部位を指示するガイドを合成して前記利用者端末に出力表示することを特徴とする情報識別用マーカを用いた関連情報取得システム。
- 平面上の単色の背景色の中で四角形の四隅にそれぞれ配置される有色のマークと、前記四隅のマークの最外辺を結ぶ表示領域に前記管理対象物を特定するデータを人間がそのまま理解可能な文字、図柄又はこれらの組み合わせとして表記されているアイコンとから成ることを特徴とする情報識別用マーカを管理対象物に貼付し、この情報識別用マーカを含む前記管理対象物を画像入力手段によって画像情報として取り込む一方、該入力画像情報から前記情報識別用マーカを検出して検索用画像情報を得ると共に、前記マークの色及び前記背景色と予め記憶された参考色値との色値の違いに基づいて撮影時の照度条件を検出し、前記検索用画像情報及び前記画像データベースに登録される入力画像情報の色値を前記参考色値に一致させる補正を行い、前記補正がされた前記検索用画像情報を用いて前記情報識別用マーカの画像情報と前記マーカが付される前記管理対象物の関連情報とが関連付けされて予め登録された画像データベースを検索し、一致若しくは最も類似する既登録情報識別用マーカに関連付けられている前記管理対象物の関連情報を取り出し、前記マークの座標位置から前記情報識別用マーカの前記画像入力手段に対する三次元的相対位置を検出し、前記入力画像情報に、前記関連情報及び表示位置を前記既登録情報識別用マーカの画像情報と三次元的相対位置情報に基づいて補正した前記管理対象物の特定の部位を指示するガイドを合成して利用者端末に出力表示することを特徴とする情報識別用マーカを用いた関連情報取得方法。
- 請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における前記情報識別用マーカは、前記四隅のマークの１つが他のマークと異なる色を有することを特徴とする情報識別用マーカ。
- 請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における前記情報識別用マーカは、前記背景色は白色であり、前記四隅のマークの１つが赤色で他は緑であることを特徴とする情報識別用マーカ。
- 請求項１に記載の情報識別用マーカを用いた関連情報取得システムまたは請求項２に記載の情報識別用マーカを用いた関連情報取得方法における前記情報識別用マーカは、前記マークは正方形であり、前記表示領域の四隅に角を合わせて配置されていることを特徴とする情報識別用マーカ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000239138A JP3802737B2 (ja) | 2000-08-07 | 2000-08-07 | 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000239138A JP3802737B2 (ja) | 2000-08-07 | 2000-08-07 | 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002056371A JP2002056371A (ja) | 2002-02-20 |
| JP3802737B2 true JP3802737B2 (ja) | 2006-07-26 |
Family
ID=18730727
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000239138A Expired - Fee Related JP3802737B2 (ja) | 2000-08-07 | 2000-08-07 | 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3802737B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5190481B2 (ja) * | 2010-03-08 | 2013-04-24 | 日本電信電話株式会社 | 画像表示システム及び画像表示方法 |
| US8855421B2 (en) * | 2011-04-25 | 2014-10-07 | Fuji Xerox Co., Ltd. | Methods and apparatuses for Embedded Media Marker identification |
| JPWO2014013685A1 (ja) * | 2012-07-18 | 2016-06-30 | 日本電気株式会社 | 撮影状態識別マーカ、管理情報取得装置、管理情報取得方法、および、管理情報取得プログラム |
| JP2015156413A (ja) * | 2014-02-20 | 2015-08-27 | 共立電気計器株式會社 | プリント基板の真贋判定システム |
| JP6188601B2 (ja) * | 2014-02-25 | 2017-08-30 | Kddi株式会社 | 変化検出装置、方法及びプログラム |
| JP6445935B2 (ja) * | 2015-06-24 | 2018-12-26 | 日本電信電話株式会社 | 作業支援装置、作業支援方法及び作業支援プログラム |
| JP2017041152A (ja) * | 2015-08-20 | 2017-02-23 | 株式会社沖データ | 無人搬送システム |
| JP6736204B2 (ja) * | 2016-10-21 | 2020-08-05 | 日本電信電話株式会社 | 作業支援方法、作業支援プログラム及び作業支援装置 |
| US20200134873A1 (en) * | 2017-07-03 | 2020-04-30 | Sumitomo Electric Industries, Ltd. | Image processing device, computer program, and image processing system |
| JPWO2020121626A1 (ja) * | 2018-12-12 | 2021-10-21 | 住友電気工業株式会社 | 画像処理装置、コンピュータプログラム、および画像処理システム |
-
2000
- 2000-08-07 JP JP2000239138A patent/JP3802737B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002056371A (ja) | 2002-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6016268B2 (ja) | フィールド作業支援装置、方法及びプログラム | |
| CN111275759B (zh) | 基于无人机双光影像融合的变电站刀闸温度检测方法 | |
| TWI550549B (zh) | 圖像處理裝置及圖像處理方法 | |
| JP4970195B2 (ja) | 人物追跡システム、人物追跡装置および人物追跡プログラム | |
| US8509490B2 (en) | Trajectory processing apparatus and method | |
| JP5456159B2 (ja) | 背景から前景の頭頂部を分離するための方法および装置 | |
| JP5421624B2 (ja) | 三次元計測用画像撮影装置 | |
| JP5002144B2 (ja) | 三次元計測用投影装置及びシステム | |
| US20050234333A1 (en) | Marker detection method and apparatus, and position and orientation estimation method | |
| US20080104011A1 (en) | Retrieval System and Retrieval Method | |
| JP2010219825A (ja) | 三次元計測用画像撮影装置 | |
| JP3802737B2 (ja) | 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法 | |
| JP5674465B2 (ja) | 画像処理装置、カメラ、画像処理方法およびプログラム | |
| JP2010256253A (ja) | 三次元計測用画像撮影装置及びその方法 | |
| CN111209870A (zh) | 一种双目活体摄像头快速配准方法及其系统和装置 | |
| KR20180038241A (ko) | 영상 제공 장치 및 방법 | |
| JP2005309746A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| WO2012081319A1 (ja) | 映像監視装置 | |
| TW201546699A (zh) | 運用使用者介面上之提示的便箋擷取、辨識及管理 | |
| JP2010256252A (ja) | 三次元計測用画像撮影装置及びその方法 | |
| JP2014053716A (ja) | 画像処理装置及びプログラム | |
| JP3732366B2 (ja) | 画像データベース装置及び画像データベース作成検索方法 | |
| JP2018182593A (ja) | 画像処理装置、画像処理方法 | |
| JP4328259B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| JP2000030033A (ja) | 人物検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050817 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050914 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051114 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060410 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060426 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060428 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100512 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110512 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120512 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130512 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140512 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |