JP5786900B2 - 情報表示装置及び情報表示方法 - Google Patents

Description

本発明は、情報表示装置及び情報表示方法に関する。

近年、人が知覚する現実環境をコンピュータにより拡張する技術である拡張現実（ＡＲ：Augmented Reality）技術の研究・開発が盛んに行われている。この拡張現実技術を用いた典型例なものとしては、附属のカメラで撮影された画像（現実環境）に対し、撮影された画像に応じた付加情報を重畳させて表示装置に表示するスマートフォン等の携帯端末装置が挙げられる。このような拡張現実技術は、現実環境に対して任意の情報を付加することが可能であるため、ゲーム等の娯楽用途、博物館やイベント会場における案内用途、医療支援用途、その他の様々な用途に応用可能である。

ここで、上記の拡張現実技術は、「ロケーションベースＡＲ」と呼ばれる技術と「ビジョンベースＡＲ」と呼ばれる技術とに大別される。「ロケーションベースＡＲ」とは、ＧＰＳ（Global Positioning System：全地球測位システム）等から得られる位置情報を利用して情報提示を行う技術である。これに対し、「ビジョンベースＡＲ」とは、カメラで撮影された画像の認識結果に基づいて情報提示を行う技術である。尚、「ビジョンベースＡＲ」は、“マーカー”と呼ばれる予め定められた図形を認識して情報提示を行う「マーカー型」のものと、“マーカー”を用いることなく実存する物体を認識して情報提示を行う「マーカーレス型」のものとに分類される。

以下の特許文献１には、「マーカー型のビジョンベースＡＲ」により情報提示を行う装置の一例が開示されている。具体的に、以下の特許文献１には、カメラで撮影された位置情報マーカーの画像から、カメラ位置（マーカーとカメラとの距離）、角度（マーカーに対するカメラの角度）を判別するとともに、マーカーの記述を読み取ってマーカーの位置に関連する情報を取得し、取得した情報をカメラ位置及び角度に適合させてカメラの画像に重畳させて表示する装置が開示されている。

また、以下の特許文献２には、拡張現実技術に関するものではないが、テレビ信号と高速画像処理を行うための信号（画像感知信号）とが重畳された視認性の良い監視画像を得ることが可能な監視カメラ装置が開示されている。具体的に、以下の特許文献２に開示された監視カメラ装置は、画像監視を行うためのテレビ信号を得る監視カメラ手段と、高速画像処理を行うための画像感知信号を得る画像感知手段と、上記テレビ信号と上記画像感知信号とを重畳する信号加算器とを備える。

特開２００５−１１５５００号公報 特開平１１−２３４６５１号公報

ところで、拡張現実技術は、上述した通り、コンピュータによって拡張された現実環境をユーザに提示（表示）することを基本とする技術である。このため、上記の特許文献１等に開示された装置は、撮影対象の明るさや影の有無等の撮影環境に応じてホワイトバランスや露出等を自動的に調整する機能を備えており、カメラで撮影された画像をユーザ（人間）が視認し易いように調整した上で表示するものが殆どである。

このように、カメラで撮影された画像をユーザが視認し易いように調整すれば、撮影環境に拘わらずユーザの視認性を向上させることができると考えられるものの、ユーザが視認し易いように調整された画像は、必ずしも画像認識を行うのに適した画像であるとは限らない。このため、例えば上述した「ビジョンベースＡＲ」においては、カメラで撮影された画像を認識することができずに、付加情報を提供することができない状況が生じ得るという問題がある。

仮に、このような状況が生じてしまった場合に、ユーザが、携帯端末装置の位置や向きを変えながら撮影対象の撮影を続ければ付加情報が表示される可能性は零ではないと考えられる。しかしながら、例えばプラントや工場に設置されたフィールド機器のメンテナンスを支援するために上述した拡張現実技術が用いられる場合には、付加情報が提供されない状況が生じてしまうと、作業効率の低下や作業ミスが引き起こされる可能性が考えられる。

他方、カメラで撮影された画像を、画像認識を行うのに適した画像に調整すれば、付加情報が提供されないという状況は低減されると考えられる。しかしながら、画像認識に適するよう調整された画像は、必ずしもユーザが認識しやすい画像であるとは限らない。このため、カメラで撮影された画像に付加情報が重畳された画像の表示は行われているものの、視認性が極めて悪いため、ユーザが画像や付加情報を認識することができないという状況が生じ得るという問題がある。このような状況が生じた場合にも、作業効率の低下や作業ミスが引き起こされる可能性が考えられる。

本発明は上記事情に鑑みてなされたものであり、撮影環境に拘わらずユーザの視認性及び画像の認識率を向上させることができる情報表示装置及び情報表示方法を提供することを目的とする。

上記課題を解決するために、本発明の情報表示装置は、画像を撮影する撮影装置（１１）と、該撮影装置で撮影された画像を表示する表示装置（１２）とを備える情報表示装置（１０、３０）において、前記撮影装置で撮影された画像を補正して前記表示装置の表示に適した第１画像を出力する第１補正手段（１３、２１ａ、２２ａ）と、前記撮影装置で撮影された画像を補正して画像の認識処理に適した第２画像を出力する第２補正手段（２１ｂ、２２ｂ、３１）と、前記第２補正手段から出力される前記第２画像の認識処理を行う認識手段（２３）と、前記認識手段の認識結果に応じた付加情報を、前記第１補正手段から出力される前記第１画像に重ねて前記表示装置に表示させる表示制御手段（２５、２６）とを備えることを特徴としている。
この発明によると、撮影装置で撮影された画像が、表示に適した第１画像に補正されて出力されるとともに画像の認識処理に適した第２画像に補正されて出力され、第２画像に対して行われた認識処理の認識結果に応じた付加情報が、第１画像に重ねて表示装置に表示される。
また、本発明の情報表示装置は、前記第１補正手段が、撮影環境における明るさを検出するセンサ（１３）と、前記センサの検出結果に応じて画像の補正量を調整する第１調整部（２２ａ）と、前記第１調整部で調整された補正量の分だけ前記撮影装置で撮影された画像を補正する第１補正部（２１ａ）とを備えることを特徴としている。
また、本発明の情報表示装置は、前記第２補正手段が、予め規定された参照画像が前記認識手段で認識されたか否かに応じて画像の補正量を調整する第２調整部（２２ｂ、３１）と、前記第２調整部で調整された補正量の分だけ前記撮影装置で撮影された画像を補正する第２補正部（２１ｂ）とを備えることを特徴としている。
また、本発明の情報表示装置は、前記第２調整部が、前記参照画像が前記認識手段で認識された場合における、前記センサの検出結果と画像の補正量とを対応づけたテーブル（ＴＢ）を記憶しており、前記センサの検出結果に対応する画像の補正量を前記テーブルから読み出して画像の補正量の初期値として設定することを特徴としている。
また、本発明の情報表示装置は、前記第２調整部が、前記画像の補正量の初期値を設定した後に、互いに異なる少なくとも２つの画像の補正量を設定したときにおける前記認識手段の認識結果に応じて、前記画像の補正量の調整方法を決定することを特徴としている。
本発明の情報表示方法は、画像を撮影する撮影装置（１１）と、該撮影装置で撮影された画像を表示する表示装置（１２）とを備える情報表示装置（１０、３０）における画像表示方法であって、前記撮影装置で撮影された画像を補正して前記表示装置の表示に適した第１画像を出力する第１ステップ（Ｓ１２）と、前記撮影装置で撮影された画像を補正して画像の認識処理に適した第２画像を出力する第２ステップ（Ｓ１３）と、前記第２ステップで出力される前記第２画像の認識処理を行う第３ステップ（Ｓ１４）と、前記第３ステップの認識結果に応じた付加情報を、前記第１ステップで出力される前記第１画像に重ねて前記表示装置に表示させる第４ステップ（Ｓ１７、Ｓ１９）とを有することを特徴としている。

本発明によれば、撮影装置で撮影された画像を、表示に適した第１画像に補正して出力するとともに画像の認識処理に適した第２画像に補正して出力し、第２画像に対して行った認識処理の認識結果に応じた付加情報を、第１画像に重ねて表示装置に表示しているため、撮影環境に拘わらずユーザの視認性及び画像の認識率を向上させることができるという効果がある。

本発明の第１実施形態による情報表示装置の使用状態を示す図である。 本発明の第１実施形態による情報表示装置の要部構成を示すブロック図である。 本発明の第１実施形態で用いられるマーカーの一例を示す図である。 本発明の第１実施形態による情報表示装置の動作を示すフローチャートである。 本発明の第１実施形態における補正パラメータの調整例を説明するための図である。 本発明の第２実施形態による情報表示装置の要部構成を示すブロック図である。 本発明の第２実施形態における補正パラメータの調整方法の決定の仕方を説明するための図である。

以下、図面を参照して本発明の実施形態による情報表示装置及び情報表示方法について詳細に説明する。

〔第１実施形態〕
図１は、本発明の第１実施形態による情報表示装置の使用状態を示す図である。図１に示す通り、本実施形態の情報表示装置１０は、作業者Ｗ（ユーザ）によって操作され、作業者Ｗがフィールド機器Ｄ１〜Ｄ３のメンテナンス作業をする際に、フィールド機器Ｄ１〜Ｄ３についての作業支援情報（付加情報）を提供可能な装置である。ここで、上記の作業支援情報は、作業者Ｗによるフィールド機器Ｄ１〜Ｄ３のメンテナンス作業を支援し得る任意の情報である。尚、本実施形態では説明を簡単にするために、作業支援情報が、フィールド機器Ｄ１〜Ｄ３の各々に一意に割り当てられたタグ情報（識別情報）であるものとする。

フィールド機器Ｄ１〜Ｄ３は、例えば流量計や温度センサ等のセンサ機器、流量制御弁や開閉弁等のバルブ機器、ファンやモータ等のアクチュエータ機器、プラント内の状況や対象物を撮影するカメラやビデオ等の撮像機器、プラント内の異音等の収集や警報音等の発報を行うマイクやスピーカ等の音響機器、各機器の位置情報を出力する位置検出機器、その他のプラントの現場に設置される機器である。これらフィールド機器Ｄ１〜Ｄ３は、例えばＩＳＡ１００．１１ａやＷｉｒｅｌｅｓｓＨＡＲＴ（登録商標）等に準拠した無線通信、或いはプラント内に敷設された有線のネットワーク（図示省略）を介した有線通信を行う。尚、図１中の符号Ｐ１が付された円柱は、フィールド機器Ｄ１〜Ｄ３が設置されるプラント内の施設（例えば、タンク）を表している。

情報表示装置１０は、カメラ１１で撮影された画像Ｇ１（正確にはホワイトバランスや露出等が補正された後の画像）とフィールド機器Ｄ１〜Ｄ３の作業支援情報であるタグ情報を示す画像Ｇ２とを重ねた画像をタッチパネル１２に表示する。この情報表示装置１０は、「マーカー型のビジョンベースＡＲ」により情報提示を行うものであり、フィールド機器Ｄ１〜Ｄ３に付されたマーカー（予め規定された参照画像）を認識し、認識したマーカーに応じたタグ情報を示す画像Ｇ２を生成する。尚、上記マーカーの詳細については後述する。

図１に示す例において、タッチパネル１２に表示される画像Ｇ１はフィールド機器Ｄ１を撮影して得られた画像（カメラ１１の視野Ｆ内の画像）であり、画像Ｇ２はフィールド機器Ｄ１のタグ情報である文字「Ｄｅｖｉｃｅ０１」が吹き出しにされた画像である。また、情報表示装置１０は、作業者Ｗの操作に応じて、フィールド機器Ｄ１の設定や管理の指示を、不図示のネットワークを介してサーバ装置（図示省略）に送信する。尚、作業者Ｗが情報表示装置１０を使用するには、ＩＤ及びパスワードの入力が必要である。

図２は、本発明の第１実施形態による情報表示装置の要部構成を示すブロック図である。図２に示す通り、情報表示装置１０は、カメラ１１（撮影装置）及びタッチパネル１２（表示装置）に加えて、センサ１３（第１補正手段）、メモリ１４、無線通信装置１５、及び制御装置１６を備える。カメラ１１は、ＣＣＤ（Charge Coupled Device：電荷結合素子）やＣＯＭＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化膜半導体）等の固体撮像素子を備えており、静止画及び動画の撮影が可能である。タッチパネル１２は、液晶表示装置や有機ＥＬ（Electro Luminescence）表示装置等の表示装置とタッチパッド等の位置入力装置とを組み合わせた操作表示装置である。

センサ１３は、情報表示装置１０の筐体に取り付けられた明るさセンサであり、例えばカメラ１１で撮影する際の明るさ（撮影環境における明るさ）を検出するために用いられる。このセンサ１３としては、例えばフォトダイオード、フォトトランジスタ、フォトレジスタ等を用いた照度センサを用いることができる。メモリ１４は、半導体メモリ等の記憶装置或いはハードディスク等の記録装置で実現され、制御装置１６で用いられる各種情報を記憶する。無線通信装置１５は、制御装置１６の制御の下で、Ｗｉ−Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）、３Ｇ／ＬＴＥ（登録商標）等の無線通信規格に準拠した無線通信を行う。

制御装置１６は、フィールド機器Ｄ１〜Ｄ３のタグ情報を示す画像Ｇ２を生成し、カメラ１１で撮影された画像Ｇ１（正確にはホワイトバランスや露出等が補正された後の画像）に対して画像Ｇ２を重ねた画像をタッチパネル１２に表示させる（図１参照）。尚、詳細は後述するが、制御装置１６は、カメラ１１で撮影された画像Ｇ１を、センサ１３の検出結果を用いてタッチパネル１２の表示に適した画像に補正するとともに、画像Ｇ２を生成するために必要となる画像認識に適した画像に補正する。

また、制御装置１６は、作業者Ｗによるタッチパネル１２の操作に応じて、フィールド機器Ｄ１〜Ｄ３の設定や管理の指示をするための指示画面をタッチパネル１２に表示させ、指示画面に対する操作に応じた指示を不図示のネットワークを介してサーバ装置（図示省略）に送信する。尚、本実施形態の情報表示装置１０は、画像Ｇ１，Ｇ２を表示させる処理に特徴があるものであるため、フィールド機器Ｄ１〜Ｄ３の設定や管理についての詳細な説明は省略する。

この制御装置１６は、画像補正部２１ａ（第１補正手段、第１補正部）、画像補正部２１ｂ（第２補正手段、第２補正部）、補正パラメータ調整部２２ａ（第１補正手段、第１調整部）、補正パラメータ調整部２２ｂ（第２補正手段、第２調整部）、対象認識部２３（認識手段）、支援情報管理部２４、重畳画像生成部２５（表示制御手段）、及び表示制御部２６（表示制御手段）を備える。尚、これらの構成のうち、画像補正部２１ｂ、補正パラメータ調整部２２ｂ、対象認識部２３、支援情報管理部２４、及び重畳画像生成部２５は、例えば拡張現実を実現するためのプログラムがＣＰＵ（中央処理装置）によって実行されることによって実現される。

画像補正部２１ａは、カメラ１１で撮影された画像を補正してタッチパネル１２の表示に適した画像（第１画像）を出力する。具体的に、画像補正部２１ａは、補正パラメータ調整部２２ａで調整された補正パラメータを用いてカメラ１１で撮影された画像のホワイトバランスや露出等を補正する。画像補正部２１ｂは、カメラ１１で撮影された画像を補正して対象認識部２３で行われる画像認識に適した画像（第２画像）を出力する。具体的に、画像補正部２１ｂは、補正パラメータ調整部２２ｂで調整された補正パラメータを用いてカメラ１１で撮影された画像のホワイトバランスや露出等を補正する。

補正パラメータ調整部２２ａは、撮影環境に応じて視認性の良い画像がタッチパネル１２に表示されるように、画像補正部２１ａで用いられる補正パラメータを調整する。例えば、補正パラメータ調整部２２ａは、メモリ１４に格納された補正テーブル（センサ１３から出力される検出信号と、視認性の良い画像を表示させ得る補正パラメータとの関係を示すテーブル）を予め読み出しておき、センサ１３から出力される検出信号に応じた補正パラメータを補正テーブルから取得することによって画像補正部２１ａで用いられる補正パラメータの調整を行う。

補正パラメータ調整部２２ｂは、フィールド機器Ｄ１〜Ｄ３に付されたマーカーが対象認識部２３で認識されるように、画像補正部２１ｂで用いられる補正パラメータを調整する。具体的に、補正パラメータ調整部２２ｂは、フィールド機器Ｄ１〜Ｄ３に付されたマーカーが対象認識部２３で認識されたか否かに応じて補正パラメータの調整を行う。例えば、補正パラメータ調整部２２ｂは、対象認識部２３でマーカーが認識されるまで、画像補正部２１ｂで用いられる補正パラメータを予め定められた量だけ段階的に増加（或いは、減少）させる。言い換えると、補正パラメータ調整部２２ｂは、対象認識部２３でマーカーが認識されない間は、画像補正部２１ｂで用いられる補正パラメータを上記の予め定められた量ずつ段階的に変化させる。

対象認識部２３は、画像補正部２１ｂから出力される画像の認識処理を行って、その画像に含まれるマーカーの画像を認識する。図３は、本発明の第１実施形態で用いられるマーカーの一例を示す図である。図３に示す通り、マーカーＭは、例えば矩形環形状のマーカー要素ｍ１と、マーカー要素ｍ１内に配置されたマーカー要素ｍ２とが一面側に設けられた円板形状のプレートである。マーカー要素ｍ１は、マーカーＭを短時間で容易に認識するために設けられた基本図形であり、マーカー要素ｍ２は、マーカーＭの各々に一意に割り当てられた固有情報である。尚、図３に示す例では簡単のために、マーカー要素ｍ２として文字「Ａ」を挙げているが、マーカー要素ｍ２は、複数の文字からなるもの、図形からなるもの、或いは文字と図形との組み合わせからなるもの等であって良い。

対象認識部２３は、画像補正部２１から出力される画像に対して、エッジ抽出処理、矩形認識処理、及びパターンマッチング処理等の処理を行ってマーカーＭの画像を認識する。ここで、上記のエッジ抽出処理は、画像補正部２１から出力される画像の輝度が急激に変化している部分（エッジ）を抽出する処理であり、矩形認識処理は、エッジ抽出処理によって抽出されたエッジから矩形環形状のマーカー要素ｍ１を認識する処理である。

また、パターンマッチング処理は、メモリ１４に格納されたマーカー要素ｍ２のテンプレート画像と、矩形認識処理によって認識されたマーカー要素ｍ１で囲われている部分（図３中の符号Ｒを付した領域（以下、「マーカー領域Ｒ」という））の画像とを比較して、両画像が一致するか否かを判定する処理である。このパターンマッチング処理では、例えば、マーカー要素ｍ２のテンプレート画像とマーカー領域の画像の画像との相関を取る処理が行われ、相関値の高低に応じて両画像が一致するか否かが判定される。尚、パターンマッチング処理で用いられるテンプレート画像は、例えば無線通信装置１５が不図示のサーバと通信を行うことによって更新が可能である。

支援情報管理部２４は、フィールド機器Ｄ１〜Ｄ３の作業支援情報であるタグ情報を管理する。具体的に、支援情報管理部２４は、対象認識部２３でマーカーＭの画像が認識された場合に、対象認識部２３の認識結果に応じたタグ情報をメモリ１４から取得し、取得したタグ情報を示す画像Ｇ２生成する処理を行う。尚、支援情報管理部２４によって管理される情報（メモリ１４に格納されるタグ情報）は、例えば無線通信装置１５が不図示のサーバと通信を行うことによって更新が可能である。

重畳画像生成部２５は、画像補正部２１ａから出力される画像（カメラ１１で撮影された画像であって、ホワイトバランスや露出等が補正された画像Ｇ１）に対して、支援情報管理部２４で生成されたタグ情報を示す画像Ｇ２を重畳した画像を生成する。表示制御部２６は、タッチパネル１２の表示制御を行うとともに、タッチパネル１２を介した入力処理を行う。具体的に、表示制御部２６は、重畳画像生成部２５で生成された画像をタッチパネル１２に表示させる。また、タッチパネル１２に対する作業者Ｗの操作内容に応じて、作業者Ｗの指示内容を制御装置１６に渡す。

次に、上記構成における情報表示装置１０の動作について説明する。図４は、本発明の第１実施形態による情報表示装置の動作を示すフローチャートである。尚、本実施形態の情報表示装置１０には、カメラ１１で撮影された画像をそのままタッチパネル１２に表示する通常表示モードと、カメラ１１で撮影された画像とフィールド機器Ｄ１〜Ｄ３のタグ情報を示す画像等とを重ねてタッチパネル１２に表示する重畳表示モードとが用意されている。図４に示すフローチャートは、例えば作業者Ｗがタッチパネル１２を操作して情報表示装置１０の動作モードを重畳画像表示モード等に設定することにより開始され、一定の時間間隔（例えば、数分の一秒〜数十分の一秒程度の時間間隔）で繰り返される。

情報表示装置１０の動作モードが重畳表示モードに設定されると、まずカメラ１１による画像の撮影が行われる（ステップＳ１１）。ここでは、カメラ１１の撮影方向がプラントに設置されたフィールド機器Ｄ１の方向を向くように情報表示装置１０が作業者Ｗによって操作され、図１に示す通り、カメラ１１の視野Ｆ内に配置されたフィールド機器Ｄ１の画像が撮影されるものとする。カメラ１１で撮影された画像は、制御装置１６の画像補正部２１ａ，２１ｂにそれぞれ出力される。

カメラ１１で撮影された画像が画像補正部２１ａに入力されると、画像を補正してタッチパネル１２の表示に適した画像を画像補正部２１ａから出力する処理が行われる（ステップＳ１２：第１ステップ）。具体的には、まずセンサ１３から出力される検出信号に応じて補正パラメータを調整する処理が補正パラメータ調整部２２ａで行われ、続いて補正パラメータ調整部２２ａで調整された補正パラメータを用いて入力された画像のホワイトバランスや露出等を補正し、補正がなされた画像を出力する処理が画像補正部２１ａで行われる。

また、カメラ１１で撮影された画像が画像補正部２１ｂに入力されると、画像を補正して対象認識部２３の認識処理に適した画像を画像補正部２１ｂから出力する処理が行われる（ステップＳ１３：第２ステップ）。具体的には、まず補正パラメータの初期値の設定が補正パラメータ調整部２２ｂで行われ、続いて補正パラメータ調整部２２ｂで設定された補正パラメータを用いて入力された画像のホワイトバランスや露出等を補正し、補正がなされた画像を出力する処理が画像補正部２１ｂで行われる。尚、ステップＳ１３の処理は、ステップＳ１２の処理の前に行われても良く、或いはステップＳ１２の処理と並列して行われても良い。

次に、画像補正部２１ｂから出力された画像（認識処理に適した画像）を認識する処理が対象認識部２３で行われる（ステップＳ１４：第３ステップ）。具体的には、まず入力された画像中の輝度が急激に変化している部分（エッジ）を抽出するエッジ抽出処理が行われ、次にエッジ抽出処理によって抽出されたエッジから矩形環形状のマーカー要素ｍ１（図３参照）を認識する矩形認識処理が対象認識部２３で行われる。

続いて、メモリ１４に格納されたマーカー要素ｍ２のテンプレート画像と、マーカー領域Ｒ（図３参照）の画像とを比較して、両画像が一致するか否かを判定するパターンマッチング処理が対象認識部２３で行われる。例えば、上記のテンプレート画像とマーカー領域Ｒの画像との相関を取る処理が行われ、得られた相関値が予め規定された閾値（例えば、「０．８」〜「０．９」程度の値）を超えるか否かを判定する処理が行われる。

対象認識部２３の認識処理が終了すると、認識が成功したか否かが制御装置１６で判断される（ステップＳ１５）。認識が成功したか否かの判断は、例えば対象認識部２３で得られる相関値が、上記の閾値を超えたか否かによって行われる。認識が失敗したと判断した場合（ステップＳ１５の判断結果が「ＮＯ」の場合）には、制御装置１６によって補正パラメータ調整部２２ｂが制御され、画像補正部２１ｂで用いられる補正パラメータを変更する処理がパラメータ調整部２２ｂで行われる（ステップＳ１６）。例えば、補正パラメータを、その最大可変量の５〜１０％だけ増加（或いは、減少）させる処理がパラメータ調整部２２ｂで行われる。

補正パラメータの調整が完了すると、表示制御部２６によってタッチパネル１２に画像を表示する処理が行われる（ステップＳ１７）。ここで、対象認識部２３における認識が失敗した場合（ステップＳ１５の判断結果が「ＮＯ」である場合）には、支援情報としてのタグ情報は得られない。このため、画像補正部２１ａから出力された画像は、重畳画像生成部２５においてタグ情報が重畳されることなく表示制御部２６に入力されてタッチパネル１２に表示されることになる。これにより、タッチパネル１２には、情報表示装置１０の動作モードが通常表示モードに設定された場合と同様に、カメラ１１で撮影されたフィールド機器Ｄ１の画像であって、ホワイトバランスや露出等が補正された画像Ｇ１のみが表示されることとなる。タッチパネル１２に画像が表示されると、図４に示すフローチャートの処理が終了する。

一定時間が経過して図４に示すフローチャートの処理が開始されると、ステップＳ１１〜Ｓ１５の処理が再び行われる。そして、ステップＳ１５において認識が失敗したと判断された場合（ステップＳ１５の判断結果が「ＮＯ」である場合）には、画像補正部２１ｂで用いられる補正パラメータを変更する処理がパラメータ調整部２２ｂで再び行われる（ステップＳ１６）。このように、ステップＳ１５の判断結果が「ＮＯ」である間は、補正パラメータを変更する処理がパラメータ調整部２２ｂで繰り返され、画像補正部２１ｂで用いられる補正パラメータが段階的に調整される。

図５は、本発明の第１実施形態における補正パラメータの調整例を説明するための図である。図５に示す通り、カメラ１１で撮影される画像の露出は、露出補正値「０」〜「２０」の範囲で調整が可能であるとする。つまり、補正パラメータ調整２２ａ，２２ｂで調整可能な補正パラメータ（露出を調整するための補正パラメータ）の範囲は、「０」〜「２０」であるとする。

また、図５に示す例において、カメラ１１で撮影された画像をタッチパネル１２の表示に適した画像にするための露出補正値は「６」であるとし、カメラ１１で撮影された画像を画像認識に適した画像にするための露出補正値は「１０」〜「１６」であるとする。つまり、補正パラメータ調整部２２ｂで補正パラメータ（露出を調整するための補正パラメータ）の値が「１０」〜「１６」の範囲に調整された場合には、高い確率で画像認識が成功するものとする。

上述の通り、図４中のステップＳ１５の判断結果が「ＮＯ」である間は、補正パラメータを変更する処理がパラメータ調整部２２ｂで繰り返される（ステップＳ１６）。このため、例えば画像補正部２１ｂで用いられる補正パラメータ（露出を調整するための補正パラメータ）の初期値が「２０」に設定されている場合には、図５に示す通り、値を「２」ずつ減少させて「１８」，「１６」に調整する処理が補正パラメータ調整部２２ｂで順次行われる。このように、本実施形態では、露出補正値（補正パラメータ）を段階的に調整する（減少させる）ことによって、露出補正値を、カメラ１１で撮影された画像を画像認識に適した画像にするための露出補正値にするようにしている。

尚、ここでは、画像補正部２１ｂで用いられる補正パラメータ（露出を調整するための補正パラメータ）の初期値が「２０」に設定され、ステップＳ１５の判断結果が「ＮＯ」になった場合に、値が「２」ずつ減少される例について説明した。しかしながら、上記の補正パラメータの初期値及び変化量は任意に設定することができる。例えば、初期値を「０」に設定した場合には、値を「２」ずつ増加させるようにしても良い。

他方、図４に示すフローチャートにおいて、認識が成功したと制御装置１６が判断した場合（ステップＳ１５の判断結果が「ＹＥＳ」の場合）には、対象認識部２３の認識結果が支援情報管理部２４に出力され、その認識結果に応じたタグ情報をメモリ１４から取得し、取得したタグ情報を示す画像Ｇ２を生成する処理が支援情報管理部２４で行われる（ステップＳ１８）。

支援情報管理部２４で生成された画像Ｇ２は重畳画像生成部２５に出力される。そして、画像補正部２１ａから出力される画像（画像Ｇ１）に対して画像Ｇ２を重畳した画像を生成する処理が重畳画像生成部２５で行われる（ステップＳ１９：第４ステップ）。以上の処理が終了すると、表示制御部２６によってタッチパネル１２に画像を表示する処理が行われる（ステップＳ１７：第４ステップ）。具体的には、重畳画像生成部２５で生成された画像が表示制御部２６に出力されてタッチパネル１２に表示される。これにより、タッチパネル１２には、図１に示す通り、カメラ１１で撮影されたフィールド機器Ｄ１の画像であって、ホワイトバランスや露出等が補正された画像Ｇ１に対してタグ情報の画像Ｇ２が重畳された画像が表示されることになる。

以上の通り、本実施形態では、カメラ１１で撮影された画像を補正してタッチパネル１２の表示に適した画像（第１画像）を出力するとともに、カメラ１１で撮影された画像を補正して対象認識部２３における画像の認識処理に適した画像（第２画像）を出力し、対象認識部２３の認識結果に応じたタグ情報を、第１画像に重ねてタッチパネル１２に表示するようにしている。これにより、タッチパネル１２には作業者Ｗが視認し易い画像が表示されるとともに、対象認識部２３には画像の認識処理に適した画像が入力されるため、撮影環境に拘わらず作業者Ｗの視認性及び画像の認識率を向上させることができる。

また、作業者Ｗは、カメラ１１で撮影された画像とともに作業支援情報としてのタグ情報を明りょうに視認することができるため、作業効率の低下や作業ミスの発生を防止することができる。加えて、図２に示す、画像補正部２１ｂ、補正パラメータ調整部２２ｂ、対象認識部２３、支援情報管理部２４、及び重畳画像生成部２５は、拡張現実を実現するためのプログラムがＣＰＵによって実行されることによって実現されるため、コストの大幅な上昇を招くこともない。

〔第２実施形態〕
図６は、本発明の第２実施形態による情報表示装置の要部構成を示すブロック図である。図６に示す通り、本実施形態の情報表示装置３０は、図２に示す情報表示装置１０が備える補正パラメータ調整部２２ｂに代えて補正パラメータ調整部３１を備える構成である。かかる構成の情報表示装置３０は、画像補正部２１ｂで用いられる補正パラメータの初期値の設定方法が図２に示す情報表示装置１０とは異なり、また、対象認識部２３の認識結果に応じて補正パラメータの調整方法を変えることが可能なものである。

補正パラメータ調整部３１は、図２に示す補正パラメータ調整部２２ｂと同様に、フィールド機器Ｄ１〜Ｄ３に付されたマーカーが対象認識部２３で認識されるように、画像補正部２１ｂで用いられる補正パラメータを調整するものである。但し、補正パラメータ調整部３１は、初期値設定テーブルＴＢ（テーブル）を有しており、この初期値設定テーブルＴＢを用いて補正パラメータの初期値を設定する点が補正パラメータ調整部２２ｂとは異なる。

ここで、上記の初期値設定テーブルＴＢは、過去に対象認識部２３での認識が成功した場合における、センサ１３の検出結果と補正パラメータの設定値とを対応付けたテーブルである。補正パラメータ調整部３１は、情報表示装置３０の動作モードが重畳表示モードに設定された場合に、センサ１３から得られる検出結果に対応する補正パラメータを初期値設定テーブルＴＢから読み出して補正パラメータの初期値として設定する。

また、補正パラメータ調整部３１は、補正パラメータの初期値を設定した後に、互いに異なる少なくとも２つの補正パラメータを設定したときにおける対象認識部２３の認識結果に応じて、補正パラメータの調整方法を決定する。図７は、本発明の第２実施形態における補正パラメータの調整方法の決定の仕方を説明するための図である。尚、ここでは説明を簡単にするために、画像補正部２１ｂで用いられる補正パラメータ（露出を調整するための補正パラメータ）の初期値が「１０」に設定されているものとする。

図７に示す通り、補正パラメータ調整部３１は、補正パラメータの初期値を「１０」に設定した後に、例えば上記の初期値「１０」とは値が「５」だけ異なる２つの値「５」，「１５」を順次設定する。そして、補正パラメータの値を「５」に設定したときの対象認識部２３の認識結果を取得するとともに、補正パラメータの値を「１５」に設定したときの対象認識部２３の認識結果を取得し、取得した各々の認識結果から補正パラメータの調整方法（補正パラメータを増加させるのか、或いは減少させるのか）を決定する。例えば、補正パラメータの値を「１５」に設定したときに得られる相関値が、補正パラメータの値を「５」に設定したときに得られる相関値よりも大きい場合には、補正パラメータを増加させることを決定する。

尚、本実施形態の情報表示装置３０は、図２に示す情報表示装置１０とは、画像補正部２１ｂで用いられる補正パラメータの初期値の設定方法、及び対象認識部２３の認識結果に応じて補正パラメータの調整方法を変えることが可能な点において異なるだけであり、基本的には、図４に示すフローチャートの処理と同様の処理が行われる。このため、以上説明した処理（補正パラメータの初期値を設定する処理、及び補正パラメータの調整方法を決定する処理）が終了すると、図４に示すフローチャートに従った動作が行われる。ここでは重複した説明を避けるため、情報表示装置３０の詳細な動作の説明は省略する。

以上の通り、本実施形態においても、第１実施形態と同様に、カメラ１１で撮影された画像を補正してタッチパネル１２の表示に適した画像（第１画像）を出力するとともに、カメラ１１で撮影された画像を補正して対象認識部２３における画像の認識処理に適した画像（第２画像）を出力し、対象認識部２３の認識結果に応じたタグ情報を、第１画像に重ねてタッチパネル１２に表示するようにしている。これにより、タッチパネル１２には作業者Ｗが視認し易い画像が表示されるとともに、対象認識部２３には画像の認識処理に適した画像が入力されるため、撮影環境に拘わらず作業者Ｗの視認性及び画像の認識率を向上させることができる。この結果として、作業効率の低下や作業ミスの発生も防止することができる。

加えて、本実施形態では、過去に対象認識部２３での認識が成功した場合における、センサ１３の検出結果と補正パラメータの設定値とを対応付けた初期値設定テーブルＴＢを用いて、画像補正部２１ｂで用いられる補正パラメータの初期値を設定している。また、本実施形態では、対象認識部２３の認識結果に応じて補正パラメータの調整方法を決定するようにしている。これにより、画像補正部２１ｂで用いられる補正パラメータを、第１実施形態よりも早く最適な露出補正値（カメラ１１で撮影された画像を画像認識に適した画像にするための露出補正値）にすることができる。この結果として、マーカーＭがカメラ１１で撮影された場合に、作業支援情報としてのタグ情報を即座にタッチパネル１２に表示させることが可能になる。

尚、以上の第１，第２実施形態で説明した情報表示装置１０，３０は、カメラ１１とタッチパネル１２とを備えており、作業者Ｗによって携帯される装置であった。このような情報表示装置１０は、例えばスマートフォン、携帯電話機、ゲーム機、タブレット端末、ヘッドマウントディスプレイ等のカメラ付き携帯端末によって実現することができる。

以上、本発明の実施形態による情報表示装置及び情報表示方法について説明したが、本発明は上記実施形態に制限されず、本発明の範囲内で自由に変更が可能である。例えば、上記実施形態では、「マーカー型のビジョンベースＡＲ」により情報提示を行う情報表示装置について説明したが、本発明は「マーカーレス型のビジョンベースＡＲ」により情報提示を行う情報表示装置にも適用が可能である。

また、上記実施形態では、説明を簡単にするために、情報表示装置１０，３０で提供される作業支援情報がタグ情報である場合を例に挙げて説明した。しかしながら、例えば、タグ情報とともに、タグ情報に代えて、或いはタグ情報に関連付けてフィールド機器Ｄ１〜Ｄ３のメンテナンスマニュアル等のメンテナンスを行う上で有用な情報を作業支援情報として提供するようにしても良い。

また、前述した第１，第２実施形態では、プラントに設置されるフィールド機器Ｄ１〜Ｄ３のメンテナンス作業を支援する作業支援情報としてタグ情報を表示可能な情報表示装置を例に挙げて説明した。しかしながら、本発明の情報表示装置は、鉱山発掘の現場における作業支援用途、ゲーム等の娯楽用途、博物館やイベント会場における案内用途、医療支援用途、その他の様々な用途に応用可能である。

１０ 情報表示装置
１１ カメラ
１２ タッチパネル
１３ センサ
２１ａ，２１ｂ 画像補正部
２２ａ，２２ｂ 補正パラメータ調整部
２３ 対象認識部
２５ 重畳画像生成部
２６ 表示制御部
３０ 情報表示装置
３１ 補正パラメータ調整部
ＴＢ 初期値設定テーブル

Claims (3)

1. 画像を撮影する撮影装置と、該撮影装置で撮影された画像を表示する表示装置とを備える情報表示装置において、
   前記撮影装置で撮影された画像を補正して前記表示装置の表示に適した第１画像を出力する第１補正手段と、
   前記撮影装置で撮影された画像を補正して画像の認識処理に適した第２画像を出力する第２補正手段と、
   前記第２補正手段から出力される前記第２画像の認識処理を行う認識手段と、
   前記認識手段の認識結果に応じた付加情報を、前記第１補正手段から出力される前記第１画像に重ねて前記表示装置に表示させる表示制御手段と
   を備え、
   前記第１補正手段は、撮影環境における明るさを検出するセンサと、該センサの検出結果に応じて画像の補正量を調整する第１調整部と、該第１調整部で調整された補正量の分だけ前記撮影装置で撮影された画像を補正する第１補正部とを備え、
   前記第２補正手段は、予め規定された参照画像が前記認識手段で認識されたか否かに応じて画像の補正量を調整する第２調整部と、該第２調整部で調整された補正量の分だけ前記撮影装置で撮影された画像を補正する第２補正部とを備え、
   前記第２調整部は、前記参照画像が前記認識手段で認識された場合における、前記センサの検出結果と画像の補正量とを対応づけたテーブルを記憶しており、前記センサの検出結果に対応する画像の補正量を前記テーブルから読み出して画像の補正量の初期値として設定する
   ことを特徴とする情報表示装置。
2. 前記第２調整部は、前記画像の補正量の初期値を設定した後に、互いに異なる少なくとも２つの画像の補正量を設定したときにおける前記認識手段の認識結果に応じて、前記画像の補正量の調整方法を決定することを特徴とする請求項１記載の情報表示装置。
3. 画像を撮影する撮影装置と、該撮影装置で撮影された画像を表示する表示装置とを備える情報表示装置における画像表示方法であって、
   撮影環境における明るさをセンサで検出し、該センサの検出結果に応じて画像の補正量を調整し、調整された補正量の分だけ前記撮影装置で撮影された画像を補正して前記表示装置の表示に適した第１画像を出力する第１ステップと、
   予め規定された参照画像が認識されたか否かに応じて画像の補正量を調整し、調整された補正量の分だけ前記撮影装置で撮影された画像を補正して画像の認識処理に適した第２画像を出力する第２ステップと、
   前記第２ステップで出力される前記第２画像の認識処理を行う第３ステップと、
   前記第３ステップの認識結果に応じた付加情報を、前記第１ステップで出力される前記第１画像に重ねて前記表示装置に表示させる第４ステップと、
   撮影環境における明るさを前記センサで検出し、前記センサの検出結果に対応する画像の補正量を、前記参照画像が認識された場合における、前記センサの検出結果と画像の補正量とを対応づけたテーブルから読み出して、前記第２ステップにおける画像の補正量の初期値として設定するステップと
   を有することを特徴とする情報表示方法。

Images