JP7239138B2 - 情報表示装置、情報の表示方法及びプログラム - Google Patents

Description

本発明は、情報表示装置、情報の表示方法及びプログラムに関する。

特許文献１に、作業者の作業効率が低下するのを回避できるという情報投影装置が開示されている。同文献によると、この情報投影装置は、作業者が作業を行う作業領域に、作業指示を投影できるか否かを判定する判定部を備える。さらに、この情報投影装置は、前記判定部が前記作業指示を投影できないと判定した場合に、作業時の前記作業者の位置と前記作業領域との間の領域であって、前記作業指示を投影できる領域を、投影対象に決定する決定部を備える。さらに、この情報投影装置は、前記決定部が決定した前記投影対象に前記作業指示を投影する制御を出力装置に対して行う制御部を有する。

特開２０１８－７７５６０号公報

以下の分析は、本発明によって与えられたものである。ヘッドマウントディスプレイやスマートグラスとの対比において、投影装置によって作業指示を投影する方式は、ユーザの頭部を拘束したり視野を制約しないといった利点がある。その一方で、投影装置によって作業指示を投影する方式は、投影された情報が人体等に遮蔽されたり、投影面の凹凸に影響を受けるという問題点がある。この点、特許文献１は、作業台の上面を含む所定領域を測定範囲として測定を行って距離画像データを生成する距離測定装置を用いて、作業者の手や対象物を特定し、死角にならない位置に作業指示を投影する構成を採用している。

しかしながら、特許文献１の方式では、上記距離測定装置を必要とするほか、作業台や作業対象物に３次元座標系を定義する必要がある。このため、例えば、事前の３次元座標系の定義がなされていない場所や作業対象物では適切な位置に投影ができないことになる。結果として、使用場所が限定されてしまい、投影装置の用途が極めて限られてしまうという問題点がある。

本発明は、各種の情報の投影を行いうる情報表示装置の用途の拡大に貢献できる情報表示装置、情報の表示方法及びプログラムを提供することを目的とする。

第１の視点によれば、所定の表示面の選択した位置に、所定の情報を投影する投影部と、前記投影部により投影された情報の表示領域を撮影可能な撮影部と、前記撮影部により撮影された情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させる投影制御部と、を備えた情報表示装置が提供される。
前記第１の視点の変形として、所定の表示面の選択した位置に、所定の情報を投影する投影部と、前記投影部により投影された情報の表示領域を撮影可能な撮影部と、前記撮影部により撮影された情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させる投影制御部と、前記情報として、所定のシナリオに沿って切替表示するコンテンツを保持する記憶部と、を備え、前記投影制御部は、前記撮影部にて撮影された画像中に作業員が行う作業に関する新たな作業対象が加わったことを契機として、前記記憶部から、前記新たな作業対象に関する前記コンテンツを取り出して、前記投影部に投影させる、情報表示装置とすることができる。
前記第１の視点の他の変形として、所定の表示面の選択した位置に、所定の情報を投影する投影部と、前記投影部により投影された情報の表示領域を撮影可能な撮影部と、前記撮影部により撮影された情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させる投影制御部と、前記情報として、所定のシナリオに沿って切替表示するコンテンツを保持する記憶部と、を備え、前記投影制御部は、前記撮影部で撮影された画像に基づいて、作業員が行う作業の進展状況を認識し、前記記憶部から、その時点で行われている作業又は次に行うべき作業に関する前記コンテンツを取り出して、前記投影部に投影させる、情報表示装置とすることができる。

第２の視点によれば、所定の表示面の選択した位置に、所定の情報を投影する投影部と、前記投影部により投影された情報の表示領域を撮影可能な撮影部と、を備えた情報表示装置が、前記撮影部により撮影された情報の表示態様を取得し、前記情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させる情報の表示方法が提供される。本方法は、前記投影部及び撮影部と、を備えた情報表示装置という、特定の機械に結びつけられている。
前記第２の視点の変形として、所定の表示面の選択した位置に、所定の情報を投影する投影部と、前記投影部により投影された情報の表示領域を撮影可能な撮影部と、前記情報として、所定のシナリオに沿って切替表示するコンテンツを保持する記憶部と、を備えた情報表示装置が、前記撮影部により撮影された情報の表示態様を取得し、前記情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させ、前記撮影部にて撮影された画像中に作業員が行う作業に関する新たな作業対象が加わったことを契機として、前記記憶部から、前記新たな作業対象に関する前記コンテンツを取り出して、前記投影部に投影させる、情報の表示方法とすることができる。

第３の視点によれば、所定の表示面の選択した位置に、所定の情報を投影する投影部と、前記投影部により投影された情報の表示領域を撮影可能な撮影部と、を備えた情報表示装置に搭載されたコンピュータに、前記撮影部により撮影された情報の表示態様を取得する処理と、前記情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させる処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。

本発明によれば、各種の情報の投影を行いうる情報表示装置の用途を拡大させることが可能となる。

本発明の一実施形態の構成を示す図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の一実施形態の動作を説明するための図である。 本発明の第１の実施形態の情報表示装置の概要を説明するための図である。 本発明の第１の実施形態の情報表示装置の構成を表した機能ブロック図である。 本発明の第１の実施形態の情報表示装置が保持する投影対象情報の一例を示す図である。 本発明の第１の実施形態の情報表示装置が保持する情報の一例を示す図である。 本発明の第１の実施形態の情報表示装置の動作を表した流れ図である。 本発明の第１の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第１の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第２の実施形態の情報表示装置の構成を表した機能ブロック図である。 本発明の第２の実施形態の情報表示装置の動作を表した流れ図である。 本発明の第２の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第２の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第３の実施形態の情報表示装置の構成を表した機能ブロック図である。 本発明の第３の実施形態の情報表示装置の動作を表した流れ図である。 本発明の第３の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第３の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第３の実施形態の情報表示装置による投影像の表示範囲の一例を説明するための図である。 本発明の第４の実施形態の情報表示装置の構成を表した機能ブロック図である。 本発明の第４の実施形態の情報表示装置の動作を表した流れ図である。 本発明の第４の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第４の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第５の実施形態の情報表示装置の構成を表した機能ブロック図である。 本発明の第５の実施形態の情報表示装置が保持する投影対象情報の一例を示す図である。 本発明の第５の実施形態の情報表示装置のメッセージ記憶部に保持されている情報の一例を示す図である。 本発明の第５の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第５の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第５の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置の動作を表した流れ図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第６の実施形態の情報表示装置による投影像の位置補正動作を説明するための図である。 本発明の第７の実施形態の情報表示装置の概要を説明するための図である。 本発明の第８の実施形態の情報表示装置の概要を説明するための図である。 本発明の情報表示装置を構成するコンピュータの構成を示す図である。

はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。また、図中の各ブロックの入出力の接続点には、ポートないしインタフェースがあるが図示省略する。

本発明は、その一実施形態において、図１に示すように、投影部１１と、撮影部１２と、投影制御部１３と、を備えた情報表示装置にて実現できる。

より具体的には、図２に示すように、投影部１１は、所定の表示面の選択した位置に、所定の情報２０ａを投影する。そして、撮影部１２は、前記投影部１１により投影された情報の表示領域を撮影する。

そして、投影制御部１３は、前記撮影部１２により撮影された案内情報２０ａの表示態様に基づいて、前記投影部１１に対し、前記情報２０ａの投影位置を変更させる。例えば、図３に示すように、ユーザの身体等により情報２０ａが一部欠落している場合、投影制御部１３は、前記投影部１１に対し、前記情報２０ａの投影位置を変更させる。この変更は、情報２０ａ自体の投影位置を単純に変更させる形態のほか、図４に示すように、情報２０ａの全体を縮小して投影位置を変更する形態も含まれる（符号２０ｓ参照）。これにより、ユーザは情報表示装置の位置や自身の立ち位置を変更しなくとも、その作業やプレゼンテーションを継続することが可能となる。

以上のような実施形態によれば、任意の場所に情報表示装置を設置して、各種の情報を投影させることが可能となり、この種の投影による情報の提示を行う装置の用途を拡大させることが可能となる。

［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図５は、本発明の第１の実施形態の情報表示装置の概要を説明するための図である。図５を参照すると、投影部１１、撮影部１２と、を備えた情報表示装置１０ａにて、作業員に対し案内情報２０を投影する構成が示されている。

投影部１１は、投影領域２１の範囲で、作業対象物４０の任意の位置に、案内情報２０を投影することが可能となっている。案内情報２０としては、例えば、作業員が操作しようとしている操作盤５０に対する操作内容などを表示することができる。もちろん、案内情報２０としては、操作内容に限られず、各種の警告情報、工程表、温度や時間などの計器データなど、種々の情報を表示することができる。また、作業員に対する作業指示でなく、任意の場所で行われる講義、講演のコンテンツや、アミューズメント施設における体験型アトラクションでのユーザ向けコンテンツを表示する用途にも用いることができる。

図６は、第１の実施形態の情報表示装置１０ａの構成を表した機能ブロック図である。図６を参照すると、投影部１１と、撮影部１２と、遮蔽物判定部１３３と、投影位置補正部１３５と、投影制御部１４と、投影対象情報記億部１５、案内情報記憶部１６と、を備えた構成が示されている。

投影部１１は、ＤＬＰ（登録商標）方式、ＬＣＤ方式（透過型液晶方式）、ＬＣｏＳ方式（反射型液晶方式）などを用いた投影装置である。なお、ＤＬＰは、Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇの略である。また、ＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣｏＳは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎの略である。

撮影部１２は、投影部１１が投影した像を含む投影面を撮影可能なカメラなどによって構成される。撮影部１２にて撮影された画像は、遮蔽物判定部１３３と、投影制御部１４に入力される。

遮蔽物判定部１３３は、撮影部１２から送られた画像から、画像に映っている人物や物を切り出し、その位置が案内情報の投影位置と重なっているか否かにより、案内情報が何らかの遮蔽物により、遮られているか否かを判定する。遮蔽物があると判定した場合、遮蔽物判定部１３３は、投影位置補正部１３５に、投影中の像における遮蔽物の位置を通知する。なお、現在投影されているべき案内情報の像は、案内情報記憶部１６から、該当する案内情報を読み出すことで得ることが出来る。また、撮影部１２から送られた画像と案内情報として表示されているべき像とを直接比較する方法も採用可能である。また、このような画像同士を照合する方式のほか、投影した像に、一定領域以上の広さを持つ濃い影が出現しているか否かにより判定する方法も採用可能である。

投影位置補正部１３５は、前記遮蔽物判定部１３３による遮蔽物の有無の判定結果に基づいて、投影制御部１４に案内情報の投影位置の変更を指示する。例えば、投影位置補正部１３５は、投影中の像の右側に遮蔽物による影ができている場合、投影中の案内情報の投影位置を左側に移動させたり、上方又は下方に大きく移動させることで、投影中の案内情報が、前記遮蔽物に遮られないように制御する。

投影制御部１４は、投影対象情報記億部１５及び案内情報記憶部１６を参照して、投影対象情報記億部１５の情報にて指示された位置に、案内情報を表示するよう投影部１１を制御する。また、投影制御部１４は、投影位置補正部１３５から投影位置の変更指示を受けた場合、当該指示に従って案内情報の表示位置を変更する。

投影対象情報記億部１５は、投影対象毎に、案内情報の表示位置等を定めた投影対象情報を記億する。図７は、投影対象情報記億部１５に保持されている投影対象情報の一例を示す図である。例えば、図７の例では、投影対象となるパネル＃１のボタン＃１が作業の対象であり、その右側に案内情報を表示すべきことが定められている。なお、図７の例では、作業対象の特徴情報が登録されており、撮影部１２から当該特徴に対応する領域を特定することで、ボタン＃１の位置を特定可能となっている。もちろん、このような方式に代えて、予め指定した座標に案内情報を表示することを指示する投影対象情報を記億する方式も採用可能である。また、図７の例では、案内情報の表示位置は１つであるが、作業者から見やすい位置として想定される複数の表示位置を登録しておき、優先順位の高い順に、表示位置を選択できるようにしてもよい。

案内情報記憶部１６は、投影対象の作業対象毎に投影すべき案内情報を記憶する。なお、案内情報は、静止画のコンテンツだけでなく、動画コンテンツであってもよい。また、案内情報は、音声付のコンテンツであってもよい。図８は、案内情報記憶部１６に保持されている案内情報の一例を示す図である。例えば、図８の例では、作業対象のボタン＃１について「これを押す」とのメッセージを表示すべきことが定められている。また、作業対象のボタン＃２については画像ファイルを表示することが定められている。このように案内情報としては、文字や画像など各種の情報を設定することができる。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図９は、本発明の第１の実施形態の情報表示装置の動作を表した流れ図である。図９を参照すると、まず、情報表示装置１０ａは、投影対象情報記億部１５及び案内情報記憶部１６を参照して、案内情報を投影する。また、情報表示装置１０ａは、撮影部１２にて撮影を開始する（ステップＳ００１）。

次に、情報表示装置１０ａは、撮影部１２にて撮影された画像に基づいて、投影された像が、なんらかの遮蔽物により遮られていないかどうかを確認する（ステップＳ００２）。

ここで、遮蔽物なしと判定した場合（ステップＳ００３のＮｏ）、情報表示装置１０ａは、案内情報の切替要否を判定する（ステップＳ００６）。なお、ここでの判定は、撮影部１２にて撮影された画像中に新たな作業対象が加わったことを契機としてもよいし、例えば、作業員から特定の工程の完了や案内情報の表示要求等の明示的な操作が行われたことを契機としてもよい。

前記判定の結果、切替不要と判定した場合（ステップＳ００６のＮｏ）、情報表示装置１０ａは、従前の案内情報の表示を継続する。そして、所定の案内終了条件が成立するまで、上記の処理を継続する（ステップＳ００８のＮｏ）。

一方、ステップＳ００３で遮蔽物ありと判定した場合（ステップＳ００３のＹｅｓ）、投影位置補正部１３５が、適切な案内情報の投影位置を決定し、現在表示している案内情報の表示位置を変更する（ステップ００４）。

ここで、上記ステップＳ００４の位置補正処理について説明する。図１０は、案内情報２０の表示中に作業員８０が移動し、案内情報２０の左下を中心に影８１が発生している状態を示している。この場合、情報表示装置１０ａは、左側の領域が開いていると判定し、図１１に示すように、案内情報２０の表示位置を作業員８０の左側に移動する。このようにすることで、作業員は、作業を中断することなく、案内情報２０を参照しながら、作業を続けることが可能となる。

以降の処理は、ステップＳ００３で遮蔽物なしと判定した場合と同様である。具体的には、情報表示装置１０ａは、案内情報の切替要否を判定し、切替不要と判定した場合（ステップＳ００６のＮｏ）、情報表示装置１０ａは、従前の案内情報の表示を継続する。そして、所定の案内終了条件が成立するまで、上記の処理を継続する（ステップＳ００８のＮｏ）。一方、所定の案内終了条件が成立すると（ステップＳ００８のＹｅｓ）、情報表示装置１０ａは、案内情報の表示と撮影を終了する。

以上、説明したように本実施形態によれば、さまざまな場所において、投影方式による案内情報の表示を行うことができる。また、本実施形態によれば、その際にしばしば発生しうるその場所にある物や人により像が遮蔽される現象を回避することが可能となる。

［第２の実施形態］
続いて、上記第１の実施形態の情報表示装置に情報を表示する面の凹凸を判定する機能を追加した第２の実施形態について説明する。図１２は、本発明の第２の実施形態の情報表示装置の構成を表した機能ブロック図である。図６に示した第１の実施形態との相違点は、情報表示装置１０ｂに表示面判定部１３１が追加され、投影位置補正部１３５が表示面判定部１３１の判定結果も併せて情報の表示位置の補正を行う点である。その他の構成は第１の実施形態と同様であるので、以下、その相違点を中心に説明する。

本実施形態では、撮影部１２にて撮影された画像は、遮蔽物判定部１３３と、投影制御部１４に加えて、表示面判定部１３１にも入力される。

表示面判定部１３１は、現在投影されているべき案内情報の像と、撮影部１２から送られた画像とを照合し、案内情報が投影されている壁面等の凹凸や傾斜の有無を判定する。案内情報が投影されている壁面等に凹凸や傾斜があると判定した場合、表示面判定部１３１は、投影位置補正部１３５に、前記の凹凸や傾斜の位置を通知する。なお、現在投影されているべき案内情報の像は、案内情報記憶部１６から、該当する案内情報を読み出すことで得ることが出来る。また、このような画像同士を照合する方式のほか、撮影部１２から送られた画像の輝度値の変化（例えば、水平、垂直に帯状部分が発生）などにより簡便に凹凸を判定する方法も採用可能である。

投影位置補正部１３５は、前記遮蔽物判定部１３３による遮蔽物の有無の判定結果のほか、前記表示面判定部１３１による凹凸や傾斜の有無に基づいて、投影制御部１４に案内情報の投影位置の変更を指示する。例えば、投影位置補正部１３５は、投影中の像が壁面の凹凸と重なって歪み等が発生している場合、投影中の案内情報の投影位置を上下左右のいずれかに移動させることで、投影中の案内情報が、本来の正しい形態で表示されるように制御する。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１３は、本発明の第２の実施形態の情報表示装置の動作を表した流れ図である。基本的な流れは第１の実施形態と同様である。第１の実施形態の動作を表した図９との相違点は、ステップＳ１０２にて、遮蔽物判定に加え、前述の表示面の判定が行われる点と、ステップＳ１０３にてこれらの双方を考慮した補正の要否判定が行われる点である。その他は、第１の実施形態と同様であるので、説明を省略する。

ここで、上記ステップＳ００４の位置補正処理について説明する。図１４は、案内情報２０の投影面に凸部が存在し、案内情報２０に歪みが発生している状態を示している。この場合、情報表示装置１０ｂは、歪みの発生位置から、案内情報を右上にずらせば適切に表示できると判定し、図１５に示すように、案内情報２０の表示位置を右上に移動する。このようにすることで、適切な案内情報２０を表示させることが可能となる。

以上、説明したように本実施形態によれば、第１の実施形態の効果に加えて、凹凸や傾斜を気にせずに投影を開始できるようになる。結果として、さまざまな場所において、投影方式による案内情報の表示を行うことができるようになる。その理由は、案内情報の投影面に凹凸や傾斜が存在しても、情報表示装置１０ｂが自動的にこれらを検出してこれらの影響を回避する構成を採用したことにある。

［第３の実施形態］
続いて、上記第２の実施形態の情報表示装置に、案内情報の提示対象となる作業者の視線を考慮した表示を行う機能を追加した第３の実施形態について説明する。図１６は、本発明の第３の実施形態の情報表示装置の構成を表した機能ブロック図である。図１２に示した第２の実施形態との相違点は、情報表示装置１０ｃに視線方向判定部１３４が追加され、投影位置補正部１３５が視線方向判定部１３４の判定結果も併せて情報の表示位置の補正を行う点である。その他の構成は第２の実施形態と同様であるので、以下、その相違点を中心に説明する。

本実施形態では、撮影部１２にて撮影された画像は、遮蔽物判定部１３３、投影制御部１４、表示面判定部１３１に加えて、視線方向判定部１３４にも入力される。

視線方向判定部１３４は、撮影部１２から送られた画像中の作業者の頭部の向きを判定する。そして、視線方向判定部１３４は、投影位置補正部１３５に、前記判定した作業者の頭部の向きを通知する。なお、作業者の頭部の向きは、作業者が着用している帽子に取り付けたマーカー８３の位置関係や、事前に撮影した作業者の頭部画像との照合により判定できる。また、このような撮影部１２から送られた画像から判定する方式のほか、作業者の帽子やゴーグル等に取り付けたコンパスと水準器（ジャイロセンサ）などから頭の向きを測定し、近距離無線通信等で、その結果を受け取る方法も採用可能である。

投影位置補正部１３５は、前記視線方向判定部１３４の作業者の頭部の向きに基づいて、投影制御部１４に案内情報の投影位置の変更を指示する。例えば、投影位置補正部１３５は、現在投影中の案内情報が、作業者の視線方向から外れた位置にある場合、投影中の案内情報の投影位置を作業者の視線方向の位置に移動させる。また、遮蔽物判定部１３３及び／又は表示面判定部１３１の判定結果から、案内情報の移動を行う必要があると判定した場合、投影位置補正部１３５は、案内情報の移動先として作業者の視線方向の位置を優先させるようにしてもよい。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図１７は、本発明の第３の実施形態の情報表示装置の動作を表した流れ図である。基本的な流れは第２の実施形態と同様である。第２の実施形態の動作を表した図１３との相違点は、ステップＳ２０２にて、遮蔽物判定及び表示面判定に加え、視線判定（前述の視線方向判定）が行われる点と、ステップＳ２０３にてこれらを考慮した補正の要否判定が行われる点である。その他は、第２の実施形態と同様であるので、説明を省略する。

ここで、上記ステップＳ００４の位置補正処理について説明する。以下の説明では、視線方向判定部１３４は、作業者の帽子に取り付けたマーカー８３の位置関係により、作業者の頭部の向きを判定するものとして説明する。ここでは、図１８に矢印に示すように、作業者が正面やや右上に顔を向けていると判定したものとして説明する。一方で、図１８の例では、案内情報２０は、作業者の視線から外れた左側に表示されている。この場合、情報表示装置１０ｃは、案内情報２０を右上にずらせば、作業者にとって見やすくなると判定し、図１９に示すように、案内情報２０ｓの表示位置を右上に移動する。このようにすることで、作業員８０に、適切な案内情報２０ｓを表示させることが可能となる。また、図１９の例では、情報表示装置１０ｃは、案内情報をそのままのサイズで移動させると上端が投影できなくなると判定し、案内情報の縮小処理も行っている。このように、位置補正と併せて必要に応じて案内情報の縮小処理を行うことも好ましい。もちろん、移動先に十分な表示領域がある場合には、案内情報の拡大処理を行ってもよい。

図２０は、上記ステップＳ００４の位置補正処理における望ましい投影範囲を説明するための図である。より望ましい形態において、案内情報２０は、図２０に例示される作業者の頭の位置、向きから想定される見える範囲（見やすい範囲）の範囲に収まるように投影される。例えば、図２０の例では、見えない範囲に表示しないようにすることは当然として、破線で示した作業員８０から見える範囲（見やすい範囲）の中で凹凸の無い領域を選択して表示されている。

以上、説明したように本実施形態によれば、第２の実施形態の効果に加えて、作業者にとって見やすい位置に案内情報を投影できるようになる。これにより、案内情報を参照して作業を行う作業者の作業効率を高めることが可能となる。

［第４の実施形態］
続いて、上記第３の実施形態の情報表示装置に、案内情報の明暗状態による位置補正機能を追加した第４の実施形態について説明する。図２１は、本発明の第４の実施形態の情報表示装置の構成を表した機能ブロック図である。図１６に示した第３の実施形態との相違点は、情報表示装置１０ｄに明暗判定部１３２が追加され、投影位置補正部１３５が明暗判定部１３２の判定結果も併せて情報の表示位置の補正を行う点である。その他の構成は第３の実施形態と同様であるので、以下、その相違点を中心に説明する。

本実施形態では、撮影部１２にて撮影された画像は、遮蔽物判定部１３３、投影制御部１４、表示面判定部１３１、視線方向判定部１３４に加えて、明暗判定部１３２にも入力される。

明暗判定部１３２は、撮影部１２から送られた画像のハイライト領域（輝度が所定値以上）とそれ以外の領域に分け、ハイライト領域の位置が、案内情報の投影位置と重なっているか否かにより、案内情報が外光や他の光源などにより見難くなっているか否かを判定する。案内情報が見難くなっていると判定した場合、明暗判定部１３２は、投影位置補正部１３５に、投影中の像における見難くなっている部分を通知する。また、明暗状態の判定方法は、このような方法に限られない。例えば、撮影部１２から送られた画像中の案内情報の表示領域の輝度分布（ヒストグラム）により、案内情報の明暗状態を判定する方法等も採用可能である。

投影位置補正部１３５は、前記明暗判定部１３２の判定結果に基づいて、投影制御部１４に案内情報の投影位置の変更を指示する。例えば、投影位置補正部１３５は、現在投影中の案内情報が、外光に当たる位置にあり、見難くなっていると判定した場合、投影中の案内情報の投影位置を別の位置に移動させる。この位置の移動先としては、撮影部１２から送られた画像の非ハイライト領域を選択することができる。また、第３の実施形態でも説明したとおり、投影位置補正部１３５は、案内情報の移動先として作業者の視線方向の位置を優先させるようにしてもよい。

続いて、本実施形態の動作について図面を参照して詳細に説明する。図２２は、本発明の第４の実施形態の情報表示装置の動作を表した流れ図である。基本的な流れは第３の実施形態と同様である。第３の実施形態の動作を表した図１７との相違点は、ステップＳ３０２にて、遮蔽物判定、表示面判定及び視線判定（前述の視線方向判定）に加え、明暗判定が行われる点と、ステップＳ３０３にてこれらを考慮した補正の要否判定が行われる点である。その他は、第３の実施形態と同様であるので、説明を省略する。

ここで、上記ステップＳ００４の位置補正処理について説明する。図２３は、案内情報２０を投影している場所の近くに、窓８２が存在し、外光により案内情報２０が見難くなっている状態を示している。この場合、情報表示装置１０ｄは、撮影部１２から送られた画像のハイライト領域の位置から、窓から離れた位置に、案内情報を移動させれば適切に表示できると判定する。そして、情報表示装置１０ｄは、図２４に示すように、案内情報２０の表示位置を右側に大きく移動する。このようにすることで、案内情報２０を見やすい状態で表示させることが可能となる。

以上、説明したように本実施形態によれば、第３の実施形態の効果に加えて、外光の存在を気にせずに投影を開始できるようになる。結果として、さまざまな場所において、投影方式による案内情報の表示を行うことができるようになる。その理由は、情報表示装置１０ｄが案内情報の明暗状態を判定し、外光等の影響を回避する構成を採用したことにある。

［第５の実施形態］
上記第１～第４の情報表示装置において、遮蔽物の存在、表示面の凹凸等、明暗状態により、案内状態が見難い状態になっていると判定したが、案内情報の内容によっては、表示位置を変更することが望ましくない場合がある。また、遮蔽物が大きい、表示面の凹凸の範囲が大きい、表示面の全面に直射日光が当たっているなど、案内情報の位置補正、縮小又は拡大では、見易さの改善が期待できない場合がある。そのような場合には、作業者に対して、本情報表示装置の移動や向きの変更、カーテンを閉めるなどの行為を促した方がよい。

本発明の第５の実施形態は、上記作業者に対し、任意のメッセージを表示する機能を追加したものである。図２５は、本発明の第５の実施形態の情報表示装置の構成を表した機能ブロック図である。図２１に示した第４の実施形態との相違点は、投影対象情報記憶部１５ａに、該当する案内情報の移動を許容するか否かの設定情報を保持可能とした点と、メッセージ記憶部１７が追加されている点である。その他の構成は第４の実施形態と同様であるので、以下、その相違点を中心に説明する。

図２６は、第５の実施形態の情報表示装置１０ｅが保持する投影対象情報の一例を示す図である。図７に示した投影対象情報との相違点は、移動可否フィールドが追加され、該当する案内情報の移動を許容するか否かを設定可能となっている点である。

図２７は、メッセージ記憶部１７に保持されている情報の一例を示す図である。例えば、図２７の１番目のエントリは、遮蔽物判定部１３３から遮蔽物ありとの判定結果が出ているが、表示中の案内情報が移動不可である場合に表示すべきメッセージが格納されている。同様に、図２７の２番目のエントリは、明暗判定部１３２から明るすぎるとの判定結果が出ているが、表示中の案内情報が移動不可である場合に表示すべきメッセージが格納されている。

続いて、本実施形態の動作について図面を参照して詳細に説明する。基本的な動作は第４の実施形態と同様であるので、以下、具体的な例を示して説明する。例えば、図２８に示すように、作業者の手と、案内情報「このボタンを押して下さい」との表示が重なってしまった場合、遮蔽物判定部１３３は遮蔽物ありとの判定をする。一方で、投影位置補正部１３５は、投影対象情報記憶部１５ａを参照して、表示中の案内情報が移動不可であることを確認すると、メッセージ記憶部１７から表示すべきメッセージを検索する。

ここでは、例えば、投影位置補正部１３５は、図２７の「投影領域に何かが重なっています。物や体をどかすか、投影装置の位置を変えてください」とのメッセージ２０ｍを取り出して、投影制御部１４に、当該メッセージ２０ｍの表示を指示する（図２９参照）。

前記メッセージ２０ｍを見た作業者が、メッセージに従って手を下ろすと、以降、案内情報「このボタンを押して下さい」との表示が適切な位置に表示可能となる（図３０参照）。

以上のように、本実施形態によれば、細かい作業、慎重に行うことを要する作業を適切に支援することが可能となる。

［第６の実施形態］
続いて、投影部１１によって投影されたコンテンツと、撮影部１２によって撮影されたコンテンツとを比較することにより、遮蔽物や表示面の凹凸を判断するようにした第６の実施形態について具体的な例を示して説明する。基本的な構成は第５の実施形態と同様であるので、以下、動作上の相違点を中心に説明する。

図３１は、本発明の第６の実施形態の情報表示装置の動作を表した流れ図である。図３１を参照すると、まず、情報表示装置１０ｅは、本来投影したいコンテンツを投影する（ステップＳ６０１）。ここでは、図３２に示す像が、本来投影したいコンテンツであるものとして説明する。

次に、情報表示装置１０ｅは、コンテンツの投影状態を撮影する（ステップＳ６０２）。ここでは、図３３の下段の（ｂ）正面図に示す像が得られたものとする。

次に、情報表示装置１０ｅは、本来投影したいコンテンツと撮影されたコンテンツ像とを比較して、遮蔽物の存在や表示面の凹凸を確認する（ステップＳ６０３）。ここでは、図３２に示す像と、図３３の下段の（ｂ）正面図とを比較した結果、中央部分の像が本来より小さく映っていること、像の映らない天地方向の帯状領域が左右に２本存在することから、図３３の上段の上面図（ａ）に示すように、表示面に大きな凸部９０（網掛け部）が存在することが分かる。

次に、情報表示装置１０ｅは、前記比較の結果に基づいて、コンテンツを加工（補正）して再投影する（ステップＳ６０４）。図３４の下段の（ｂ）正面図は、前記補正されて再投影されたコンテンツを示す。図３４の例では、情報表示装置１０ｅは、左端の１列目の像の表示位置を左側に移動させることで、左端の１列目の像を正しく映すことに成功している。また、中央の２列の像については、その表示間隔を狭めるとともに、像を大きくする処理を行うことで、本来投影したいコンテンツに近い像の投影に成功している。

次に、情報表示装置１０ｅは、撮影された像が期待どおり、即ち、本来投影したいコンテンツに近い像となっているか否かを確認する（ステップＳ６０５）。ここで、撮影された像が期待どおりとなっていれば、補正処理は終了となる（ステップＳ６０５のＹｅｓ）。一方、撮影された像が期待どおりとなっていない場合、情報表示装置１０ｅは、ステップＳ６０２に戻って再度の補正処理を行う（ステップＳ６０５のＮｏ）。

次に、図３５に示す単一の大きな像が、本来投影したいコンテンツである場合の補正処理の例について説明する。これに対し、図３６の下段の（ｂ）正面図に示す像が撮影されたものとする。

この場合、情報表示装置１０ｅは、図３５に示す像と、図３６の下段の（ｂ）正面図とを比較した結果、中央部分が本来より小さく映っていること、像の映らない天地方向の帯状領域が左右に２本存在することから、図３６の上段の上面図（ａ）に示すように、表示面に大きな凸部９０（網掛け部）が存在することが分かる。

この場合も同様に、情報表示装置１０ｅは、前記比較の結果に基づいて、コンテンツを加工（補正）して再投影する。図３７の下段の（ｂ）正面図は、前記補正されて再投影されたコンテンツを示す。図３７の例では、情報表示装置１０ｅは、コンテンツ全体を縮小することで、像全体を正しく映すことに成功している。

次に、図３８に示す、下向きの矢線が、本来投影したいコンテンツである場合の処理の例について説明する。これに対し、図３９の下段の（ｂ）正面図に示す像が撮影されたものとする。

この場合、情報表示装置１０ｅは、図３８に示す像と、図３９の下段の（ｂ）正面図とを比較した結果、像が映っていないことから、補正不能と判定する。

この場合、情報表示装置１０ｅは、図４０に示すように「移動してください」と情報表示装置１０ｅ本体の移動を指示するメッセージと図形を投影する。前記投影内容を見た作業者が情報表示装置１０ｅ本体を図４１のように左側に移動させると、図４１の下段の（ｂ）正面図のとおり、本来投影したコンテンツの表示が可能となる。

以上のように、メッセージは、案内情報が位置固定である場合のほか、補正が難しいと判定したケース全般において、表示させることができる。

以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ及びＢの少なくともいずれかという意味で用いる。また、図中の各ブロックの入出力の接続点には、ポート乃至インタフェースがあるが図示省略する。

例えば、上記した実施形態では、壁面等を利用した作業者への作業指示に本発明の情報表示装置を用いるものとして説明したが、本発明の情報表示装置の用途はこれに限られない。例えば、図４２に示すように、机上の作業を行う作業者への案内情報の表示にも、本発明を適用することが可能である（第７の実施形態）。

例えば、図４３に示すように、アミューズメント施設等における体験型のアトラクションにおける案内情報の表示にも、本発明を適用することが可能である（第８の実施形態）。例えば、図４３のユーザに、鍵５１を取らせる案内情報２０を表示して、体験型のアトラクションの１シーンを進行させることができる。

また上記した各実施形態では単に案内情報を表示するものとして説明したが、案内情報記憶部１６に、所定のシナリオに沿って切替表示するコンテンツを保持させることもできる。例えば、ある作業を行うユーザの作業過程に応じて、コンテンツを切替ることで、作業者の作業を効率化させることができる。コンテンツの切替のトリガとしては種々のものを採用できる。例えば、ユーザの音声やキー操作などの明示的な指示に基づいてコンテンツの切替を行ってもよい。また、撮影部で撮影された画像に基づいて、作業の進展状況を認識し、その時点で行われている作業や次に行うべき作業に関するコンテンツの切替を行ってもよい。

また上記した各実施形態では、情報表示装置に投影部１１と撮影部１２が備えられているものとして説明したが、投影部１１と撮影部１２のいずれかが単体の装置として独立していてもよい。例えば、作業者が装着しているウェアラブルカメラを撮影部として利用し、情報表示装置に撮影した像を送信する構成も採用可能である。

また、上記した第１～第８の実施形態に示した手順は、情報表示装置として機能するコンピュータ（図４４の９０００）に、情報表示装置としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図４４のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図４４のＣＰＵ９０１０にて、コンテンツ投影プログラムやコンテンツ比較プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメーターの更新処理を実施させればよい。

即ち、上記した第１～第８の実施形態に示した情報表示装置の各部（処理手段、機能）は、情報表示装置に搭載されたプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。

最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による情報表示装置参照）
［第２の形態］
上記した情報表示装置は、さらに、
前記撮影部により撮影された情報の表示態様に基づいて、前記投影部と、前記表示面との間に遮蔽物が存在するか否かを判定する遮蔽物判定部を備え、
前記投影制御部は、前記遮蔽物判定部の判定結果に基づいて、前記投影部に、投影中の情報が前記遮蔽物によって遮られない位置に、前記情報の投影位置を変更させる構成を採ることができる。
［第３の形態］
上記した情報表示装置は、さらに、
前記撮影部により撮影された情報の表示態様に基づいて、情報の投影位置に凹部又は凸部が存在するか否かを判定する表示面判定部を備え、
前記投影制御部は、前記表示面判定部の判定結果に基づいて、前記投影部に、前記凹部又は凸部の影響を受けない位置に、前記情報の投影位置を変更させる構成を採ることができる。
［第４の形態］
上記した情報表示装置は、さらに、
前記情報の提示対象の人物の視線方向を判定する視線方向判定部を備え、
前記投影制御部は、前記視線方向判定部の判定結果に基づいて、前記投影部に、前記人物が見やすい位置に、前記情報の投影位置を変更させる構成を採ることができる。
［第５の形態］
上記した情報表示装置は、さらに、
前記撮影部により撮影された情報の表示態様に基づいて、前記情報の明暗状態を判定する明暗判定部を備え、
前記投影制御部は、前記明暗判定部の判定結果に基づいて、前記投影部に、より明暗状態の改善が見込まれる位置に、前記情報の投影位置を変更させる構成を採ることができる。
［第６の形態］
上記した情報表示装置は、さらに、
前記情報として、所定のシナリオに沿って切替表示するコンテンツを保持する記憶部を備え、
前記投影部は、所定のトリガに従って、前記記憶部から、情報を取り出して、投影する構成を採ることができる。
［第７の形態］
上記した情報表示装置は、さらに、
投影する情報と投影位置との対応関係を記憶する投影対象情報記憶部を備え、前記投影制御部は、前記投影対象情報記憶部を参照して、投影すべき情報の投影位置を決定する構成を採ることができる。
［第８の形態］
上記した情報表示装置の前記投影制御部は、前記情報の投影位置の変更によっては、前記情報の見易さを改善できないと判定した場合、前記投影部に対し、所定のメッセージの表示を指示する構成を採ることができる。
［第９の形態］
上記した情報表示装置が投影する前記所定のメッセージは、情報表示装置の設置位置又は遮蔽物の移動の指示であることが好ましい。
［第１０の形態］
（上記第２の視点による表示方法参照）
［第１１の形態］
（上記第３の視点によるプログラム参照）
なお、上記第１０～第１１の形態は、第１の形態と同様に、第２～第９の形態に展開することが可能である。

なお、上記の特許文献の開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択（部分的削除を含む）が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。

１０、１０ａ～１０ｅ 情報表示装置
１１ 投影部
１２ 撮影部
１３ 投影制御部
１４ 投影制御部
１５、１５ａ 投影対象情報記億部
１６ 案内情報記憶部
１７ メッセージ記憶部
２０、２０ｓ 案内情報
２０ａ 情報
２０ｍ メッセージ
２１ 投影領域
４０ 作業対象物
５０ 操作盤
５１ 鍵
８０ 作業員
８１ 影
８２ 窓
８３ マーカー
９０ 凸部
１３１ 表示面判定部
１３２ 明暗判定部
１３３ 遮蔽物判定部
１３４ 視線方向判定部
１３５、１３５ａ 投影位置補正部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置

Claims (10)

1. 所定の表示面の選択した位置に、所定の情報を投影する投影部と、
   前記投影部により投影された情報の表示領域を撮影可能な撮影部と、
   前記撮影部により撮影された情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させる投影制御部と、
   前記情報として、所定のシナリオに沿って切替表示するコンテンツを保持する記憶部と、
   を備え、
   前記投影制御部は、前記撮影部にて撮影された画像中に作業員が行う作業に関する新たな作業対象が加わったことを契機として、前記記憶部から、前記新たな作業対象に関する前記コンテンツを取り出して、前記投影部に投影させる、
   情報表示装置。
2. 所定の表示面の選択した位置に、所定の情報を投影する投影部と、
   前記投影部により投影された情報の表示領域を撮影可能な撮影部と、
   前記撮影部により撮影された情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させる投影制御部と、
   前記情報として、所定のシナリオに沿って切替表示するコンテンツを保持する記憶部と、
   を備え、
   前記投影制御部は、前記撮影部で撮影された画像に基づいて、作業員が行う作業の進展状況を認識し、前記記憶部から、その時点で行われている作業又は次に行うべき作業に関する前記コンテンツを取り出して、前記投影部に投影させる、
   情報表示装置。
3. さらに、
   前記撮影部により撮影された情報の表示態様に基づいて、前記投影部と、前記表示面との間に遮蔽物が存在するか否かを判定する遮蔽物判定部を備え、
   前記投影制御部は、前記遮蔽物判定部の判定結果に基づいて、前記投影部に、投影中の情報が前記遮蔽物によって遮られない位置に、前記情報の投影位置を変更させる請求項１又は２の情報表示装置。
4. さらに、
   前記撮影部により撮影された情報の表示態様に基づいて、情報の投影位置に凹部又は凸部が存在するか否かを判定する表示面判定部を備え、
   前記投影制御部は、前記表示面判定部の判定結果に基づいて、前記投影部に、前記凹部又は凸部の影響を受けない位置に、前記情報の投影位置を変更させる請求項１から３いずれか一の情報表示装置。
5. さらに、
   前記情報の提示対象の人物の視線方向を判定する視線方向判定部を備え、
   前記投影制御部は、前記視線方向判定部の判定結果に基づいて、前記投影部に、前記人物が見やすい位置に、前記情報の投影位置を変更させる請求項１から４いずれか一の情報表示装置。
6. さらに、
   前記撮影部により撮影された情報の表示態様に基づいて、前記情報の明暗状態を判定する明暗判定部を備え、
   前記投影制御部は、前記明暗判定部の判定結果に基づいて、前記投影部に、より明暗状態の改善が見込まれる位置に、前記情報の投影位置を変更させる請求項１から５いずれか一の情報表示装置。
7. 前記投影する情報と投影位置との対応関係を記憶する投影対象情報記憶部を備え、
   前記投影制御部は、前記投影対象情報記憶部を参照して、投影すべき情報の投影位置を決定する請求項１から６いずれか一の情報表示装置。
8. 前記投影制御部は、前記情報の投影位置の変更によっては、前記情報の見易さを改善できないと判定した場合、前記投影部に対し、所定のメッセージの表示を指示する請求項１から７いずれか一の情報表示装置。
9. 前記所定のメッセージは、情報表示装置の設置位置又は遮蔽物の移動の指示である請求項８の情報表示装置。
10. 所定の表示面の選択した位置に、所定の情報を投影する投影部と、
    前記投影部により投影された情報の表示領域を撮影可能な撮影部と、
    前記情報として、所定のシナリオに沿って切替表示するコンテンツを保持する記憶部と、を備えた情報表示装置が、
    前記撮影部により撮影された情報の表示態様を取得し、
    前記情報の表示態様に基づいて、前記投影部に対し、前記情報の投影位置を変更させ、
    前記撮影部にて撮影された画像中に作業員が行う作業に関する新たな作業対象が加わったことを契機として、前記記憶部から、前記新たな作業対象に関する前記コンテンツを取り出して、前記投影部に投影させる、
    情報の表示方法。

Images