JP6125102B2 - 情報表示システム - Google Patents

Description

本発明は、情報表示システムに関するものである。

近年、物体の位置を検出するため、イメージセンサと画像処理を組み合わせるコンピュータビジョンと呼ばれる分野の技術が注目されている。
例えば、自動車の前方をカメラで撮影し、その映像から画像処理により障害物を検出することで、衝突前に自動的に自動車のブレーキをかけるシステムが実用化されている。従来のセンサは、物理的な接触やレーザー光線を遮るなど、直接的に物体の存在を検出する技術である。

また、先行技術文献としては、対話する人間が見やすい位置に自ら移動し、かつ探索した最適投影面に投影することができるプロジェクタ投影器搭載型の自律型ロボットの技術が開示されている（例えば、特許文献１参照。）。

特開２００５−３１３２９１号公報

貴重品を貸金庫などの収納ボックスに保管する場合は、扉が開いたままであると防犯上の問題がある。また、荷物の集配所などで防塵や防水のために荷物を扉付きの収納ボックスに保管する用途では、作業時間以外に扉が開いていると防塵や防水の要求を満たさない。荷物を安全に保管するには、収納ボックスの扉を監視して開放されたことを検知する手段が必要である。

本発明の情報表示システムは、カメラ部とプロジェクタ部と画像処理装置を有する情報表示システムであって、カメラ部は扉と扉の可動部を含む周辺を撮影し、画像処理装置は扉の開いている時間が予め設定した時間を超過した場合にアラーム信号を出力し、プロジェクタ部はアラーム信号に基づいた文字やパターンを予め設定した位置に投影することを特徴とする。

また、本発明の情報表示システムは、上述の情報表示システムであって、予め設定した位置が扉であることを特徴とする。

さらに、本発明の情報表示システムは、上述の情報表示システムであって、扉にはマーカーを有し、画像処理装置はカメラ部で撮影されたマーカーの位置で扉の開いた状態を検知することを特徴とする。

さらに、本発明の情報表示システムは、上述の情報表示システムであって、画像処理装置はカメラ部の映像から人物および作業物の位置を検出し、アラーム信号の文字を人物および作業物と重ならないようにプロジェクタ部から投影することを特徴とする。

さらに、本発明の情報表示システムは、上述の情報表示システムであって、画像処理装置はアラーム文字信号の射影変換機能を有し、プロジェクタ部から投影するアラーム文字は射影していることを特徴とする。

本発明によれば、収納ボックスの扉の開閉を検知でき、さらに扉が開放状態の場合にはアラーム表示をすることができる。

本発明の一実施例に係る情報表示システムの構成を示すブロック図である。 本発明の一実施例に係る情報表示システムの扉解放時間とアラームの関係を説明するための図である。 本発明の一実施例に係る情報表示システムのカメラの撮影範囲について説明するための図である。 本発明の一実施例に係る情報表示システムのアラーム表示位置を説明するための図である。 本発明の一実施例に係る情報表示システムのアラーム表示と作業物の関係を説明するための図である。 本発明の一実施例に係る情報表示システムの動作を説明するためのフローチャートである。 本発明の一実施例に係る情報表示システムの画像処理装置の構成を説明するためのブロック図である。 本発明の一実施例に係る情報表示システムのアラーム表示を扉への投影について説明するための図である。 本発明の一実施例に係る情報表示システムのアラーム表示の射影変換を説明するための図である。 本発明の一実施例に係る情報表示システムのアラーム表示を横から見た扉への投影の図である。 本発明の一実施例に係る情報表示システムのアラーム表示を上から見た扉への投影の図である。 本発明の一実施例に係る情報表示システムの第２の画像処理装置の構成を説明するためのブロック図である。 本発明の一実施例に係る情報表示システムの扉が開いたと判定する動作を説明するための図である。 本発明の一実施例に係る情報表示システムの扉が開いたと判定するシーケンスを説明するための図である。

以下、本発明の実施形態について図面を用いて説明する。
図１は本発明の一実施例に係る情報表示システムの構成を示すブロック図である。
図１において、情報表示システムは、画像処理装置１１０がネットワーク１２０を介して、カメラ部１３１とプロジェクタ部１３２とスピーカ１３３とに接続されている。
なお、画像処理装置１１０はネットワーク１２０を介さず、直接、カメラ部１３１とプロジェクタ部１３２とスピーカ１３３と接続してもよい。
また、画像処理装置１１０はパーソナルコンピュータ（ＰＣ）であってもよい。

カメラ部１３１は、作業者１４０と収納ボックス１６１，１６２，１６３を撮影する。
プロジェクタ１３２は、アラーム情報を床１５０または収納ボックス１６１，１６２，１６３の扉に投影する。
スピーカ１３３は、必要に応じて設置するもので、警告のためのアラーム音を出力してもよい。

収納ボックス１６１，１６２，１６３は、ボックス置き場１６０に設置されている。
収納ボックス１６１，１６２，１６３は、本体の上面にマーカー１６１−１１，１６２−１１，１６３−１１が付けられている。マーカー１６１−１１，１６２−１１，１６３−１１はシールでも塗料でも構わず、画像処理装置１１０においてマーカー１６１−１１，１６２−１１，１６３−１１が識別できれば良い。マーカー１６１−１１，１６２−１１，１６３−１１の識別には、例えば現場であまり使われずに目立つ色である赤色でもよい。

また、例えば、収納ボックス１６１の扉１６１−１の上面にもマーカー１６１−１２が付けられている。本体上面に付けたマーカー１６１−１１は扉１６１−１を閉めたときに、扉上面のマーカー１６１−１２と一体になる位置に付けるのが望ましい。よって、収納ボックス１６１の上面、前方向に帯のようにマーカー１６１−１１を付ければ良い。

本発明の一実施例では、収納ボックス１６１の扉１６１−１を開け閉めする作業は、予め決められた場所であるボックス置き場１６０の内側に収納ボックス１６１を置いたときにのみ許すこととする。
天井に設置したカメラ部１３１は、ボックス置き場１６０と、収納ボックス１６１に荷物を出し入れする作業者１４０を撮影する。よって、カメラ部１３１を設置する際の画角調整では、少なくともボックス置き場１６０の全領域が映るように調整する必要がある。さらに作業者１４０の姿も映るよう広角にカメラ部１３１を設置する必要がある。どの程度の範囲を撮影すべきかは後述する。

天井にはカメラ部１３１以外に、プロジェクタ部１３２を設置する。任意でスピーカ１３３を設置しても良い。プロジェクタ部１３２は扉１６１−１の開放時間が規定時間を超過したときにアラーム表示１５１を床１５０に投影する役割がある。また任意で設置したスピーカ１３３から警告のためのアラーム音を出力しても構わない。規定時間の超過とアラームの関係については後述する。

画像処理装置１１０は、カメラ部１３１で撮影したカメラ映像を取り込み、画像解析処理を行う。画像解析の結果、アラームを出力する必要があれば、プロジェクタ部１３２で残り時間やアラーム文などが書かれた映像をアラーム表示１５１として床１５０に向けて投影する。また、スピーカ１３３で注意喚起のための音声や警告音などのアラーム音を作業者１４０に向かって出力してもよい。

次に、図２を用いて扉の開放時間とアラームの関係について説明する。
図２において、横軸は左から右に向け時間の経過を示す。
まず、画像処理装置１１０は、（ａ）で収納ボックス１６１，１６２，１６３がボックス置き場１６０に置かれたことを検知すると扉の開放時間のチェックが始まる。（ｂ）で扉が開いたことをカメラ部１３１のカメラ映像から検知すると扉開放時間のカウントが始まる。カウントは扉を開けていることが許容される最大時間を規定時間とする。規定時間は、例えば、予め１０分と決めておく。
画像処理装置１１０は、（ｃ）では規定時間２０１の前に扉が閉められたことをカメラ部１３１のカメラ映像から検知し、規定時間２０１前に扉が閉められると、扉開放時間２０２のカウントを停止する。

画像処理装置１１０は、再度（ｄ）で扉が開かれるとカウントを始め、（ｄ）の時間から規定時間２０３を超過２０４しても扉が閉められなかった場合にアラーム２０５を出力する。アラーム２０５の出力はプロジェクタ部１３２からの投影画像や任意に設置されたスピーカ１３３のアラーム音である。実際に扉が閉められたのは（ｅ）の規定時間後である。
収納ボックス１６１，１６２，１６３が置かれた時間、扉が開いた時間、扉が閉じた時間、アラーム２０５を出力する時間は以上の関係にある。

（実施例１、床へのアラーム表示） 次に、収納ボックスの扉が開放状態になっている場合にアラーム表示領域の床にアラーム表示を行う一実施例について、図１から図７を用いて説明する。
カメラ部１３１の撮影範囲１３１−１について図３を用いて説明する。
図３は本発明の一実施例に係る情報表示システムのカメラの撮影範囲について説明するための図である。
図３の外枠はカメラ部１３１で撮影したカメラ撮影範囲１３１−２である。
カメラ部１３１は、収納ボックス１６１が置かれたボックス置き場１６０と、作業員１４０が作業する範囲であるアラーム表示領域１５２の全領域が映るようにカメラ部１３１の画角を設定している。

アラーム表示領域１５２はアラーム表示１５１を表示する領域であり、作業員１４０が作業する領域に含まれる。このアラーム表示領域１５２は画像処理が扱うための仮想的な床上の領域であり、図３では明示的に図示したが、実際の作業現場ではアラーム表示領域１５２を表す線などの印は無くてもよい。
図３のアラーム表示領域１５２にはアラーム表示１５１の例として残り時間４分３０秒を示す「４．３０」を図示したが、日本語などの文字や注意喚起の図形を投影してもよい。
図３は、天井に設置したカメラ部１３１から撮影した映像なので、収納ボックス１６１と扉１６１−１，１６１−２の上面にはマーカー１６１−１１，１６１−１２，１６１−１３が見えている。図３は扉１６１−１，１６１−２が両開きになっている場合である。

次に、図４を用いてアラーム表示位置について説明する。
図４は本発明の一実施例に係る情報表示システムのアラーム表示位置を説明するための図である。
アラーム表示１５１の表示位置は、アラーム表示領域１５２内であるという条件以外に、作業者１４０の位置も関係する。
なお、作業者１４０や作業者１４０が床に置いた荷物のようなアラーム表示領域１５２の内部で検知された物体はアラーム表示１５１を床に投影する際の障害になり特別に扱う必要があることからこれ以降「作業物」と表記し、単なる物体と区別して扱う。

図４の（ａ）−１はカメラ部１３１が撮影したカメラ映像であり、収納ボックス１６１、作業者１４０、床１５０に投影されたアラーム表示１５１が映っている。アラーム表示１５１は、作業者３と重ならない位置に投影する。そのため、カメラ部１３１で撮影した映像のうち、アラーム表示領域１５２の内部で動く作業者１４０の位置を（ｂ）−１のように画像処理で検知する必要がある。この作業者１４０の位置と重ならないようにしたアラーム表示１５１を含んだ画像を作成しプロジェクタ部１３２で床１５０に投影する。その投影画像が（ｃ）−１である。この例では扉開放の残り時間を示す「４．３０」を図示した。

カメラ映像（ａ）−２では、作業者１４０の位置が（ａ）−１と異なる。作業者１４０を検知した結果は（ｂ）−２のようになり、作業者１４０を避けるように作成したアラーム表示１５１を含む投影画像は（ｃ）−２になる。
このように、アラーム表示１５１を床１５０に投影した際に作業物と重ならないようにする点が特徴である。さらに、アラーム表示１５１の投影位置をできるだけ作業者１４０の近くに投影するようにすれば、作業者１４０を避けつつも動きを追うように表示することも可能である。

次に、アラーム表示１５１と作業物が重ならないような投影画像の作成について、アラーム表示１５１の位置決めの動作を図５を用いて説明する。
図５は本発明の一実施例に係る情報表示システムのアラーム表示と作業物の関係を説明するための図である。
図５において、アラーム表示領域１５２と作業者１４０の位置関係が（ａ）の状態だとする。このとき収納ボックス１６１は図２と同じく（ａ）の上側にあるとする。

まず、始めに画像処理装置１１０は、作業者１４０と収納ボックス１６１との間にアラーム表示１５１が投影できるかを判断する。
画像処理装置１１０は、（ａ）ではアラーム表示１５１が占める大きさよりも広い領域５１が空いているので、（ｂ）のようにアラーム表示１５１を作業者１４０と収納ボックス１６１との間に表示する。

画像処理装置１１０は、（ｃ）の状態では作業者１４０と収納ボックス１６１との間に充分な広さがないため、作業者１４０の左右方向に空き領域５２があるかを確認し、（ｃ）のように作業者１４０が中心よりも左にいる場合、右方向に広い領域が存在する可能性が高いため、作業者１４０の右側にアラーム表示１５１を表示可能か判断する。
画像処理装置１１０は、（ｃ）では作業者１４０の右側が表示可能であるので、（ｄ）のように作業者１４０の右側にアラーム表示１５１を表示する。

さらに、（ｅ）では作業者１４０以外に荷物も置いてあるため、作業者１４０の左右にも空き領域がない状態である。
画像処理装置１１０は、この場合、（ｅ）のように作業者１４０よりも後ろ（図では下側）にアラーム表示１５１を表示する。

画像処理装置１１０は、作業者１４０や複数の荷物によりアラーム表示領域１５２の中にはアラーム表示１５１を表示する余地がない場合、（ｆ）のようにアラーム表示領域１５２の中で収納ボックス１６１に最も近く左右方向の中心に、作業物と重なることを許容してアラーム表示１５１を表示する。

次に、上述の図５の詳細な動作を図６で説明する。
図６は本発明の一実施例に係る情報表示システムの動作を説明するためのフローチャートである。
画像処理装置１１０は、カメラ部１３１から出力されたカメラ映像データを取得（Ｓ６０１）し、Ｓ６０２の処理に進む。
Ｓ６０２の処理では、アラーム表示領域１５２の内部で検知された作業物のうち、最も収納ボックス１６１に近い作業物を選択し、Ｓ６０３の処理に進む。

Ｓ６０３の処理では、収納ボックス１６１と作業物の間にアラーム表示１５１が表示可能か否かを判定し、表示可能な場合（ＹＥＳ）にはＳ６１１の処理に進み、表示不可の場合（ＮＯ）にはＳ６０４の処理に進む。Ｓ６０３の処理は図５（ａ）と同じ動作である。
アラーム表示１５１が表示可能か否かの判定は、アラーム表示１５１を床１５０に投影したときの大きさはプロジェクタ部１３２のレンズ倍率などから事前に分かり、アラーム表示領域１５２の広さも事前に決まっているので、カメラ画像に映った作業物の位置から判断することが出来る。

Ｓ６０４の処理では、作業物がアラーム表示領域１５２の中心に対して左側にあるか否かを判定し、作業物がアラーム表示領域１５２の中心に対して左側にある場合（ＹＥＳ）にはＳ６０９の処理に進み、作業物がアラーム表示領域１５２の中心に対して右側にある場合（ＮＯ）にはＳ６０５の処理に進む。

Ｓ６０５の処理では、作業物がアラーム表示領域１５２の中心よりも右側にあるので、アラーム表示１５１をアラーム表示領域１５２の中心よりも左側に表示可能か否かを判定し、表示可能な場合（ＹＥＳ）にはＳ６１１の処理に進み、表示不可の場合（ＮＯ）にはＳ６０６の処理に進む。

Ｓ６０６の処理では、作業物がアラーム表示領域１５２の中心より右側にあるが、さらに右側に表示できるか否かを判定し、表示可能な場合（ＹＥＳ）にはＳ６１１の処理に進み、表示不可の場合（ＮＯ）にはＳ６０７の処理に進む。

Ｓ６０９の処理では、作業物がアラーム表示領域１５２の中心に対し左側に位置する場合であり、アラーム表示１５１をアラーム表示領域１５２の中心よりも右側に表示可能か否かを判定し、表示可能な場合（ＹＥＳ）にはＳ６１１の処理に進み、表示不可の場合（ＮＯ）にはＳ６１０の処理に進む。Ｓ６０９の処理は図５（ｃ）と同じ動作である。

Ｓ６１０の処理では、作業物がアラーム表示領域１５２の中心より左側にあるが、さらに左側に表示できるか否かを判定し、表示可能な場合（ＹＥＳ）にはＳ６１１の処理に進み、表示不可の場合（ＮＯ）にはＳ６０７の処理に進む。

Ｓ６０７の処理では、作業物の左右にアラーム表示１５１を表示する広さが無いため、作業物の後ろに表示可能か否かを判定し、表示可能な場合（ＹＥＳ）にはＳ６１１の処理に進み、表示不可の場合（ＮＯ）にはＳ６０８の処理に進む。

Ｓ６０８の処理では、作業物の周囲にはアラーム表示１５１を表示する広さが無い状態であるため、作業物と重なることを前提に、アラーム表示領域１５２の中で収納ボックス１６１に最も近く左右方向の中心にアラーム表示１５１を表示し、処理を終了する。

Ｓ６１１の処理では、前処理の判定で「ＹＥＳ」の位置にアラーム表示１５１を表示する。例えば、Ｓ６０９の処理の場合は、作業物の右側にアラーム表示１５１を表示し、処理を終了する。
以上のように、最終的にＳ６０８の処理、もしくはＳ６１１の処理を実行することになる。よって、アラーム表示１５１がアラーム表示領域１５２の何れかの位置に必ず表示される。

次に、本情報表示システムの中核となる画像処理装置１１０の構成と動作について図７を用いて説明する。
図７は本発明の一実施例に係る情報表示システムの画像処理装置の構成を説明するためのブロック図である。
図７において、画像処理装置１１０は、ボックス位置検出部７１２、扉位置検知部７１３、扉開閉判断部７１４、減算タイマー部７１５、アラーム判断部７１６、作業物検知部７１７、作業物位置検出部７１８、アラーム表示位置算出部７１９、アラーム画面合成部７２０で構成されている。

カメラ部１３１から出力されたカメラ映像７２１は、ボックス位置検知部７１２、扉位置検知部７１３、作業物検知部７１７の３つの処理に入力される。
ボックス位置検知部７１２は、入力されたカメラ映像７２１を画像解析し、収納ボックス１６１に付けたマーカー１６１−１１を目印にして、ボックス置き場１６０の領域に収納ボックス１６１が置かれたことを検知する。

収納ボックス１６１の検知方法は、例えば、マーカー１６１−１１の色を赤とし、形状を矩形にした場合、画像処理により赤色成分だけを残し、さらに赤色成分を囲む面積が最小になる外接矩形を求める。この矩形を見つける処理は一般的にrotating calipers法などが使われる。
収納ボックス１６１の本体に付けたマーカー１６１−１１は図３で示したように本体の上面前方に矩形で付けている。また、輪郭抽出処理を行うと、収納ボックス１６１本体の輪郭も抽出できる。この輪郭について直線検出方式で一般的なHough変換などの処理を用いて外接矩形を求める。本体の輪郭の外接矩形とマーカー１６１−１１の外接矩形との大きさ、向き、形状を元に、その部分が収納ボックス１６１であると判断することが出来る。検知した収納ボックス１６１と本体に付いたマーカー１６１−１１の位置や傾きは、ボックス検知信号７２４として扉位置検知部７１３へ出力する。

扉位置検知部７１３は、扉１６１−１，１６１−２に付けられたマーカー１６１−１２，１６１−１３を検知する。収納ボックス１６１に付いたマーカー１６１−１１は、すでにボックス検知信号７２４として入力されているので、カメラ映像７２１で抽出した赤色成分のうち、収納ボックス１６１本体のマーカーを除いたマーカー１６１−１２，１６１−１３が扉１６１−１，１６１−２の候補になる。そのマーカー１６１−１２，１６１−１３の位置と傾きの情報、さらに収納ボックス１６１の本体の位置と向きの情報を扉開閉判断部７１４へ出力する。

扉開閉判断部７１４は、収納ボックス１６１の本体と扉１６１−１，１６１−２の位置関係を求め、扉１６１−１，１６１−２の開閉状態を判断する。扉１６１−１，１６１−２が閉まっていれば本体のマーカー１６１−１１と一体化しておりマーカー１６１−１１自体の幅が広くなっている。扉１６１−１，１６１−２が開いていれば本体のマーカー１６１−１１とヒンジの部分で一点接続された隣接位置で扉１６１−１，１６１−２のマーカー１６１−１２，１６１−１３を検出できる。このように収納ボックス１６１の本体の位置を基準に扉１６１−１，１６１−２のマーカー１６１−１２，１６１−１３の向きを確認することで、扉１６１−１，１６１−２の開閉状態が判断できる。扉１６１−１，１６１−２の開閉状態の情報は、後段の減算タイマー部７１５に出力する。

減算タイマー部７１５は、扉１６１−１，１６１−２が開放状態であればタイマー値７２６のカウントダウンを開始する。タイマー値７２６の初期値は収納ボックス１６１の扉１６１−１，１６１−２を開放していても良い最大時間になる。
例えば、扉１６１−１，１６１−２を５分間だけ連続で開けていることが許されるのならば、タイマー値７２６の初期値は５分になる。カウントダウンを行い扉開放時間の最大時間になった時点でタイマー値７２６はゼロになる。ゼロになった後のタイマー値７２６はゼロのまま止まっていても、マイナス方向にカウンタを進めてもどちらでも構わず、ゼロになった後の超過時間を扱う必要があればマイナス方向にカウンタを進めれば良い。タイマー値７２６はアラーム判断部７１６とアラーム画面合成部７２０に出力する。扉１６１−１，１６１−２が閉まった状態であればタイマー値７２６は初期値になる。

アラーム判断部７１６は、入力されたタイマー値７２６の値を監視する。そして所定の値になったらアラーム信号７２２を出力する。アラーム信号７２２を出力するタイミングはシステムの運用により変わる。
例えば、収納ボックス１６１の扉１６１−１，１６１−２が開いている時間が許容される最大時間になった時にアラームを出力するシステム運用であれば、タイマー値７２６がゼロになった時点でアラーム信号７２２を出力する。

また、別の例として、扉１６１−１，１６１−２が開いている許容時間の３０秒前に警告のアラームを出力する場合は、カウントダウンするタイマー値７２６の値が残り３０秒になった時点でアラーム出力７２２を出力する。このアラーム信号７２２を出力するタイミングは複数回でも構わず、例えば、残り３０秒前と残りゼロの２回でアラーム信号７２２を出力しても構わない。

さらに、システムにアラーム音を出力するためのスピーカ１３３を接続した場合、アラーム判断部７１６はタイマー値７２６が所定の値になった時に決められたアラーム音をスピーカ１３３から出力する。音の種類は人の音声でも機械的なサイレンでも構わない。アラーム音を出力するタイミングはアラーム信号７２２と同時でも、異なるタイミングでも構わずシステム運用で決めれば良い。
アラーム判断部７１６は後段のアラーム画面合成部７２０に対し、アラーム表示１５１を床１５０に投影すべきタイミングをタイマー値７２６で判断して、アラーム情報７２７として出力する。

作業物検知部７１７は、入力されたカメラ映像７２１から、アラーム表示領域１５２内に存在する作業者１４０などの作業物を検知する。この検知方法は一般に知られている背景差分やフレーム間差分など、複数枚の画像間の差分情報を抽出し、その出現した差分を映像上に新たに現れた物体であるとして認識する手法を用いる。背景差分であれば、作業物が何も存在していないときの画像を背景画像として、現在のカメラ映像７２１との差分を取れば、背景画像を作成した後に置かれた荷物などを検出することが出来る。

また、フレーム間差分を用いれば、過去の画像から移動した作業物などの物体を検出することができる。このようにして検知した作業物の情報は、後段の作業物位置検出部７１８に出力する。但し、カメラ映像７２１にはアラーム表示１５１も画像の一部として映り込んでいることに注意する必要がある。プロジェクタ部１３２から投影したアラーム表示１５１も動きを伴うので作業物のように見えてしまう。このアラーム表示１５１を作業物から除外する必要があるため、後段のアラーム表示位置検出部７１９から、アラーム表示１５１の位置をアラーム表示位置７２５としてフィードバックする。

アラーム位置検出部７１８は、作業物検知部７１７から入力された情報から、作業物の位置を具体的な座標情報に変換し、アラーム表示１５１を表示すべき座標を算出する。この時の座標系は、プロジェクト部１３２で投影する画像を構成するための座標である。アラーム表示１５１も同様に、この座標系を用いて位置が指定される。但し、アラーム表示１５１は作業物ではないので、前述した作業物位置検出部７１８で除外するために、アラーム表示位置部７２５としてアラーム表示１５１の座標を出力する。同時にアラーム表示位置部７２５は後段のアラーム画面合成部７２０にも出力する。

アラーム画面合成部７２０は、アラーム情報７２７からアラームを床に表示すべきとアラーム情報７２７で指示されると、同時に入力されたタイマー値７２６の値を床１５０に投影可能な画像として生成し、アラーム表示位置７２５で示された座標に重畳して投影画像を合成する。そして合成した画像をプロジェクタ部１３２に出力する。投影するのはタイマー値７２６を画像に変化したもの以外に、文字などのメッセージや記号などを組み合わせて画像を合成しても構わない。

プロジェクタ部１３２は、アラーム表示１５１が重畳された画像をアラーム表示領域１５２に投影する。
以上のように画像処理でマーカーを付加した収納ボックスの位置と扉の開閉状態、作業物の位置を検知し、作業物に重ならないようアラーム表示を床へ投影することで、少ない設置条件で収納ボックスの扉開閉時間の監視が可能な投影映像による注意喚起を行う情報表示システムを実現できる。

（実施例２、収納ボックスの扉へのアラーム表示） 次に、収納ボックスの扉が開放状態になっている場合に収納ボックスの扉にアラーム表示を行う一実施例について、図１、図２、図８から図１４を用いて説明する。
本発明の一実施例に係る情報表示システムの構成は図１であるが、上述と同様であるため、説明を省略する。

図８は本発明の一実施例に係る情報表示システムのアラーム表示を扉への投影について説明するための図である。
図８に示したアラーム表示８０１のように扉１６１−１の傾きと作業者１４０の位置を考慮して画像処理で変形させて扉１６１−１に投影することである。図８はプロジェクタ部１３２のレンズ位置から見たと想定したときの収納ボックス１６１や扉１６１−１の見え方である。そのためアラーム表示８０１が傾いて図示しているが、それは本来見るべき位置でないため傾いて見えるのであり、作業者１４０の位置から見ると傾きのない表示になって見える。

図９は本発明の一実施例に係る情報表示システムのアラーム表示の射影変換を説明するための図である。
ここでアラーム表示８０１に傾きを与える画像処理について説明する。
この画像の変形は射影変換と呼ばれる一般的な画像処理の手法を用いる。
例えば、図９の左側に示すように「２．００」と書いた矩形の画像を射影変換することで、右側のように三次元空間中で傾きを与えた仮想的な平面を仮定し、その平面に貼り付けた「２．００」の画像を斜めから見たかのような画像を作り出すことができる。右側の「２．００」は仮想的な平面に垂直な三次元的な位置から見れば左側の「２．００」と同じように傾きのない画像に見える。このように射影変換は異なる傾きを持った座標平面に変換する処理である。この射影変換を用いて、扉１６１−１に投影する映像を扉１６１−１の傾きに合わせた映像に変換して作業者１４０から見てゆがみのない画像を作り出す。

一般に射影変換による三次元座標系（ｘ、ｙ、ｚ）から（ｘ’、ｙ’、ｚ’）への変換は、回転と平行移動の組み合わせで数式１のように表すことができる。

ここでｔは平行移動行列、Ｒは回転行列である。
平行移動行列はＸ軸、Ｙ軸、Ｚ軸方向の移動量を（ｔｘ、ｔｙ、ｔｚ）とすると数式２のように表すことができる。

回転行列はどの軸で回転させるかで異なり、Ｘ軸で角度αだけ回転すると数式３、Ｙ軸で角度βだけ回転すると数式４、Ｚ軸で角度γだけ回転すると数式５のように表すことができる。

次に、アラーム表示８０１の作成方法について説明する。
表示したいアラーム映像を平面の二次元画像として作成し、ｚ＝０として三次元座標系に置き換える。その後、数式２を適用して、プロジェクタ部１３２からアラーム表示８０１を投影する扉１６１−１までの距離だけ座標系を移動する。
次に、数式３〜数式５を適用してプロジェクタ部１３２の投影する光軸の向きから作業者１４０の視点へと回転させる。

さらに三次元座標系から数式６と数式７により二次元座標系（Ｘ、Ｙ）に変換する。
Ｘ＝ｒ×（ｘ’／ｚ’） ・・・・・ （数式６） Ｙ＝ｒ×（ｙ’／ｚ’） ・・・・・ （数式７） ここでｒは作業者１４０の視点から扉１６１−１までの距離である。このように変換することで、作業者１４０からの視点に合わせた射影変換後のアラーム表示８０１の画像を得ることができる。

実際の射影変換の手順を図１０と図１１を用いて説明する。
図１０は本発明の一実施例に係る情報表示システムのアラーム表示を横から見た扉への投影の図である。
図１１は本発明の一実施例に係る情報表示システムのアラーム表示を上から見た扉への投影の図である。
始めに座標軸の定義をする。作業者１４０から収納ボックス１６１に向かって右から左にＸ軸（図１０では紙面手前から奥の方向）、天井方向から床方向に向けてＹ軸（図１１では紙面手前から奥の方向）、収納ボックス１６１の扉１６１−１から背面方向に向けてＺ軸がのびている。また、原点座標はプロジェクタ部１３２のレンズ部分とする。

図１０ではプロジェクタ部１３２は天井から扉１６１−１に向けてアラーム表示８０１を投影するため、床１５０からほぼ垂直に立つ扉１６１−１に対しては斜め上からの投影になりアラーム表示８０１の形が歪む。そこでプロジェクタ部１３２の高さを作業者１４０の目線とほぼ同じ高さから投影したかのように見せるための射影変換を行う。

プロジェクタ部１３２の俯角は設置時に決まりθで表す。プロジェクタ部１３２を作業者１４０の目線と同じ水平位置から投影したようなアラーム表示８０１を作るにはＸ軸に対してθだけ回転させればよい。数式３にθを代入してアラーム表示８０１の画像を変換する。

次に、プロジェクタの高さＨを平行移動により床からｈの高さに移動させるため、数式２のｔｙに（Ｈーｈ）を代入してＹ軸方向の移動を行う。
以上の変換によりプロジェクタ部１３２と作業者１４０、扉１６１−１に投影されたアラーム表示８０１の高さは同じになる。

よってこれ以降はプロジェクタ部１３２と作業者１４０の目線と扉１６１−１に投影したアラーム表示８０１は同じ平面座標系として扱えばよいので、図１１の上から見た状態でのみ処理を行えばよい。
なお、この変換には若干の誤差があってもよく、例えば、作業者１４０の目線の高さｈを一律に１７０ｃｍ程度に設定しても身長の差が原因でアラーム表示８０１の傾きに違和感を覚えるほどの差異は見た目には生じない。プロジェクタの高さＨについてはプロジェクタ部１３２を設置するときに決定される。

図１１は作業現場を上から見た図である。プロジェクタ部１３２から扉１６１−１に向けてのびる直線を投影線１３２１とする。
アラーム表示８０１を投影する扉１６１−１の表面は扉平面１１０１とする。投影線１３２１と扉平面１１０１の交点で、投影線１３２１と直角に交わる平面は直角投影面１１０２とする。扉平面１１０１と投影線１３２１との交点と、作業者１４０の視点とを結んだ直線は視線１４１とする。作業者１４０の視点から扉１６１−１までの距離をｒとする。

投影線１３２１と視線１４１の角度はφとする。φはカメラ映像に映る作業者１４０と扉１６１−１の位置関係から導くことができる。
例えば、カメラ部１３１を設置した際の撮像素子サイズやレンズの焦点距離などのカメラパラメータを使い、カメラ映像に映った物体の見かけの大きさから求めることができることが特開２００９−１７０２６号公報などで開示されている。

また、直角投影面１１０２と扉平面１１０１との角度はψとする。ψは扉１６１−１の角度をマーカー１６１１−１で検知しており、その手段は上述と同様である。
射影変換をしないアラーム表示８０１を扉１６１−１に投影すると、直角投影面１１０２の座標平面上では正しい画像になるが、扉１６１−１が開いていて角度ψが付いているため、実際に投影される座標平面は扉平面１１０１になる。そのためアラーム表示８０１は歪んで見える。さらに作業者１４０の視線１４１は扉平面１１０１に対して直角ではなく角度ψが付いているため、さらに別の歪みに見える。

そこでまず、直角投影面１１０２から扉平面１１０１への角度ψの射影変換を行う。この回転はＹ軸に対するので数式４に代入して変換する。この時は回転のみで移動は生じないので平行移動は行わない。
続いて、投影線１３２１から視線１４１への角度φの射影変換を行う。この回転もＹ軸に対するので数式４に代入して変換する。さらに平行移動によりプロジェクタ部１３２のレンズ位置である原点から作業者１４０の視点位置に変換する。最後に三次元座標系から二次元座標系へ変換するため数式５と数式６で二次元座標を求める。この二次元座標によって描かれた画像がプロジェクタ部１３２から投影すべきアラーム表示８０１になる。
以上の変換でプロジェクタ部１３２から扉１６１−１に投影したアラーム表示８０１を作業者１４０は歪まずに見ることができる。

次に、本情報表示システムの中核となる画像処理装置１１０の構成と動作について図１２を用いて説明する。
図１２は本発明の一実施例に係る情報表示システムの第２の画像処理装置の構成を説明するためのブロック図である。
図１２は図７の画像処理装置と同じ動作の部分も多いが、一部異なる部分があるので全体を説明する。図１２と異なるのは、作業者検知部１２１７、作業者位置検出部１２１８、アラーム表示角度算出部１２１９、アラーム画面合成部１２２０の４つである。また、プロジェクタ部１３２がアラーム表示８０１を扉１６１−１に投影する点が異なる。

カメラ部１３１から出力されたカメラ映像７２１は、ボックス位置検知部７１２、扉位置検知部７１３、作業者検知部７１７の３つの処理に入力する。
ボックス位置検知部７１２は、入力されたカメラ映像７２１を画像解析し、収納ボックス１６１に付けたマーカー１６１−１１を目印にして、ボックス置き場１６０の領域に収納ボックス１６１が置かれたことを検知する。

収納ボックス１６１の検知方法は、マーカー１６１−１１の色を赤とし、形状を矩形にした場合、画像処理により赤色成分だけを残し、さらに赤色成分を囲む面積が最小になる外接矩形を求める。この矩形を見つける処理は一般的にrotating calipers法などが使われる。
収納ボックス１６１の本体に付けたマーカー１６１−１１は図８で示したように本体の上面前方に矩形で付けている。また、輪郭抽出処理を行うと、収納ボックス１６１本体の輪郭も抽出できる。この輪郭について直線検出方式で一般的なHough変換などの処理を用いて外接矩形を求める。本体の輪郭の外接矩形とマーカー１６１−１１の外接矩形との大きさ、向き、形状を元に、その部分が収納ボックス２であると判断することが出来る。検知した収納ボックス１６１と本体に付いたマーカー１６１−１の位置や傾きは、ボックス検知信号７２４として扉位置検知部７１３へ出力する。

扉位置検知部７１３は、扉１６１−１，１６１−２に付けられたマーカー１６１−１２，１６１−１３を検知する。収納ボックス１６１に付いたマーカー１６１−１１は、すでにボックス検知信号部７２４として入力されているので、カメラ映像７２１で抽出した赤色成分のうち、収納ボックス１６１本体のマーカーを除いたマーカー１６１−１２，１６１−１３が扉１６１−１，１６１−２の候補になる。そのマーカー１６１−１２，１６１−１３の位置と傾きの情報、さらに収納ボックス１６１の本体の位置と向きの情報を扉開閉判断部７１４へ出力する。

扉開閉判断部７１４は、収納ボックス１６１の本体と扉１６１−１，１６１−２の位置関係を求め、扉１６１−１，１６１−２の開閉状態を判断する。扉１６１−１，１６１−２が閉まっていれば本体のマーカー１６１−１１と一体化しておりマーカー１６１−１１自体の幅が広くなっている。扉１６１−１，１６１−２が開いていれば本体のマーカー１６１−１１とヒンジの部分で一点接続された隣接位置で扉１６１−１，１６１−２のマーカー１６１−１２，１６１−１３を検出できる。このように収納ボックス１６１の本体の位置を基準に扉１６１−１，１６１−２のマーカー１６１−１２，１６１−１３の向きを確認することで、扉１６１−１，１６１−２の開閉状態が判断できる。扉１６１−１，１６１−２の開閉状態の情報は、後段の減算タイマー部７１５に出力する。

減算タイマー部７１５は、扉１６１−１，１６１−２が開放状態であればタイマー値７２６のカウントダウンを開始する。タイマー値７２６の初期値は収納ボックス１６１の扉１６１−１，１６１−２を開放していても良い最大時間になる。例えば扉１６１−１，１６１−２を５分間だけ連続で開けていることが許されるのならば、タイマー値７２６の初期値は５分になる。カウントダウンを行い扉開放時間の最大時間になった時点でタイマー値７２６はゼロになる。ゼロになった後のタイマー値７２６はゼロのまま止まっていても、マイナス方向にカウンタを進めてもどちらでも構わず、ゼロになった後の超過時間を扱う必要があればマイナス方向にカウンタを進めれば良い。タイマー値７２６はアラーム判断部７１６とアラーム画面合成部１２２０に出力する。扉１６１−１，１６１−２が閉まった状態であればタイマー値７２６は初期値になる。

アラーム判断部７１６は、入力されたタイマー値７２６の値を監視する。そして所定の値になったらアラーム信号７２２を出力する。アラーム信号７２２を出力するタイミングはシステムの運用により変わる。例えば、収納ボックス１６１の扉１６１−１，１６１−２が開いている時間が許容される最大時間になった時にアラームを出力するシステム運用であれば、タイマー値７２６がゼロになった時点でアラーム信号７２２を出力する。

また、別の例として、扉１６１−１，１６１−２が開いている許容時間の３０秒前に警告のアラームを出力する場合は、カウントダウンするタイマー値７２６の値が残り３０秒になった時点でアラーム出力７２２を出力する。このアラーム信号７２２を出力するタイミングは複数回でも構わず、例えば、残り３０秒前と残りゼロの２回でアラーム信号７２２を出力しても構わない。

さらに、システムにアラーム音を出力するためのスピーカ１３３を接続した場合、アラーム判断部７１６はタイマー値７２６が所定の値になった時に決められたアラーム音をスピーカ１３３から出力する。音の種類は人の音声でも機械的なサイレンでも構わない。アラーム音を出力するタイミングはアラーム信号７２２と同時でも、異なるタイミングでも構わずシステム運用で決めれば良い。
アラーム判断部７１６は後段のアラーム画面合成部１２２０に対し、アラーム表示８０１を扉１６１−１に投影すべきタイミングをタイマー値７２６で判断して、アラーム情報７２７として出力する。

作業者検知部１２１７は、入力されたカメラ映像７２１から、動いている作業者１４０を検知する。この検知方法は一般に知られている背景差分やフレーム間差分など、複数枚の画像間の差分情報を抽出し、その出現した差分を映像上に新たに現れた物体であるとして認識する手法を用いる。フレーム間差分を用いれば、過去の画像から移動した作業者１４０を検出することができる。このようにして検知した作業者１４０の情報は、後段の作業者位置検出部１２１８に出力する。前述の床１５０に投影したアラーム表示１５１の場合はそれ自体も作業者１４０と一緒に検知されたが、本一実施例では扉１６１−１に投影することからこの検知処理の範囲内には入らずアラーム表示の重なりを考慮する必要はない。

作業者位置検出部１２１８は、作業者検知部１２１７から入力された情報から、作業者１４０の位置を具体的な座標情報にとして算出する。そして複数の作業者１４０が検知された場合は、最も収納ボックス１６０に近い作業者１４０を選んで後段のアラーム画面合成部１２２０に座標を出力する。

アラーム画面合成部１２２０は、アラーム情報７２７からアラームを扉１６１−１に表示すべきとアラーム情報７２７で指示されると、同時に入力されたタイマー値７２６の値を扉１６１−１に投影可能な画像として生成する。この生成方法は前述した射影変換による方法を用いる。そして生成した画像をプロジェクタ部１３２に出力する。投影するのはタイマー値７２６を画像に変化したもの以外に、文字などのメッセージや記号などを組み合わせて画像を合成しても構わない。
プロジェクタ部１３２は、アラーム表示８０１が重畳された画像を扉１６１−１に投影する。

（収納ボックスの扉の開閉検知手段） 次に、収納ボックスの扉の開閉検知手段について、図１３を用いて説明する。
図１３は本発明の一実施例に係る情報表示システムの扉が開いたと判定する動作を説明するための図である。
図１３において、収納ボックスは本体１３０１と扉１３０２と構成され、本体１３０１の天井にマーカー１３０３が貼り付けら、扉１３０２の天井にマーカー１３０４が貼り付けられている。

画像処理装置１１０の扉位置検知部７１３は、扉１３０２に付いたマーカー１３０４の外接矩形の重心点を求める。
マーカー１３０４の外接矩形の中心を求めるには、例えば、縦横の半分の位置を重心点と決めても良い。この重心点の移動を追うことで扉１３０２の開閉状態を検知する。また、扉１３０２の平面と垂直に仮想的な検出ライン１３０５を引き、この検出ライン１３０４と重心点の位置を画像処理で追跡する。

図１３（ａ）は扉１３０２が閉まった状態の図である。
収納ボックスの本体１３０１のマーカー１３０３と扉１３０２のマーカー１３０４が一体化して見えている。扉１３０２と収納ボックスの本体１３０１との区別ができることはすでに説明した。
扉位置検知部７１３は、カメラ映像７２１から本体のマーカー１３０４のみが映っている場合に扉１３０２が閉まっていると判定する。

（ｂ）は扉１３０２が開く途中の状態の図である。
扉位置検知部７１３は、カメラ映像７２１から扉１３０２の開口した位置を認識（認識した扉１３１６）し、認識した扉１３１６から扉の重心点１３１７を求め、扉の重心点１３１７が検出ライン１３０５を越えているか否かを判定し、本例では扉の重心点１３１７が検出ライン１３０５を越えていないため、扉１３０２が開く途中であると判定する。

（ｃ）は扉１３０２が開いた状態の図である。
扉位置検知部７１３は、カメラ映像７２１から扉１３０２の開口した位置を認識（認識した扉１３２６）し、認識した扉１３２６から扉の重心点１３２７を求め、扉の重心点１３７７が検出ライン１３０５を越えているか否かを判定し、本例では扉の重心点１３２７が検出ライン１３０５を越えているため、扉１３０２が開いていると判定することにより、扉１３０２が開いていると検出１３２８することができる。

なお、検出ライン１３０５と扉の重心点１３０７の位置を扉１３０２のヒンジ付近に設定すれば、扉１３０２の開きが少なくても検知することができる。この位置はどれだけ扉１３０２が開いたら検知するかで変わるので運用に応じて調整する。

さらに、扉の開閉検知の連続した動作について図１４を用いて説明する。
図１４は本発明の一実施例に係る情報表示システムの扉が開いたと判定するシーケンスを説明するための図である。
図１４は、上側から時計回りに見て、扉１３０２を閉じた状態から開いて、そして閉じるまでの図である。

図１４（ａ）は扉１３０２が閉じた状態である。
扉位置検知部７１３は、カメラ映像７２１から扉１３０２の位置と重心点１３０７を求め、扉１３０２の位置と重心点１３０７から扉１３０２が閉まっていると判定する。

（ｂ）は扉１３０２が開く途中の図である。
扉位置検知部７１３は、カメラ映像７２１から扉１３０２の重心点１３１７を求め、扉の重心点１３１７が検出ライン１３０５を越えているか否かを判定し、扉の重心点１３１７が検出ライン１３０５を越えていないため、扉１３０２が開く途中であると判定する。

（ｃ）は扉１３０２が開いた状態の図である。
扉位置検知部７１３は、カメラ映像７２１から扉１３０２の重心点１３２７を求め、扉の重心点１３２７が検出ライン１３０５を越えているか否かを判定し、扉の重心点１３１７が検出ライン１３０５を越えているため、扉１３０２が開いた状態であると判定する。
扉位置検知部７１３は、扉１３０２が（ｃ）の状態になると扉１３０２を開いていることが許容される最大の規定時間(例えば、３０分)を超過しないかの規定時間の監視１４０５を開始する。このまま規定時間を超過すればアラームを出力する。

（ｄ）は扉１３０２が閉める途中状態の図である。
扉位置検知部７１３は、カメラ映像７２１から扉１３０２の重心点１３３７を求め、扉の重心点１３３７が検出ライン１３０５を閉まる方向で越えているか否かを判定し、扉の重心点１３１７が検出ライン１３０５を閉まる方向で越えているため、扉１３０２が閉まる途中状態であると判定する。
扉位置検知部７１３は、その後、扉１３０２を閉めて重心点が検出ライン１３０５を逆に超えたことを検出すると、規定時間の監視は終了し、（ａ）の状態に戻る。
以上のサイクルを繰り返し、扉１３０２の開閉を監視する。

なお、プロジェクタ部１３２は電動式で首振りが可能な仕組みにして、画像処理装置１１０から指示した収納ボックス１６１の扉１６１−１，１６１−２を狙って動く仕組みにしても良い。
また、扉１６１−１，１６１−２の角度が開きすぎていて作業者１４０が投影した文字を認識できない場合に限り、床１５０や収納ボックス１６１の内部に投影するような判断処理をアラーム判断部７１６に追加しても良い。

以上のように画像処理でマーカーを付加した収納ボックスの位置と扉の開閉状態、作業員の位置を検知し、作業員に見やすいように変換したアラーム表示を収納ボックスの扉へ投影することで、少ない設置条件で収納ボックスの扉開閉時間の監視が可能な投影映像による注意喚起を行う情報表示システムを実現できる。

本発明の実施形態である情報表示システムは、収納ボックスの扉の開閉を検知でき、さらに扉が開放状態の場合にはアラーム表示をすることができる。

以上本発明について詳細に説明したが、本発明は、ここに記載された情報表示システムに限定されるものではなく、上記以外の情報表示システムに広く適用することができることは言うまでもない。

１１０：画像処理装置、１２０：ネットワーク、１３１：カメラ部、１３２：プロジェクタ部、１３３：スピーカ、１４０：作業者、１５０：床、１５１：アラーム表示、１５２：アラーム表示領域、１６０：ボックス置き場、１６１，１６２，１６３：収納ボックス、７１２：ボックス位置検出部、７１３：扉位置検知部、７１４：扉開閉判断部、７１５：減算タイマー部、７１６：アラーム判断部、７１７：作業物検知部、７１８：作業物位置検出部、７１９：アラーム表示位置算出部、７２０：アラーム画面合成部、７２１：カメラ映像、７２２：アラーム信号、７２４：ボックス検知信号、７２５：アラーム表示位置、７２６：タイマー値、７２７：アラーム情報。

Claims (4)

1. カメラ部と、プロジェクタ部と、画像処理装置を有する情報表示システムにおいて、
   前記カメラ部は、扉と扉の可動部を含む周辺を撮影し、
   前記画像処理装置は、前記扉の開いている時間が予め設定した時間を超過した場合にアラーム信号を出力し、
   前記プロジェクタ部は、前記アラーム信号に基づいた文字やパターンを予め設定した位置に投影し、
   前記予め設定した位置が前記扉であることを特徴とする情報表示システム。
   することを特徴とする情報表示システム。
2. 請求項１に記載の情報表示システムにおいて、
   前記扉にはマーカーを有し、
   前記画像処理装置は、前記カメラ部で撮影された前記マーカーの位置で前記扉の開いた状態を検知することを特徴とする情報表示システム。
3. カメラ部と、プロジェクタ部と、画像処理装置を有する情報表示システムにおいて、
   前記カメラ部は、扉と扉の可動部を含む周辺を撮影し、
   前記画像処理装置は、前記扉の開いている時間が予め設定した時間を超過した場合にアラーム信号を出力し、
   前記プロジェクタ部は、前記アラーム信号に基づいた文字やパターンを予め設定した位置に投影し、
   前記画像処理装置は、前記カメラ部の映像から人物および作業物の位置を検出し、アラーム信号の文字を前記人物および作業物と重ならないように前記プロジェクタ部から投影することを特徴とする情報表示システム。
4. 請求項１乃至３に記載の情報表示システムにおいて、
   前記画像処理装置は、アラーム文字信号の射影変換機能を有し、
   前記プロジェクタ部から投影するアラーム文字は、射影していることを特徴とする情報表示システム。

Images