JP6630504B2 - 作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、作業行動支援ナビゲーション用プログラムを記憶した記憶媒体、作業行動支援ナビゲーションシステムを搭載した自走式ロボット、作業行動支援ナビゲーションシステムに用いられるインテリジェントヘルメット - Google Patents

Description

本発明は、例えば、作業現場において、作業員（作業者）が作業するための行動を支援する作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、作業行動支援ナビゲーション用プログラムを記憶した記憶媒体、作業行動支援ナビゲーションシステムを搭載した自走式ロボット、作業行動支援ナビゲーションシステムに用いられるインテリジェントヘルメットに関する。

インフォメーション・アンド・コミュニケーション・テクノロジー（ICT：Information and Communication Technology)の進展により、土木や建設などの現場作業においても、利便性や効率の向上、安全性の確保などのニーズがあり、係るニーズに応えるべき様々な作業支援システムが提案されている。

係る背景技術として、特開２００７−２５７２０７号公報（特許文献１）がある。この公報には、「自装置の位置を検出し、作業の対象となる設備の位置に係る設備位置情報を設備位置データベースから取得し、検出した自装置の位置情報及び取得した設備位置情報を比較し、撮影処理にて画像情報を生成し、作業の対象となる設備の画像情報を、画像データベースから取得し、生成した画像情報及び取得した画像情報を比較し、位置情報の比較結果及び画像情報の比較結果に基づいて、作業の対象となる設備を特定し、作業の対象となる箇所を示す画像を表示部に表示する」作業支援システムなどにより、「作業ミスを引き起こす可能性を低減し、確実な作業の遂行を支援する」という記載がある（要約書参照）。

また、http://www.itmedia.co.jp/news/articles/1409/08/news058.html（非特許文献１）がある。このニュースには、米国DAQRI社により開発された『拡張現実アプリのDaqri、業務用「スマートヘルメット」』に関する商品の紹介記事が掲載されている。そして、係る記事には、ヘッドアップディスプレイを備えたヘルメットに「複数のカメラやセンサ」を搭載し、ユーザの周辺３６０度をトラッキングすること、また、これらのカメラやセンサで収集するデータと既存の追跡技術により、作業に必要な情報、例えば、工場内の道案内や、機器の取り扱いマニュアルなどをバイザー部分のディスプレイに表示すること、が記載されている。

特開２００７−２５７２０７号公報

http://www.itmedia.co.jp/news/articles/1409/08/news058.html

特許文献１には、作業者を支援するシステムの仕組みについては記載されている。
しかし、作業者の作業行動をナビゲートすることまでは想定されていない。そのため、作業をすべき設備を特定し、作業ミス低減、確実な作業遂行を支援することが期待できるという効果に留まる。

また、非特許文献１では、複数のカメラやセンサを搭載し、作業に必要な情報をバイザーのディスプレイに表示することを可能としたインテリジェントヘルメット「業務用スマートヘルメット」の概略について記載されている。
しかし、特許文献１と同様に作業者の作業行動、例えば、これから作業を開始する際、カメラにて撮影した現在の画像や予め蓄積した過去の画像を元に作業者の行動を支援するナビゲーション情報を生成し、表示することまでは想定されていない。そのため、目の前の対象物、つまり、予め定められた工場内の案内やマニュアル、など、特定の情報を表示する機能に留まり、作業者への効果が限定的である。換言すれば、現在の画像や予め蓄積した過去の画像を融合して初めて明らかになる作業行動を支援するためのナビゲーション情報、例えば、過去の画像を収集した撮影アングル（構図）、位置、方向、角度に係る情報を含み、幾何変換されたナビゲーションの情報を生成し、表示するようなことまでは何ら考慮されていない。

そこで、本発明では、現場作業員の作業行動をナビゲートする、つまり、作業者の行動のナビゲーションを支援する情報を生成、出力する技術を提供することを目的とする。

また、作業現場が、過去に作業した現場であるとき、過去に撮影した画像と同等のビューで撮影を可能とする位置や向きに関する情報を生成、出力する技術を提供することを目的とする。

また、過去に撮影した画像と同等のビューで撮影を可能とする自走式ロボットを提供することを目的とする。

上記課題を解決するために、本発明では、記憶装置に蓄積した過去の画像の中から、現在の画像の撮影位置に近い１つの過去の画像（含位置情報）を抽出し、当該現在の画像と当該抽出した過去の画像を元に、作業員やロボットを当該過去の画像を示す位置（ターゲット）までナビゲートし、当該過去の画像を撮影したアングルや構図、方向、角度、などを把握可能な情報を含むナビゲーションする情報を生成、出力するものである。

例えば、代表的な本発明の作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、行動支援ナビゲーション用プログラムを記憶した記憶媒体、行動支援ナビゲーションシステムを搭載した自走式ロボット、行動支援ナビゲーションシステムに用いられるインテリジェントヘルメットの一つは、
カメラ機能を有するセンサと、ナビゲーションデータを表示する機能を有する出力部と、通信機能を有する通信部と、画像を記憶する記憶装置と、画像の幾何変換機能及びナビゲーション指示機能を有する画像処理装置と、を備えた作業行動支援ナビゲーションシステムであって、
前記センサ、前記出力部、前記通信部は、移動品に取り付け、
前記記憶装置は、
前記センサにより撮影した現在の画像及び過去に撮影した過去の撮影画像を蓄積する記憶部を有し、
前記画像処理装置は、画像幾何変換部、画像評価部、指示制御部、を有し、
前記画像幾何変換部は、前記画像の幾何変換し、
前記画像評価部は、幾何変換処理部により幾何変換された現在の画像と過去の撮影画像との差分が、予め定めた許容範囲内外にあるか否かを判定して画像評価し、
前記指示制御部は、前記画像評価部による評価結果、現在の画像と過去の撮影画像との差分が許容範囲外である場合、前記移動品を、ターゲットを示す位置までナビゲーション指示し、前記移動品のヘルメットを装着した作業員又は前記移動品のロボットによる作業行動を支援するナビゲーションデータを生成し、前記出力部に出力するように制御する、
ことを特徴とする。

本発明によれば、作業員やロボットの行動をナビゲート支援することができる。

また、作業員やロボットをナビゲートする際に、過去にカメラで撮影した画像と同等のビューでカメラ撮影することが可能である。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明における作業行動支援ナビゲーションシステムの基本構成例を示す図。 本発明の実施例１を示し、作業行動支援ナビゲーションシステムにおける位置と向きをナビゲーションする手順を説明するフローチャート。 本発明で提供される第２センサに全方位カメラを使用し、撮影したときの撮影画像の例を示す図。 図３の全方位カメラの撮影画像の座標を示す図。 実施例において、蓄積画像と現在の画像との比較について説明する図。 実施例において、移動指示出力について説明する図。 実施例において、向き補正について説明する図。 実施例において、向き指示出力について説明する図。 実施例において、蓄積画像のデータ形式の一例を示すテーブル。 実施例において、地球の地表上での座標を説明する図。 実施例において、地表上の直交座標を説明する図。 本発明の第２の実施例を示し、作業行動支援ナビゲーションシステムにおける処理手順を示すフローチャート。 蓄積画像のデータ形式の他例を示すテーブル。 本発明の第３の実施例を示し、作業行動支援ナビゲーションシステムにおけるナビゲーション処理手順を示すフローチャート。 幾何変換を説明する図。 指示出力を説明する図。 本発明の第４の実施例を示し、作業行動支援ナビゲーションシステムにおける処理手順を示すフローチャート。 蓄積画像のデータ形式の他例を示すテーブル。 本発明の第５の実施例を示し、作業行動支援ナビゲーションシステムにおける処理手順を示すフローチャート。 図１９における実施例５の幾何変換及び指示出力について説明する図。 本発明の実施例７を示す自走式ロボットの構成図。

以下説明する実施形態は、土木や建設現場における作業員やロボットに対するナビゲーションを想定したものである。なお、作業員やロボットを総称する場合は、移動品と称する。
土木や建設現場における作業員は、土木や建設などの現場において、ヘルメットを装着し、ハンズフリーでの作業が求められる。
また、作業員は、これから公物、例えば、ビルや工場などの建造物の点検・保守・運用などで、過去に実施したことのある作業現場にあっては、単に目的とする作業現場や作業位置（ターゲット）まで移動するだけでなく、当該ターゲットにおいて、例えば、過去と同様な位置、向きで所望の計測や公物の写真撮影（画像撮影）を行いたい場合がある。
このように、過去と同様な位置、向きで計測や画像撮影を行うことにより、過去に実施した点検、保守、などの作業時の写真（画像）と比較でき、公物（建造物など）が前回点検時と比べてどのように劣化しているかを視覚的に把握する上で極めて有効である。
そのためには、作業員を前回（過去）の点検時における撮影位置（ターゲット）までナビゲートし、かつ、写真撮影の構図、方向、角度、などのアングルを適確に作業員に提示する必要がある。

本発明は、係るニーズに鑑み、現場での作業員による行動を支援する目的で、過去の撮影時と同様な位置や向きで撮影することを期待できる位置（ターゲット）まで作業員やロボットをナビゲーションするものであり、現在の撮影画像と蓄積された過去の撮影画像を一致させるように画像を幾何変換し、ナビゲーションのパラメータとするものである。

以下、その実施例について、図面を用いて説明する。
なお、以下の説明では、「テーブル」等の表現にて各種情報を説明することがあるが、各種情報は、テーブル以外のデータ構造で表現されていてもよい。また、データ構造に依存しないことを示すために「データ」を「情報」と呼ぶことができる。
また、プログラムは、プロセッサ、例えば、ＭＰ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｏｒ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実行されるもので、定められた処理をするものである。なお、プロセッサは、適宜に記憶資源（例えばメモリ）及び通信インターフェース装置（例えば、通信ポート）を用いながら処理を行うため、処理の主語がプロセッサとされてもよい。プロセッサは、ＣＰＵの他に専用ハードウェアを有していてもよい。コンピュータプログラムは、プログラムソースから各コンピュータにインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバ又は記憶メディアなどで提供されるものであってもよい。

本実施例は、過去にカメラで撮影したとき、当該カメラからの画像、当該画像を撮影した位置及び向きの情報を紐づけて記憶装置に記憶・蓄積した過去の蓄積画像と、現在、カメラで撮影した現在の画像とを対比して、当該現在の画像に近い過去の蓄積画像を、記憶装置の蓄積画像から１つ抽出し、当該蓄積画像と当該現在の画像を元に、作業員に対して撮影位置（撮影ポイント）や向き（カメラの向き）を指示する指示情報、つまり、作業員をナビゲートするに足りるナビゲーション情報を作業員に提供するものである。
これにより、作業員を過去に撮影された画像を撮影した場所のみならず、過去に撮影した画像と同等のビューを得る位置と向きまでナビゲーションすることができる。

図１は、作業員用インテリジェントヘルメットを用いた本発明の作業行動支援ナビゲーションシステムの構成を示す図である。

作業行動支援ナビゲーションシステム１００は、インテリジェントヘルメット１０１とリモートシステム１１１とからなる。

インテリジェントヘルメット１０１は、作業員が被るヘルメット本体１０２、当該ヘルメット本体１０２に取り付けされたセンサ装置、出力装置、通信部１０７、を備えている。

センサ装置は、第１センサ１０３、第２センサ１０４、を含む。
第１センサ１０３は、少なくともヘルメットの向きを示すデータを取得するセンサである。
第２センサ１０４は、公物（建造物や人など）を撮影し、画像データを出力するカメラである。
カメラは、ヘルメット本体１０２の頭部（頂点）に取り付けられた全方位カメラを想定し、所定の撮影位置及び向きで公物（建造物や人など）を撮影する。
なお、カメラは、後述するように全方位カメラに代えて一般的なカメラを使用することもできる。

出力装置は、第１出力部１０５、第２出力部１０６を含む。
第１出力部１０５は、作業員がインテリジェントヘルメット１０１を被ったとき、作業員の目の前に位置し、つまり、インテリジェントヘルメット１０１を被った状態で作業員が表示内容を視認できる箇所に位置し、本来見えるべき情景に加えて、本来は見えないはずの情報、例えば、画像やリモートシステム１１１側から送信される指示出力を含むデータを重畳する表示装置（ディスプレイ）である。表示装置（ディスプレイ）は、典型的には一般に入手できるヘッドマウントディスプレイで実現できる。ヘッドマウントディスプレイは、眼前の風景が透過的に見えるのに加えて、画像（画像データ）を重畳表示して見ることができる。
第２出力部１０６は、作業員の両耳に対向して位置するスピーカである。
本例では、出力装置として、第１出力部１０５と第２出力部１０６の２つを備えたものであるが、少なくともその何れか１つあればよい。

通信装置は、例えば、ヘルメット本体１０２の側面に取り付けられ、リモートシステム１１１側との間で相互通信を行う通信部（通信インターフェース）を有する。

通信部１０７は、センサ装置の第２センサ１０４や第１センサ１０３にて収集したセンサデータ（画像データや向きデータ）を受けてリモートシステム１１１側に送信し、また、リモートシステム１１１側から送信される情報（本来見えないはずの情報の一つであるナビゲーションデータ）を受信する機能を有する。

ここで、向きとは、ヘルメット本体１０２が向いている向きであり、インテリジェントヘルメット１０１を被った作業員の顔が向いている方向を意味する。

リモートシステム１１１は、例えば、サーバ（コンピュータ）からなり、通信装置１１２、入出力装置１１３、記憶装置１１４、画像処理装置１１５を備えている。そして、これらの装置はバス１１６によって相互接続されている。

通信装置１１２は、インテリジェントヘルメット１０１側に設置された通信部１０７との間で相互通信を可能とする通信部（通信インターフェース）を有する。

記憶装置１１４は、少なくとも、第１センサデータ記憶部１１７、第２センサデータ記憶部１１８、蓄積データ記憶部１１９が含まれる。

第１センサデータ記憶部１１７は、第１センサ１０３で取得した向きデータを記憶する。

第２センサデータ記憶部１１８は、第２センサ１０４（カメラ）で取得した画像データ（現在の画像）を記憶する。

蓄積データ記憶部１１９は、第２センサ１０４で過去に取得した画像データ、つまり、第２センサのカメラで撮影した画像データ、及び、その周辺の位置で撮影した複数の画像データを、過去の画像データとして、当該画像を撮影したときの日時、位置、向きのデータを対応付け（又は紐付）して蓄積する。

蓄積データ記憶部に蓄積するデータ項目は、例えば、図９に示す如く、ＩＤ、日付、経度、緯度、向き、画像、である。ここで、画像とは、画像ファイルへのポインタを示すデータである。これはファイル名であってもよい。
これらの蓄積データは、インテリジェントヘルメット１０１側の通信部１０７からリモートシステム１１１側の通信装置１１２を介して取り込んだものであるが、入出力装置１１３の入力部により入力されるデータを含んでもよい。
第２センサ１０４で取得したデータは、典型的にはカメラで撮影された位置情報を含まない写真（画像）である。

画像処理装置１１５は、演算装置／制御装置を備え、演算装置／制御装置は、少なくとも、画像評価部１２０、指示制御部１２１を含んでいる。演算装置／制御装置は、各装置の動作制御を司り、内部に格納したプログラムに従って、上記の各装置を制御する。

画像評価部１２０は、第２センサ１０４のカメラで撮影した画像の位置や向きが、予め定めた許容値内にあるか否かを判定、つまり、画像評価する機能を有する。また、画像の幾何変換機能を有する。この幾何変換により、画像評価を適確に行うことができる。

指示制御部１２１は、画像評価部１２０における評価結果を受け、位置補正や向きが、予め定めた許容範囲内にない場合には、作業員に対して、移動や向きを指示する移動指示や向き指示するデータを出力、つまり作業員の作業行動をナビゲートするナビゲーションデータを、通信装置１１２を介してインテリジェントヘルメット１０１側に出力するように制御する機能を有する。ナビゲーションデータは、移動指示、向き指示、の何れか一方又は両方である。また、指示制御部１２１は、位置補正や向きが、予め定めた許容範囲内にある場合には、処理（指示）を完了する旨を示すデータを出力するように制御する機能を有する。

以降、実施例の説明に関し、特に記載のない場合の処理は画像処理装置１１５が司るものとする。

図２は、図１の作業行動支援ナビゲーションシステム１００におけるナビゲーション（カメラによる撮影箇所を示す位置と向きを指示）する処理手順を示すフローチャートである。

図２のフローチャートに基づく動作は以下のとおりである。
まず、ステップｓ２０１からｓ２０４における処理手順について説明する。
これらのステップは、第１、第２のセンサ１０４、１０３により撮影、計測した現在の画像と向きを示す情報（位置情報は含まない）に対して、所望の画像処理（幾何変換）を行うことによって、蓄積データ記憶部１１９に蓄積された過去の画像の位置（緯度・経度）から、当該現在の画像を撮影した位置に近い過去の画像を見つけ出し、さらに、当該撮影位置のターゲットにまでナビゲーションする処理手順である。
以下、ステップｓ２０１からｓ２０４の詳細について説明する。

ステップｓ２０１：
インテリジェントヘルメット１０１における第１センサ１０３は、当該センサの向きによりヘルメットがどの方向に向いているか（作業員がターゲットの公物を見ている向き）を計測し、向きデータを出力する。
ここで、向きとは、水平面上での方位を示す。例えば、南方向を原点とし、東方向に向かった角度で向きを表す。
また、第２センサ１０４は、公物を撮影し、当該公物を示す画像（画像データ）を出力する。
これらの向きデータや画像データは、通信部１０７を介してリモートシステム１１１側における通信装置１１２に送信される。
向きデータは、第１センサデータ記憶部１１７に蓄積され、画像データは、現在の画像として第２センサデータ記憶部１１８に蓄積される。画像のイメージは、図３に示すとおりである。

本例では、前述したようにヘルメット本体１０２の頭頂部に設置した第２センサ１０４を全方位カメラとしているので、当該カメラにより撮影される範囲は、半球の領域となる。
また、ヘルメット本体１０２が水平に被られるとすると、全方位カメラにより撮影される被写体の公物は、例えば、図３で示すように、天頂方向を円の中心として、周囲方向が円周方向であるような撮影画像として記録されることになる。

図４は、図３の撮影画像の座標例を示すものであり、図４（ａ）は、極座標表示の例を示し、図４（ｂ）は、直交座標表示（ｂ）の例を示している。
ここで、図４（ａ）に示す座標は、インテリジェントヘルメット１０１を被った人から四方の周囲を眺めた座標として円周状に展開したものであるため、南の左隣が東となっている。通常の東西南北とは並びが左右反転していることに注意する必要がある。

また、図４（ｂ）は、図４（ａ）に示す極座標を直交座標に展開したものである。同図において、縦軸は仰角であり、頭の高さを仰角０度として、天頂を９０度とした角度である。横軸は円周方向の角度θである。角度θは原点を南方向とし、東方向に向かう向きを正とする。図４（ｂ）では左方向が正方向となっている。

記憶装置１１４に蓄積する画像は、上述した極座標、直交座標、の何れの蓄積方法により蓄積してもよい。これらの極座標、直交座標は、互いに幾何変換（画像の座標ｘ、ｙを画像の座標ｘ’、Ｙ’に移動すること）できる。

ステップｓ２０２：
画像処理装置（演算装置）の画像評価部１２０は、位置補正情報を生成する。
以下、位置補正情報について図５を参照して説明する。
ヘルメット本体１０２は、常に南を向いているわけではない。故に、まず、全方位画像を、南を向いた状態に補正する処理を行う必要がある。
現在の画像、蓄積画像（過去の画像）ともに共通の処理であるが、例えば、南からθだけ東方向を向いて撮影したとすれば、全方位画像を南向きに補正するには、中心点に対して時計回りにθだけ回転させればよい。

すなわち、ステップｓ２０１で得られた現在の画像、及び、蓄積された画像（過去の画像）ともに南向きに画像を変換できる。
本例では、向きを南向きにした画像を補正後の画像と呼ぶことにする。

次に、補正後の現在の画像と最も似ている画像を、補正後の蓄積画像の中から１つを選ぶ。
例えば、図５（ａ）で示す補正後の現在の画像と最も似ている画像を、図５ｂ〜図５ｅで示す補正後の蓄積画像の中から１つを選ぶ。

これは、補正後の現在の画像と補正後の蓄積画像との類似度を判定する既存の画像処理技術を利用することによりできる。換言すれば、一般的に周知の画像処理技術により、両者の画像の類似度を判定することにより、図５（ａ）の画像に最も近いものが図５（ｂ）であると判定できる。

ここで、図５（ｂ）から（ｅ）のうち、（ｅ）がナビゲーションされる先のターゲットになる位置の画像とする。
すると、ターゲットとする図５（ｅ）の位置である緯度ｌａｔ0、経度ｌｏｎ0と、現在位置に近いとされる図５（ｂ）の位置の緯度ｌａｔ1、経度ｌｏｎ1との差を求め、移動すべき方向を、南を原点として東方向に正として角度として算出する。

以下、その算出について図１０、図１１、及び図６を参照して説明する。
図１０は、地球の地表上での座標を模式的に表している。同図において、図５（ｂ）の画像を撮影した現在位置に近い点の座標をＰ１、図５（ｅ）を撮影したターゲットの座標点をＰ０としている。
座標点Ｐ０の経度、緯度は、ｌｏｎ0，ｌａｔ0であり、座標点Ｐ１の経度、緯度は、ｌｏｎ1，ｌａｔ1である。
今、座標点Ｐ１からＰ０に向かうベクトルを考える。このベクトルが南方向のベクトルとなす角を、東方向周りを正としてΨとする。このΨが上述したステップｓ２０２で生成する位置補正情報である。

アークタン（ａｒｃｔａｎ）を正接の逆関数とし、値域をラジアン表記で−π／２からπ／２とすれば、位置補正情報Ψは、経度方向の成分の正負で場合分けをして正接の定義から数１のように表される。

数１は、座標点Ｐ１からＰ０に向かうベクトルの南方向から成す角を表す式である。
数１の式で、Δｌｏｎは経度方向のベクトル成分、Δｌａｔは緯度方向のベクトル成分である。これらのベクトル成分Δｌａｔ、及び、Δｌｏｎは、座標Ｐ０とＰ１の経度、緯度から導出する。

ここで、座標点Ｐ０とＰ１は地球の地表上で十分近いところにあると仮定し、地表面は半径ｒの真球であると仮定する。

地表上の経度、緯度が直交する座標だとして表記すれば、図１１に示すとおりになる。同図において、座標点Ｐ１と緯度が同じで座標点Ｐ０と経度が同じ点を座標Ｐａとすると、ベクトル成分ΔｌｏｎはＰ１とＰａとの距離、ベクトル成分ΔｌａｔはＰ０とＰａの距離である。
角度をラジアン表記すれば、球面上の弧の長さとして、数２に示されるようにベクトル成分ΔｌａｔとΔｌｏｎを導出できる。

数２は、Δｌａｔ、及び、Δｌｏｎを表す式である。

また、数１の式でアークタン（arctan）の引数にベクトル成分Δｌａｔ、とΔｌｏｎを入れることで、分母と分子で共通なrは約分でき、ｒは計算上不要となり、座標点Ｐ０と座標点Ｐ１の経度、緯度のみから位置補正情報Ψが計算できる。

なお、数２では、Δｌｏｎ＝ ｒ・ｃｏｓ（ｌａｔ1）・（ｌｏｎ0−ｌｏｎ1）としたが、これは、座標点Ｐ１からＰ０への経路を座標Ｐ１からＰａへのベクトルと座標点ＰａからＰ０へのベクトルに分解したためである。

この方法に変えて、図１１に示す座標Ｐｂ経由で、座標点Ｐ１からＰ０へ向かうベクトルを、座標点Ｐ１からＰｂへのベクトルと、座標点ＰｂからＰ０へのベクトルに分解することも可能である。

直交座標上で角度表記すると、両者の差異が分かりにくいが、球面である地表上では、緯度ｌｏｎ0と緯度ｌｏｎ1とでは経度の円周の半径が異なるため経度方向の距離Δｌｏｎを表す式が異なる。
座標点Ｐｂ経由になると、Δｌｏｎ ＝ ｒ・ｃｏｓ（ｌａｔ0）・（ｌｏｎ0−ｌｏｎ1）となる。この式で実施することも可能である。

ステップｓ２０３：
画像処理装置（演算装置）の画像評価部１２０は、予め定めた位置補正の許容値と上記ｌａｔ0−ｌａｔ1、ｌｏｎ0−ｌｏｎ1との比較を行う。

この比較結果、Ψが位置許容範囲内であれば、次にステップｓ２０５に移り、許容範囲外であれば、ステップｓ２０４に移る。

ステップｓ２０４：
画像処理装置（演算装置）の指示制御部１２１は、移動指示出力を、通信装置１１２、インテリジェントヘルメット１０１の通信部１０７を経由して第１出力部１０５に出力する。

ここで、移動指示出力とは、ステップｓ２０２で生成されたΨを移動すべき方向を示す画像情報として加工した出力である。
このΨを第１出力部１０５に出力、表示することにより、作業員は、作業行動のナビゲートを受けることができる。

図６は、移動指示出力を説明する図であり、図６（ａ）は、南を原点とした補正後の座標系を示し、図６（ｂ）は、第１出力部１０５に表示する座標系を示す図である。

図６（ｂ）に示すように、第１出力部１０５に表示される画像に対して、例えば、青色の縦線６０１を重畳表示することで、移動すべき向きを示すことができる。
これはインテリジェントヘルメット１０１を被った人が内側から第１出力部１０５を見たときに見えるビューである。

第１出力部１０５は、建物や人を透過的に見ると同時に、重畳表示された青色の縦線６０１を見る。

青色の縦線６０１は、インテリジェントヘルメット１０１にとっては水平面の周りの周囲方向の角度を示す情報である。
ただし、インテリジェントヘルメット１０１は、被る人がいつも同じ向きを見ているわけではないので第１出力部１０５に出力されるビューは、その向きに合わせて、情報の位置を変える必要がある。

図６（ａ）には、インテリジェントヘルメット１０１の向きによらず、南向きを原点とした補正後の出力イメージを示している。

同図に示すように、上述したステップｓ２０２で算出されたターゲットの位置方向は、南から東方向に位置補正情報Ψだけ移動した向きを一点鎖線の縦線６０２で表している。
一方、現在、たまたまインテリジェントヘルメット１０１が南から東方向にρだけ移動した向きを見ていたとする。この移動向き、つまり現在のヘルメットの向きを一点鎖線の縦線６０３で表している。

図６（ｂ）には、第１出力部１０５に出力される例を示しているが、図６（ａ）のターゲットの位置方向の位置にある縦線６０２を、第１出力部１０５には、図６（ｂ）に示すように青色の縦線６０１の位置に表示する。ここで、図６（ｂ）は、図６（ａ）と比べて、東方向に−ρだけ移動しており、青色の縦線６０１は、前方の向きからは東方向にΨ−ρの位置にあることになる。

インテリジェントヘルメット１０１は、第１センサ１０３で向きを計測できるので、指示制御部１２１がその瞬間で適切な位置に青色の縦線６０１を出力することができる。

なお、このステップｓ２０４における移動指示出力を、第１出力部１０５への出力の代わりに、第２出力部１０６へ、Ψ−ρの角度の値を音声出力して実施することもできる。

次に、ステップｓ２０５からｓ２０７における処理手順について説明する。
これらのステップは、蓄積された画像と向き情報と、現在の画像と向き情報から、蓄積画像と同様のビューを得るために向くべき向きを画像処理によって抽出してナビゲーションをする処理手順である
以下、ステップｓ２０５からｓ２０７の詳細について説明する。

ステップｓ２０５：
第１センサ１０３により計測した向き及び第２センサ１０４により撮影した画像を通信部１０７、通信装置１１２を経由して第１センサデータ記憶部１１７、第２センサデータ記憶部１１８に記憶したものを向き補正用計測値とする。
ここで、向きとは、ヘルメット本体１０２の正面が向いている向きであり、南から東方向に向かった角度とする。

ステップｓ２０６：
画像評価部１２０は、向き補正情報を生成する。
ステップｓ２０２で説明したとおり、予め、ターゲットとする適切な位置及び向きで撮影した画像は、その際の向きの情報とともに、例えば、図９で示すデータ形式で蓄積データ記憶部１１９に記憶されている。
また、ステップｓ２０３における判定により、現在位置はターゲットとする適切な位置から許容範囲内に収まるほど近いと考えられるため、ターゲット先を特定するには、位置補正情報の他、向きの補正が必要となる。

以下、向きの補正について図７を参照して説明する。
図７（ａ）は、ステップｓ２０５における撮影された現在の画像（補正前）を示し、図７（ｂ）は、蓄積されているターゲットとする適切な位置と向きの画像を示し、向き情報から南向きに回転して補正した蓄積画像（補正後）である。

これらの二つの画像は、位置はほぼ同じであるため、写っている被写体は同じである。しかし、向きが同じとは限らないため、両者には、原点を中心として回転方向にずれがある。

ここで、図７（ｂ）に示す補正後の蓄積画像に、原点中心の回転変換を加えて現在の画像（図７ａ）と重ねるための回転角γを求める。
二つの画像間の差分を計算する一般的な画像処理の手法を用いて、画像間の差分が最も少ない回転角γを求める。

また、全方位画像の回転角γは南方向を原点として東方向を正として計測する。
図７では時計回りが正方向となる。ここで、図７（ｂ）の補正後の蓄積画像は、γだけ回転すれば（ａ）の現在の画像と一致する。
ここでは、γが向き補正情報となる。画像処理技術を用いるので、画像のピクセルレベルの精度で適切な回転角γが得られる可能性がある。

ステップｓ２０７：
画像評価部１２０は、予め定めた向き補正の許容値と上記回転角γとの比較を行い、向き補正情報γが許容範囲内であれば、ステップｓ２０９に移り、許容範囲外であれば、ステップｓ２０８に移る。

次に、ステップｓ２０８、ｓ２０９における処理について説明する。
ステップｓ２０８：
指示制御部１２１は、向き指示出力を、通信装置１１２、インテリジェントヘルメット１０１の通信部１０７を経由して第１出力部１０５に出力する。

ここで、向き指示出力とは、回転角γである。この回転角の数値を第１出力部１０５に表示する。これに変えて、第１出力部１０５に、例えば、図８に示す如く、見るべき向きを赤色の縦線８０１で第１出力部１０５に表示してもよい。
これは、インテリジェントヘルメット１０１を被った人が内側から第１出力部１０５を見たときに見える現在の画像である。

第１出力部１０５は、建物や人を透過的に見ると同時に、重畳表示された赤色の縦線８０１を見る。ここで、中央にある縦線は、中心線８０２であり、インテリジェントヘルメット１０１を被った人が見ている方向である。
中心から左方向にγだけ横方向に移動したところに赤色の縦線８０１を表示すればよい。

また、ステップｓ２０８における出力は、第１出力部１０５への出力する代わりに、第２出力部１０６へ、音声で回転角γの値を出力することもできる。

ステップｓ２０９：
指示制御部１２１は、第２センサ１０４に指示してカメラで撮影し、通信部１０７、通信装置１１２を介して画像を第２センサデータ記憶部１１８に蓄積する。
それに代えて以下でもよい。指示制御部１２１は、位置補正や向きが、予め定めた許容範囲内にある場合には、処理を完了する旨を示すデータを出力する。例えば、第１出力部１０５に、「この地点でこの向きです」というテキストを重畳表示することでもよい。また、その代わりに、第２出力部１０６から、「合致しました」と音声出力させてもよい。

以上述べた実施例１によれば、過去に蓄積された画像と同等のビューを得るような位置と向きまで作業者をナビゲートすることができる。
ここで、位置や向きのセンサの精度が十分細かくないときにでも、画像のピクセルレベルの精度にまで位置や向きを合わせられる可能性がある。

本実施例２は、実施例１における第１センサ１０３として、向きの他に位置をも取得し得るセンサを利用し、より広い空間からターゲットの周辺まで作業員をナビゲーションする例である。

図１２は、本発明の実施例２を示し、作業行動支援ナビゲーションシステム１００におけるナビゲーション（位置と向きのナビゲーション）の処理手順を示すフローチャートである。
図１２のフローチャートに基づく動作は以下のとおりである。

ステップｓ１２０１：
第１センサ１０３は、位置と向きを計測する。
第１センサ１０３が計測した結果は、通信部１０７、通信装置１１２を経由して第１センサデータ記憶部１１７に記憶される。
ここで、位置とはヘルメット本体１０２がある位置であり、インテリジェントヘルメット１０１を被った人がいる場所を示している。また、位置は、緯度・経度で示される。
また、向きとは、ヘルメット本体１０２が向いている向きであり、インテリジェントヘルメット１０１を被った人が向いている向きを示している。また、向きは、南方向を原点として東方向に向かった角度で表している。

ステップｓ１２０２：
画像評価部１２０は、位置補正情報を生成する。
まず、実施例１と同様に、ターゲットとする適切な位置（座標点）をＰ０とし、ステップｓ１２０１で計測された位置（座標点）をＰ２とする。
ここで、座標点Ｐ０の経度、緯度をｌｏｎ0，ｌａｔ0とし、座標点Ｐ２の経度、緯度をｌｏｎ2，ｌａｔ2とする。
今、座標点Ｐ２からＰ０に向かうベクトルを考え、このベクトルが南方向のベクトルとなす角を、東方向周りを正としてσと置く。このσがステップｓ１２０２で生成する位置補正情報である。

上述したステップｓ２０２で説明した手順において、Ψをσに変更し、ｌｏｎ1をｌｏｎ2に変更し、ｌａｔ1をｌａｔ2に変更すれば、上述した数１と数２から、位置補正情報σの値がｌｏｎ0、ｌｏｎ2、ｌａｔ0、ｌａｔ2から導き出せる。

また、上述したステップｓ２０２のときと同様に、経度方向の距離Δｌｏｎを、Ｐｂを通る円周上で考えて、Δｌｏｎ＝ｒ・ｃｏｓ（ｌａｔ0）・（ｌｏｎ0−ｌｏｎ2）の式で実施してもよい。

ステップｓ１２０３：
画像評価部１２０は、予め定めた実施例２における位置補正の許容値と上記、ｌａｔ0−ｌａｔ2、ｌｏｎ0−ｌｏｎ2との比較を行う。
この比較結果、許容範囲内であれば、ステップｓ１２０５に移り、許容範囲外であれば、ステップｓ１２０４に移る。

ステップｓ１２０４：
指示制御部１２１は、移動指示出力を通信装置１１２、通信部１０７を経由して第１出力部１０５に出力する。ここで、移動指示出力とは、ステップｓ１２０２で生成された位置補正情報σを移動すべき方向を示す画像情報として加工した出力である。
実施例１のステップｓ２０４の手続きと同様に、図６（ｂ）に示すように、第１出力部１０５に対して青色の縦線６０１を重畳表示する。これにより、移動すべき向きを示す。

図６での説明において、Ψをσに変えれば、ステップｓ２０４での手続きでそのままステップｓ１２０４の手続きが説明できる。

すなわち、現在、インテリジェントヘルメット１０１が南から東方向にρだけ移動した向き６０３を見ていたとする。
図６（ｂ）には第１出力部１０５に出力される例を示しているが、図６（ａ）の６０２の位置にある縦線を、第１出力部１０５には、図６（ｂ）に示すように青色の縦線６０１の位置に表示する。

ここで、図６（ｂ）は、図６（ａ）と比べて、東方向に−ρだけ移動しており、青色の縦線６０１は、前方の向きからは東方向にσ−ρの位置にあることになる。
インテリジェントヘルメット１０１は、第１センサ１０３で向きを計測できるので、指示制御部１２１がその瞬間で適切な位置に青色の縦線６０１を出力することができる。

なお、ステップｓ２０４における出力を、第１出力部１０５への出力する代わりに、第２出力部１０６へ、σ−ρの角度の値を音声出力して実施することもできる。

ステップｓ１２０５：
実施例１の図２おけるフローチャートｓ２００の手続きと同一である。

以上の実施例によれば、ヘルメットに搭載した位置センサの計測結果と過去に蓄積された情報を元に、まずは作業者をターゲットとする位置の近傍に画像処理を用いずに簡易にナビゲーションできる。その後は、精度の高い実施例１の手法で画像のピクセル単位のナビゲーションが可能となる。
また、本実施例によれば、予め位置や向きと紐づけて蓄積しておくべき画像情報が、ターゲットとする位置の近傍付近のみで済むことになり、実施のために必要な事前情報を大幅に削減することができる。

本実施例は、位置と向きのセンサを用いずに、画像処理装置における画像処理の結果を元にナビゲーションをする例である。
ここでは、ヘルメット１０１を被った人（作業員）が、現在ほぼターゲットの位置にいるものとし、作業員の向きを調整する機能を提供する。以下、詳細に説明する。

本実施例は、図１に示す実施例１の構成から、第１センサ１０３、第１センサデータ記憶部１１７を除いたものであり、図９で示した蓄積データ形式を図１３に示すように変更した場合である。図１３は、ターゲットとする画像情報が日付とともに蓄積されている。

図１４は、実施例３の処理の流れをフローチャートである。図１４のフローチャートに基づく動作は以下のとおりである。

ステップｓ１４０１：
第２センサ１０４で画像を撮影する。第２センサ１０４で撮影した画像は通信部１０７、通信装置１１２を経由して第２センサデータ記憶部１１８に記憶される。ここでは、ヘルメット本体１０２の頂部に設置した全方位カメラの画像であるとし、図４に示されるような極座標系、または、直交座標系で、天頂を中心とした半球の領域が撮影されているとする。

ステップｓ１４０２：
画像評価部１２０は、画像の幾何変換を行う。
ここで、予め、ターゲットとする適切な位置及び向きでの画像が図１３の形式で蓄積されているとする。

図１５（ａ）は、向きを南向きに補正する前の画像を示す。図１５（ｂ）は、蓄積されている画像で、向きを南向きに補正する前の画像を示す。
これらの画像は、向きは南向きに補正されているわけではないが、いずれも、被写体は、時計回りに北、西、南、東の順番に写っている。図１５（ａ）（ｂ）に示すように、蓄積画像（ｂ）を時計回りにδだけ中心の周りに回転させれば現在の画像（ａ）に重なるとすれば、δ方向だけ南から東、東から北、北から西、西から南の方向にヘルメットを被った人が向きを変えればよい。ここで、δを求めるには、通常の画像処理の方法で、二つの画像の差分を抽出してそれが最も小さくなる角度を求めればよい。ｓ１４０２ではこの角度δが計算される。

ステップｓ１４０３：
画像評価部１２０は、予め定めてあった実施例３における許容範囲と上記、δとの比較を行う。その比較結果、δが許容範囲内であれば、ステップｓ１４０５に移り、許容範囲外であれば、ステップｓ１４０４に移る。

ステップｓ１４０４：
指示制御部１２１が、指示出力を通信装置１１２、通信部１０７を経由して第１出力部１０５に出力する。
ここで、指示出力とは、ｓ１４０２で計算された角度δを用いて、移動すべき方向を示す情報としたものである。この回転角の数値を第１出力部１０５に表示する。それに変えて、第１出力部１０５に、見るべき向きを赤色の縦線で第１出力部１０５に表示してもよい。その表示例を図１６に示す。これはインテリジェントヘルメット１０１を被った人が内側から第１出力部１０５を見たときに見える現在の画像である。

第１出力部１０５は、建物や人を透過的に見ると同時に、重畳表示された赤色の縦線１６０１を見る。ここで、中央にある縦線は、中心線１６０２であり、インテリジェントヘルメット１０１を被った人が見ている方向である。
中心からδだけ左方向に移動したところに赤色の縦線１６０１を表示すればよい。また、この赤色の縦線１６０１の表示にさらに加えて、矢印１６０３を中心線の横に表示してもよい。ここで、δが正のときには左向きで、δが負のときには右向きで矢印が表示される。

これにより、目で赤色の縦線をあえて探さなくても目の前に向くべき方向がまず指示されることになる。また、このｓ１４０４の出力を、第１出力部１０５への出力の代わりに、第２出力部１０６へ、音声で回転角δの値を出力することもできる。

ステップｓ１４０５：
指示制御部１２１は、第２センサ１０４に指示してカメラで撮影し、通信部１０７、通信装置１１２を介して画像を第２センサデータ記憶部１１８に蓄積する。また、指示制御部１２１は、δが、予め定めた許容範囲内にある場合には、処理を完了する旨を示すデータを出力する。その代わりに、第１出力部１０５に、「合致しました」というテキストを重畳表示することでもよい。また、その代わりに、第２出力部１０６から、「合致しました」と音声出力させてもよい。

以上の実施例によれば、位置と向きの計測なしに、画像処理のみによって、作業者の向きを調整することができる。

本実施例では、第２の実施例と同様に、ヘルメット１０１の持つ位置と向きのセンサを用いることにより、まず、前半部において、より広い空間からまずは粗くターゲットとする位置の周辺へ作業者をナビゲーションする処理を実施し、後半部において、向きを修正するナビゲーションを実施するものである。後半部における向きを修正するナビゲーションでは、上述した実施例３のとおりとする。

本実施例の構成は、実施例２の構成と同様である。
図１７は、本実施例の処理手順を示すフローチャートである。より広い空間から作業者をナビゲーションする処理は、上述した実施例２と同様だが、最後のステップｓ１７０５で作業員を呼び出すのは、つまり、向きのナビゲーションを行うのは、ステップｓ２００ではなく、実施例３（図１４）のステップｓ１４００であるところが異なる。以下、詳細に説明する。

ステップｓ１７０１：
第１センサ１０３で位置と向きを計測する。
第１センサ１０３が計測した結果は、通信部１０７、通信装置１１２を経由して第１センサデータ記憶部１１７に記憶される。
ここで、位置とはヘルメット本体１０２がある位置であり、インテリジェントヘルメット１０１を被った人がいる場所が示唆される。また、位置は、緯度・経度で示される。また、向きとはヘルメット本体１０２が向いている向きであり、インテリジェントヘルメット１０１を被った人が向いている向きが示唆される。ここで南方向を原点として東方向に向かった角度で向きを表す。

ステップｓ１７０２：
画像評価部１２０は、位置補正情報を生成する。
ターゲットとする適切な位置は、予め、蓄積データ記憶部１１９に記憶されている。この蓄積データの形式を図１８に示す。

ここで、ターゲットとする適切な位置（座標点）をＰ０とし、ステップｓ１７０１で計測された位置（座標点）をＰ２とし、座標点Ｐ０の経度、緯度をｌｏｎ0， ｌａｔ0とし、座標点Ｐ２の経度、緯度をｌｏｎ2， ｌａｔ2とする。そして、座標点Ｐ２からＰ０に向かうベクトルを考え、このベクトルが南方向のベクトルとなす角を、東方向周りを正としてσと置く。このσがｓ１７０２で生成する位置補正情報である。

実施例２のステップｓ１２０２で説明したのと同様に、位置補正情報σの値は、ｌｏｎ0、ｌｏｎ2、ｌａｔ0、ｌａｔ2から導ける。また、ステップｓ１２０２と同様に、経度方向の距離Δｌｏｎを、Ｐｂを通る円周上で考えて、Δｌｏｎ = r・cos(lat0)・(lon0-lon2)の式で実施してもよい。

ステップｓ１７０３：
画像評価部１２０が、予め定めた実施例４における位置補正の許容値と上記ｌａｔ0−ｌａｔ2、ｌｏｎ0−ｌｏｎ2との比較を行う。その比較結果、許容範囲内であれば、ステップｓ１７０５に移り、許容範囲外であれば、ステップｓ１７０４に移る。

ステップｓ１７０４：
指示制御部１２１が、移動指示出力を通信装置１１２、通信部１０７を経由して第１出力部１０５に出力する。ここで、移動指示出力とは、ステップｓ１７０２で生成された位置補正情報σを移動すべき方向を示す情報として加工した出力である。これは実施例２のステップｓ１２０４と同様である。

ステップｓ１７０５：
向きのナビゲーション手続きは、実施例３（図１４）おけるフローチャートｓ１４００の手続きと同一である。

以上の実施例によれば、ヘルメットに搭載した位置センサの計測結果と過去に蓄積された情報を元に、まずは作業者をターゲットとする位置の近傍に画像処理を用いずに簡易にナビゲーションでき、その後は、向きのセンサを用いることなく、精度の高い実施例３の手法で画像のピクセル単位のナビゲーションが可能となる。
また、本実施例によれば、予め位置や向きと紐づけて蓄積しておくべき画像情報が、ターゲットとする位置の近傍付近のみで済むことになり、実施のために必要な事前情報を大幅に削減することができる。
また、本実施例によれば、精度の悪い向きのセンサによる誤差に影響されない。

本実施例では、全方位画像ではなく、通常のカメラ画像において、位置や向きのセンサを用いずに画像処理の結果を元にナビゲーションをする別の実施例である。ここでは、ヘルメットを被った人は現在ほぼターゲットの位置におり、さらに、ほぼターゲットの向きを向いているものとし、通常のカメラが据え付けてあるヘルメットを被った作業者の位置と向きを微調整する機能を提供する。

本実施例の構成は、実施例３の構成と同様だが、第２センサ１０４は、全方位カメラではない通常のカメラを少なくとも含む。全方位カメラの機能があってもよい。以下、処理手順について図１９のフローチャートを参照して説明する。

ステップｓ１９０１：
第２センサ１０４は、画像を撮影する。ここでは通常のカメラを想定する。第２センサ１０４で撮影した画像は、通信部１０７、通信装置１１２を経由して第２センサデータ記憶部１１８に記憶される。

ステップｓ１９０２：
画像評価部１２０は、画像の幾何変換を行う。ここで、予め、ターゲットとする適切な位置及び向きでの画像が図１３に示すデータ形式で蓄積されているとする。

図２０（ａ）は、現在の画像であり、（ｂ）は蓄積されている画像である。いずれも、向きを補正していない。（ｂ）の蓄積画像から（ａ）の現在の画像まで、カメラの平行移動と中心周りの回転をこの順番で行って重ねられると仮定する。

まずは、カメラ座標でｘ軸方向にｘ、ｙ軸方向にｙだけ移動し、次に、中心周りにεだけ回転すれば重ねられるとする。その場合、カメラ側は、εだけ回転した後、ｘ軸方向にｘ、ｙ軸方向にｙだけ移動すればよい。

ここで、ｘ、ｙ、εは、この３成分を予め決められた範囲内であらゆる可能性について（ｂ）の画像を変更した画像を作成しておき、（ａ）の画像を比較して、差分が最も小さいものを求めることで見つけることができる。

ステップｓ１９０３：
画像評価部１２０は、予め定めた実施例５における許容範囲と上記、ｘ、ｙ、εとの比較を行う。
その比較結果、許容範囲内であれば、ステップｓ１９０５に移り、許容範囲外であれば、ステップｓ１９０４に移る。

ステップｓ１９０４：
指示制御部１２１が、指示出力を通信装置１１２、通信部１０７を経由して第１出力部１０５に出力する。ここで、指示出力とは、ｓ１９０２で計算されたｘ、ｙ、εを、移動すべき情報としたものである。その表示例を図２０（ｃ）に示す。

これはインテリジェントヘルメット１０１を被った人が内側から第１出力部１０５を見たときに見える現在の画像である。第１出力部１０５は建物や人を透過的に見ると同時に、（ｃ）のベクトル、及び回転角が図形で重畳表示される。ベクトル２００１は画像上での差分ベクトルの向きと大きさを表示し、回転角２００２は中心周りで回転する角度そのものを示す。
また、このｓ１９０４の出力を、第１出力部１０５への出力の代わりに、第２出力部１０６へ、ベクトルの成分ｘ、ｙ、及び、回転角εの値を音声出力することもできる。

ステップｓ１９０５：
指示制御部１２１は、第２センサ１０４に対して撮影の指示を行う。第２センサ１０４のカメラで撮影した画像を、通信部１０７、通信装置１１２を介して受信し、第２センサデータ記憶部１１８に蓄積する。また、その代わりに、第１出力部１０５に、「合致しました」というテキストを重畳表示することでもよい。また、その代わりに、第２出力部１０６から、「合致しました」と音声出力させてもよい。

以上の実施例によれば、位置と向きの計測なしに、画像処理のみによって、ターゲットの画像と同様な画像をとるように作業員の位置や向きを調整することができる。

本実施例では、図示していないが、前述した実施例５を、これまで説明した実施例１乃至４の最後の完了出力において、カメラによる撮影部分で用いることで、最終的なカメラの位置や向きの微修正をする。ここで、第２センサ１０４は、全方位カメラと通常カメラの両方を備える。また、第１センサ１０３は、位置または向きのセンサを備える。

本実施例によれば、位置や向きのセンサを利用しつつ、最後にはカメラの画像処理によってピクセルレベルの精度で蓄積された画像と同等の位置や向きでカメラの撮影ができるように作業員をナビゲーションできる。

本実施例は、上述したような作業行動支援ナビゲーションシステムを搭載し、自走式ロボットを作業員に見立てて、ロボット自身をナビゲーションし、必要な移動やカメラの回転を行って、過去に蓄積された画像と同様なビューの画像撮影を可能としたものである。

図２１は、その自走式ロボットの構成を示す図である。
自走式ロボット２１００は、ロボット本体を構成する情報処理機構２１０１、駆動機構２１０２、第１センサ２１０３、第２センサ２１０４、を備えている。

情報処理機構２１０１は、上述した作業行動支援ナビゲーションシステムと同様な処理機能を有するリモートシステム（図示せず）を内蔵している。

駆動機構２１０２は、ロボットが自走するための要素を含んでいる。例えば、電源あるいはエンジン、車輪、車軸、車軸を回転させる機構、適切な方向に曲がる／止まる機構、危険を感じて止まる機構、ロボットの位置や向きの変更のための制御情報を入力する入力装置（図１の入出力装置１１３に相当）、入力された制御情報を元に車軸を回転させたり止めたりする制御機構などが含まれる。

第１センサ２１０３、第２センサ２１０４は、情報処理機構２１０１の上面中央部に取り付けされている。
また、第１センサ２１０３は、ロボットの位置または向きを計測するセンサを少なくとも含み、第２センサ２１０４は、カメラであり、少なくとも全方位カメラの機能を有する。このカメラは、通常のカメラの機能も持ってもよい。第１センサ２１０３と第２センタ２０１４は、通信部（図１の通信部１０７に相当）を内包する構成とし、リモートシステム（図１のリモートシステム１１１に相当）と通信装置（図１の通信装置１１２に相当）を介して通信する。

入出力装置は、リモートシステムから出力される値を、ロボットの位置や向きの変更のための制御情報として、駆動機構２１０２に入力する。
そして、自走式ロボット２１００は、センサ２１０３、２１０４から移動する目的地の方向と距離の情報、及び、その位置で向くべき向きを受取り、駆動機構２１０２が移動、及び水平方向の回転を行う。

本実施例によれば、無人の自走式のロボットが、過去の蓄積画像と同等のビューの画像を撮影するために適切な位置まで移動し、適切に向きを変えて撮影することができる。つまり、実施例１から実施例６で述べたことと同様なことをロボットにて実現できる。
また、本実施例では、自走式ロボット２１００に情報処理機構２１０１を搭載したものであるが、情報処理機構２１０１を自走式ロボットと別にし、リモートのサーバ上に実現し、第１センサ２１０３、第２センサ２１０４、駆動機構２１０２とは通信装置１１２を介して通信するように変更してもよい。この変更例によれば、自走式ロボット２１００が小型化・軽量化・低廉化するとともに、情報をリモートのサーバ上で一元管理でき、自走式ロボットを複数台管理することも容易となる。
また、本発明は、上記した方法を実行可能な形式にしたプログラム、及び、それを格納した記憶媒体として実施することも可能である。また、これらのプログラムを実行可能にしたサービスとして実施することも可能である。

なお、本発明は上述した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成の他に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する当によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記憶媒体に置くことができる。

１００ 作業行動支援ナビゲーションシステム
１０１ インテリジェントヘルメット
１０２ ヘルメット本体
１０３ 第１センサ
１０４ 第２センサ
１０５ 第１出力部
１０６ 第２出力部
１０７ 通信部
１１１ リモートシステム
１１２ 通信装置
１１３ 入出力装置
１１４ 記憶装置
１１５ 画像処理装置
１１６ バス
１１７ 第１センサデータ記憶部
１１８ 第２センサデータ記憶部
１１９ 蓄積データ記憶部
１２０ 画像評価部
１２１ 指示制御部
４０１ ベクトル
６０１ 青色の縦線
６０２ ターゲットの位置の方向
６０３ 現在のヘルメットの向き
８０１ 赤色の縦線
８０２ 中心線
１６０１ 赤色の縦線
１６０２ 中心線
１６０３ 矢印
２００１ ベクトル
２００２ 回転角
２１００ 自走式ロボット
２１０１ 情報処理機構
２１０２ 駆動機構
２１０３ 第１センサ
２１０４ 第２センサ

Claims (12)

1. カメラ機能を有するセンサと、ナビゲーションデータを表示する機能を有する出力部と、通信機能を有する通信部と、画像を記憶する記憶装置と、画像の幾何変換機能及びナビゲーション指示機能を有する画像処理装置と、を備えた作業行動支援ナビゲーションシステムであって、
   前記センサ、前記出力部、前記通信部は、移動品に取り付け、
   前記記憶装置は、
   前記センサにより撮影した現在の画像及び過去に撮影した過去の撮影画像を蓄積する記憶部を有し、
   前記画像処理装置は、画像幾何変換部、画像評価部、指示制御部、を有し、
   前記画像幾何変換部は、前記画像の幾何変換し、
   前記画像評価部は、幾何変換処理部により幾何変換された現在の画像と過去の撮影画像との差分が、予め定めた許容範囲内外にあるか否かを判定して画像評価し、
   前記指示制御部は、前記画像評価部による評価結果、現在の画像と過去の撮影画像との差分が許容範囲外である場合、前記移動品を、ターゲットを示す位置までナビゲーション指示し、前記移動品のヘルメットを装着した作業員又は前記移動品のロボットによる作業行動を支援するナビゲーションデータを生成し、前記出力部に出力するように制御する、
   ことを特徴とする作業行動支援ナビゲーションシステム。
2. 請求項１に記載された作業行動支援ナビゲーションシステムにおいて、
   前記指示制御部は、前記画像評価部による評価結果、現在の画像と過去の撮影画像との差分が許容範囲内である場合、前記ナビゲーション指示を完了する旨を示すデータを出力する、又は前記センサのカメラに対して撮影の指示を実行する
   ことを特徴とする作業行動支援ナビゲーションシステム。
3. 請求項１又は２に記載された作業行動支援ナビゲーションシステムにおいて、
   前記ナビゲーションデータは、前記移動品を装着した作業員又は作業用ロボットを所定のターゲットを示す位置、及び前記センサによる撮影向きを示すデータを含む、
   ことを特徴とする作業行動支援ナビゲーションシステム。
4. 請求項１又は２に記載された作業行動支援ナビゲーションシステムにおいて、
   前記センサ、前記通信部及び前記出力部は、作業員が被る移動品であるヘルメット側に取り付けられ、
   前記記憶装置及び前記画像処理装置は、前記ヘルメットとは切り離したリモートシステム側に備え、
   前記ヘルメット側と前記リモートシステム側との間は、通信装置によりデータ送受可能に構成する、
   ことを特徴とする作業行動支援ナビゲーションシステム。
5. 請求項１又は２に記載された作業行動支援ナビゲーションシステムにおいて、
   さらに、前記移動品に、向きを計測する向きセンサを取り付け、
   前記記憶装置は、前記過去に撮影した過去の撮影画像と前記向きセンサによる撮影向きを紐付けて記憶し、
   前記画像処理装置は、現在の画像と過去の撮影画像の向きが一致するように補正し、両者の画像の差分が小さくなる回転角を算出する、
   ことを特徴とする作業行動支援ナビゲーションシステム。
6. 請求項１又は５に記載された作業行動支援ナビゲーションシステムにおいて、
   さらに、前記移動品に、位置を計測する位置センサを取り付け、
   前記記憶装置は、前記過去に撮影した過去の撮影画像と前記位置センサによる撮影向きを紐付けて記憶し、
   前記画像処理装置は、現在の画像と過去の撮影画像の位置の差分を用いてターゲットを示す位置までの移動量を算出する、
   ことを特徴とする作業行動支援ナビゲーションシステム。
7. 請求項６に記載された作業行動支援ナビゲーションシステムにおいて、
   前記画像処理装置は、
   現在の画像と過去の撮影画像の位置の差分を算出し、当該差分が解消されるまで指示制御装置に対して移動指示を行い、かつ、前記現在の画像と過去の撮影画像との間で位置の差分が解消されたとき、現在の画像と過去の撮影画像の向きが一致するように補正し、両者の画像の差分が小さくなる回転角を算出する、
   ことを特徴とする作業行動支援ナビゲーションシステム。
8. 請求項１又は２に記載された前記画像処理装置をサーバにより構成した作業行動支援ナビゲーションシステムにおける方法であって、
   前記サーバは、
   前記画像の幾何変換するステップ、
   前記幾何変換処理部により幾何変換された現在の画像と過去の撮影画像との差分が、予め定めた許容範囲内外にあるか否かを判定して画像評価するステップ、
   前記画像評価部による評価結果、現在の画像と過去の撮影画像との差分が許容範囲外である場合、前記移動品を、ターゲットを示す位置までナビゲーション指示し、前記移動品のヘルメットを装着した作業員又は前記移動品のロボットによる作業行動を支援するナビゲーションデータを生成し、前記出力部に出力するように制御するステップ、
   を備えたことを特徴とする作業行動支援ナビゲーション方法。
9. 請求項８に記載された各ステップをサーバのコンピュータに実行させることを特徴とする作業行動支援ナビゲーション用コンピュータプログラム。
10. 請求項８又は９に記載された作業行動支援ナビゲーション用コンピュータプログラムを記憶した記憶媒体。
11. 請求項１から７の何れか１つに記載された作業行動支援ナビゲーションシステムにおけるセンサ、出力部、通信部を搭載したインテリジェントヘルメット。
12. 請求項１から７の何れか１つに記載された作業行動支援ナビゲーションシステムを搭載した自走式ロボット。