JP7334460B2 - 作業支援装置及び作業支援方法 - Google Patents

Description

本発明は、作業支援装置及び作業支援方法に関する。

近年、ビルの電気設備、工場等の各種設備における作業現場において、ＩＣＴ（Information and Communications Technology）を用いて経験不足の作業者を支援する、作業支援技術が注目されている。例えば、ＩＣＴの一例として、拡張現実（Augmented Reality，ＡＲ）技術が知られている。

ＡＲ技術を利用して、作業者の目の前に存在する対象物の画像に、作業指示等のＡＲコンテンツを重ね合わせて表示することで、各種設備の保守点検作業を支援することができる（例えば、特許文献１、非特許文献１、及び非特許文献２を参照）。このような作業支援技術により、ヒューマンエラー、作業コスト等の削減が可能になる。

車両の自動走行、ロボット制御等の分野においてＳＬＡＭ（Simultaneous Localization and Mapping）技術が知られている（例えば、非特許文献３及び非特許文献４を参照）。２次元平面上の複数の点をスプライン曲線によって補間する方法も知られている（例えば、非特許文献５を参照）。

特開２０１５－１０２８８０号公報

"AR統合基盤製品"，［online］，富士通株式会社，［平成３１年４月５日検索］，インターネット＜ＵＲＬ：https://www.fujitsu.com/jp/about/corporate/info/index.html＞ "「3次元モデルARを用いた保守点検作業支援技術」を開発"，［online］，三菱電機株式会社，２０１６年１１月７日，［平成３１年４月５日検索］，インターネット＜ＵＲＬ：http://www.mitsubishielectric.co.jp/news/2016/pdf/1107.pdf＞ N. Brunetto et al.,"Interactive RGB-D SLAM on Mobile Devices", Computer Vision - ACCV 2014 Workshops, pages 339-351, November, 2014 R. Mur-Artal et al.,"ORB-SLAM: A Versatile and Accurate Monocular SLAM System", IEEE TRANSACTIONS ON ROBOTICS, VOL. 31, NO. 5, pages 1147-1163, October 2015 "Spline (mathematics)"，［online］，Wikipedia，［平成３１年４月５日検索］，インターネット＜ＵＲＬ：https://en.wikipedia.org/wiki/Spline_(mathematics)＞

ＡＲ技術を利用した作業支援を行う際に、実際の作業環境に存在するすべての機器の画像とＡＲコンテンツとを、画面上に同時に表示すると、作業者の認知負荷が増大して、作業効率が低下することがある。

なお、かかる問題は、設備の保守点検作業を支援する場合に限らず、作業現場における様々な作業を支援する場合において生ずるものである。

１つの側面において、本発明は、作業環境に合わせて、作業者の作業を支援する情報を提示することを目的とする。

１つの案では、作業支援装置は、記憶部及び画像生成部を含む。記憶部は、複数の作業位置を結ぶ移動経路を示す経路情報と、移動経路上を移動する作業者の位置から観察される物体を撮影した撮影画像とを記憶する。

画像生成部は、作業者の位置を示す位置情報と経路情報とに基づいて、撮影画像から、作業者の位置から観察される物体のうち作業支援と関連しない物体の視認性を低減した表示用画像を生成する。

１つの側面によれば、作業環境に合わせて、作業者の作業を支援する情報を提示することができる。

作業環境に合わせた支援情報を提示できる。

作業支援装置の機能的構成図である。 作業支援処理のフローチャートである。 作業支援装置の具体例を示す機能的構成図である。 作業現場を示す図である。 移動経路及び曲面を示す図である。 空間モデルを示す図である。 第１の曲線生成処理を示す図である。 空間モデル内における曲面を示す図である。 第２の曲線生成処理を示す図である。 経路生成処理のフローチャートである。 作業支援処理の具体例を示すフローチャートである。 情報処理装置の構成図である。

以下、図面を参照しながら、実施形態を詳細に説明する。
非特許文献１の技術によれば、作業現場において、ＡＲマーカ等の認識対象にスマートデバイスのカメラをかざしたり、スマートデバイスのセンサによって位置情報を取得したりすることで、作業者に応じた最適な情報を物体の画像に重ね合わせて表示できる。また、作業者は、作業現場にいながら簡単な操作を行うことで、表示される情報を追加することもできる。

非特許文献２の技術によれば、作業者が３次元ＡＲ機能を備えたウェアラブル端末を装着して、点検作業の手順を確認したり、点検結果を音声で入力したりすることができる。ウェアラブル端末は、作業者の視線の先にある複数の機器をカメラで捉え、ＡＲ機能により点検項目及び点検順序を機器の画像に重ね合わせて、画面上に表示する。事前に構築した３次元モデルを活用してカメラの位置及び方向を計算することで、点検対象の位置にかかわらず、正確にＡＲコンテンツを表示できる。

各種設備の保守点検作業においては、作業現場における作業者の移動経路、作業指示、注意事項等の情報を、ＡＲコンテンツとして、作業現場の状況に合わせて分かりやすく提示することが望ましい。しかしながら、詳細な移動経路等を示すＡＲコンテンツを作成する場合、ＡＲコンテンツの作成及び管理の作業負荷が大きくなる。

一方、工場等の複雑な作業現場には、作業対象の機器以外にも多数の機器が存在する。例えば、企業のサーバルームには、多数のサーバラックが設置されていることがある。作業現場に存在する機器のうち作業対象の機器以外は、作業支援とは無関係な機器であり、作業者に対して提示する必要がない。それにもかかわらず、ＡＲ技術を利用した作業支援を行う際に、実際の作業環境に存在するすべての機器の画像とＡＲコンテンツとを、画面上に同時に表示すると、作業者の認知負荷が増大して、作業効率が低下することがある。

図１は、実施形態の作業支援装置の機能的構成例を示している。図１の作業支援装置１０１は、記憶部１１１及び画像生成部１１２を含む。記憶部１１１は、複数の作業位置を結ぶ移動経路を示す経路情報１２１と、移動経路上を移動する作業者の位置から観察される物体を撮影した撮影画像１２２とを記憶する。画像生成部１１２は、経路情報１２１に基づいて、撮影画像１２２から表示用画像を生成する。

図２は、図１の作業支援装置１０１が行う作業支援処理の例を示すフローチャートである。まず、画像生成部１１２は、記憶部１１１から撮影画像１２２を取得する（ステップ２０１）。

次に、画像生成部１１２は、作業者の位置を示す位置情報と経路情報１２１とに基づいて、撮影画像１２２から、作業者の位置から観察される物体のうち作業支援と関連しない物体の視認性を低減した表示用画像を生成する（ステップ２０２）。

図１の作業支援装置１０１によれば、作業環境に合わせて、作業者の作業を支援する情報を提示することができる。

図３は、図１の作業支援装置１０１の具体例を示している。図３の作業支援装置３０１は、記憶部３１１、撮像装置３１２、位置センサ３１３、深度センサ３１４、経路生成部３１５、画像生成部３１６、及び表示部３１７を含む。記憶部３１１及び画像生成部３１６は、図１の記憶部１１１及び画像生成部１１２にそれぞれ対応する。

作業支援装置３０１は、例えば、タブレット、スマートデバイス、ノート型ＰＣ（Personal Computer）等の携帯端末装置である。作業支援装置３０１は、ＨＭＤ（Head Mounted Display）等のウェアラブル端末装置であってもよい。

例えば、作業者は、屋内又は屋外の作業現場において、作業支援装置３０１を携帯しながら、設備の保守点検作業、機器の操作作業、部品の運搬作業等を行う。作業支援装置３０１は、作業者の位置及び姿勢、作業対象、作業の進捗状況等に応じて、作業支援処理を行う。作業支援処理には、作業手順を示すＡＲ情報、特定の作業位置又は作業対象へ作業者を誘導するＡＲ情報等を画面上に表示する処理が含まれる。

図４は、作業現場の例を示している。図４の作業現場はサーバルームであり、サーバルームの床４０１上に、サーバラック４０３～サーバラック４０６及び物体４０７が設置されている。このうち、サーバラック４０３及びサーバラック４０６が、保守点検作業の作業対象である。

作業支援装置３０１の一例である携帯端末装置４２２を携帯した作業者４２１は、ドア４０２を開けてサーバルームに入室する。そして、作業者４２１は、サーバラック４０３の正面の作業位置４１１で、サーバラック４０３に搭載されたサーバの保守点検作業を行い、サーバラック４０６の正面の作業位置４１２で、サーバラック４０６に搭載されたサーバの保守点検作業を行う。

図３の撮像装置３１２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、３次元空間における作業支援装置３０１の周囲の映像を撮影する。３次元空間内には、作業現場における複数の作業位置が含まれる。撮像装置３１２によって撮影された映像は、複数の時刻それぞれにおける画像を含む。各時刻の画像は、フレームと呼ばれることもある。

位置センサ３１３は、例えば、ＧＰＳ（Global Positioning System）受信機、加速度センサ、地磁気センサ等であり、作業支援装置３０１の現在位置を示す位置情報を出力する。深度センサ３１４は、例えば、レーザスキャナ、ステレオカメラ等であり、作業支援装置３０１と被写体との距離を示す深度情報を出力する。

作業支援装置３０１は、作業支援処理の前に経路生成処理を行って、作業支援処理で使用される経路情報３２３を生成する。

経路生成処理において、経路生成部３１５は、３次元空間を撮影した映像に含まれる各画像から、３次元空間内の複数の点に対応する点群を生成し、その点群を示す点群情報３２１を生成して、記憶部３１１に格納する。例えば、経路生成部３１５は、深度センサ３１４が出力する各画素の深度情報を用いて、点群を生成することができる。

次に、経路生成部３１５は、点群情報３２１を用いて、作業現場の３次元空間を示す空間モデル３２２を生成し、記憶部３１１に格納する。空間モデル３２２には、作業現場の床を表す平面が含まれる。

例えば、経路生成部３１５は、非特許文献３又は非特許文献４に記載されたＳＬＡＭ技術を用いて、点群情報３２１及び空間モデル３２２を生成することができる。ＳＬＡＭ技術は、未知の環境において、移動物体が自己位置を推定しながら、環境地図を同時に生成する技術である。

次に、経路生成部３１５は、空間モデル３２２内において指定された複数の点を、床を表す平面上に投影することで、複数の作業位置それぞれに対応する点を生成する。そして、経路生成部３１５は、平面上に投影された複数の点を補間することで、複数の作業位置を結ぶ移動経路に対応する曲線を生成し、生成された曲線を示す経路情報３２３を生成して、記憶部３１１に格納する。

経路情報３２３は、図１の経路情報１２１に対応し、作業者の作業手順を表す。経路情報３２３は、複数の作業位置それぞれに対応する点を示す情報と、それらの作業位置の訪問順序を示す情報と、各作業位置における作業対象を示す情報を含んでいてもよい。

このような経路生成処理によれば、作業環境に合わせて、空間モデル３２２及び経路情報３２３が自動的に生成され、空間モデル３２２の更新と経路情報３２３の登録、更新、及び削除とを自動化することも可能になる。

作業支援処理において、位置センサ３１３は、移動経路上を移動する作業者の現在位置を示す位置情報３２４を出力し、記憶部３１１は、位置情報３２４を記憶する。そして、撮像装置３１２は、作業者の現在位置から観察される周囲の物体を撮影して、撮影画像３２５を出力し、記憶部３１１は、撮影画像３２５を記憶する。撮影画像３２５は、図１の撮影画像１２２に対応する。

次に、画像生成部３１６は、位置情報３２４と経路情報３２３とに基づいて、撮影画像３２５に写っている物体のうち、作業支援と関連しない物体の視認性を低減することで、表示用画像３２６を生成する。そして、表示部３１７は、表示用画像３２６を画面上に表示する。これにより、作業支援と関連する物体の視認性が向上し、作業位置又は作業対象へ作業者を誘導する作業支援情報が、作業者に対して提示される。

例えば、画像生成部３１６は、空間モデル３２２内において、経路情報３２３が示す曲線から所定距離だけ離れた位置に、その曲線に沿って曲がる曲面を生成する。そして、画像生成部３１６は、位置情報３２４及び撮影画像３２５から、空間モデル３２２内における作業支援装置３０１の位置及び姿勢を推定する。推定された位置は、作業者の現在位置に対応する点を表し、推定された姿勢は、その点における撮像装置３１２の姿勢を表している。

次に、画像生成部３１６は、空間モデル３２２内において、推定された位置及び姿勢から観察される曲面を、撮影画像３２５に重ね合わせることで、表示用画像３２６を生成する。

図５は、図４の作業現場における移動経路及び曲面の例を示している。作業者４２１は、ドア４０２からサーバラック４０３まで移動経路５０１に沿って移動し、サーバラック４０３からサーバラック４０６まで移動経路５０２に沿って移動する。作業者４２１が移動経路５０２上を移動する際、サーバラック４０４、サーバラック４０５、及び物体４０７は、作業支援と関連しない物体であるため、必ずしも携帯端末装置４２２の画面上に表示する必要はない。

そこで、画像生成部３１６は、空間モデル３２２内において、移動経路５０２を示す曲線の両側に、その曲線に沿って曲がる曲面５１１及び曲面５１２をリアルタイムに生成する。そして、画像生成部３１６は、移動経路５０２上を移動する作業者４２１の現在位置に対応する点から観察される曲面５１１及び曲面５１２を、サーバルームを撮影した撮影画像３２５に重ね合わせることで、表示用画像３２６を生成する。

これにより、携帯端末装置４２２の画面上で、作業者４２１の現在位置から撮影された撮影画像３２５に、仮想的な壁面を示すＡＲ情報として、曲面５１１及び曲面５１２が重ね合わせて表示される。曲面５１１及び曲面５１２によってサーバラック４０４、サーバラック４０５、及び物体４０７が隠蔽されるため、作業者４２１の認知負荷が低減され、作業者４２１は、次の作業対象であるサーバラック４０６を直ちに認知することができる。曲面５１１及び曲面５１２の表示色は、不透明であってもよく、半透明であってもよい。

このような作業支援処理によれば、作業位置又は作業対象へ作業者を誘導する情報とは無関係な視覚情報がフィルタリングされるため、作業環境に合わせて適切な作業支援情報を提示することができる。また、仮想的な壁面を示すＡＲ情報が自動的に生成されるため、ＡＲコンテンツのオーサリングにおける作業負荷が低減される。

図６は、空間モデル３２２の例を示している。図６の空間モデル３２２は、３次元座標系６０１を用いて記述され、壁を表す直方体６１１と床を表す平面６１２とを含む。空間モデル３２２には、直方体６１１及び平面６１２以外にも、ドアを表す平面、床上に設置された物体を表す直方体等が含まれることがある。

図７は、移動経路に対応する曲線を生成する第１の曲線生成処理の例を示している。図７（ａ）は、空間モデル３２２内で、床を表す平面に対応する２次元地図の例を示している。折れ線７０１及び折れ線７０２は、床に垂直な壁面等に対応する平面の投影線を表し、点７１１及び点７１２は、作業位置を表す。この場合、折れ線７０１と折れ線７０２との間の領域が、作業者の通路として用いられる。

図７（ｂ）は、図７（ａ）の点７１１及び点７１２を結ぶ曲線の例を示している。経路生成部３１５は、２次元地図上でスプライン補間により点７１１及び点７１２を補間することで、移動経路に対応するスプライン曲線７１３を生成する。例えば、経路生成部３１５は、非特許文献５に記載された補間方法を用いて、スプライン曲線７１３を生成することができる。

図８は、空間モデル３２２内における曲面の例を示している。図８の空間モデル３２２は、３次元座標系８０１を用いて記述され、床を表す平面８１１と、床上に設置された物体を表す直方体８１２～直方体８１４を含む。これらの物体は、作業支援と関連しない物体であるため、必ずしも画面上に表示する必要はない。スプライン曲線８２２は、作業者８２１の移動経路を示す。

画像生成部３１６は、スプライン曲線８２２の両側において、スプライン曲線８２２から所定距離だけ離れた位置に、スプライン曲線８２２に沿って曲がる曲線８３１及び曲線８３２を生成する。そして、画像生成部３１６は、平面８１１と垂直な方向に曲線８３１及び曲線８３２を移動させることで、仮想的な壁面を表す曲面８４１及び曲面８４２を生成する。これにより、画面上で、曲面８４１及び曲面８４２によって、直方体８１２～直方体８１４が表す物体が隠蔽されるため、作業者８２１の認知負荷が低減される。

画像生成部３１６は、２次元地図上で、壁面等に対応する平面の投影線を特定し、複数の投影線の交点を制御点として用いて、非特許文献５に記載された補間方法により、スプライン曲線を生成することもできる。この場合、画像生成部３１６は、生成されたスプライン曲線を、床を表す平面と垂直な方向に移動させることで、仮想的な壁面を表す曲面を生成する。

図９は、移動経路に対応する曲線を生成する第２の曲線生成処理の例を示している。床を表す２次元地図上の折れ線９０１及び折れ線９０２は、壁面等に対応する平面の投影線を表す。この場合、折れ線９０１と折れ線９０２との間の領域が、作業者の通路として用いられる。経路生成部３１５は、折れ線９０１上の各点の２次元座標と、折れ線９０２上の各点の２次元座標との平均を計算することで、通路の中央を通る折れ線９１１を求める。折れ線９１１は、移動経路に対応する曲線であり、不図示の作業位置を表す点を通る。

画像生成部３１６は、所定の半径Ｒを有する円９１２の中心を、折れ線９１１に沿って移動させることで、円周上の点の軌跡を表す折れ線９２１及び折れ線９２２を求める。そして、画像生成部３１６は、２次元地図と垂直な方向に折れ線９２１及び折れ線９２２を移動させることで、仮想的な壁面を表す２枚の曲面を生成する。半径Ｒは調整パラメータであり、画像生成部３１６又はユーザによって設定される。

図１０は、図３の作業支援装置３０１が行う経路生成処理の例を示すフローチャートである。まず、経路生成部３１５は、３次元空間を撮影した映像に含まれる各画像と、深度センサ３１４が出力する各画素の深度情報とを用いて、３次元空間内の複数の点に対応する点群を示す点群情報３２１を生成する（ステップ１００１）。そして、経路生成部３１５は、点群情報３２１が示す点群に対する平面フィッティングを行うことで、複数の平面候補を抽出する（ステップ１００２）。

次に、経路生成部３１５は、１枚の平面候補を選択し（ステップ１００３）、選択された平面候補の面積が所定範囲内であるか否かをチェックする（ステップ１００４）。経路生成部３１５は、平面候補の面積が所定の上限値よりも小さく、かつ、所定の下限値よりも大きい場合、面積が所定範囲内であると判定し、それ以外の場合、面積が所定範囲外であると判定する。上限値及び下限値は調整パラメータであり、経路生成部３１５又はユーザによって設定される。

平面候補の面積が所定範囲内である場合（ステップ１００４，ＹＥＳ）、経路生成部３１５は、その平面候補を３次元空間内の平面として特定し（ステップ１００５）、すべての平面候補を選択したか否かをチェックする（ステップ１００６）。一方、平面候補の面積が所定範囲外である場合（ステップ１００４，ＮＯ）、経路生成部３１５は、その平面候補を３次元空間内の平面として特定することなく、ステップ１００６の処理を行う。

未選択の平面候補が残っている場合（ステップ１００６，ＮＯ）、経路生成部３１５は、次の平面候補についてステップ１００３以降の処理を繰り返す。一方、すべての平面候補が選択された場合（ステップ１００６，ＹＥＳ）、経路生成部３１５は、特定された平面を含む空間モデル３２２を生成する（ステップ１００７）。

次に、経路生成部３１５は、空間モデル３２２内においてユーザにより指定された複数の作業対象点を受け付け（ステップ１００８）、それらの作業対象点を、床を表す平面上に投影する（ステップ１００９）。そして、経路生成部３１５は、平面上に投影された複数の点を補間することで、移動経路に対応する曲線を生成し（ステップ１０１０）、生成された曲線を示す経路情報３２３を生成する（ステップ１０１１）。

ユーザにより指定された作業対象点が床を表す平面上に投影されるため、ユーザは、必ずしも床上の点を指定する必要がなく、床から離れた空中の点を作業対象点として指定することができる。これにより、経路情報３２３に作業位置を登録する操作が容易になる。

図１１は、図３の作業支援装置３０１が行う作業支援処理の具体例を示すフローチャートである。まず、撮像装置３１２は、作業者の現在位置から観察される周囲の物体を撮影して、撮影画像３２５を出力し、画像生成部３１６は、撮影画像３２５を取得する（ステップ１１１１）。そして、位置センサ３１３は、作業者の現在位置を示す位置情報３２４を出力し、画像生成部３１６は、位置情報３２４を取得する（ステップ１１１２）。

次に、画像生成部３１６は、空間モデル３２２内において、経路情報３２３が示す曲線の両側において、その曲線から距離Ｄだけ離れた位置に、曲線に沿って曲がる長さＴの曲線を生成する（ステップ１１１３）。そして、画像生成部３１６は、生成された２本の曲線を、床を表す平面と垂直な方向に距離Ｈだけ移動させることで、高さＨの２枚の曲面を生成する（ステップ１１１４）。距離Ｄ、長さＴ、及び距離Ｈは調整パラメータであり、画像生成部３１６又はユーザによって設定される。

次に、画像生成部３１６は、空間モデル３２２内において、位置情報３２４に対応する点から観察される曲面を撮影画像３２５に重ね合わせることで、表示用画像３２６を生成する（ステップ１１１５）。そして、表示部３１７は、表示用画像３２６を画面上に表示する（ステップ１１１６）。

次に、画像生成部３１６は、位置情報３２４が移動経路上の目的地を示しているか否かをチェックする（ステップ１１１７）。例えば、目的地は、作業手順において最後に訪問される作業位置である。位置情報３２４が目的地を示していない場合（ステップ１１１７，ＮＯ）、作業支援装置３０１は、ステップ１１１１以降の処理を繰り返す。一方、位置情報３２４が目的地を示している場合（ステップ１１１７，ＹＥＳ）、作業支援装置３０１は、処理を終了する。

なお、画像生成部３１６は、仮想的な壁面を表す曲面を撮影画像３２５に重ね合わせる代わりに、撮影画像３２５に対して所定の画像補正処理を適用することで、作業支援と関連しない物体の視認性を低減することもできる。例えば、画像生成部３１６は、移動経路上の各作業位置から所定範囲内に存在する物体を特定し、撮影画像３２５内で、特定された物体が写っている領域以外の領域に対して、輝度を低減する処理、ぼかし処理等を適用する。これにより、作業位置から所定範囲内に存在しない物体の視認性が低減される。

図１の作業支援装置１０１及び図３の作業支援装置３０１の構成は一例に過ぎず、作業支援装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の作業支援装置３０１において、点群情報３２１、空間モデル３２２、及び経路情報３２３が外部の装置によって生成される場合は、深度センサ３１４及び経路生成部３１５を省略することができる。

作業支援装置３０１がオンプレミスのサーバ又はクラウド上のサーバである場合、作業支援装置３０１は、作業者の端末装置から、位置情報３２４及び撮影画像３２５を受信して、表示用画像３２６を端末装置へ返信する。この場合、撮像装置３１２、位置センサ３１３、深度センサ３１４、及び表示部３１７を省略することができる。

図２、図１０、及び図１１のフローチャートは一例に過ぎず、作業支援装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図３の作業支援装置３０１において、点群情報３２１、空間モデル３２２、及び経路情報３２３が外部の装置によって生成される場合は、図１０の経路生成処理を省略することができる。

作業支援装置３０１がサーバである場合、作業支援装置３０１は、図１１のステップ１１１１において、作業者の端末装置から撮影画像３２５を受信し、ステップ１１１２において、端末装置から位置情報３２４を受信する。また、作業支援装置３０１は、ステップ１１１６において、表示用画像３２６を端末装置へ送信する。

図４の作業現場は一例に過ぎず、作業現場は、作業者が行う作業の種類に応じて変化する。図５の移動経路及び曲面、図６の空間モデル、及び図８の曲面は一例に過ぎず、移動経路、曲面、及び空間モデルは、作業現場に応じて変化する。図７及び図９の曲線生成処理は一例に過ぎず、経路生成部３１５は、別の曲線生成処理によって、移動経路に対応する曲線を生成してもよい。

図１２は、図１の作業支援装置１０１及び図３の作業支援装置３０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１２の情報処理装置は、ＣＰＵ（Central Processing Unit）１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、及びネットワーク接続装置１２０７を含む。これらの構成要素はバス１２０８により互いに接続されている。

図３の撮像装置３１２、位置センサ３１３、及び深度センサ３１４は、バス１２０８に接続されている。

メモリ１２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１２０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図１の画像生成部１１２として動作する。ＣＰＵ１２０１は、メモリ１２０２を利用してプログラムを実行することにより、図３の経路生成部３１５及び画像生成部３１６としても動作する。

入力装置１２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、表示用画像３２６であってもよい。出力装置１２０４は、図３の表示部３１７として用いることができる。

補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。補助記憶装置１２０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

媒体駆動装置１２０６は、可搬型記録媒体１２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１２０９にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２０２、補助記憶装置１２０５、又は可搬型記録媒体１２０９のような、物理的な（非一時的な）記録媒体である。

ネットワーク接続装置１２０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１２０７を介して受信し、それらをメモリ１２０２にロードして使用することができる。

なお、情報処理装置が図１２のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、可搬型記録媒体１２０９又は通信ネットワークを使用しない場合は、媒体駆動装置１２０６又はネットワーク接続装置１２０７を省略してもよい。作業支援装置３０１がサーバである場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

図１乃至図１２を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
複数の作業位置を結ぶ移動経路を示す経路情報と、前記移動経路上を移動する作業者の位置から観察される物体を撮影した撮影画像とを記憶する記憶部と、
前記作業者の位置を示す位置情報と前記経路情報とに基づいて、前記撮影画像から、前記作業者の位置から観察される物体のうち作業支援と関連しない物体の視認性を低減した表示用画像を生成する画像生成部と、
を備えることを特徴とする作業支援装置。
（付記２）
前記経路情報は、前記複数の作業位置を含む３次元空間を示す空間モデル内において、前記移動経路に対応する曲線を示し、
前記画像生成部は、前記空間モデル内において、前記曲線から所定距離だけ離れた位置に、前記曲線に沿って曲がる曲面を生成し、前記作業者の位置に対応する点から観察される前記曲面を前記撮影画像に重ね合わせることで、前記表示用画像を生成することを特徴とする付記１記載の作業支援装置。
（付記３）
前記空間モデル内において、前記複数の作業位置それぞれに対応する点を補間することで、前記曲線を生成し、前記曲線に基づいて前記経路情報を生成する経路生成部をさらに備えることを特徴とする付記２記載の作業支援装置。
（付記４）
前記経路生成部は、前記３次元空間を撮影した画像から、前記３次元空間内の複数の点に対応する点群を生成し、前記点群を用いて平面を生成し、前記空間モデル内において指定された複数の点を前記平面上に投影することで、前記複数の作業位置それぞれに対応する点を生成することを特徴とする付記３記載の作業支援装置。
（付記５）
前記表示用画像を画面上に表示する表示部をさらに備えることを特徴とする付記１乃至４のいずれか１項に記載の作業支援装置。
（付記６）
コンピュータによって実行される作業支援方法であって、
前記コンピュータが、
複数の作業位置を結ぶ移動経路上を移動する作業者の位置から観察される物体を撮影した撮影画像を取得し、
前記作業者の位置を示す位置情報と前記移動経路を示す経路情報とに基づいて、前記撮影画像から、前記作業者の位置から観察される物体のうち作業支援と関連しない物体の視認性を低減した表示用画像を生成する、
ことを特徴とする作業支援方法。
（付記７）
前記経路情報は、前記複数の作業位置を含む３次元空間を示す空間モデル内において、前記移動経路に対応する曲線を示し、
前記コンピュータは、前記空間モデル内において、前記曲線から所定距離だけ離れた位置に、前記曲線に沿って曲がる曲面を生成し、前記作業者の位置に対応する点から観察される前記曲面を前記撮影画像に重ね合わせることで、前記表示用画像を生成することを特徴とする付記６記載の作業支援方法。
（付記８）
前記コンピュータは、前記空間モデル内において、前記複数の作業位置それぞれに対応する点を補間することで、前記曲線を生成し、前記曲線に基づいて前記経路情報を生成することを特徴とする付記７記載の作業支援方法。
（付記９）
前記経路生成部は、前記３次元空間を撮影した画像から、前記３次元空間内の複数の点に対応する点群を生成し、前記点群を用いて平面を生成し、前記空間モデル内において指定された複数の点を前記平面上に投影することで、前記複数の作業位置それぞれに対応する点を生成することを特徴とする付記８記載の作業支援方法。
（付記１０）
前記コンピュータは、前記表示用画像を画面上に表示することを特徴とする付記６乃至９のいずれか１項に記載の作業支援方法。

１０１、３０１ 作業支援装置
１１１、３１１ 記憶部
１１２、３１６ 画像生成部
１２１、３２３ 経路情報
１２２、３２５ 撮影画像
３１２ 撮像装置
３１３ 位置センサ
３１４ 深度センサ
３１５ 経路生成部
３１７ 表示部
３２１ 点群情報
３２２ 空間モデル
３２４ 位置情報
３２６ 表示用画像
４０１ 床
４０２ ドア
４０３～４０６ サーバラック
４０７ 物体
４２１、８２１ 作業者
４２２ 携帯端末装置
４１１、４１２ 作業位置
５０１、５０２ 移動経路
５１１、５１２、８４１、８４２ 曲面
６０１、８０１ ３次元座標系
６１１、８１２～８１４ 直方体
６１２、８１１ 平面
７０１、７０２、９０１、９０２、９１１、９２１、９２２ 折れ線
７１１、７１２ 点
７１３、８２２ スプライン曲線
８３１、８３２ 曲線
９１２ 円
１２０１ ＣＰＵ
１２０２ メモリ
１２０３ 入力装置
１２０４ 出力装置
１２０５ 補助記憶装置
１２０６ 媒体駆動装置
１２０７ ネットワーク接続装置
１２０８ バス
１２０９ 可搬型記録媒体

Claims (5)

1. 複数の作業位置を結ぶ移動経路を示す経路情報と、前記移動経路上を移動する作業者の位置から観察される物体を撮影した撮影画像とを記憶する記憶部と、
   前記作業者の位置を示す位置情報と前記経路情報とに基づいて第１処理及び第２処理の少なくともいずれかの処理を行うことで、前記撮影画像から表示用画像を生成する画像生成部と、
   を備え、
   前記第１処理は、前記複数の作業位置を含む３次元空間を示す空間モデル内において、前記移動経路に対応する曲線から所定距離だけ離れた位置に、前記曲線に沿って曲がる曲面を生成し、前記作業者の位置に対応する点から観察される前記曲面を前記撮影画像に重ね合わせる処理であり、
   前記第２処理は、前記撮影画像内で、前記作業者の位置から所定範囲内に存在する物体が写っている領域以外の領域に対して、輝度を低減する処理又はぼかし処理を適用する処理であることを特徴とする作業支援装置。
2. 前記空間モデル内において、前記複数の作業位置それぞれに対応する点を補間することで、前記曲線を生成し、前記曲線に基づいて前記経路情報を生成する経路生成部をさらに備えることを特徴とする請求項１記載の作業支援装置。
3. 前記経路生成部は、前記３次元空間を撮影した画像から、前記３次元空間内の複数の点に対応する点群を生成し、前記点群を用いて平面を生成し、前記空間モデル内において指定された複数の点を前記平面上に投影することで、前記複数の作業位置それぞれに対応する点を生成することを特徴とする請求項２記載の作業支援装置。
4. 前記表示用画像を画面上に表示する表示部をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の作業支援装置。
5. コンピュータによって実行される作業支援方法であって、
   前記コンピュータが、
   複数の作業位置を結ぶ移動経路上を移動する作業者の位置から観察される物体を撮影した撮影画像を取得し、
   前記作業者の位置を示す位置情報と前記移動経路を示す経路情報とに基づいて第１処理及び第２処理の少なくともいずれかの処理を行うことで、前記撮影画像から表示用画像を生成し、
   前記第１処理は、前記複数の作業位置を含む３次元空間を示す空間モデル内において、前記移動経路に対応する曲線から所定距離だけ離れた位置に、前記曲線に沿って曲がる曲面を生成し、前記作業者の位置に対応する点から観察される前記曲面を前記撮影画像に重ね合わせる処理であり、
   前記第２処理は、前記撮影画像内で、前記作業者の位置から所定範囲内に存在する物体が写っている領域以外の領域に対して、輝度を低減する処理又はぼかし処理を適用する処理であることを特徴とする作業支援方法。

Images