JPWO2020240918A1

JPWO2020240918A1 - 作業支援システム、作業支援方法およびプログラム

Info

Publication number: JPWO2020240918A1
Application number: JP2021522625A
Authority: JP
Inventors: 一季寺本; 修一河野; 健一小林
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-05-28
Filing date: 2020-01-27
Publication date: 2021-11-18
Also published as: WO2020240918A1

Abstract

作業支援システム（１）は、作業領域に作業指示画像を投影する投影装置と、作業対象物（３）を撮影する撮影装置と、作業対象物（３）に対する投影装置の位置を移動する移動部と、撮影装置が撮影した画像に基づいて、作業指示画像を投影する投影位置および投影位置に投影可能な投影装置の位置を決定するとともに、投影位置に応じた作業指示画像を生成する情報処理装置（１０）と、を備える。移動部は、情報処理装置（１０）により決定された投影装置の位置に投影装置を移動する。

Description

本開示は、作業支援システム、作業支援方法およびプログラムに関する。

従来、作業者の作業支援のために、作業領域に作業指示を投影する技術が知られている。

さらに、作業領域が投影装置の死角になる場合を考慮して、作業領域に作業指示を投影できないと判定した場合に、作業者の位置と作業領域との間の領域であって、作業指示を投影できる領域を、投影対象に決定して作業指示を投影する技術が知られている（例えば特許文献１）。

特開２０１８−７７５６０号公報

しかしながら上述した特許文献１の技術において、作業対象物と投影装置の間に死角ができた際、死角とならない位置に作業指示の投影位置が変更されることから、作業指示の投影位置はその分制限される。場合によっては、作業者の作業視線から大きく離れた位置に作業指示が投影されることになり、作業効率の低下を招く可能性がある。

本開示は、上述の事情に鑑みてなされたものであり、作業指示の投影位置を制限することなく、作業者に作業指示を投影することを目的とする。

上記目的を達成するために、本開示の作業支援システムは、作業領域に作業指示画像を投影する投影装置と、作業対象物を撮影する撮影装置と、作業対象物に対する投影装置の位置を移動する移動部と、撮影装置が撮影した画像に基づいて、作業指示画像を投影する投影位置および投影位置に投影可能な投影装置の位置を決定するとともに、投影位置に応じた作業指示画像を生成する情報処理装置と、を備える。移動部は、情報処理装置により決定された投影装置の位置に投影装置を移動する。

本開示によれば、投影位置に応じて投影装置が移動するので、作業指示の投影位置を制限することなく、作業者に作業指示を投影することができる。

本開示の第１の実施の形態に係る作業支援システムの全体の構成を示す図図１の一体型光学装置の構成を示す図図１の一体型光学装置が案内部に取り付けられた状態を示す上面図図１の一体型光学装置が案内部に取り付けられた状態を示す断面図図１の作業対象物移動装置の構成を示す図図１の移動部の構成を示す図図１の情報処理装置のハードウェア構成を示す図図１の情報処理装置の機能的構成を示す図図１の作業支援システムの動作処理を示す図第２の実施の形態に係る作業支援システムの全体の構成を示す図図９の作業支援システムの動作処理を示す図

以下、本開示の実施の形態に係る作業支援システム、作業支援方法およびプログラムについて図面を参照して詳細に説明する。

（第１の実施の形態）
（作業支援システムの全体構成）
本実施の形態の作業支援システム１は、立体構造物の組立、修理、メンテナンス等の作業を支援するシステムである。作業支援システム１は、図１に示すように、作業者２の作業対象である作業対象物３を載置する作業台４と、後述する画像を投影する投影装置と作業対象物３を撮影する撮影装置を備える一体型光学装置５と、一体型光学装置５が移動するアーチ状のレールである案内部６と、作業台４を移動する作業対象物移動装置７と、案内部６を回転移動する案内部移動装置８と、作業者２に装着されて作業者２の視界画像を撮影するウェアラブルカメラ９と、作業指示の画像を投影する一体型光学装置５の位置の決定と投影する作業指示画像の生成を行い、作業支援システム１全体を制御する情報処理装置１０と、を備える。

作業対象物３は、作業者２が作業を行う対象である立体構造物である。例えば、組立作業を行う製造対象の製品である。

一体型光学装置５は、図２に示すように、投影装置１１と撮影装置１２を一体化した光学装置である。したがって、投影装置１１が投影光を発する投影点と撮影装置１２が撮影する撮影点は一致し、投影装置１１が投影する方向と撮影装置１２が撮影する方向は同じである。投影装置１１と撮影装置１２は一体となって移動し、投影装置１１が移動する位置は撮影装置１２が移動する位置と同じであり、撮影装置１２が撮影する画像は投影装置１１が投影する位置を示している。なお、一体化は、投影装置１１と撮影装置１２を物理的に接着したものであってもよい。物理的な接着法に関しては各装置の機能を損なわない手法であればどのような手法でも構わない。

撮影装置１２は、作業対象物３を含む周辺領域を測定範囲として測定を行うことで距離画像データを生成して作業対象物３の位置、形状等の表面情報を取得する距離画像測定装置である。距離画像測定装置は、例えば、近赤外線ＬＥＤ（Light Emitting Diode）とＣＭＯＳ（Complementary Metal Oxide Semiconductor）あるいはＣＣＤ（Charge Coupled Device）型のイメージセンサを備え、測定対象物に照射された近赤外線ＬＥＤからの近赤外線の反射光をイメージセンサが受光し、照射からセンサが受光するまでの時間差を各画素で測定することによって距離画像データを生成する。

投影装置１１は、作業対象物３あるいは作業対象物３が存在する作業領域に作業指示を投影するプロジェクタである。プロジェクタは、例えば、投影する距離、角度にかかわらず焦点を合わせることができるフォーカスフリーであるレーザ走査型プロジェクタである。ただし、フォーカスフリーであるプロジェクタ以外であってもあらゆる角度から適切に作業指示を投影できるのであれば問題なく使用できる。作業指示を投影する際は、プロジェクションマッピングの技術を用いることで、作業対象物３に凹凸面が存在していても、作業者２に見やすい作業指示を投影することができる。

一体型光学装置５は通信インタフェースを備え、有線通信または無線通信を介して、情報処理装置１０と通信可能に接続されている。撮影装置１２は、測定した距離画像データを情報処理装置１０に送信する。また、投影装置１１は、情報処理装置１０から作業指示の画像データを受信する。

一体型光学装置５は、図３（Ａ）に示すように、アーチ状の案内部６に設けられたレール上をスライドすることにより作業対象物３の周辺を移動することができ、図３（Ｂ）に示すように、接合部１３を介して案内部６と物理的に接合している。一体型光学装置５は、接合部１３を中心に回転可能に軸支されており、必要に応じて一体型光学装置５の姿勢の調整が可能である。

案内部６は一体型光学装置５を情報処理装置１０が決定した位置へと移動させるための半円のアーチ状のレールであり、一体型光学装置５が作業対象物３の全体を撮影するために作業対象物３の周囲を覆う位置に設けられる。材質は特に問わず、一体型光学装置５の重量に耐えられるものであればよい。

一体型光学装置５が案内部６上をスライドする機構は、例えば、図３（Ｂ）に示すように、ラックアンドピニオン方式で構成する。接合部１３に一体型光学装置５を案内部６に沿って移動するための一体型光学装置移動装置１４が接続される。一体型光学装置移動装置１４はモータを備え、モータの回転軸にピニオンギヤ１５が設けられる。一方、案内部６は、レールの延在する方向に沿ってラック１６が設けられる。モータの回転軸に設けられたピニオンギヤ１５はレールに設けられたラック１６に噛合する。モータが回転することによって、ピニオンギヤ１５はラック１６に沿って移動し、一体型光学装置５が取り付けられた接合部１３はレール上をスライドする。

あるいは、一体型光学装置５が案内部６上をスライドする機構は、回転ベルトによる移動機構であってもよい。レールが延在する方向に沿って回転ベルトが設けられ、レールの一端には回転ベルトを駆動するモータが設けられる。接合部１３は、回転ベルトに固定して取り付けられる。モータが回転することによって、回転ベルトは移動し、一体型光学装置５が取り付けられた接合部１３はレール上をスライドする。

作業対象物移動装置７は、作業対象物３を情報処理装置１０が決定した位置へと移動させるためのものである。作業対象物３は、作業対象物移動装置７の移動および回転に応じて移動する。

作業対象物移動装置７は、図４に示すように、作業対象物３を載置する作業台４を回転する回転機構１７と、作業台４を上下に移動する昇降機構１８と、を備える。作業台４は、作業対象物３を作業台４上に固定するために、作業対象物の材質、形状に合わせた材質、形状を備える。回転機構１７は、サーボモータ、ステッピング等の回転モータであり、モータの回転軸に作業台４が取り付けられる。作業台４は回転機構１７により回転移動する。昇降機構１８は、シリンダであり、回転機構１７の下部に設けられ、回転機構１７を昇降することによって、作業台４は上下に移動する。

案内部移動装置８は、案内部６の両端部が固定されたリング状の円盤を回転して案内部６を移動する。案内部移動装置８は、例えば、リング状の円盤の下部側面に円盤の周囲に沿って歯が設けられ、モータの回転軸に設けられたギヤに歯合している。モータが回転することによって、ギヤに歯合する歯が移動して、円盤が回転する。

一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８は、作業対象物３に対する一体型光学装置５の位置を移動する移動部として機能する。一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８は、図５に示すように、これらの装置を制御する移動制御装置１９に接続されている。移動制御装置１９は、通信インタフェースを備え、有線通信または無線通信を介して、情報処理装置１０と通信可能に接続されている。情報処理装置１０は、一体型光学装置５を移動するための位置情報を移動制御装置１９に送信する。移動制御装置１９は情報処理装置１０からの位置情報を受信して、一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８を駆動するための駆動制御信号をそれぞれ生成し、それぞれの装置に生成された駆動制御信号を送出する。一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８は、移動制御装置１９の駆動制御信号に応じて駆動され、一体型光学装置５、作業対象物３および案内部６を移動する。これによって、作業対象物３に対する一体型光学装置５の位置が移動し、作業者２が見やすい作業対象物３の表面上の位置に投影装置１１が作業指示の画像を投影できる。

ウェアラブルカメラ９は、作業者２の視界情報を入手するための装置である。例えば、作業者２が装着するメガネのフレームにカメラが取り付けられ、作業者２の前方視野を撮影する。ウェアラブルカメラ９の画角は作業者２の視野に合わせられている。ウェアラブルカメラ９は、通信インタフェースを備え、有線通信または無線通信を介して、情報処理装置１０と通信可能に接続されている。観測された作業者２の視界情報は、通信を介して情報処理装置１０と共有される。

情報処理装置１０は、情報を処理するサーバ装置である。情報処理装置１０は、一体型光学装置５の撮影装置１２が撮影した距離画像データから作業指示画像の投影位置を決定するとともに、投影する作業指示画像を作成する。情報処理装置１０は、通信インタフェースを備え、有線通信又は無線通信を介して撮影装置１２およびウェアラブルカメラ９から画像データを受信するとともに、作成した作業指示画像を投影装置１１に送信する。また、決定された位置情報に基づき、一体型光学装置５は移動される。

情報処理装置１０は、そのハードウェア構成として、図６に示されるように、プロセッサ２１と、主記憶部２２と、補助記憶部２３と、入力部２４と、出力部２５と、通信部２６と、を有する。主記憶部２２、補助記憶部２３、入力部２４、出力部２５および通信部２６はいずれも、内部バス２７を介してプロセッサ２１に接続される。

プロセッサ２１は、ＣＰＵ（Central Processing Unit）を含む。プロセッサ２１は、補助記憶部２３に記憶されるプログラムを実行することにより、情報処理装置１０の種々の機能を実現して、後述の処理を実行する。

主記憶部２２は、ＲＡＭ（Random Access Memory）を含む。主記憶部２２には、補助記憶部２３からプログラムがロードされる。そして、主記憶部２２は、プロセッサ２１の作業領域として用いられる。

補助記憶部２３は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）およびＨＤＤ（Hard Disk Drive）に代表される不揮発性メモリを含む。補助記憶部２３は、プログラムの他に、プロセッサ２１の処理に用いられる種々のデータを記憶する。補助記憶部２３は、プロセッサ２１の指示に従って、プロセッサ２１によって利用されるデータをプロセッサ２１に供給し、プロセッサ２１から供給されたデータを記憶する。なお、補助記憶部２３は、複数のプログラムを記憶してもよいし、主記憶部２２には、複数のプログラムがロードされてもよい。

入力部２４は、入力キーおよびポインティングデバイスに代表される入力デバイスを含む。入力部２４は、情報処理装置１０のユーザによって入力された情報を取得して、取得した情報をプロセッサ２１に通知する。

出力部２５は、ＬＣＤ（Liquid Crystal Display）およびスピーカに代表される出力デバイスを含む。出力部２５は、プロセッサ２１の指示に従って、種々の情報をユーザに提示する。

通信部２６は、外部の装置と通信するためのネットワークインタフェース回路を含む。通信部２６は、外部から信号を受信して、この信号により示されるデータをプロセッサ２１へ出力する。また、通信部２６は、プロセッサ２１から出力されたデータを示す信号を外部の装置へ送信する。

図６に示されるハードウェア構成が協働することで、情報処理装置１０は、種々の機能を発揮する。詳細には、情報処理装置１０は、その機能として、図７に示されるように、取得した画像データを処理する画像認識処理部３１と、作業指示画像を生成する投影画像生成部３２と、作業指示画像を投影する投影装置１１の位置を決定する位置決定部３３と、を備える。

画像認識処理部３１は、一体型光学装置５の撮影装置１２およびウェアラブルカメラ９より送信された画像に基づいて、（１）作業指示が投影可能な作業対象物３およびその近傍の表面上の候補地、（２）作業者２と作業対象物３の相対的な位置関係、（３）作業者２の視界情報、（４）現在の作業進捗、（５）輝度、の情報を取得する。

作業指示が投影可能な作業対象物３およびその近傍の表面上の候補地は、撮影装置１２の距離画像データから、作業対象物３の表面の形状を認識し、作業指示の投影が可能な平面部を検出することによって選定される。投影可能な平面部について、作業者２が作業指示内容を視認できる程度の面積を有することが必要である。また、平面部は、多少の凹凸があっても、作業者２が投影した際に視認できる程度であれば許容される。さらに、投影可能な平面部について、平面部の角度が求められ、角度情報として候補地の位置情報とともに記憶される。なお、作業指示を投影可能な作業対象物３の表面上の候補地を得る手法として、画像診断によるものだけでなく、ＣＡＤ（Computer Aided Design）の設計データを用いて候補地を選定してもよい。

作業者２と作業対象物３の相対的な位置関係は、撮影装置１２の距離画像データから求められる。撮影装置１２の距離画像データから生成される形状に基づいて人間の頭部が認識される。この認識された頭部の位置から作業者２の位置を特定する。

作業者２の視界情報は、ウェアラブルカメラ９によって撮影された画像から求められる。ウェアラブルカメラ９より送信された画像と一体型光学装置５が撮影した画像をパターンマッチングの技術を用いて比較し、一体型光学装置５が撮影した画像のうち、ウェアラブルカメラ９が撮影した画像の範囲を作業者２の視界情報として認識する。視界情報として、作業者の視点位置、視認可能位置等を含んでいる。

作業進捗の判断は、現状の作業進捗を一体型光学装置５で撮影し、補助記憶部２３に予め記憶されている各作業工程の完了時の作業対象物３のモデル画像とパターンマッチングの技術で比較を行うことで判断する。モデル画像は例えば３次元画像であり、作業対象物３の３次元位置情報を各作業工程の完了時の作業対象物３毎に備えている。撮影画像とモデル画像が一致すれば、そのモデル画像が表す作業工程が終了したものと判断される。画像認識処理部３１は、上記手法により取得した現在の作業進捗の情報を位置決定部３３へ送信する。

位置決定部３３は、画像認識処理部３１が取得した現在の作業進捗の情報に基づいて、次の作業工程を確認し、次の作業工程における作業位置を特定する。作業位置が特定されると、作業位置近傍に作業指示を投影可能な一体型光学装置５の位置および角度を決定する。すなわち、作業位置によっては、一体型光学装置５と作業位置近傍の間に例えば作業対象物３の筐体の一部が位置することにより、作業位置近傍に投影する際に、この筐体の一部が遮蔽物となって投影光が遮蔽され、作業位置近傍に投影できない場合がある。そこで、位置決定部３３は、作業位置近傍との間に遮蔽物が存在せず、作業位置近傍に投影可能な一体型光学装置５の位置を求める。位置決定部３３は、３次元モデル画像に基づいて、次の作業位置周辺との間に遮蔽物が存在しない方向を求め、その方向上の位置を一体型光学装置５の位置として特定する。

また、位置決定部３３は、次の作業位置と画像認識処理部３１が取得した作業者２と作業対象物３の相対位置関係に基づき、作業者２が作業しやすい位置、例えば作業者２の胸元の正面となる位置に作業対象物３を移動する移動方向および移動量を求める。ただし、作業対象物３に対する一体型光学装置５の位置が、作業位置近傍と一体型光学装置５との間に遮蔽物が存在しない関係を保つ範囲で、作業対象物３の移動方向および移動量は設定される。

決定された位置および角度は、移動制御装置１９に送信され、移動制御装置１９は一体型光学装置移動装置１４、作業対象物移動装置７および案内部移動装置８を駆動する。

投影画像生成部３２は、作業対象物３およびその周辺の投影位置に投影する作業指示画像を生成する。投影画像生成部３２は、画像認識処理部３１からの作業進捗情報に基づいて、次に作業する工程の作業指示情報を補助記憶部２３に予め記憶された各工程の作業指示情報から読み出す。投影画像生成部３２は、読み出された作業指示情報から画像認識処理部３１で求めた投影可能面に適した作業指示画像を生成する。作業指示情報は、例えば、次の作業位置の方向を矢印で示したり、作業位置を丸印で示すこと等により表示する作業位置情報、作業内容の手順を文字、写真画像、アニメーション等で表示する作業手順情報等を含む。また、投影画像生成部３２は、位置決定部３３からの位置および角度の情報に基づいて、一体型光学装置５から投影される投影光の出射角度を制御する制御信号を生成する。作業対象物３に対する一体型光学装置５の位置の移動に加えて、一体型光学装置５から投影される投影光の出射角度を調整することにより、目的の投影位置に作業指示画像を投影する。

次に、作業対象物３に対する作業を開始する時の作業支援システム１の作業指示情報の投影に至るまでの動作について、図８に基づいて説明する。

作業支援システム１が起動されると、情報処理装置１０は、作業対象物３が初期状態であることを確認するために、撮影装置１２に対して作業対象物３全体を撮影する指示を出し、撮影装置１２は撮影を行う（ステップＳ１０１）。このとき、作業台４および案内部６は、初期状態の位置に固定されている。情報処理装置１０は、撮影の指示を通信部２６を通じて一体型光学装置５の撮影装置１２に送信するとともに、一体型光学装置移動装置１４に対して一体型光学装置５が案内部６全体を移動する指示を送信する。一体型光学装置移動装置１４は、情報処理装置１０からの指示を受けて、一体型光学装置５を案内部６の一方の端部から他方の端部に向かって移動させる。一体型光学装置５が予め定められた初期位置に達すると、撮影装置１２は、作業対象物３を撮影する。撮影画像は、情報処理装置１０に送信される。情報処理装置１０の画像認識処理部３１は、受信した撮影画像を補助記憶部２３に予め記憶されている作業対象物３の画像とパターンマッチングを行い、作業対象物３が予め定められた位置に固定されていることを確認する。

初期状態が確認されると、画像認識処理部３１は、一体型光学装置５より受信された撮影画像から画像認識処理に必要な情報を得る（ステップＳ１０２）。必要な情報として、撮影画像に基づいて選定された作業指示を投影可能な作業対象物３の表面上の候補地の位置および角度、現在の作業進捗、作業者２と作業対象物３の相対位置等の情報を得る。画像認識処理部３１は、現在の作業進捗の情報を位置決定部３３に送信する。

位置決定部３３は、画像認識処理部３１が取得した現在の作業進捗の情報に基づいて次の作業工程の作業位置を求め、投影すべき作業指示に合わせた一体型光学装置５の位置および角度を決定する（ステップＳ１０３）。位置決定部３３は、作業指示情報が記憶された補助記憶部２３にアクセスして現在の作業進捗の情報から次の作業位置を検索する。作業指示情報には、次の作業工程と作業位置が記録されている。位置決定部３３は、検索された次の作業位置に基づき、その位置に作業指示画像を投影するための一体型光学装置５の位置および角度を決定する。

決定された位置および角度は、移動制御装置１９に送信される。移動制御装置１９は、一体型光学装置５を決定された位置および角度に移動させるために、一体型光学装置移動装置１４の移動量、案内部移動装置８の移動量および作業対象物移動装置７の移動量を決定する。決定された位置および角度によっては、一体型光学装置５の案内部６に沿った移動のみでは、到達することができない場合がある。この場合は、必要に応じて案内部移動装置８を駆動して案内部６を回転させる。さらに作業対象物移動装置７を駆動して作業台４を回転、昇降することによって、作業対象物３に対する一体型光学装置５の位置を目的の位置および角度に移動する。

移動量が決定されると、移動制御装置１９は、一体型光学装置移動装置１４を駆動して、一体型光学装置５を情報処理装置１０の位置決定部３３で決定した位置に移動させる（ステップＳ１０４）。その際、決定された移動量に基づいて、移動制御装置１９は、案内部移動装置８を駆動して、案内部６も移動させる。

そして同時に、移動制御装置１９は、位置決定部３３で決定した位置にしたがい作業対象物移動装置７を駆動して、作業台４を左右方向に回転、または上下方向に移動、あるいは左右方向に回転するとともに上下方向に移動して、作業対象物３を作業者が作業しやすい位置に移動させる（ステップＳ１０５）。

次に画像認識処理部３１は、ステップＳ１０２で選定した作業指示を投影可能な作業対象物３の表面上の候補地および作業進捗情報に基づいて、候補地の中から作業指示を投影する位置の絞り込みを行う（ステップＳ１０６）。ここでは、作業進捗情報から求めた次の作業工程の作業位置に近い候補地が抽出される。

次に画像認識処理部３１は、ウェアラブルカメラ９に対して作業者２の視界情報を取得する指示を行う（ステップＳ１０７）。ウェアラブルカメラ９は、画像認識処理部３１からの指示に応じて、作業者２の視界情報を取得するため、撮影を行い、画像認識処理部３１に撮影画像を送信する。ウェアラブルカメラ９より送信された画像は一体型光学装置５が撮影した画像とパターンマッチングが行われる。パターンマッチングを行うことにより、一体型光学装置５が撮影した撮影画像中における作業者２の目線の中心の位置、視野の範囲等の視界情報を取得する。

画像認識処理部３１は、取得した視界情報に基づき、作業指示の投影位置を最終決定する（ステップＳ１０８）。画像認識処理部３１は、ステップＳ１０６で決定された投影候補地が、作業位置に近く、ウェアラブルカメラ９で撮影された作業者２の視野の範囲に含まれるか、目線位置に近いかを判断する。さらに、作業者２から見た投影候補地の投影面の角度についても考慮される。作業者２から見た投影面が垂直に近いと、作業者２は投影された作業指示画像を視認しやすい。画像認識処理部３１は、ステップＳ１０２で取得した各候補地の平面部の角度情報に基づいて、作業者２から見た各候補地の平面部が作業指示画像を視認しやすい程度の角度であるか判断される。ステップＳ１０６で決定された投影候補地が、視野の範囲に含まれない、目線位置から離れている、作業者２が作業指示画像を視認しやすい程度の角度でない場合、他の投影候補地が選ばれ、同様の判断が行われる。条件を満たす場合、抽出された投影候補地を投影位置として最終決定する。あるいは抽出した投影候補地を多少修正したうえで投影位置が最終決定される。この処理により作業者２にとって真に見やすい位置に作業指示を投影可能とする。なお、投影位置を決定する要素として、撮影画像の輝度を考慮してもよい。投影面が明るすぎて画像が写り難い場合は、候補から除くことにより、作業者２が視認しやすい作業指示画像を提供できる。その後、画像認識処理部３１は、決定した作業指示投影箇所に適した投影画像を生成するため、投影画像生成部３２へ作業進捗情報を送信する。

情報処理装置１０の投影画像生成部３２は、画像認識処理部３１より送信された作業進捗情報に基づいて次の作業工程の作業指示画像を生成する（ステップＳ１０９）。作業指示画像は、投影する位置、角度、大きさ、表面の凹凸等を考慮して生成される。例えば、投影する位置に応じて次の作業箇所を示す矢印の位置を生成する。また、投影する角度に応じて、投影された画像の歪みを予め修正した画像を生成する。また、投影する面の大きさに応じて、作業指示情報の内容を変更する。例えば、投影する面が狭い場合、作業指示を文字のみとしたり、さらに表示する文章を短い文章に変更する。逆に投影する面が十分に広い場合、文字情報以外に写真画像、アニメーション等を表示したり、表示する文章を詳しい内容まで含む文章に変更する。また、表面の凹凸の状態に応じて、投影された画像の歪みを予め修正した画像を生成する。また、画像認識処理部３１が取得した撮影画像の輝度に基づき投影画像の輝度を調整する。

次に位置決定部３３は投影画像生成部３２が生成した作業指示画像に基づいて一体型光学装置５の詳細な位置を決定する（ステップＳ１１０）。ここでは、投影画像生成部３２で生成された画像を作業者２が見やすい位置に表示するために、投影装置１１の位置の調整が行われる。

位置決定部３３により一体型光学装置５の最終位置が決定されると、決定された位置情報が移動制御装置１９に送信される。移動制御装置１９は、決定された位置に応じて、一体型光学装置５および案内部６の移動量を求めて、一体型光学装置移動装置１４の駆動制御信号および案内部移動装置８の駆動制御信号を生成する。その後、案内部移動装置８に生成された駆動制御信号を加えることによって、案内部６は一体型光学装置５を位置決定部３３が決定した位置へ移動させる（ステップＳ１１１）。同時に一体型光学装置移動装置１４に生成された駆動制御信号を加えることによって、一体型光学装置５は位置決定部３３が最終決定した位置に移動する。

一体型光学装置５は、位置決定部３３が決定した位置へ移動後、投影画像生成部３２で生成された作業指示画像を作業対象物３へ投影する（ステップＳ１１２）。このとき、一体型光学装置５は、必要に応じて投影光の出射角度を調整して目的の投影位置に作業指示画像を投影する。

作業指示が投影された後、作業者２から次の作業工程の作業指示を求める指示があるとき、あるいは作業指示の投影から一定時間が経過すると、ステップＳ１０３に移行する。そしてステップＳ１０３以降の処理が行われ、全ての作業が完了するまで、あるいは作業者２から作業指示の投影の中止の指示があるまで、ステップＳ１０３〜ステップＳ１１２の処理が繰り返される。

このように作業指示を投影する一体型光学装置５を可動にすることによって、どのような作業対象物３においても作業者２にとって真に見やすい位置に作業指示を投影することができる。

（第２の実施の形態）
第１の実施の形態では、１台の一体型光学装置５が案内部６上を移動して次の作業工程の作業指示画像を投影した。作業者２が投影された作業指示画像に基づいて作業を完了すると、さらに次の作業工程の作業指示画像が投影される。このとき次の作業指示画像が投影されるまで、前述したステップＳ１０３〜ステップＳ１１２の処理が同様に行われる。

しかしながら、投影装置１１が１台であるため、作業指示画像を複数投影できず、次工程の作業指示画像の投影まで時間がかかり、作業者２が手待ちになるといったロスが発生することが考えられる。

そこで一体型光学装置５を複数台用意することで、次の作業工程の作業指示画像を予め投影し、作業者２がスムーズに次工程の作業に移行することを可能とする。

第２の実施の形態に係る作業支援システムは、図９に示すように、第１の案内部４６に加えて、第２の案内部５６が設けられている。なお、図９において、案内部は２本設けられているが、これに限らず３本以上の複数本備えてもよい。第１の案内部４６および第２の案内部５６上に、それぞれ、第１の一体型光学装置４５、第２の一体型光学装置５５が設けられる。第１の一体型光学装置４５は、第１の投影装置および第１の撮影装置（図示せず）を備え、第２の一体型光学装置５５は、第２の投影装置および第２の撮影装置（図示せず）を備える。第１の一体型光学装置４５の第１の投影装置は、直近の作業指示の画像である第１の作業指示画像を投影し、第２の一体型光学装置５５の第２の投影装置は、その次の作業工程の作業指示の画像である第２の作業指示画像を投影する。第１の一体型光学装置４５は第１の一体型光学装置移動装置（図示せず）によって第１の案内部４６上を移動する。第１の一体型光学装置移動装置、作業対象物移動装置７および案内部移動装置８は、作業対象物３に対する第１の一体型光学装置４５の位置すなわち第１の投影装置の位置を移動する第１の移動部として機能する。また、第２の一体型光学装置５５は第２の一体型光学装置移動装置（図示せず）によって第２の案内部５６上を移動する。第２の一体型光学装置移動装置、作業対象物移動装置７および案内部移動装置８は、作業対象物３に対する第２の一体型光学装置５５の位置すなわち第２の投影装置の位置を移動する第２の移動部として機能する。

次に、第２の実施の形態における、作業対象物３に対する作業を開始する時の作業支援システム１の作業指示画像の投影に至るまでの動作を図１０に示す。

作業支援システム１が起動されると、情報処理装置１０は、作業対象物３が初期状態であることを確認するために、第１の一体型光学装置４５の第１の撮影装置に対して作業対象物３全体を撮影する指示を出し、第１の撮影装置は作業対象物３の撮影を行う（ステップＳ２０１）。このとき、作業台４および第１および第２の案内部４６，５６は、初期状態の位置に固定されている。情報処理装置１０は、撮影の指示を通信部２６を通じて第１の一体型光学装置４５に送信する。第１の一体型光学装置４５は、情報処理装置１０からの指示を受けて、第１の一体型光学装置４５を第１の案内部４６の一方の端部から他方の端部に向かって移動させる。第１の一体型光学装置４５が予め定められた初期位置に達すると、第１の撮影装置は、作業対象物３を撮影する。撮影画像は、情報処理装置１０に送信される。情報処理装置１０の画像認識処理部３１は、受信した撮影画像を補助記憶部２３に予め記憶されている作業対象物３の画像とパターンマッチングにより比較を行い、作業対象物３が予め定められた位置に固定されていることを確認する。

初期状態が確認されると、画像認識処理部３１は、第１の一体型光学装置４５より受信された撮影画像から、投影候補地の選定情報、作業進捗情報、作業者２と作業対象物３の相対位置等の画像認識処理に必要な情報を得る（ステップＳ２０２）。画像認識処理部３１は、現在の作業進捗の情報を位置決定部３３に送信する。

位置決定部３３は、画像認識処理部３１が取得した現在の作業進捗の情報に基づいて作業の進捗状況を判断し、投影すべき作業指示にしたがって作業が行われる作業領域に投影可能な第１の一体型光学装置４５の位置および角度を決定する（ステップＳ２０３）。位置決定部３３は、補助記憶部２３にアクセスして現在の進捗情報から次の作業工程の作業位置を検索する。位置決定部３３は、次の作業位置から、画像を投影するための第１の一体型光学装置４５の位置および角度を決定する。決定された位置および角度は、移動制御装置１９に送信される。移動制御装置１９は、第１の一体型光学装置４５を決定された位置および角度に移動させるために、第１の一体型光学装置４５の移動量、第１の案内部４６の移動量および作業台４に載置された作業対象物３の移動量を決定する。

移動量が決定されると、移動制御装置１９は、第１の一体型光学装置４５を位置決定部３３で決定した位置に移動させる（ステップＳ２０４）。その際、決定された移動量に基づいて、第１の案内部４６も移動を行う。

そして同時に、移動制御装置１９は、位置決定部３３で決定した位置にしたがい、作業台４を左右方向に回転、または上下方向、あるいは左右方向に回転するとともに上下方向に移動して、作業対象物３を移動させる（ステップＳ２０５）。

次に画像認識処理部３１は、ステップＳ２０２で選定した作業指示を投影可能な作業対象物３の表面上の候補地および作業進捗情報に基づいて、作業指示を投影する投影候補地の絞り込みを行う（ステップＳ２０６）。

画像認識処理部３１は、ウェアラブルカメラ９に対して作業者２の視界情報を取得する指示を行う（ステップＳ２０７）。ウェアラブルカメラ９は、画像認識処理部３１からの指示に応じて、作業者２の視界情報を取得するため、撮影を行い、画像認識処理部３１に撮影画像を送信する。

画像認識処理部３１は、取得した視界情報に基づき、第１および第２の一体型光学装置４５，５５が投影する第１および第２の投影位置を最終決定する（ステップＳ２０８）。画像認識処理部３１はステップＳ２０６で絞り込まれた投影候補地が、作業位置に近く、ウェアラブルカメラ９で撮影された作業者２の視野の範囲に含まれるか、目線位置に近いかを判断する。さらに、作業者２から見た投影候補地の投影面の角度についても考慮される。ステップＳ２０６で絞り込まれた投影候補地が、視野の範囲に含まれない、目線位置から離れている、作業者２が作業指示画像を視認しやすい程度の角度でない場合、他の投影候補地が選ばれ、同様の判断が行われる。条件を満たす場合、抽出された投影候補地を投影位置として最終決定する。あるいは選ばれた投影候補地を多少修正したうえで第１の投影位置が最終決定される。この処理により作業者２にとって真に見やすい位置に作業指示を投影可能とする。なお、投影位置を決定する要素として、撮影画像の輝度をさらに考慮し、例えば投影面が明るすぎて画像が写り難い場合は、候補から除いてもよい。次に、第１の投影位置の次に作業者２の目線位置に距離が近い投影候補地が、第２の一体型光学装置５５が投影するその次の作業工程の作業指示の投影位置である第２の投影位置として抽出される。なお、一体型光学装置が３台以上の複数台存在する場合、投影位置の抽出は、一体型光学装置の数を上限として、同時に投影する連続する工程の作業指示の数だけ行われる。ウェアラブルカメラ９で撮影された作業者２の視界画像に含まれる投影候補地だけでは足りない場合、作業者２の視界画像に距離が近い投影候補地が抽出される。その後、画像認識処理部３１は、決定した複数の作業指示投影箇所に適した投影画像を生成するため、投影画像生成部３２へ作業進捗情報を送信する。

投影画像生成部３２は、画像認識処理部３１より送信された作業進捗情報に基づいて第１および第２の一体型光学装置４５，５５が投影する第１および第２の作業指示画像を生成する（ステップＳ２０９）。投影画像生成部３２は、第１の一体型光学装置４５が投影する直近の作業工程の作業指示の画像である第１の作業指示画像のみならず、同時に第２の一体型光学装置５５が投影する続く作業工程の作業指示の画像である第２の作業指示画像も生成する。なお、一体型光学装置が３台以上の複数台存在する場合、一体型光学装置の数を上限として、同時に投影する連続する作業工程の作業指示の数だけ作業指示画像が生成される。

次に位置決定部３３は、投影画像生成部３２が生成した作業指示画像に基づいて第１および第２の一体型光学装置４５，５５の詳細な位置すなわち第１および第２の投影装置の投影位置を決定する（ステップＳ２１０）。ここでは、投影画像生成部３２で生成された画像を作業者２が見やすい位置に表示するために、一体型光学装置４５，５５の位置の調整が行われる。

位置決定部３３により第１および第２の一体型光学装置４５，５５の最終位置が決定されると、決定された位置情報が移動制御装置１９に送信される。移動制御装置１９は、決定された位置に応じて、第１の一体型光学装置４５および第１の案内部４６の移動量を求めて、第１の一体型光学装置４５を移動するための駆動制御信号および第１の案内部４６を移動するための駆動制御信号を生成する。また、移動制御装置１９は、決定された位置に応じて、第２の一体型光学装置５５を移動するための駆動制御信号を生成する。ここで、第２の案内部５６は、第１の案内部４６と同じ移動機構によって第１の案内部４６と同じ移動量だけ移動する。したがって、第２の一体型光学装置５５を移動するための駆動制御信号は、第２の案内部５６の移動量を考慮して決定される。その後、第１および第２の案内部４６，５６は、位置決定部３３が決定した位置へ移動される（ステップＳ２１１）。同時に第１および第２の一体型光学装置４５，５５は位置決定部３３が最終決定した位置に移動する。

第１および第２の一体型光学装置４５，５５は、位置決定部３３が決定した位置へ移動後、投影画像生成部３２で生成された第１および第２の作業指示画像を作業対象物３へ投影する（ステップＳ２１２）。このとき、第１および第２の一体型光学装置４５，５５は、必要に応じてそれぞれ投影光の出射角度を調整して目的の投影位置に作業指示画像を投影する。

なお、上記第２の実施の形態において、第２の案内部５６は第１の案内部４６を移動する移動機構と同じ移動機構によって移動したが、別個の移動機構によって移動してもよい。この場合、第２の案内部５６は位置決定部３３で決定された位置に応じて第１の案内部４６と別個に移動量を決定して移動を行う。

また、第２の一体型光学装置５５が作業指示画像を投影する作業対象物３の表面上の位置は、投影候補地の中から、その作業指示がなされる作業場所に近い位置に決定してもよい。

また、案内部６を複数本設けるのではなく、案内部６に複数の一体型光学装置５を設けてもよく、さらに複数の一体型光学装置５が設けられた案内部６を複数本設けてもよい。また、投影装置が投影する画像を分割して複数の連続した工程の作業指示を同時に投影してもよい。

第２の実施の形態では、１つの作業工程の作業終了後にスムーズに次の作業工程へ作業者２が移行することを可能とするため、複数の連続した作業内容を、異なる位置に投影する。そのため、投影画像生成部３２は複数の異なる作業指示画像を同時に作成する。その後、生成した作業指示画像を位置決定部３３へ送信する。このように、複数の連続した工程の作業指示を同時に投影することにより、作業者２が速やかに次工程の作業に移行することが可能となり、作業の効率化が見込まれる。

上記実施の形態において、一体型光学装置５の姿勢は接合部１３を中心に上下に回転が可能に調整できる構成であった。これに限らず、一体型光学装置５の姿勢は接合部１３を中心に上下左右に回転自在に調整できる構成であってもよい。さらに、移動制御装置１９からの移動制御信号に応じて一体型光学装置５の姿勢は接合部１３を中心に上下左右に回転自在に制御されてもよい。

また、情報処理装置１０により決定された作業対象物３に対する一体型光学装置５の位置に移動するために、案内部６上で一体型光学装置５を移動可能とし、案内部６を移動可能とし、作業対象物３を移動可能としたが、これらのうち少なくとも１つを移動することにしてもよい。作業対象物３と一体型光学装置５の相対位置が作業位置近傍と一体型光学装置５の間に遮蔽物が存在しない位置となれば、いずれを移動してもよい。

また、案内部６を作業台４に設置してもよい。この場合、案内部移動装置８は不要となる。案内部６は作業台４の移動とともに移動することから、案内部６と作業対象物３の相対位置関係は変化しない。

また、情報処理装置１０の機能は、専用のハードウェアによっても、また、通常のコンピュータシステムによっても実現することができる。

例えば、プロセッサ２１によって実行されるプログラムを、コンピュータ読み取り可能な非一時的な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することができる。このような記録媒体としては、例えばフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read−Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＭＯ（Magneto−Optical Disc）が考えられる。

また、プログラムをインターネットに代表される通信ネットワーク上のサーバ装置が有するディスク装置に格納しておき、例えば、搬送波に重畳させて、コンピュータにダウンロードしてもよい。

また、通信ネットワークを介してプログラムを転送しながら起動実行することによっても、上述の処理を達成することができる。

さらに、プログラムの全部又は一部をサーバ装置上で実行させ、その処理に関する情報をコンピュータが通信ネットワークを介して送受信しながらプログラムを実行することによっても、上述の処理を達成することができる。

なお、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、コンピュータにダウンロードしてもよい。

また、情報処理装置１０の機能を実現する手段は、ソフトウェアに限られず、その一部又は全部を、回路を含む専用のハードウェアによって実現してもよい。

本開示は、本開示の広義の精神と範囲を逸脱することなく、様々な実施の形態および変形が可能とされるものである。また、上述した実施の形態は、本開示を説明するためのものであり、本開示の範囲を限定するものではない。つまり、本開示の範囲は、実施の形態ではなく、請求の範囲によって示される。そして、請求の範囲内およびそれと同等の開示の意義の範囲内で施される様々な変形が、本開示の範囲内とみなされる。

本出願は、２０１９年５月２８日に出願された、日本国特許出願特願２０１９−０９９７７５号に基づく。本明細書中に日本国特許出願特願２０１９−０９９７７５号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

本開示は、作業者の作業支援のために、作業領域に作業指示を投影する作業支援システムに広く適用することができる。

１作業支援システム、２作業者、３作業対象物、４作業台、５一体型光学装置、６案内部、７作業対象物移動装置、８案内部移動装置、９ウェアラブルカメラ、１０情報処理装置、１１投影装置、１２撮影装置、１３接合部、１４一体型光学装置移動装置、１５ピニオンギヤ、１６ラック、１７回転機構、１８昇降機構、１９移動制御装置、２１プロセッサ、２２主記憶部、２３補助記憶部、２４入力部、２５出力部、２６通信部、２７内部バス、３１画像認識処理部、３２投影画像生成部、３３位置決定部、４５第１の一体型光学装置、４６第１の案内部、５５第２の一体型光学装置、５６第２の案内部。

上記目的を達成するために、本開示の作業支援システムは、作業領域に作業指示画像を投影する投影装置と、作業対象物を撮影する撮影装置と、作業対象物の周囲に設けられた案内部と、案内部に沿って作業対象物に対する投影装置の位置を移動する移動部と、撮影装置が撮影した画像に基づいて、作業指示画像を投影する投影位置および投影位置に投影可能な投影装置の位置を決定するとともに、投影位置に応じた作業指示画像を生成する情報処理装置と、を備える。移動部は、案内部を移動する案内部移動装置を備え、情報処理装置により決定された投影装置の位置に基づいて案内部移動装置を駆動して案内部を移動する。

Claims

作業領域に作業指示画像を投影する投影装置と、
作業対象物を撮影する撮影装置と、
前記作業対象物に対する前記投影装置の位置を移動する移動部と、
前記撮影装置が撮影した画像に基づいて、前記作業指示画像を投影する投影位置および前記投影位置に投影可能な前記投影装置の位置を決定するとともに、前記投影位置に応じた前記作業指示画像を生成する情報処理装置と、を備え、
前記移動部は、前記情報処理装置により決定された前記投影装置の位置に前記投影装置を移動する、
作業支援システム。
前記作業対象物の周囲に設けられた案内部を備え、
前記移動部は、前記案内部に沿って前記投影装置を移動する、
請求項１に記載の作業支援システム。
前記移動部は、前記案内部を移動する案内部移動装置を備え、
前記情報処理装置により決定された前記投影装置の位置に基づいて前記案内部移動装置を駆動して前記案内部を移動する、
請求項２に記載の作業支援システム。
前記移動部は、前記作業対象物を移動する作業対象物移動装置を備え、
前記情報処理装置により決定された前記投影装置の位置に基づいて前記作業対象物移動装置を駆動して前記作業対象物を移動する、
請求項１から３のいずれか１項に記載の作業支援システム。
前記移動部は、前記投影装置とともに前記撮影装置を移動する、
請求項１から４のいずれか１項に記載の作業支援システム。
前記情報処理装置は、
撮影した前記作業対象物の画像を各作業工程の完了時の作業対象物のモデル画像と比較して現在の作業進捗の情報を取得する画像認識処理部と、
前記作業進捗の情報に基づいて次の作業工程の作業位置を求めるとともに、前記作業位置との間に遮蔽物が存在しない位置を前記投影装置の位置として求める位置決定部と、
を備える請求項１から５のいずれか１項に記載の作業支援システム。
作業者の視界画像を撮影するウェアラブルカメラをさらに備え、
前記画像認識処理部は、前記ウェアラブルカメラの視界画像を前記撮影装置の撮影画像と比較して投影位置を求める、
請求項６に記載の作業支援システム。
前記画像認識処理部は、前記撮影装置の撮影画像に基づいて作業対象物およびその近傍の表面上において作業指示画像を投影可能な平面を複数抽出し、抽出された前記平面の中から前記投影位置を求める、
請求項７に記載の作業支援システム。
前記投影装置は、第１の投影装置および第２の投影装置を備え、
前記移動部は、前記第１の投影装置の位置を移動する第１の移動部と前記第２の投影装置の位置を移動する第２の移動部を備え、
前記情報処理装置は、撮影画像に基づいて作業領域に作業指示画像を投影可能な前記第１の投影装置の位置および前記第２の投影装置の位置を決定し、
前記第１および前記第２の移動部は、前記情報処理装置により決定された前記第１および前記第２の投影装置の位置に前記第１および前記第２の投影装置を移動する、
請求項１から８のいずれか１項に記載の作業支援システム。
前記情報処理装置は、前記第１の投影装置が投影する第１の作業指示画像および前記第２の投影装置が投影する第２の作業指示画像を生成する投影画像生成部を備え、
前記第１および前記第２の作業指示画像は、連続する作業工程における作業指示の画像である、
請求項９に記載の作業支援システム。
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示を投影する投影位置および前記投影位置に投影可能な投影装置の位置を決定するステップと、
決定された前記投影装置の位置に前記投影装置を移動するステップと、
前記投影位置に前記作業指示を投影するステップと、
を備える作業支援方法。
コンピュータに、
作業対象物を撮影するステップと、
撮影した画像に基づいて、作業指示を投影する投影位置および前記投影位置に投影可能な投影装置の位置を決定するステップと、
決定された前記投影装置の位置に前記投影装置を移動するステップと、
前記投影位置に前記作業指示を投影するステップと、
を実行させるプログラム。