JP7034340B2 - 作業支援システム - Google Patents

Description

この発明は、作業指示を行う作業支援システムに関する。

従来、作業者は、製品に対して組立作業等の作業を行う場合、作業要領書又はチェックリスト等の書類或いはモニタを用いて作業指示を確認した上で、作業を行っている。

一方、書類又はモニタは、製品が置かれた作業領域とは異なる領域に置かれている。そのため、作業者は、作業指示を確認する度に製品から目を離して書類又はモニタ側に振り返る必要がある。また、製品を置く作業領域とは別に書類又はモニタを置く領域が必要となる。また、書類又はモニタによる作業指示では文字が用いられることが多いが、この場合、例えば言語の異なる作業員が混在する工場では翻訳が必要となる。そのため、文字による作業指示はグローバル化の観点から望ましくない。

これに対し、製品の特定箇所に円又は矢印等の２次元画像を投影するシステムが知られている（例えば特許文献１参照）。
また、作業者が装着するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の装置に映像を投影して作業指示を行うシステムも知られている。

国際公開２０１６／０８４１５１号

しかしながら、製品に円又は矢印等の２次元画像を投影する方法では、作業箇所は指示可能であるが、例えば部品をどのように組付けるのかといった具体的な作業内容までは指示が困難である。よって、このシステムでは、別途、書類又はモニタによる作業指示が不可欠である。
また、ＨＭＤ等の装置に映像を投影する方法では、当該装置を作業者毎に用意する必要があり、また、当該装置を装着した状態での作業は煩わしい。

この発明は、上記のような課題を解決するためになされたもので、作業者が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能な作業支援システムを提供することを目的としている。

この発明に係る作業支援システムは、作業領域で作業を行う作業者を撮像する第１撮像装置と、作業領域を撮像する第２撮像装置と、作業領域に入力画像を投影する投影装置と、第１撮像装置による撮像結果から作業者の位置を特定する第１特定部と、第２撮像装置による撮像結果から作業領域に存在する物体の位置を特定する第２特定部と、作業指示を表すアイコンである３次元データを順に抽出する抽出部と、第１特定部による特定結果及び第２特定部による特定結果に基づいて、抽出部により抽出された３次元データから、投影画像を一方向から見た際に立体視可能な疑似３次元画像を生成する画像生成部と、画像生成部により生成された疑似３次元画像を示すデータを投影装置に出力する出力部と、作業者による作業完了を確認して抽出部に対して次の３次元データの抽出を指示する確認指示部とを備えたことを特徴とする。

この発明によれば、上記のように構成したので、作業者が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能となる。

実施の形態１に係る作業支援システムの構成例を示す図である。 実施の形態１における演算装置の構成例を示す図である。 実施の形態１における演算装置の動作例を示すフローチャートである。 図４Ａは、作業実施前の作業領域の一例を示す図であり、図４Ｂは実施の形態１における画像生成部及び制御部による投影領域の設定を説明するための図である。 図５Ａは、第１の作業の作業指示を表す３次元データの一例を示す図であり、図５Ｂは、実施の形態１における画像生成部による図５Ａに示す３次元データの変形を説明するための図である。 図６Ａは、実施の形態１におけるプロジェクタにより第１の作業の作業指示を表す疑似３次元画像が投影された後、作業者が投影画像を見た際の状態を示す図であり、図６Ｂは、作業者以外の第三者が投影画像を作業者とは別の方向から見た場合を示す図である。 実施の形態１におけるプロジェクタにより第２の作業の作業指示を表す疑似３次元画像が投影された後、作業者が投影画像を見た際の状態を示す図である。 図８Ａ、図８Ｂは、実施の形態１における演算装置のハードウェア構成例を示す図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は実施の形態１に係る作業支援システムの構成例を示す図である。
作業支援システムは、作業領域で製品１２に対して組立作業等の作業を行う作業者１１に対し、作業指示を行う。作業支援システムは、図１に示すように、カメラ（第１撮像装置）１、カメラ（第２撮像装置）２、プロジェクタ（投影装置）３及び演算装置４を備えている。製品１２は、台車１３に載せられて作業領域に移動される場合、又は、作業領域に設けられた作業面１４（図４等参照）に置かれる場合等がある。図１では、製品１２が台車１３に載せられた状態で作業領域に移動され、作業者１１はこの台車１３に載せられた製品１２に対して作業を行う場合を示している。なお、１つの作業領域で作業を行う作業者１１は１人であるとする。

カメラ１は、作業領域で作業を行う作業者１１を撮像する。この際、カメラ１は、少なくとも作業者１１の目を含む身体の一部（例えば目又は頭部）を撮像することが好ましい。カメラ１は、作業者１１が位置すると想定される領域が撮像領域に含まれる位置に配置されている。なお、作業者１１が位置すると想定される領域が撮像領域よりも広い場合、カメラ１は撮像位置及び撮像角度のうちの少なくとも一方を可変とする機構を有する必要がある。カメラ１としては、例えば赤外線カメラを用いることができる。このカメラ１により得られた画像データは、演算装置４に出力される。また、カメラ１が撮像位置及び撮像角度のうちの少なくとも一方を可変とする機構を有する場合、カメラ１は、上記画像データに加え、撮像を行った際の撮像位置及び撮像角度のうちの少なくとも一方を示すデータを、演算装置４に出力する。なお、演算装置４は、カメラ１の初期の撮像位置及び撮像角度を示すデータを予め保持している。

カメラ２は、作業領域を撮像する。カメラ２としては、例えば赤外線カメラを用いることができる。このカメラ２により得られた画像データは、演算装置４に出力される。なお、演算装置４は、カメラ２の撮像位置及び撮像角度を示すデータを予め保持している。

プロジェクタ３は、作業領域に入力画像を投影する。なお、作業者１１の作業位置が固定である場合にはプロジェクタ３の投影位置及び投影角度は固定でもよいが、作業者１１の作業位置が固定ではない場合には、プロジェクタ３は、投影位置及び投影角度のうちの少なくとも一方を可変とする機構を有する。なお、演算装置４は、プロジェクタ３の初期の投影位置及び投影角度を示すデータを予め保持している。

演算装置４は、カメラ１による撮像結果及びカメラ２による撮像結果に基づいて、疑似３次元画像の生成及びプロジェクタ３の制御を行う。疑似３次元画像は、作業指示を表す画像であって、プロジェクタ３により作業領域に投影された画像（投影画像）を人が特定の一方向から見た際に立体視可能な画像である。この演算装置４は、図２に示すように、記録部４０１、特定部（第１特定部）４０２、特定部（第２特定部）４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８を有している。

記録部４０１は、作業指示を表すアイコンである３次元データを記録する。この３次元データは、作業工程毎に存在し、作業工程順を示す識別情報に紐付けられて記録部４０１に記録される。
記録部４０１としては、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお図１では、記録部４０１が作業支援システムの内部に設けられた場合を示しているが、これに限らず、記録部４０１は作業支援システムの外部に設けられていてもよい。

特定部４０２は、カメラ１による撮像結果から作業者１１の位置を特定する。この際、特定部４０２は、作業者１１の位置として、少なくとも作業者１１の目を含む身体の一部（例えば目又は頭部）の位置を特定することが好ましい。なお、特定部４０２は、カメラ１から画像データに加えて撮像位置及び撮像角度のうちの少なくとも一方を示すデータが出力された場合には、当該データも考慮して作業者１１の位置を特定する。画像から作業者１１の位置を特定する方法としては、従来から知られている各種方法を適用可能であり、その説明を省略する。また、特定部４０２は、カメラ１による撮像結果から、作業者１１の位置に加え、作業者１１の向きを特定してもよい。

特定部４０３は、カメラ２による撮像結果から作業領域に存在する物体の位置及び形状を特定する。上記物体としては、製品１２、台車１３又は作業面１４等が挙げられる。画像から作業領域に存在する物体の位置及び形状を特定する方法としては、従来から知られている各種方法を適用可能であり、その説明を省略する。なお、特定部４０３は、カメラ２による撮像結果から、作業領域に存在する物体の位置及び形状に加え、物体の向きを特定してもよい。

抽出部４０４は、記録部４０１から３次元データを順に抽出する。具体的には、抽出部４０４は、まず、記録部４０１から最初の作業工程を示す識別情報に紐付けられた３次元データを抽出する。その後、抽出部４０４は、確認指示部４０８から指示を受ける度に、次の作業工程を示す識別情報に紐付けられた３次元データを順に抽出する。

画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、抽出部４０４により抽出された３次元データから疑似３次元画像を生成する。この際、画像生成部４０５は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。なお、画像生成部４０５では、作業領域に存在する物体と作業箇所との位置関係が既知であるとする。そして、画像生成部４０５は、抽出部４０４により抽出された３次元データを変形する。この際、画像生成部４０５は、設定した投影領域にプロジェクタ３から疑似３次元画像を投影した場合に、特定部４０２により特定された作業者１１の位置から投影画像を見た際に立体視されるように、３次元データを変形する。そして、画像生成部４０５は、変形した３次元データを２次元の画像に変換することで疑似３次元画像を生成する。

制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。この際、制御部４０６は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。制御部４０６で設定される投影領域は、画像生成部４０５で設定される投影領域と同じである。なお、制御部４０６では、作業領域に存在する物体と作業箇所との位置関係が既知であるとする。そして、制御部４０６は、設定した投影領域に投影可能なようにプロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。

なお、プロジェクタ３の投影位置及び投影角度が固定である場合には、制御部４０６は不要である。

出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する。

確認指示部４０８は、作業者１１による作業完了を確認して抽出部４０４に対して次の３次元データの抽出を指示する。ここで、例えば、確認指示部４０８は、ユーザにより入力装置（不図示）を介して入力された作業完了通知を受付けることで、作業者１１による作業完了の確認を行ってもよい。また、確認指示部４０８は、カメラ２による撮像結果を解析することで、作業者１１による作業完了の確認を行ってもよい。
なお、演算装置４は、抽出部４０４により最後の作業工程を表す３次元データが抽出されている場合には、確認指示部４０８により作業者１１による作業完了が確認された時点で処理を終了する。

次に、図１，２に示す演算装置４の動作例について、図３を参照しながら説明する。なお、記録部４０１には、作業工程毎の３次元データが記録されている。また、カメラ１及びカメラ２はそれぞれ、撮像を常時行い、得られた画像データを演算装置４に出力している。
演算装置４の動作例では、図３に示すように、まず、特定部４０２は、カメラ１による撮像結果から作業者１１の位置を特定する（ステップＳＴ３０１）。ここでは、特定部４０２は、作業者１１の位置として、少なくとも作業者１１の目を含む身体の一部の位置を特定するものとする。なお、特定部４０２による処理は、カメラ１から演算装置４に画像データが入力される度に実施される。

また、特定部４０３は、カメラ２による撮像結果から作業領域に存在する物体の位置及び形状を特定する（ステップＳＴ３０２）。

また、抽出部４０４は、記録部４０１から３次元データを抽出する（ステップＳＴ３０３）。この際、抽出部４０４は、記録部４０１から、最初の作業工程を示す識別情報に紐付けられた３次元データを抽出する。

また、画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、抽出部４０４により抽出された３次元データから疑似３次元画像を生成する（ステップＳＴ３０４）。この際、画像生成部４０５は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。そして、画像生成部４０５は、抽出部４０４により抽出された３次元データを変形する。この際、画像生成部４０５は、設定した投影領域にプロジェクタ３から疑似３次元画像を投影した場合に、特定部４０２により特定された作業者１１の位置から投影画像を見た際に立体視されるように、３次元データを変形する。そして、画像生成部４０５は、変形した３次元データを２次元の画像に変換することで疑似３次元画像を生成する。なお、画像生成部４０５による処理は、特定部４０２により特定された作業者１１の位置が変わる度に実施される。

次いで、制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する（ステップＳＴ３０５）。この際、制御部４０６は、まず、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、作業領域から、プロジェクタ３による投影領域を設定する。制御部４０６で設定される投影領域は、画像生成部４０５で設定される投影領域と同じである。そして、制御部４０６は、設定した投影領域に投影可能なようにプロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。これにより、プロジェクタ３の投影位置及び投影角度が設定される。なお、制御部４０６による処理は、特定部４０２により特定された作業者１１の位置が変わる度に実施される。

次いで、出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する（ステップＳＴ３０６）。その後、プロジェクタ３は、この疑似３次元画像を作業領域に投影する。これにより、作業者１１には投影画像が立体的に見える。その後、作業者１１は、この投影画像が示す作業指示に従って製品１２に対する作業を行う。

次いで、確認指示部４０８は、作業者１１による作業完了を確認したかを判定する（ステップＳＴ３０７）。このステップＳＴ３０７において、確認指示部４０８が作業完了を確認していない場合には、シーケンスはステップＳＴ３０７に戻り待機状態となる。

一方、ステップＳＴ３０７において、確認指示部４０８は、作業完了を確認した場合、抽出部４０４により最後の作業工程を表す３次元データまで抽出されたかを判定する（ステップＳＴ３０８）。

このステップＳＴ３０８において、確認指示部４０８は、抽出部４０４により未抽出の３次元データがあると判定した場合には、抽出部４０４に対して次の３次元データの抽出を指示する（ステップＳＴ３０９）。その後、シーケンスはステップＳＴ３０２に戻る。なお、ステップＳＴ３０３では、抽出部４０４は、確認指示部４０８による指示に応じ、次の作業工程を示す識別情報に紐付けられた３次元データの抽出を行う。

一方、ステップＳＴ３０８において、確認指示部４０８が抽出部４０４により全ての３次元データが抽出されたと判定した場合には、シーケンスは終了する。

次に、実施の形態１に係る作業支援システムによる作業指示の具体例について示す。
図４～７では、作業者１１が、第１の作業として作業領域における指定箇所に指定の向きで箱１６を置き、第２の作業として箱１６の上面四隅に対してネジ締めを行う場合を示す。以下では、図４Ａに示すように、作業領域に置かれた作業面１４上で作業者１１が作業を行う場合を示し、箱１６の位置決めのため作業面１４上に製品１２の一部である板金部品１５が置かれているものとする。

この場合、まず、作業支援システムは第１の作業を支援する。
具体的には、まず、特定部４０２は、カメラ１による撮像結果から少なくとも作業者１１の目を含む身体の一部の位置を特定する。また、特定部４０３は、カメラ２による撮像結果から板金部品１５の位置及び形状を特定する。なお図４Ｂでは、符号１０１に示すように、画像生成部４０５及び制御部４０６が、作業領域から、板金部品１５の一部が位置する領域（板金部品１５が有する二つの面）をプロジェクタ３による投影領域に設定している。また、抽出部４０４は、図５Ａに示すように、記録部４０１から、作業領域における指定箇所に指定の向きで箱１６を置くことを表す３次元データを抽出する。図５Ａに示す３次元データは、箱１６を表す３次元モデルと、箱１６を置くことを表す下向き矢印の３次元モデルとから構成されている。次いで、画像生成部４０５は、図５Ｂに示すように、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、図５Ａに示す３次元データを変形して、疑似３次元画像を生成する。また、制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。次いで、出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する。その後、プロジェクタ３は、この疑似３次元画像を作業領域に投影する。これにより、図６Ａに符号１０２で示すように、作業者１１には、投影画像が、作業領域における指定箇所に指定の向きで箱１６を置く作業を表すように立体的に見える。なお、例えば図６Ｂに示すように、作業者１１以外の第三者が、投影画像を作業者１１とは別の方向から見た場合には、投影画像が立体的には見えない。その後、作業者１１は、この投影画像が示す作業指示に従って作業領域における指定箇所に指定の向きで箱１６を置く。

次いで、確認指示部４０８が作業者１１による第１の作業の完了を確認すると、作業支援システムは第２の作業を支援する。
具体的には、まず、特定部４０２は、カメラ１による撮像結果から少なくとも作業者１１の目を含む身体の一部の位置を特定する。また、特定部４０３は、カメラ２による撮像結果から板金部品１５の位置及び形状を特定する。なお、画像生成部４０５及び制御部４０６は、作業領域から、板金部品１５の一部が位置する領域（板金部品１５が有する二つの面の一部）及び箱１６の上面が位置する領域をプロジェクタ３による投影領域に設定する。また、抽出部４０４は、記録部４０１から、箱１６の上面四隅に対してネジ締めを行うことを表す３次元データを抽出する。次いで、画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、３次元データを変形して、疑似３次元画像を生成する。また、制御部４０６は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、プロジェクタ３の投影位置及び投影角度のうちの少なくとも一方を制御する。次いで、出力部４０７は、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する。その後、プロジェクタ３は、この疑似３次元画像を作業領域に投影する。これにより、図７に符号１０３で示すように、作業者１１には、投影画像が、箱１６の上面四隅に対してネジ締めを行う作業を表すように立体的に見える。その後、作業者１１は、この投影画像が示す作業指示に従って箱１６の上面四隅に対してネジ締めを行う。

次いで、確認指示部４０８が作業者１１による第２の作業の完了を確認すると、作業支援システムは支援を終了する。

なお上記では、画像生成部４０５及び制御部４０６が投影領域を板金部品１５が位置する領域内とする場合を示した。一方、作業内容によっては部品等のサイズが大きく、投影領域が板金部品１５が位置する領域をはみ出る場合も考えられる。例えば、ある製品１２に対してコンプレッサ等の大型の製品を置く場合には、投影領域が大きくなる。このような場合、画像生成部４０５及び制御部４０６は、投影領域を、板金部品１５が位置する領域に加え、背景の領域も含めて設定する。

また、作業者１１が作業箇所の死角に位置している場合、作業支援システムは当該作業箇所を通知するための画像を投影してもよい。作業者１１が作業箇所の死角に位置する場合とは、例えば図６Ａでは、作業者１１が板金部品１５の背面に位置している場合等である。
具体的には、画像生成部４０５は、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて作業者１１が作業箇所の死角に位置していると判定した場合に、作業箇所を通知するための画像を生成する。例えば、画像生成部４０５は、作業者１１が板金部品１５の背面に位置していると判定した場合に、作業箇所が板金部品１５の前面であることを通知するための画像を生成する。そして、プロジェクタ３は、画像生成部４０５により生成された上記画像を所定の投影領域に投影する。上記の例では、プロジェクタ３は、上記画像を板金部品１５の背面等に投影する。

このように、実施の形態１に係る作業支援システムでは、作業者１１の位置並びに作業領域に存在する物体の位置及び形状に基づいて疑似３次元画像の生成及びプロジェクタ３の制御を行い、プロジェクタ３から当該疑似３次元画像を投影する。これにより、作業者１１には投影画像が立体的に見え、作業者１１は、作業指示を視覚的に認識可能となり、疑似３次元画像が示す作業指示の通りに作業を行うことで容易に作業を実施できる。また、疑似３次元画像は作業領域に投影されるため、作業者１１は作業指示を確認する際に製品１２から目を離す必要はなく、作業時間（タクトタイム）の短縮化が見込める。また、疑似３次元画像では文字を用いていないため、作業者１１は、言語の違いに依らず、容易に作業を実施できる。

また、疑似３次元画像は作業者１１が裸眼で立体視可能であり、作業者１１はＨＭＤ等のような特別な装置を装着する必要はない。また、疑似３次元画像は単一画像であり、作業支援システムは両眼視差を利用した３次元画像のように複数の画像を用意する必要はない。

また、特定部４０２は、カメラ１による撮像結果からリアルタイムに作業者１１の位置を特定可能である。そのため、作業支援システムでは、作業の途中で作業者１１が移動した場合でも追従して疑似３次元画像を生成可能であり、作業者１１は投影画像を常に立体視できる。

なお上記では、特定部４０３がカメラ２による撮像結果から作業領域に存在する物体の位置及び形状を特定し、画像生成部４０５及び制御部４０６が当該物体の位置及び形状に基づいて処理を行う場合を示した。しかしながら、これに限らず、記録部４０１が、事前に、作業領域に存在すると想定される物体の形状を示す情報を記録し、特定部４０３は、カメラ２による撮像結果から作業領域に存在する物体の位置のみを特定してもよい。この場合、画像生成部４０５及び制御部４０６は、作業領域に存在する物体の形状については記録部４０１から得る。

以上のように、この実施の形態１によれば、作業領域で作業を行う作業者１１を撮像するカメラ１と、作業領域を撮像するカメラ２と、作業領域に入力画像を投影するプロジェクタ３と、カメラ１による撮像結果から作業者１１の位置を特定する特定部４０２と、カメラ２による撮像結果から作業領域に存在する物体の位置を特定する特定部４０３と、作業指示を表すアイコンである３次元データを順に抽出する抽出部４０４と、特定部４０２による特定結果及び特定部４０３による特定結果に基づいて、抽出部４０４により抽出された３次元データから、投影画像を一方向から見た際に立体視可能な疑似３次元画像を生成する画像生成部４０５と、画像生成部４０５により生成された疑似３次元画像を示すデータをプロジェクタ３に出力する出力部４０７と、作業者１１による作業完了を確認して抽出部４０４に対して次の３次元データの抽出を指示する確認指示部４０８とを備えた。これにより、実施の形態１に係る作業支援システムは、作業者１１が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能となる。

実施の形態２．
実施の形態１では、画像生成部４０５が静止画である疑似３次元画像を生成し、プロジェクタ３が当該疑似３次元画像を作業領域に投影する場合を示した。これに対し、画像生成部４０５は複数の疑似３次元画像を連続したアニメーションを生成し、プロジェクタ３はこのアニメーションを作業領域に投影してもよい。これにより、作業者１１は、作業指示の内容をより容易に理解可能となる。

実施の形態３．
実施の形態１，２では、画像生成部４０５及び制御部４０６が投影領域をどのような領域に設定するのかについては具体的に言及していない。一方、投影領域が平面ではなく複数の面を有する場合、演算装置４は、３次元データに対し、それぞれの面に投影される領域毎に演算を行って、疑似３次元画像を生成する必要がある。そのため、投影領域は可能な限り凹凸の少ない領域であることが望ましい。

そこで、画像生成部４０５は、特定部４０３による特定結果から凹凸の少ない領域を検出し、当該領域をプロジェクタ３による投影領域に設定して、疑似３次元画像の生成を行ってもよい。同様に、制御部４０６は、特定部４０３による特定結果から凹凸の少ない領域を検出し、当該領域をプロジェクタ３による投影領域に設定して、プロジェクタ３の制御を行ってもよい。これにより、演算装置４は、疑似３次元画像を生成する際の演算負荷を低減可能となる。

最後に、図８を参照して、実施の形態１～３における演算装置４のハードウェア構成例を説明する。
演算装置４における特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の各機能は、処理回路５１により実現される。処理回路５１は、図８Ａに示すように、専用のハードウェアであってもよいし、図８Ｂに示すように、メモリ５３に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ともいう）５２であってもよい。

処理回路５１が専用のハードウェアである場合、処理回路５１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の各部の機能それぞれを処理回路５１で実現してもよいし、各部の機能をまとめて処理回路５１で実現してもよい。

処理回路５１がＣＰＵ５２の場合、特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアはプログラムとして記述され、メモリ５３に格納される。処理回路５１は、メモリ５３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、演算装置４は、処理回路５１により実行されるときに、例えば図３に示した各ステップが結果的に実行されることになるプログラムを格納するためのメモリ５３を備える。また、これらのプログラムは、特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の手順及び方法をコンピュータに実行させるものであるともいえる。ここで、メモリ５３としては、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、又はＤＶＤ等が該当する。

なお、特定部４０２、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。例えば、特定部４０２については専用のハードウェアとしての処理回路５１でその機能を実現し、特定部４０３、抽出部４０４、画像生成部４０５、制御部４０６、出力部４０７及び確認指示部４０８については処理回路５１がメモリ５３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

このように、処理回路５１は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組合わせ、或いは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。

この発明に係る作業支援システムは、作業者が作業領域を見ている状態で、特別な装置を装着することなく、文字を排した作業指示が可能となり、作業指示を行う作業支援システム等に用いるのに適している。

１ カメラ（第１撮像装置）、２ カメラ（第２撮像装置）、３ プロジェクタ（投影装置）、４ 演算装置、１１ 作業者、１２ 製品、１３ 台車、１４ 作業面、１５ 板金部品、１６ 箱、５１ 処理回路、５２ ＣＰＵ、５３ メモリ、４０１ 記録部、４０２ 特定部（第１特定部）、４０３ 特定部（第２特定部）、４０４ 抽出部、４０５ 画像生成部、４０６ 制御部、４０７ 出力部、４０８ 確認指示部。

Claims (9)

1. 作業領域で作業を行う作業者を撮像する第１撮像装置と、
   作業領域を撮像する第２撮像装置と、
   作業領域に入力画像を投影する投影装置と、
   前記第１撮像装置による撮像結果から作業者の位置を特定する第１特定部と、
   前記第２撮像装置による撮像結果から作業領域に存在する物体の位置を特定する第２特定部と、
   作業指示を表すアイコンである３次元データを順に抽出する抽出部と、
   前記第１特定部による特定結果及び前記第２特定部による特定結果に基づいて、前記抽出部により抽出された３次元データから、投影画像を一方向から見た際に立体視可能な疑似３次元画像を生成する画像生成部と、
   前記画像生成部により生成された疑似３次元画像を示すデータを前記投影装置に出力する出力部と、
   作業者による作業完了を確認して前記抽出部に対して次の３次元データの抽出を指示する確認指示部と
   を備えた作業支援システム。
2. 前記画像生成部は、前記第１特定部により特定された作業者の位置が変わる度に、疑似３次元画像の生成を行う
   ことを特徴とする請求項１記載の作業支援システム。
3. 前記第１特定部は、作業者の位置として、少なくとも作業者の目を含む身体の一部の位置を特定する
   ことを特徴とする請求項１記載の作業支援システム。
4. 前記画像生成部は、複数の疑似３次元画像を連続したアニメーションを生成する
   ことを特徴とする請求項１記載の作業支援システム。
5. 前記画像生成部は、前記第２特定部による特定結果から凹凸の少ない領域を検出し、当該領域を前記投影装置による投影領域に設定して、疑似３次元画像の生成を行う
   ことを特徴とする請求項１記載の作業支援システム。
6. 前記第１撮像装置は、作業者が位置すると想定される領域が撮像領域に含まれるように撮像位置及び撮像角度のうちの少なくとも一方が可変に構成された
   ことを特徴とする請求項１記載の作業支援システム。
7. 前記投影装置は、投影位置及び投影角度のうちの少なくとも一方が可変であり、
   前記第１特定部による特定結果及び前記第２特定部による特定結果に基づいて、前記投影装置の投影位置及び投影角度のうちの少なくとも一方を制御する制御部を備えた
   ことを特徴とする請求項１記載の作業支援システム。
8. 前記制御部は、前記第１特定部により特定された作業者の位置が変わる度に、前記投影装置の投影位置及び投影角度のうちの少なくとも一方の制御を行う
   ことを特徴とする請求項７記載の作業支援システム。
9. 前記制御部は、前記第２特定部による特定結果から凹凸の少ない領域を検出し、当該領域を前記投影装置による投影領域に設定して、当該投影装置の制御を行う
   ことを特徴とする請求項７記載の作業支援システム。

Images