JP7322423B2

JP7322423B2 - 情報処理装置、生産ナビゲーションシステム、情報処理方法及びプログラム

Info

Publication number: JP7322423B2
Application number: JP2019030192A
Authority: JP
Inventors: 博一貞富
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2019-02-22
Filing date: 2019-02-22
Publication date: 2023-08-08
Anticipated expiration: 2039-02-22
Also published as: JP2020132385A

Description

本発明は、情報処理装置、生産ナビゲーションシステム、情報処理方法及びプログラムに関する。

近年、多くの工場においては多品種少量生産が行われている。多品種少量生産を行う工場では、１人の作業者が、部品倉庫に格納された多様な部品の中から生産対象の製品に応じた部品を採取し、製品を組み立てる場合が多い。そのため、作業者による誤作業の防止や組立作業の効率化のための技術が求められている。

その一例として、下記特許文献１には、板状部材が設けられた棚を部品倉庫として用い、組み立て手順や採取すべき部品を指示する情報を板状部材に投影する技術が開示されている。

特開２０１８－４５６６９号公報

特許文献１等において提案された技術は、いずれも製品の組立作業に関するものであった。工場において人が介在し得る作業には、組立作業の他に、組立作業のための部品を部品倉庫に投入する投入作業もある。

そこで、本発明は上記課題に鑑みてなされたものであり、本発明の目的とするところは、部品倉庫への部品の投入作業を支援することが可能な、新規且つ改良された仕組みを提供することにある。

上記課題を解決するために、本発明のある観点によれば、部品が載置される複数の部品載置部が設けられた棚への作業者による前記部品の投入作業を指示する指示情報を生成し、生成した前記指示情報を表示するよう表示部を制御する制御部、を備え、前記指示情報は、前記部品の画像、又は前記部品のイラストを含み、前記制御部は、前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記表示部を制御し、前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御し、前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、情報処理装置が提供される。

前記制御部は、前記投入作業によって前記部品の投入が行われた前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた前記領域に前記警告情報を表示するよう前記表示部を制御してもよい。

前記指示情報は、複数の前記部品の前記投入作業を指示する情報を含み、前記制御部は、前記複数の前記部品の識別情報を同時に表示するよう前記表示部を制御してもよい。

前記制御部は、前記作業者を含む撮像画像に基づいて、前記指示情報により示される前記投入作業が前記作業者により行われたか否かを判定し、前記指示情報により示される前記投入作業と異なる前記投入作業が前記作業者により行われると判定された場合に警告情報を表示するよう前記表示部を制御してもよい。

前記指示情報により示される前記投入作業と異なる前記投入作業は、前記指示情報において投入先として指示された前記部品載置部とは異なる前記部品載置部に前記部品を投入することを含んでもよい。

前記警告情報は、前記指示情報により示される前記投入作業と異なる前記投入作業において前記部品が投入された前記部品載置部を示す情報を含んでもよい。

前記警告情報は、前記指示情報により示される前記投入作業と異なる前記投入作業において投入された前記部品の識別情報を含んでもよい。

前記制御部は、前記指示情報により示される前記投入作業と異なる前記投入作業において投入された前記部品が前記部品載置部から取り出された場合に、前記警告情報の表示を停止するよう前記表示部を制御してもよい。

前記制御部は、前記部品載置部ごとに載置された前記部品の数を、前記部品が投入される度に加算し、前記部品が取り出される度に減算してもよい。

前記制御部は、前記作業者が前記投入作業の対象とした前記部品を識別し、識別した前記部品に応じた前記指示情報を生成してもよい。

前記制御部は、前記作業者が前記部品を前記投入作業の対象としてからの経過時間が所定の閾値を超えた場合に警告情報を表示するよう前記表示部を制御してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、部品が載置される複数の部品載置部が設けられた棚と、第１の表示部と、前記棚への第１の作業者による前記部品の投入作業を指示する第１の指示情報を生成し、生成した前記第１の指示情報を表示するよう前記第１の表示部を制御する制御部と、を備え、前記第１の指示情報は、前記部品の画像、又は前記部品のイラストを含み、前記制御部は、前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記第１の表示部を制御し、前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御し、前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、生産ナビゲーションシステムが提供される。

前記第１の指示情報は、前記棚に設けられた投影可能領域のうち、前記部品を投入すべき前記部品載置部に対応付けられた領域に投影されてもよい。

前記生産ナビゲーションシステムは、第２の表示部を備え、前記制御部は、前記棚からの第２の作業者による前記部品の採取作業を指示する第２の指示情報を生成し、生成した前記第２の指示情報を表示するよう前記第２の表示部を制御してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、部品が載置される複数の部品載置部が設けられた棚への作業者による前記部品の投入作業を指示する指示情報を生成し、生成した前記指示情報を表示するよう表示部を制御すること、を含み、前記指示情報は、前記部品の画像、又は前記部品のイラストを含み、前記表示部を制御することは、前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記表示部を制御することと、前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御することと、を含み、前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、
部品が載置される複数の部品載置部が設けられた棚への作業者による前記部品の投入作業を指示する指示情報を生成し、生成した前記指示情報を表示するよう表示部を制御する制御部、として機能させ、前記指示情報は、前記部品の画像、又は前記部品のイラストを含み、前記制御部は、前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記表示部を制御し、前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御し、前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、プログラムが提供される。

以上説明したように本発明によれば、部品倉庫への部品の投入作業を支援することが可能な仕組みが提供される。

本発明の一実施形態に係るシステムの概略的な構成の一例を示す図である。本実施形態に係る生産ナビゲーションシステムの論理的な構成の一例を示す図である。本実施形態に係る生産ナビゲーションシステムの物理的な構成の一例を示す図である。本実施形態に係る表示機構による情報表示の様子を概略的に示す図である。本実施形態に係る表示機構による情報表示の様子を概略的に示す図である。本実施形態に係る生産ナビゲーションシステムの詳細な構成の一例を示す図である。本実施形態に係る生産ナビゲーションシステムを後方から見たときの構成の一例を示す図である。本実施形態に係る投入指示情報の表示の一例を説明するための図である。本実施形態に係る警告情報の表示の一例を説明するための図である。本実施形態に係る警告情報の表示の一例を説明するための図である。本実施形態に係る生産ナビゲーションシステムによる表示処理の流れの一例を示すフローチャートである。生産ナビゲーションシステムのハードウェア構成を示したブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜＜１．構成例＞＞
＜１．１．全体構成例＞
図１は、本発明の一実施形態に係るシステム１の概略的な構成の一例を示す図である。システム１は、サーバ９０及び生産ナビゲーションシステム１０を含む。システム１は、製品を生産する（即ち、組み立てる）工場において実装される。

生産ナビゲーションシステム１０は、工場で働く作業者に対し様々な情報を提示して、製品の組立作業及びその投入作業を支援するシステムである。図１に示すように、システム１は、複数の生産ナビゲーションシステム１０を含み得る。生産ナビゲーションシステム１０の構成については、後に詳しく説明する。

作業者は、製品組み立てのために部品庫に部品を投入する投入作業を行う投入作業者（第１の作業者に相当）、及び、部品庫に投入された部品を用いて製品の組立作業を行う組立作業者（第２の作業者に相当）に分類される。典型的には、組立作業者は、生産ナビゲーションシステム１０による支援を受けて、単位期間において１種類の製品を生産する（即ち、組み立てる）。また、投入作業者は、当該単位期間において生産するよう計画された数の製品の生産に要される部品を部品庫に投入する。なお、単位期間とは、例えば数時間、１日、又は数日等の任意の期間である。組立作業者と投入作業者とを特に区別する必要がない場合、これらを単に作業者とも総称する。また、組立作業と投入作業とを特に区別する必要がない場合、これらを単に作業とも総称する。

サーバ９０は、システム１に含まれる生産ナビゲーションシステム１０を管理する情報処理装置である。サーバ９０は、管理下の生産ナビゲーションシステム１０と有線又は無線のネットワークを介して接続され、互いに情報を送受信する。

＜１．２．論理的な構成例＞
図２は、本実施形態に係る生産ナビゲーションシステム１０の論理的な構成の一例を示す図である。図２に示すように、本実施形態に係る生産ナビゲーションシステム１０は、通信部１１０、表示部１２０、センサ部１３０、入力部１４０、記憶部１５０、及び制御部１６０を含む。

（通信部１１０）
通信部１１０は、他の装置との間で情報の送受信を行う機能を有する。通信部１１０は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ、又はＷｉ－Ｆｉ（登録商標）等の有線／無線の任意の通信規格に準拠した通信を行う。例えば、通信部１１０は、サーバ９０との間で情報を送受信する。

（表示部１２０）
表示部１２０は、情報の表示を行う機能を有する。表示部１２０は、例えば作業者に対する情報を表示する。

（センサ部１３０）
センサ部１３０は、作業者による作業に関する情報をセンシングする機能を有する。センシングの対象は、例えば、作業者全体、作業者の特定部位（例えば、手）、部品、又は部品倉庫の少なくともいずれかである。センサ部１３０は、画像、音、深度情報、慣性情報、又は生体情報等の任意の情報をセンシングする。センサ部１３０は、センシング結果を示す情報を制御部１６０に出力する。

（入力部１４０）
入力部１４０は、情報の入力を受け付ける機能を有する。入力部１４０は、作業者からの情報の入力を受け付ける。

（記憶部１５０）
記憶部１５０は、生産ナビゲーションシステム１０の動作のための各種情報を記憶する機能を有する。例えば、記憶部１５０は、入力部１４０により入力された情報、並びに部品載置部２１ごとの載置された部品の識別情報及び数等を記憶する。

（制御部１６０）
制御部１６０は、生産ナビゲーションシステム１０の動作全般を制御する機能を有する。制御部１６０は、作業状況判定部１６１、出力制御部１６３、及び記憶制御部１６５を含む。作業状況判定部１６１は、作業者による作業状況を判定する機能を有する。出力制御部１６３は、表示部１２０による情報の表示を制御する機能を有する。記憶制御部１６５は、記憶部１５０への情報の記憶及びその読み出しを制御する機能を有する。これらの構成要素の詳細な動作については、後に詳しく説明する。

＜１．３．物理的な構成例＞
以下、図３～図７を参照しながら、本実施形態に係る生産ナビゲーションシステム１０の物理的な構成の一例を説明する。

図３は、本実施形態に係る生産ナビゲーションシステム１０の物理的な構成の一例を示す図である。図３に示すように、生産ナビゲーションシステム１０は、制御装置１１、棚１２、作業台１３、撮像部１４（１４Ａ、１４Ｂ）、表示機構１５（１５Ａ、１５Ｂ）、コード入力部１９、及びモーションキャプチャカメラ２０（２０Ａ、２０Ｂ）を備える。図３に示すように、本明細書及び図面では、棚１２から作業台１３への方向を前方向とし、その逆方向を後方向とし、作業台１３から棚１２を見たときの上下左右の方向を、それぞれ上方向、下方向、左方向、及び右方向とする。

図４は、本実施形態に係る表示機構１５Ａによる情報表示の様子を概略的に示す図である。図５は、本実施形態に係る表示機構１５Ｂによる情報表示の様子を概略的に示す図である。図４及び図５では、生産ナビゲーションシステム１０を左方向から見たときの様子が図示されている。図６は、本実施形態に係る生産ナビゲーションシステム１０の詳細な構成の一例を示す図である。図６では、棚１２の一部を左方向から見たときの詳細な構成が示されている。図７は、本実施形態に係る生産ナビゲーションシステム１０を後方から見たときの構成の一例を示す図である。

図４及び図５に示すように、棚１２の前方には、組立作業を行うための組立作業空間ＳＰ１が設けられている。組立作業者は、組立作業空間ＳＰ１に立ち、棚１２から部品を採取しながら作業台１３上で組立作業を行う。一方で、棚１２の後方には、投入作業を行うための投入作業空間ＳＰ２が設けられている。投入作業者は、投入作業空間ＳＰ２に立ち、棚１２に部品を投入する。

なお、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なる大文字のアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて表示機構１５Ａ及び１５Ｂのように区別する。その際、組立作業者のための構成要素にはアルファベット「Ａ」を付し、投入作業者のための構成要素にはアルファベット「Ｂ」を付すものとする。例えば、表示機構１５Ａは組立作業者に対する情報を表示し、表示機構１５Ｂは投入作業者に対する情報を表示する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、表示機構１５Ａ及び１５Ｂを特に区別する必要が無い場合には、単に表示機構１５と称する。

（制御装置１１）
制御装置１１は、生産ナビゲーションシステム１０の動作全般を制御する情報処理装置である。制御装置１１は、図２を参照しながら説明した通信部１１０、記憶部１５０及び制御部１６０に相当する。

（棚１２）
棚１２は、部品倉庫として機能する。棚１２には、部品が載置される複数の部品載置部２１が設けられており、図３～図７に示した例では、縦方向に４段、横方向に６列、合計２４個の部品載置部２１が設けられている。これら複数の部品載置部２１は、例えばトレイとして構成され、隣接するトレイの間は各々のトレイの側壁により区切られる。さらに、棚１２には、複数の仕切板２２が設けられている。それぞれの仕切板２２は、略鉛直方向に配置されており、個々の部品載置部２１を区切っている。図６に示すように、仕切板２２は、先端が棚１２の前面から前方に突出するように配置されている。他方、仕切板２２は、後端が棚１２の後面から後方に突出するように配置されていてもよい。各部品載置部２１には、トレイ４０が載置されており、そのトレイ４０には単一種類の部品（例えば、ネジやブラケット、ローラ等）が収納されている。なお、部品載置部２１には、例えば、電動ドライバ等の組立ツールが載置されてもよい。

図６に示す、各々の部品載置部２１の前方の開口５１（５１Ａ～５１Ｄ）を、以下では採取口５１も称する。例えば、組立作業者は、採取口５１から部品載置部２１に手を入れて、部品載置部２１に載置された部品を採取する。一方で、各々の部品載置部２１の後方の開口５２（５２Ａ～５２Ｄ）を、以下では投入口５２とも称する。投入作業者は、投入口５２から部品載置部２１に手をいれて部品を投入することで、部品載置部２１に部品を載置する。なお、採取口５１及び投入口５２は、典型的には、上を第２の板状部材３４により、下を部品載置部２１により区切られた空間である。

図６に示すように、各部品載置部２１は、後方部分よりも前方部分が下がるように、傾斜して設けられている。最下段の部品載置部２１の下方の空間は、棚１２の前面部分からアクセスし難いデッドスペースになっており、図３～図５に示すように、そのスペースに制御装置１１が配置されている。これにより、棚１２内の空間の効率的な活用が可能となる。また、部品載置部２１には、複数のトレイ４０が載置されてもよい。これにより、生産ナビゲーションシステム１０は、空になった前方のトレイ４０を取り除いて、空になったトレイ４０の後方に載置されていた新しいトレイ４０を棚１２の前面付近の位置に配置させることができる。

なお、図７に示すように、各々の部品載置部２１は、符号「２１」の後に付されたアルファベット２文字により区別され得る。アルファベット１文字目は、部品載置部２１が配置された段（上から下にかけて１段目はａ、２段目はｂ、３段目はｃ、４段目はｄ）を示す。アルファベット２文字目は、部品載置部２１が配置された列（右から左にかけて１列目はａ、２列目はｂ、３列目はｃ、４列目はｄ、５列目はｅ、６列目はｆ）を示す。例えば、上から１段目、右から２列目の部品載置部２１は、部品載置部２１ａｂである。

（作業台１３）
作業台１３は、組立作業者が部品組立等に利用する台である。作業台１３は、平坦な台面（上面）を備えている。その台面は、棚１２の全幅に亘って、水平方向に延在するように配置されている。

（撮像部１４）
撮像部１４は、作業者を撮像し、作業者を含む撮像画像を制御装置１１に出力する。撮像部１４は、例えばＵＳＢ（Universal Serial Bus）カメラであってもよい。撮像部１４は、図２を参照しながら説明したセンサ部１３０に相当する。

撮像部１４Ａは、組立作業者を撮像する。撮像部１４Ａは、ミラー３２Ａを支持する支持フレーム４４Ａによって、標準的な身長の作業者の頭の高さよりも上の位置（例えば、最上段の部品載置部２１よりも上方の位置）で、かつ、棚１２の前面よりも前方の位置に配置される。これにより、生産ナビゲーションシステム１０の前方に位置する組立作業者を含む撮像画像を撮像することができる。ここで、撮像部１４Ａは、撮像方向を棚１２の方向に向けて配置されており、棚１２に設けられた全ての部品載置部２１の採取口５１を撮像範囲に含むよう配置される。これにより、部品を採取するために、又は一度採取した部品を元に戻すために、組立作業者が採取口５１から部品載置部２１に入れた手を含む、棚１２の前面の撮像画像を撮像することができる。

撮像部１４Ｂは、投入作業者を撮像する。撮像部１４Ｂは、ミラー３２Ｂを支持する支持フレーム４４Ｂによって、標準的な身長の作業者の頭の高さよりも上の位置（例えば、最上段の部品載置部２１よりも上方の位置）で、かつ、棚１２の後面よりも後方の位置に配置されている。これにより、生産ナビゲーションシステム１０の後方に位置する投入作業者を含む撮像画像を撮像することが可能となる。ここで、撮像部１４Ｂは、撮像方向を棚１２の方向に向けて配置されており、棚１２に設けられた全ての部品載置部２１の投入口５２を撮像範囲に含むよう配置される。これにより、部品を投入するために、又は一度投入した部品を元に戻すために、組立作業者が投入口５２から部品載置部２１に入れた手を含む、棚１２の後面の撮像画像を撮像することができる。

（表示機構１５）
表示機構１５は、作業者に対し各種情報を表示するための機構である。表示機構１５は、図２を参照しながら説明した表示部１２０に相当する。本実施形態では、表示機構１５は、プロジェクタ３１、ミラー３２、第１の板状部材３３、及び第２の板状部材３４を含む。表示機構１５は、いわゆるプロジェクションマッピング技術を用いて、第１の板状部材３３及び第２の板状部材３４に情報（詳しくは、投影画像）を投影する。

・プロジェクタ３１
図４及び図５に示すように、プロジェクタ３１は、棚１２の上に配置されている。プロジェクタ３１は、ミラー３２に向けて投影光を照射する。プロジェクタ３１から照射された投影光は、ミラー３２に反射されて、第１の板状部材３３及び第２の板状部材３４に到達する。即ち、プロジェクタ３１は、ミラー３２を介して第１の板状部材３３及び第２の板状部材３４に情報を投影する。ミラー３２は、作業台１３の上面又は床面等の他の領域にも情報を投影してもよい。

・ミラー３２
図４に示すように、ミラー３２Ａは、支持フレーム４４Ａによって、標準的な身長の作業者の頭の高さよりも上の位置（例えば、最上段の部品載置部２１よりも上方の位置）で、且つ、棚１２の前面よりも前方の位置に配置されている。具体的には、ミラー３２Ａは、作業台１３の上方でかつ棚１２の斜め上方向に、反射面がプロジェクタ３１並びに第１の板状部材３３Ａ及び第１の板状部材３３Ａに対向するように配置されている。そして、図４に示すように、ミラー３２Ａは、プロジェクタ３１Ａから照射された投影光を、第１の板状部材３３Ａ及び第２の板状部材３４Ａに向けて反射する。

図５に示すように、ミラー３２Ｂは、支持フレーム４４Ｂによって、標準的な身長の作業者の頭の高さよりも上の位置（例えば、最上段の部品載置部２１よりも上方の位置）で、且つ、棚１２の後面よりも後方の位置に配置されている。具体的には、ミラー３２Ｂは、投入作業空間ＳＰ２の上方でかつ棚１２の斜め上方向に、反射面がプロジェクタ３１並びに第１の板状部材３３Ｂ及び第１の板状部材３３Ｂに対向するように配置されている。そして、図５に示すように、ミラー３２Ｂは、プロジェクタ３１Ｂから照射された投影光を、第１の板状部材３３Ｂ及び第２の板状部材３４Ｂに向けて反射する。

これらミラー３２は、反射角度が上下方向に変更できるように、支持機構によって回動可能に支持されており、任意の反射角度で固定設置され得る。

・第１の板状部材３３
第１の板状部材３３は、プロジェクタ３１から投影された投影画像が結像される投影可能領域として機能する。第１の板状部材３３は、棚１２の全幅に亘って左右方向（横方向）に延在し、且つ上下方向（縦方向）の長さは第２の板状部材３４と比較して長い。そのため、第１の板状部材３３は、比較的広い面積を要する情報の提示に適している。第１の板状部材３３は、部品載置部２１の上方及び下方のいずれか一方又は双方の位置に配置される。好ましくは、第１の板状部材３３は、部品載置部２１の上方（即ち、棚１２の最上段）に配置されることが望ましい。これにより、作業者がどの部品載置部２１に手を入れた場合であっても、投影光が作業者の手により遮られることがないので、投影された情報の視認性を常に高く維持することが可能となる。

・第２の板状部材３４
第２の板状部材３４もまた、プロジェクタ３１から投影された投影画像が結像される投影可能領域として機能する。第２の板状部材３４は、棚１２の全幅に亘って左右方向（横方向）に延在し、且上下方向（縦方向）の長さは第１の板状部材３３と比較して短い。第２の板状部材３４は、比較的狭い面積しか要さない情報の提示に適している。そのような情報の一例として、部品の投入又は部品の採取を指示する指示情報（後述する投入指示情報又は採取指示情報）が挙げられる。例えば、第２の板状部材３４のうち、作業者が部品を投入又は採取すべき部品載置部２１付近の領域に指示情報が投影される。これにより、作業者は、部品を投入又は採取すべき部品載置部２１を容易に認識することが可能となる。第２の板状部材３４は、各々の部品載置部２１の上方及び下方のいずれか一方又は双方の位置に配置される。好ましくは、第２の板状部材３４は、各々の部品載置部２１の上方にそれぞれ配置されることが望ましい。その結果、指示情報に従って部品載置部２１に作業者が手を入れた際に、当該指示情報の投影光が作業者の手により遮られずに済むので、指示情報の視認性を維持することが可能となる。

図７に示すように、後方から棚１２をみると、上から１段目～３段目の部品載置部２１の下部には、第２の板状部材３４Ｂが配置される。そのため、上から１段目～３段目の部品載置部２１の下部は、第２の板状部材３４Ｂに一部隠れつつも、その上部は露出して配置されている。他方、上から４段目の部品載置部２１の下部には第２の板状部材３４Ｂが配置されないので、部品載置部２１の全体が露出して配置されている。これにより、投入作業者は、各々の部品載置部２１を視認することができ、部品を誤った部品載置部２１に投入することが防止される。

・第１の板状部材３３及び第２の板状部材３４の傾斜
図６に示すように、第１の板状部材３３Ａ及び第２の板状部材３４Ａは、棚１２の前面に斜めに傾斜して配置される。とりわけ、第１の板状部材３３Ａ及び第２の板状部材３４Ａは、上端よりも下端の方が前方に位置するように、傾斜して配置される。そして、その傾斜は下方に配置されるものほど強い（即ち、水平に近づく）。これにより、第１の板状部材３３Ａ及び第２の板状部材３４Ａと投影光との角度をより垂直に近づけることができ、より視認性のよい投影が可能となる。

同様に、第１の板状部材３３Ｂ及び第２の板状部材３４Ｂは、棚１２の後面に斜めに傾斜して配置される。とりわけ、第１の板状部材３３Ｂ及び第２の板状部材３４Ｂは、上端よりも下端の方が後方に位置するように、傾斜して配置される。そして、その傾斜は下方に配置されるものほど強い（即ち、水平に近づく）。これにより、第１の板状部材３３Ｂ及び第２の板状部材３４Ｂと投影光との角度をより垂直に近づけることができ、より視認性のよい投影が可能となる。

（コード入力部１９）
コード入力部１９は、情報コードの読み取りを行う。コード入力部１９は、図２を参照しながら説明した入力部１４０に相当する。例えば、コード入力部１９は、スキャナとして構成され、バーコード又は二次元コード等の各種情報コードを読み取る。コード入力部１９は、スキャナに限定されず、例えばＩＣカードリーダ又はキーボード等の各種入力装置により構成されてもよい。

（モーションキャプチャカメラ２０）
モーションキャプチャカメラ２０は、作業者の様子を撮像する。モーションキャプチャカメラ２０は、図２を参照して上記説明したセンサ部１３０に相当する。モーションキャプチャカメラ２０は、少なくとも作業者の上半身を含む、作業者のほぼ全体像を撮像する。モーションキャプチャカメラ２０は、例えば棚１２の側方に配置されている。制御装置１１は、モーションキャプチャカメラ２０によって撮像された動画像に基づいて、作業者の動線や顔の向き等を解析することができる。

＜＜２．技術的特徴＞＞
＜２．１．投入作業のナビゲーション＞
制御装置１１は、投入作業者による投入作業を支援するための、ナビゲーションを行う。以下、この点について詳しく説明する。

（１）投入計画情報
制御装置１１は、棚１２への部品の投入計画を示す投入計画情報を取得する。投入計画情報は、投入作業者が投入すべきひとつ以上の部品の各々についての、投入先の部品載置部２１及び投入すべき数を示す情報を含む。他にも、投入計画情報は、部品の投入順序を示す情報を含んでいてもよい。

一例として、制御装置１１は、投入計画情報をサーバ９０から取得する。この場合、制御装置１１は、投入作業の開始前にサーバ９０にアクセスし、投入作業情報を受信する。他の一例として、投入計画情報は、情報コードとして作業計画書等の書類に付され、コード入力部１９Ｂから読み取られてもよい。この場合、投入作業者は、投入作業の開始前に、作業計画書に付された情報コードをコード入力部１９Ｂにかざして読み取らせる。

（２）投入指示情報の表示
制御装置１１（例えば、出力制御部１６３）は、部品が載置される複数の部品載置部２１が設けられた棚１２への、投入作業者による部品の投入作業を指示する投入指示情報を生成し、生成した投入指示情報を表示するよう表示機構１５Ｂを制御する。制御装置１１は、投入計画情報に従って、投入指示情報を生成する。例えば、制御装置１１は、投入計画情報において投入が計画された部品のうち、未投入の部品の投入を指示する投入指示情報を生成し、表示機構１５Ｂにより表示させる。投入指示情報は、第１の板状部材３３Ｂ及び／又は第２の板状部材３４Ｂに表示される。投入作業者は、投入指示情報に従って、指示された部品を手に取り、指示された部品載置部２１に投入する。

・部品を投入すべき部品載置部２１を示す情報
投入指示情報は、部品を投入すべき部品載置部２１を示す情報を含む。かかる情報が表示されることにより、投入作業者は、どの部品載置部２１に部品を投入すべきかを認識することが可能となる。そして、投入指示情報は、部品を投入すべき部品載置部２１に対応付けられた領域に表示される。これにより、部品を投入すべき部品載置部２１を示す情報が、当該部品載置部２１に対応付けられた領域に表示されるので、どの部品載置部２１に部品を投入すべきかをより容易に認識することが可能となる。投入指示情報の表示例について、図８を参照して具体的に説明する。

図８は、本実施形態に係る投入指示情報の表示の一例を説明するための図である。図８では、生産ナビゲーションシステム１０を後方から見たときの投入指示情報の表示の一例が示されている。図８では、矢印として投入指示情報６１が表示されている。投入指示情報６１は、矢印の向く先にある部品載置部２１ａｂを、部品を投入すべき部品載置部２１として示している。そして、投入指示情報６１は、部品を投入すべき部品載置部２１ａｂに対応付けられた領域として、部品載置部２１ａｂの直上の第２の板状部材３４Ｂに表示される。このように、投入指示情報６１が、部品載置部２１ａｂの付近に表示されることで、投入作業者は、部品を部品載置部２１ａｂに投入すべきことを容易に認識することが可能となる。

なお、部品を投入すべき部品載置部２１を指示する情報は、矢印の他に、テキスト、動画、又は画像として表示されてもよい。

・投入すべき部品の識別情報
投入指示情報は、投入すべき部品の識別情報を含んでいてもよい。ここでの部品の識別情報は、例えば、部品の名称、部品の画像、又は部品のイラスト等である。これにより、投入すべき部品を誤ることが防止される。また、投入指示情報が投入すべき部品の識別情報を含む場合、複数の部品に関する投入指示情報が一度に投影されてもよい。

・投入すべき部品の数を示す情報
投入指示情報は、投入すべき部品の数を示す情報を含んでいてもよい。なお、投入すべき部品の数は、投入すべき部品の総数であってもよいし、投入すべき部品の総数からすでに投入された部品の数を差し引いた、投入すべき部品の残数であってもよい。いずれにしろ、投入作業者は、投入すべき部品の数を容易に認識することが可能となる。

・その他の情報
他にも、投入指示情報は、投入作業の全体像、現在投入中の部品の次に投入すべき部品の情報、生産される製品の情報、及び投入作業の注意事項等を含んでいてもよい。

・補足
制御装置１１は、後述する作業状況の判定により、投入指示情報において指示された投入作業が完了したと判定された場合、次に投入すべき部品に関する投入指示情報を表示する。制御装置１１は、投入計画情報において投入が計画された全ての部品の投入が完了するまで、対象とする部品を切り替えながら投入指示情報を表示する。

なお、投入計画情報に基づく投入作業が開始される時点では、棚１２には部品が残置されていないことが想定される。この場合、制御装置１１は、単に投入計画情報に従って投入指示情報を生成すればよい。

他方、投入計画情報に基づく投入作業が開始される時点で、棚１２に部品が残置されていることも想定される。この場合、制御装置１１は、投入計画情報において投入するよう計画された部品の数から棚１２に残置された部品の数を引いた数の部品を、投入するよう指示する投入指示情報を生成してもよい。なお、棚１２に残置された部品の数は、棚１２に部品の残置が無くなった時点以降に、投入計画情報に従って投入された部品の数から、組立作業において製品の組立のために採取された部品の数を引くことで、計算され得る。このように、棚１２に残置された部品の数を加味することで、過剰な数の部品の投入を防止することが可能となる。

（３）作業状況の判定
制御装置１１（例えば、作業状況判定部１６１）は、撮像部１４Ｂにより撮像された作業者を含む撮像画像に基づいて、投入作業者の投入作業の状況を判定する。以下、判定対象について詳しく説明する。

・投入作業の内容の判定
制御装置１１は、投入作業者が部品載置部２１に手を入れたか否かを判定する。例えば、制御装置１１は、予め作業開始前に撮像された撮像画像と、作業中に撮像された撮像画像との間で差分が生じた領域が、投入口５２に対応する領域である場合に、投入作業者が部品載置部２１に手を入れたと判定する。

制御装置１１は、投入作業者が部品載置部２１に手を入れたと判定した場合、投入作業者が手を入れた部品載置部２１を特定する。例えば、制御装置１１は、上記の撮像画像間で差分が生じた領域がどの部品載置部２１の投入口５２に対応する領域であるかを判定することで、投入作業者が手を入れた部品載置部２１を特定する。

制御装置１１は、投入作業者が部品載置部２１に部品を投入するのか、一度投入した部品を部品載置部２１から取り出すのか、を判定する。例えば、制御装置１１は、投入作業者が部品載置部２１に手を入れる前後の撮像画像を比較することで、かかる判定を行う。詳しくは、制御装置１１は、手を入れる前にのみ部品を手で持っている場合は投入作業者が部品載置部２１に部品を投入すると判定し、手を入れた後にのみ部品を手で持っている場合は投入作業者が部品載置部２１から部品を取り出すと判定する。

制御装置１１は、投入作業者が部品載置部２１に投入する部品を識別する。例えば、制御装置１１は、投入作業者が部品載置部２１に手を入れるよりも前の、投入作業者が手に持った部品を含む撮像画像を画像認識することで、投入作業者が部品載置部２１に投入した部品を識別する。画像認識は、例えば部品の形状や色に基づいて行われ得る。他の一例として、部品の識別情報は、情報コードとして部品に付され、コード入力部１９Ｂにより読み取られてもよい。この場合、投入作業者は、投入のために部品を手にとる度に、部品に付された情報コードをコード入力部１９Ｂにかざして読み取らせ、その後に部品載置部２１に投入する。

制御装置１１は、一度の投入作業において、投入作業者が部品載置部２１に投入する部品の数を識別する。例えば、制御装置１１は、投入作業者が部品載置部２１に手を入れるよりも前の、投入作業者が手に持った部品を含む撮像画像を画像認識することで、投入作業者が部品載置部２１に投入した部品の数を識別する。他の一例として、部品の識別情報は、情報コードとして部品に付され、コード入力部１９Ｂにより読み取られてもよく、読み取られた数により、部品の数が識別されてもよい。また、複数の部品は、まとめて部品載置部２１に投入されてもよい。例えば、複数の部品を含む袋又はトレイ４０ごと、部品載置部２１に投入されてもよい。その場合、ひとまとまりの部品に（即ち、袋又はトレイ４０に）、部品の識別情報及び部品の数を示す情報が情報コードとして付され、コード入力部１９Ｂにより読み取られてもよい。

・投入作業の正誤の判定
制御装置１１は、上記説明した、投入作業の内容の判定結果に基づいて、投入指示情報により示される投入作業が投入作業者により行われたか否かを判定する。投入指示情報により示される投入作業と同一の作業を、以下では正しい投入作業とも称する。投入指示情報により示される投入作業と異なる投入作業を、以下では誤った投入作業とも称する。

第１に、制御装置１１は、投入作業者が投入した部品に関し、投入作業の正誤を判定する。この場合、正しい投入作業は、投入指示情報において投入するよう指示された部品を投入することである。他方、誤った投入作業は、投入指示情報において投入するよう指示された部品とは異なる部品を投入することである。

第２に、制御装置１１は、投入作業者が部品を投入した部品載置部２１に関し、投入作業の正誤を判定する。この場合、正しい投入作業は、投入指示情報において投入先として指示された部品載置部２１に部品を投入することである。他方、誤った投入作業は、投入指示情報において投入先として指示された部品載置部２１とは異なる部品載置部２１に部品を投入することである。

・投入作業の経過の把握
制御装置１１は、上記説明した、投入作業の内容の判定結果に基づいて、部品載置部２１ごとに載置された部品の数を、部品が投入される度に加算し、部品が取り出される度に減算する。かかる計算は、識別情報が同一の部品ごとに行われる。これにより、制御装置１１は、どの部品載置部２１にどの部品が何個載置されているかを、常時把握することが可能となる。

制御装置１１は、投入指示情報において指示された投入作業が完了したか否かを判定する。例えば、制御装置１１は、投入計画情報において投入が計画された部品の全てに対し、正しい投入作業が行われた場合に完了したと判定し、そうでない場合に未完了であると判定する。

（４）警告情報の表示
制御装置１１（例えば、出力制御部１６３）は、誤った投入作業が投入作業者により行われると判定された場合に、警告情報を表示するよう表示機構１５Ｂを制御する。これにより、投入作業者は、誤った投入作業を行ったことを容易に認識することができ、誤った投入作業をやり直すことが可能となり、部品の誤投入が防止される。警告情報の一例を、図９を参照しながら説明する。

図９は、本実施形態に係る警告情報の表示の一例を説明するための図である。図９では、生産ナビゲーションシステム１０を後方から見たときの警告情報の表示の一例が示されている。図９に示すように、投入指示情報６１と共に、警告情報６２が表示されている。警告情報６２は４段の第２の板状部材３４Ｂの全てに亘って表示される。これにより、警告情報６２の視認性が確保される。ここで、警告情報６２は、投入指示情報６１とは異なる形態で表示される。一例として、投入指示情報６１は緑で表示され、警告情報６２は赤で表示される。他の一例として、投入指示情報６１は点灯し続け、警告情報６２は点滅してもよい。これによっても、警告情報６２の視認性が確保される。なお、図９では、投入指示情報６１と警告情報６２とが同時に表示される例が示されているが、投入指示情報６１の表示が中断され、警告情報６２のみが表示されてもよい。

警告情報は、誤った投入作業において部品が投入された部品載置部２１を示す情報を含んでいてもよい。これにより、投入作業者は、誤って投入された部品を取り出そうとする際に、どの部品載置部２１から部品を取り出せばよいかを容易に認識することが可能となる。この点について、図１０を参照して詳しく説明する。

図１０は、本実施形態に係る警告情報の表示の一例を説明するための図である。図１０では、生産ナビゲーションシステム１０を後方から見たときの警告情報の表示の一例が示されている。図１０に示すように、投入指示情報６１と共に、警告情報６２が表示されている。ここでは一例として、投入指示情報６１において部品載置部２１ａｂに部品を投入するよう指示されていたにもかかわらず、部品載置部２１ｂｃに部品が投入されたものとする。そのため、図１０に示す警告情報６２は、誤った投入作業において部品が投入された部品載置部２１ｂｃを示す誤り位置情報６３を含んでいる。誤り位置情報６３は、誤った投入作業において部品が投入された部品載置部２１ｂｃに対応付けられた領域として、部品載置部２１ｂｃの直上の第２の板状部材３４Ｂに表示される。このように、誤り位置情報６３が、部品載置部２１ｂｃの付近に表示されることで、投入作業者は、部品載置部２１ｂｃに誤って部品を投入したこと、及び部品載置部２１ｂｃからかかる部品を取り出すべきことを容易に認識することが可能となる。

なお、警告情報は、テキスト、動画、又は画像として表示されてもよい。また、警告情報は、上記説明した情報に付随して、任意の情報を含み得る。

一例として、警告情報は、誤った投入作業において投入された部品の識別情報を含んでいてもよい。ここでの部品の識別情報は、例えば、部品の名称、部品の画像、又は部品のイラスト等である。これにより、誤って投入された部品を取り出そうとする際に、部品の取り違えが防止される。

制御装置１１は、誤った投入作業において投入された部品が部品載置部２１から取り出された場合に、警告情報の表示を停止するよう表示機構１５Ｂを制御する。例えば、図１０に示した例において、部品載置部２１ｂｃに誤って投入された部品が取り出されると、制御装置１１は、警告情報６２の表示を停止する。なお、誤って投入された部品が正しく取り出されたか否かは、取り出された部品を含む撮像画像の画像認識結果又は取り出された部品に付された情報コードの読み取り結果に基づいて、識別され得る。これにより、投入作業者は、誤って投入された部品が、取り違えることなく取り出されたことを容易に認識することが可能となる。

＜２．２．組立作業のナビゲーション＞
制御装置１１は、組立作業者による組立作業、とりわけ組立のために部品を棚１２から採取する採取作業を支援するための、ナビゲーションを行う。以下、この点について詳しく説明する。なお、以下では、投入作業のナビゲーションと同様の点については説明を省略し、異なる点について主に説明を行う。

（１）組立計画情報
制御装置１１は、棚１２に載置された部品を用いた製品の組立計画を示す組立計画情報を取得する。組立計画情報は、組立作業者が組み立てるべき製品の識別情報、及びその数を含む。さらに、組立計画情報は、組立作業者が製品の組み立てのために採取すべきひとつ以上の部品の各々についての、採取先の部品載置部２１及び採取すべき数を示す情報を含む。他にも、組立計画情報は、部品の採取順序を示す情報を含んでいてもよい。

組立計画情報の取得方法は、投入計画情報と同様である。例えば、組立計画情報は、サーバ９０から取得されてもよいし、情報コードとして作業計画書等の書類に付され、コード入力部１９Ａから読み取られてもよい。

（２）採取指示情報の表示
制御装置１１（例えば、出力制御部１６３）は、部品が載置される複数の部品載置部２１が設けられた棚１２からの、組立作業者による部品の採取作業を指示する採取指示情報を生成し、生成した採取指示情報を表示するよう表示機構１５Ａを制御する。制御装置１１は、組立計画情報に従って、採取指示情報を生成する。採取指示情報は、第１の板状部材３３Ａ及び／又は第２の板状部材３４Ａに表示される。

採取指示情報は、組立計画情報において計画された製品の組み立てのために採取すべきひとつ以上の部品のうち、未採取の部品の採取を指示する情報である。採取指示情報は、投入指示情報と同様の情報を含む。例えば、採取指示情報は、部品を採取すべき部品載置部２１を示す情報を含み、かかる情報は、部品を採取すべき部品載置部２１に対応付けられた領域に表示され得る。また、採取指示情報は、採取すべき部品の識別情報を含み得る。また、採取指示情報は、採取すべき部品の数を示す情報を含み得る。

他にも、採取指示情報は、現在採取中の部品の次に採取すべき部品の情報、生産される製品の情報を含んでいてもよい。

また、制御装置１１は、採取作業以外の組立作業を指示する情報（例えば、棚１２から採取された部品を用いた製品の組立を指示する情報）、組立作業の全体像を示す情報等を生成し、表示機構１５Ａにより表示させてもよい。

（３）作業状況の判定
制御装置１１（例えば、作業状況判定部１６１）は、撮像部１４Ａにより撮像された作業者を含む撮像画像に基づいて、作業者による採取作業の状況を判定する。採取作業の状況判定については、上記説明した、投入作業の状況判定と同様である。

詳しくは、制御装置１１は、採取作業の内容の判定を行う。詳しくは、制御装置１１は、組立作業者が部品載置部２１に手を入れたか否かを判定し、組立作業者が部品載置部２１に手を入れたと判定した場合、組立作業者が手を入れた部品載置部２１を特定する。また、制御装置１１は、組立作業者が部品載置部２１から部品を採取するのか、一度採取した部品を部品載置部２１に戻すのか、を判定する。また、制御装置１１は、組立作業者が部品載置部２１から採取する部品を識別する。また、制御装置１１は、一度の採取作業において、組立作業者が部品載置部２１から採取する部品の数を識別する。

また、制御装置１１は、採取作業の正誤の判定を行う。例えば、制御装置１１は、採取指示情報により示される採取作業と同一の作業（正しい採取作業）が行われたか、又は異なる作業（誤った採取作業）が行われたかを判定する。制御装置１１は、組立作業者が採取した部品の正誤、及び組立作業者が部品を採取した部品載置部２１の正誤を判定する。

また、制御装置１１は、採取作業の経過を把握する。例えば、制御装置１１は、採取作業の内容の判定結果に基づいて、部品載置部２１ごとに載置された部品の数を、部品が採取される度に減算し、部品が部品載置部２１に戻される度に加算する。

（４）警告情報の表示
制御装置１１（例えば、出力制御部１６３）は、誤った部品の採取が組立作業者により行われると判定された場合に、警告情報を表示するよう表示機構１５Ａを制御する。誤った部品の採取に関して表示される警告情報については、投入作業に関して表示される警告情報と同様である。

例えば、警告情報は、誤った採取作業において部品が採取された部品載置部２１を示す情報を含んでいてもよい。また、警告情報は、誤った採取作業において採取された部品の識別情報を含んでいてもよい。また、制御装置１１は、誤った採取作業において採取された部品が部品載置部２１に戻された場合に、警告情報の表示を停止するよう表示機構１５Ａを制御してもよい。

＜２．３．記録処理＞
制御装置１１（例えば、記憶制御部１６５）は、作業者による作業の様子を記録してもよい。例えば、制御装置１１は、撮像部１４及び／又はモーションキャプチャカメラ２０により撮像された画像（静止画像／動画像）を記憶する。

そして、制御装置１１は、記憶された画像に基づいて作業者の作業内容を分析する。例えば、作業者の動線、顔の向き、部品の投入又は採取のために手が入れられた部品載置部２１の分布、及び作業時間等が解析される。その結果、例えば、部品の投入又は採取のために手が入れられる頻度の高い部品載置部２１ほど手を入れやすい位置に分布するよう、棚１２における部品の配置が改善され得る。分析結果は、例えばシステム１の管理者に対して出力され得る。

＜２．４．処理の流れ＞
図１１は、本実施形態に係る生産ナビゲーションシステム１０による表示処理の流れの一例を示すフローチャートである。図１１に示すように、まず、コード入力部１９は、作業計画書に付された情報コードを読み取る（ステップＳ１００）。次いで、制御装置１１は、作業計画書に付された情報コードに格納された情報が、投入計画情報であるか、組立計画情報であるかを判定する（ステップＳ１０２）。

作業計画書に付された情報コードに格納された情報が組立計画情報であると判定された場合（ステップＳ１０２／組立計画情報）、制御装置１１は、生産ナビゲーションシステム１０の前方のナビゲーションを行う（ステップＳ１０４）。詳しくは、制御装置１１は、第１の板状部材３３Ａ及び／又は第２の板状部材３４Ａに採取指示情報を表示するよう表示機構１５Ａを制御する。次いで、制御装置１１は、正しい採取作業が行われたか否かを判定する（ステップＳ１０６）。誤った採取作業が行われたと判定された場合（ステップＳ１０６／ＮＯ）、制御装置１１は、警告情報を表示するよう表示機構１５Ａを制御する（ステップＳ１０８）。誤って採取された部品が部品載置部２１に戻されると、警告情報の表示は停止され、処理はステップＳ１０４に戻る。正しい採取作業が行われたと判定された場合（ステップＳ１０６／ＹＥＳ）、制御装置１１は、組立計画情報において計画された組立作業が完了したか否かを判定する（ステップＳ１１０）。計画された組立作業が完了していないと判定された場合（ステップＳ１１０／ＮＯ）、処理はステップＳ１０４に戻り、計画された組立作業が完了したと判定された場合（ステップＳ１１０／ＹＥＳ）、処理は終了する。

作業計画書に付された情報コードに格納された情報が投入計画情報であると判定された場合（ステップＳ１０２／投入計画情報）、制御装置１１は、生産ナビゲーションシステム１０の後方のナビゲーションを行う（ステップＳ１１２）。詳しくは、制御装置１１は、第１の板状部材３３Ｂ及び／又は第２の板状部材３４Ｂに投入指示情報を表示するよう表示機構１５Ｂを制御する。次いで、制御装置１１は、正しい投入作業が行われたか否かを判定する（ステップＳ１１４）。誤った投入作業が行われたと判定された場合（ステップＳ１１４／ＮＯ）、制御装置１１は、警告情報を表示するよう表示機構１５Ｂを制御する（ステップＳ１１６）。誤って投入された部品が取り出されると、警告情報の表示は停止され、処理はステップＳ１１２に戻る。正しい投入作業が行われたと判定された場合（ステップＳ１１４／ＹＥＳ）、制御装置１１は、投入計画情報において計画された投入作業が完了したか否かを判定する（ステップＳ１１８）。計画された投入作業が完了していないと判定された場合（ステップＳ１１８／ＮＯ）、処理はステップＳ１１２に戻り、計画された投入作業が完了したと判定された場合（ステップＳ１１８／ＹＥＳ）、処理は終了する。

＜＜３．変形例＞＞
（１）第１の変形例
上記実施形態では、投入指示情報の表示をトリガとして、投入作業者が部品を手に取る例を説明したが、本発明はかかる例に限定されない。例えば、以下に説明するように、投入作業者が部品を手に取ったことをトリガとして、当該部品に関する投入指示情報が表示されてもよい。

制御装置１１（例えば、出力制御部１６３）は、投入作業者が投入作業の対象とした部品を識別し、識別した部品に応じた投入指示情報を生成し、表示機構１５Ｂにより表示させる。詳しくは、制御装置１１は、識別した部品の識別情報（部品ＩＤ等）を投入計画情報に参照して、当該部品の投入を指示する投入指示情報を生成する。ただし、制御装置１１は、識別した部品の投入が計画されていない場合、又は識別した部品について計画されていた数の投入がすでに済んでいる場合、当該部品は投入不要であることを示す警告情報を生成し、警告情報を表示機構１５Ｂにより表示させてもよい。なお、部品の識別方法については、作業状況の判定に関し上記説明したように、投入作業者が手に取った部品を含む撮像画像の画像認識結果、又は部品に付された情報コードの読み取り結果に基づいて、行われ得る。

（２）第２の変形例
上記実施形態では、投入作業の実行をトリガとして警告情報が表示される例を説明したが、本発明はかかる例に限定されない。例えば、以下に説明するように、時間経過をトリガとして警告情報が表示されてもよい。

制御装置１１（例えば、出力制御部１６３）は、投入作業者が部品を投入作業の対象としてからの経過時間が所定の閾値を超えた場合に、警告情報を表示するよう表示機構１５Ｂを制御する。経過時間を測定するタイマーの始期は、例えば、投入作業者が部品を手に取ったことが画像認識により検出されたタイミング、又は部品に付された情報コードが読み取られたタイミングである。タイマーは、部品が部品載置部２１に投入されるとリセットされる。かかる制御によれば、投入作業者が部品を手にしてからなかなか部品載置部２１に投入しない場合に、警告情報が表示される。これにより、投入作業者による投入作業の遅滞を防止することが可能となる。

（３）第３の変形例
上記実施形態では、部品載置部２１への部品の投入作業についての画像認識が行われる例を説明したが、本発明はかかる例に限定されない。

例えば、撮像部１４Ｂは、組立作業空間ＳＰ１の床面を撮像範囲に含むように配置されてもよい。そして、制御装置１１（例えば、作業状況判定部１６１）は、撮像部１４Ｂにより撮像された撮像画像に基づいて、床面に生じた変化を検出してもよい。床面の変化は、例えば、投入作業の過程で部品が床面に落ちたことである。例えば、制御装置１１は、作業中に撮像された撮像画像のうち、撮像部１４により予め作業開始前に撮像された撮像画像と作業中に撮像された撮像画像との間で差分が生じた領域について画像認識することで、床面に部品が落ちているか否かを判定する。そして、制御装置１１は、床面に部品が落ちていると判定した場合に、その旨を示す警告情報を表示させてもよい。

（４）その他の変形例
上記実施形態では、作業者が手で部品を持って投入又は採取するものと説明したが、本発明はかかる例に限定されない。例えば、作業者が、ロボットアーム等を操作して部品を投入又は採取してもよく、その場合も、作業者が手で作業する場合と同様の投入指示情報の表示、作業状況の判定、及び警告情報の表示等が行われる。

上記実施形態では、投入指示情報及び警告情報が表示されるものとして説明したが、本発明はかかる例に限定されない。投入指示情報及び警告情報は、表示と共に、又は表示に変えて、音又は触覚刺激等の任意の手段により出力されてもよい。

また、投入作業に関して上記説明した変形例は、組立作業に関しても同様に適用され得る。

＜＜４．ハードウェア構成＞＞
以上、本発明の各実施形態を説明した。上述した作業状況の判定、並びに投入指示情報の表示及び警告情報の表示等の情報処理は、ソフトウェアと、以下に説明する生産ナビゲーションシステム１０のハードウェアとの協働により実現される。

図１２は、生産ナビゲーションシステム１０のハードウェア構成を示したブロック図である。生産ナビゲーションシステム１０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０１と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０２と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０３と、ホストバス２０４と、を備える。また、生産ナビゲーションシステム１０は、ブリッジ２０５と、外部バス２０６と、インタフェース２０７と、入力装置２０８と、表示装置２０９と、音声出力装置２１０と、ストレージ装置（ＨＤＤ）２１１と、ドライブ２１２と、ネットワークインタフェース２１５とを備える。

ＣＰＵ２０１は、演算処理装置および制御装置として機能し、各種プログラムに従って生産ナビゲーションシステム１０内の動作全般を制御する。また、ＣＰＵ２０１は、マイクロプロセッサであってもよい。ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ２０３は、ＣＰＵ２０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス２０４により相互に接続されている。ＣＰＵ２０１はＲＡＭ２０３においてソフトウェアに従った処理を行うことにより、上述した制御部１６０の機能を実現し得る。

ホストバス２０４は、ブリッジ２０５を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス２０６に接続されている。なお、必ずしもホストバス２０４、ブリッジ２０５および外部バス２０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置２０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなど作業者が情報を入力するための入力手段と、作業者による入力に基づいて入力信号を生成し、ＣＰＵ２０１に出力する入力制御回路などから構成されている。作業者は、該入力装置２０８を操作することにより、生産ナビゲーションシステム１０に対して各種のデータを入力したり処理動作を指示したりすることができる。これらの入力装置２０８は、入力部１４０の機能を実現し得る。

また、入力装置２０８は、作業者に関する情報を検出する装置により形成され得る。例えば、入力装置２０８は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサを含み得る。これらの入力装置２０８は、センサ部１３０の機能を実現し得る。

表示装置２０９は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、プロジェクタ装置、ＯＬＥＤ（ＯｒｇａｎｉｃＬｉｇｈｔＥｍｉｔｔｉｎｇＤｉｏｄｅ）装置およびランプなどの表示装置を含む。また、音声出力装置２１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。表示装置２０９は、上述した表示部１２０の機能を実現し得る。

ストレージ装置２１１は、本実施形態にかかる生産ナビゲーションシステム１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置２１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置２１１は、例えば、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）またはＳＳＤ（ＳｏｌｉｄＳｔｒａｇｅＤｒｉｖｅ）、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置２１１は、ストレージを駆動し、ＣＰＵ２０１が実行するプログラムや各種データを格納する。当該ストレージ装置２１１は、上述した記憶部１５０の機能を実現し得る。

ドライブ２１２は、記憶媒体用リーダライタであり、生産ナビゲーションシステム１０に内蔵、あるいは外付けされる。ドライブ２１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２１４に記録されている情報を読み出して、ＲＡＭ２０３またはストレージ装置２１１に出力する。また、ドライブ２１２は、リムーバブル記憶媒体２１４に情報を書き込むこともできる。

ネットワークインタフェース２１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース２１５は、無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。ネットワークインタフェース２１５は、上述した通信部１１０の機能を実現し得る。

＜＜５．補足＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

また、本明細書において説明した各装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、コンピュータによる実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。上記記憶媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記憶媒体を用いずに、例えばネットワークを介して配信されてもよい。

また、上記説明した制御装置１１の機能は、複数の装置に分散して実装されてもよい。

１システム
１０生産ナビゲーションシステム
１１制御装置
１２棚
１３作業台
１４撮像部
１５表示機構
１９コード入力部
２０モーションキャプチャカメラ
２１部品載置部
２２仕切板
３１プロジェクタ
３２ミラー
３３第１の板状部材
３４第２の板状部材
４０トレイ
４４支持フレーム
５１採取口
５２投入口
６１投入指示情報
６２警告情報
６３誤り位置情報
９０サーバ
１１０通信部
１２０表示部
１３０センサ部
１４０入力部
１５０記憶部
１６０制御部
１６１作業状況判定部
１６３出力制御部
１６５記憶制御部

Claims

部品が載置される複数の部品載置部が設けられた棚への作業者による前記部品の投入作業を指示する指示情報を生成し、生成した前記指示情報を表示するよう表示部を制御する制御部、
を備え、
前記指示情報は、前記部品の画像、又は前記部品のイラストを含み、
前記制御部は、
前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記表示部を制御し、
前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御し、
前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、情報処理装置。
前記制御部は、前記投入作業によって前記部品の投入が行われた前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた前記領域に前記警告情報を表示するよう前記表示部を制御する、請求項１に記載の情報処理装置。
前記指示情報は、複数の前記部品の前記投入作業を指示する情報を含み、
前記制御部は、前記複数の前記部品の識別情報を同時に表示するよう前記表示部を制御する、請求項１又は２に記載の情報処理装置。
前記制御部は、前記作業者を含む撮像画像に基づいて、前記指示情報により示される前記投入作業が前記作業者により行われたか否かを判定し、前記指示情報により示される前記投入作業と異なる前記投入作業が前記作業者により行われると判定された場合に警告情報を表示するよう前記表示部を制御する、請求項１～３のいずれか一項に記載の情報処理装置。
前記指示情報により示される前記投入作業と異なる前記投入作業は、前記指示情報において投入先として指示された前記部品載置部とは異なる前記部品載置部に前記部品を投入することを含む、請求項４に記載の情報処理装置。
前記警告情報は、前記指示情報により示される前記投入作業と異なる前記投入作業において前記部品が投入された前記部品載置部を示す情報を含む、請求項４又は５に記載の情報処理装置。
前記警告情報は、前記指示情報により示される前記投入作業と異なる前記投入作業において投入された前記部品の識別情報を含む、請求項４～６のいずれか一項に記載の情報処理装置。
前記制御部は、前記指示情報により示される前記投入作業と異なる前記投入作業において投入された前記部品が前記部品載置部から取り出された場合に、前記警告情報の表示を停止するよう前記表示部を制御する、請求項４～７のいずれか一項に記載の情報処理装置。
前記制御部は、前記部品載置部ごとに載置された前記部品の数を、前記部品が投入される度に加算し、前記部品が取り出される度に減算する、請求項１～８のいずれか一項に記載の情報処理装置。
前記制御部は、前記作業者が前記投入作業の対象とした前記部品を識別し、識別した前記部品に応じた前記指示情報を生成する、請求項１～９のいずれか一項に記載の情報処理装置。
前記制御部は、前記作業者が前記部品を前記投入作業の対象としてからの経過時間が所定の閾値を超えた場合に警告情報を表示するよう前記表示部を制御する、請求項１～１０のいずれか一項に記載の情報処理装置。
部品が載置される複数の部品載置部が設けられた棚と、
第１の表示部と、
前記棚への第１の作業者による前記部品の投入作業を指示する第１の指示情報を生成し、生成した前記第１の指示情報を表示するよう前記第１の表示部を制御する制御部と、
を備え、
前記第１の指示情報は、前記部品の画像、又は前記部品のイラストを含み、
前記制御部は、
前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記第１の表示部を制御し、
前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御し、
前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、生産ナビゲーションシステム。
前記第１の指示情報は、前記棚に設けられた投影可能領域のうち、前記部品を投入すべき前記部品載置部に対応付けられた領域に投影される、請求項１２に記載の生産ナビゲーションシステム。
前記生産ナビゲーションシステムは、第２の表示部を備え、
前記制御部は、前記棚からの第２の作業者による前記部品の採取作業を指示する第２の指示情報を生成し、生成した前記第２の指示情報を表示するよう前記第２の表示部を制御する、請求項１２又は１３に記載の生産ナビゲーションシステム。
部品が載置される複数の部品載置部が設けられた棚への作業者による前記部品の投入作業を指示する指示情報を生成し、生成した前記指示情報を表示するよう表示部を制御すること、
を含み、
前記指示情報は、前記部品の画像、又は前記部品のイラストを含み、
前記表示部を制御することは、
前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記表示部を制御することと、
前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御することと、
を含み、
前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、情報処理方法。
コンピュータを、
部品が載置される複数の部品載置部が設けられた棚への作業者による前記部品の投入作業を指示する指示情報を生成し、生成した前記指示情報を表示するよう表示部を制御する制御部、
として機能させ、
前記指示情報は、前記部品の画像、又は前記部品のイラストを含み、
前記制御部は、
前記部品を投入すべき前記部品載置部の付近に設けられた、前記部品載置部に対応付けられた領域に前記指示情報を表示するよう前記表示部を制御し、
前記指示情報によって前記投入作業を指示された前記部品とは異なる前記部品の投入が行われたことを、前記作業者を含む撮像画像に基づいて判定し、前記判定の結果に基づいて、前記投入作業によって投入された前記部品の識別情報を含む警告情報を表示するよう前記表示部を制御し、
前記識別情報は、前記投入作業によって投入された前記部品の画像、又は前記部品のイラストを含む、プログラム。