JPWO2020049999A1

JPWO2020049999A1 - 製造支援システム，方法，プログラム

Info

Publication number: JPWO2020049999A1
Application number: JP2020541113A
Authority: JP
Inventors: 航粟津
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2018-09-03
Filing date: 2019-08-20
Publication date: 2021-08-26
Anticipated expiration: 2039-08-20
Also published as: JP2023065371A; JP7374908B2; WO2020049999A1; JP7468722B2

Abstract

作業者の視界内の実景を撮影する撮影装置と実景に虚像を重畳表示する表示装置とを内蔵したスマートグラスを作業者の頭部に装着させる。組み付け対象に対する複数の部品の組み付けパターンとこれに対応する識別情報との関係を第一データベース（１）に規定しておく。作業者の視界内の実景の座標系に適合するように、部品の虚像を制御装置で表示装置に表示させる。制御装置には、作業指示書に含まれる識別情報を抽出する抽出部（３）と、識別情報に対応する部品の組み付けパターンを取得する取得部（４）と、撮影装置の撮影画像の中から組み付け対象を認識する認識部（５）と、完成時の位置及び向きで部品の虚像を描画する描画部（６）とを設ける。

Description

本発明は、作業者による部品の組み付け作業を支援するための製造支援システム，方法，プログラムに関する。

従来、製造業の生産現場において、作業者に光透過型のヘッドマウントディスプレイを装着させ、作業内容や作業手順の指示などの情報を実景に重ねて表示（重畳表示）することで作業支援を実施するシステムが知られている。例えば、製品検査に際し、実際の検査対象物（実像）の近傍に合格画像（過去に合格と判定された検査対象物の画像）を表示することで、検査作業を支援する技術が提案されている。また、部品の組み付け作業において、特定の場所が強調されるように丸印で囲むことや、配線材の配索経路を表示することで作業性を向上させることも提案されている。これらの支援を実施することで、目視検査や組み付け作業の効率が改善されうる（特許文献１，２参照）。

国際公開第2017/033561号特開2018-014218号公報

ところで、組み付け作業の現場においては、専門用語や解読が困難な符号（情報伝達のために複数の記号を組み合わせたもの）を用いて作業内容が指示されることがあり、作業初心者には作業内容を正確に把握することすら難しいという側面もある。また、複数の部品が組み付け対象に組み付けられる作業では、作業者から見たときの組み付け対象の姿勢や向きによって、部品のレイアウトが違って見えることがある。そのため、部品の組み付け状態が合格画像と異なるように見える場合であっても、実際には適切な状態である場合がある。さらに、複数の部品を同時に確認することになるため、不適切な組み付け状態が目視検査で見過ごされることもある。このように、従来の作業支援システムでは、複数の部品が組み付けられる作業での組み付けミスが発生しやすく、作業効率を改善しにくいという課題がある。

本件の目的の一つは、上記のような課題に鑑みて創案されたものであり、部品の組み付け作業に関する作業効率を改善できる製造支援システム，方法，プログラムを提供することである。なお、この目的に限らず、後述する「発明を実施するための形態」に示す各構成から導き出される作用効果であって、従来の技術では得られない作用効果を奏することも、本件の他の目的として位置付けることができる。

（１）開示の製造支援システムは、作業者による部品の組み付け作業を支援するための製造支援システムである。本システムは、前記作業者の視界内の実景を撮影する撮影装置と前記実景に虚像を重畳表示する表示装置とを内蔵し、前記作業者の頭部に装着されるスマートグラスを備える。また、組み付け対象に対する複数の前記部品の組み付けパターンとこれに対応する識別情報との関係を規定する第一データベースを備える。さらに、前記作業者の視界内の実景の座標系に適合するように、前記部品の虚像を前記表示装置に表示させる制御装置を備える。

前記制御装置には、抽出部，取得部，認識部，描画部が設けられる。前記抽出部は、前記撮影装置の撮影画像の中から、前記組み付け作業の内容が記載された作業指示書に含まれる前記識別情報を抽出する。前記取得部は、前記第一データベースに基づき、前記識別情報に対応する前記部品の組み付けパターンを取得する。前記認識部は、前記撮影装置の撮影画像の中から、前記組み付け対象を認識する。前記描画部は、前記組み付け対象に前記部品が組み付けられた完成時の位置及び向きで前記部品の虚像を描画する。

（２）前記部品の保管場所と前記組み付け対象に組み付けられる前記部品の個数（使用数）と前記識別情報との関係が規定された第二データベースを備えることが好ましい。この場合、前記取得部が、前記第二データベースに基づき、前記識別情報に対応する前記部品の保管場所の情報と前記部品の個数の情報とを取得する。また、前記認識部が、前記撮影装置の撮影画像の中から、前記保管場所を認識する。さらに、前記描画部が、前記部品の個数の情報を前記保管場所の近傍に表示する。

（３）前記認識部が、前記撮影画像中における前記保管場所に設置されたマーカーを認識することが好ましい。
（４）前記制御装置が、判定部と強調表示部とを有することが好ましい。この場合、前記判定部は、前記撮影装置の撮影画像と前記識別情報とに基づき、前記部品の組み付け状態が前記組み付けパターンに一致するか否かを判定する。また、前記強調表示部は、前記部品の組み付け状態が前記組み付けパターンに一致しない部位を、前記作業者の視界内の実景の座標系に適合するように強調表示する。

作業指示書に含まれる識別情報を抽出し、これに対応する位置，向きで部品の虚像を描画することで、組み付けられる部品の種類や数やレイアウトが作業指示書ごとに異なっている場合であっても、正しい位置，向きに組み付けの手本を示すことができ、組み付け作業を支援することができる。また、作業指示書ごとに異なる部品の組み付け状態を作業者が暗記しておく必要がなくなり、組み付けミスを削減でき、生産性（作業効率）を向上させることができる。

製造支援システムの適用対象を示す図である。製造支援システムの構成を説明するための図である。製造支援システムのハードウェア構成を示すブロック図である。製造支援プログラムのソフトウェア構成を示すブロック図である。（Ａ），（Ｂ）はデータベースの構成例である。（Ａ）〜（Ｃ）は部品の虚像の表示例を説明するための図である。（Ａ），（Ｂ）は部品の個数の表示例を説明するための図である。検査結果の強調表示例を説明するための図である。組み付け工程での製造支援手法を説明するためのフローチャートである。検査工程での製造支援手法を説明するためのフローチャートである。（Ａ），（Ｂ）は製造支援システムの変形例を説明するための図である。

以下、図面を参照して実施形態としての製造支援システム，方法，プログラムについて説明する。以下に示す実施形態はあくまでも例示に過ぎず、以下の実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。

本実施形態の製造支援システムは、作業者５１による部品の組み付け作業を支援するウェアラブルガジェットを利用したシステムであり、図１に示すような自動車５０の製造工程に適用される。ここでは、作業者５１が資材保管棚５３から部品を取り出して自動車５０に組み付ける作業の支援について説明する。組み付けられる部品の具体例としては、リレー，スイッチ，ランプなどの電装品をはじめとして、ガラス，バンパー，パワートレーン，シート，タイヤなどが挙げられる。また、部品の組み付け対象（部品が組み付けられる装置）の具体例としては、リレーボックス，スイッチボックス，インストルメントパネル，ドア，車体などが挙げられる。部品の組み付け作業における組み付け対象及び部品の種類は多岐にわたり、本件の製造支援システム，方法，プログラムはあらゆる部品の組み付け作業に適用可能である。

作業支援の内容は、作業者５１の頭部に装着されるスマートグラス１０を利用した、視覚情報の提供である。図２に示すように、スマートグラス１０は作業者５１のヘルメット５２に固定される。このスマートグラス１０には、表示装置１３と撮影装置１６とが内蔵される。撮影装置１６は、作業者５１の視界内の実景や作業指示書５４などを撮影するカメラである。また、表示装置１３は、作業者５１の視界内の実景に虚像を重畳表示するデバイスである。表示方式は、作業者５１の網膜に虚像を投影する方式（網膜投影型）としてもよいし、ハーフミラーの表面に虚像を投影する方式（透過型）としてもよく、あるいは撮影装置１６で撮影された実景と虚像とを合成した映像を表示する方式（非透過型）としてもよい。

いずれの方式においても、作業者５１の視点で見える実景の座標系に適合するように、さまざまな虚像が表示される。この虚像は、実景の座標系に適合する透視投影画像（あるいはその透視投影画像をデフォルメしたもの）であり、例えば部品の三次元CAD（Computer-Aided Design）データに基づく簡易的なポリゴンモデルとしてレンダリングされる。なお、特許文献１，２のような既存の表示手法では、描画オブジェクトが二次元のオブジェクトである。これに対して本件の表示手法では、描画オブジェクトが三次元のオブジェクトとされ、各描画オブジェクトが実景の座標系内で仮想的に配置される。

作業支援の内容は、任意の制御装置（電子計算機，コンピューター）によって制御される。ここでいう「電子制御装置」は、スマートグラス１０に内蔵されたものであってもよいし、スマートグラス１０とは別に用意されたものであってもよい。例えば、ネットワーク１９上のサーバー３０やワークステーションにプログラムをインストールしておき、そこで演算された表示内容をスマートグラス１０に表示させるシステムとしてもよい。この場合、図２に示すように、中継器３６を介してネットワーク１９に接続されたサーバー３０を利用してもよい。あるいは、ネットワーク１９に接続されていない状態でも動作するプログラムをスマートグラス１０にインストールしておいてもよい。

［１．ハードウェア構成］
図３は、スマートグラス１０とサーバー３０との協働によって実現される製造支援システムのハードウェア構成を示すブロック図である。スマートグラス１０には、記録媒体１８（リムーバブルメディア）に記録されたプログラムを読み込むための記録媒体ドライブ１１，記憶装置１２，表示装置１３，入力装置１４，通信装置１５，撮影装置１６（カメラ），マイク１７，電子制御装置２０が設けられる。同様に、サーバー３０にも、記録媒体ドライブ３１，記憶装置３２，表示装置３３，入力装置３４，通信装置３５，電子制御装置４０が内蔵される。それぞれの要素の機能は、スマートグラス１０に内蔵される同一名称の要素とほぼ同様であることから説明を省略する。

記録媒体１８は、例えばフラッシュメモリーカードやユニバーサルシリアルバス規格に準拠した半導体メモリ装置，光ディスクなどである。記録媒体ドライブ１１は、記録媒体１８に記録，保存された情報（プログラムやデータ）を読み取る読取装置である。記憶装置１２は、長期的に保持されるデータやプログラムが格納されるメモリ装置であり、例えばフラッシュメモリやEEPROM（Electrically Erasable Programmable Read-Only Memory），ソリッドステートドライブなどの不揮発性メモリがこれに含まれる。

表示装置１３は、作業者５１に対して視覚情報を提供するためのデバイスの一つである。網膜投影型のデバイスでは、作業者５１の網膜が結像面となる。一方、透過型や非透過型のデバイスでは、作業者５１の視界内に配置されるハーフミラーやディスプレイ〔例えば液晶ディスプレイ（Liquid Crystal Display，LCD）や有機ELディスプレイ（Organic Electro-Luminescence Display，OELD）〕の表面が結像面となる。

入力装置１４は、電子制御装置２０，４０への入力信号を入力するためのポインティングデバイスの一つである。入力装置１４の具体例としては、無線キーボードや無線マウスなどのデバイスがスマートグラス１０に接続可能である。また、スマートグラス１０のテンプル（柄，側面側の部分）には、押しボタンや物理キーなどの入力装置１４が設けられる。また、マイク１７は作業者５１の音声を入力信号として入力するためのデバイスである。

通信装置１５は、スマートグラス１０の外部との通信を司る装置であり、例えばネットワーク１９を介してサーバー３０との間で無線通信を行うためのデバイスである。図２に示す中継器３６は、通信装置１５に含まれるものと見なすことができる。近距離無線通信規格に準拠した入出力装置がスマートグラス１０に接続される場合には、それらの入出力装置が通信装置１５を介して接続される。

撮影装置１６は、CCD（Charge-Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを内蔵したディジタルビデオカメラである。この撮影装置１６は、スマートグラス１０のリム（レンズの周縁）やブリッジ（左右のレンズの接続部分）などに取り付けられ、スマートグラス１０を装着した作業者５１の視界を撮影するように機能する。撮影装置１６で撮影された撮影画像の情報は、電子制御装置２０やサーバー３０に伝達される。なお、ここでいう「撮影画像」には、静止画像だけでなく動画中に含まれる１フレーム（１コマ）の画像も含まれる。

撮影装置１６の位置や撮影方向は、スマートグラス１０に対して固定されており、表示装置１３の位置もスマートグラス１０に対して固定されている。したがって、スマートグラス１０と作業者５１の視線との関係が一定に保たれている限り、撮影装置１６で撮影された実景と同じ環境内に存在するかのように見える虚像（すなわち、座標系が実景に適合する三次元のオブジェクト）を表示装置１３で描画することができる。なお、撮影装置１６で撮影された画像中の被写体について、三次元空間内での位置や姿勢を算出するには、公知のAR（Augmented Reality，拡張現実）開発ライブラリを利用することができる。また、実景に適合する三次元オブジェクトの描画には、公知の三次元レンダラーやAR描画エンジンを利用することができる。

電子制御装置２０には、プロセッサ２１（中央処理装置），メモリ２２（メインメモリ，主記憶装置），補助記憶装置２３，インタフェース装置２４などが内蔵され、バス２５を介して互いに通信可能に接続される。プロセッサ２１は、制御ユニット（制御回路）や演算ユニット（演算回路），キャッシュメモリ（レジスタ群）などを内蔵する中央処理装置である。また、メモリ２２は、プログラムや作業中のデータが格納される記憶装置であり、例えばROM（Read Only Memory），RAM（Random Access Memory）がこれに含まれる。

補助記憶装置２３は、メモリ２２よりも長期的に保持されるデータやファームウェアが格納されるメモリ装置であり、例えばフラッシュメモリやEEPROMなどの不揮発性メモリがこれに含まれる。また、インタフェース装置２４は、電子制御装置２０と外部との間の入出力（Input and Output；I/O）を司るものである。電子制御装置２０は、インタフェース装置２４を介して、記録媒体ドライブ１１，記憶装置１２，表示装置１３，入力装置１４，通信装置１５などに接続される。

なお、サーバー３０の電子制御装置４０にも、プロセッサ４１（中央処理装置），メモリ４２（メインメモリ，主記憶装置），補助記憶装置４３，インタフェース装置４４などが内蔵され、バス４５を介して互いに通信可能に接続される。それぞれの要素の機能は、電子制御装置２０に内蔵される同一名称の要素とほぼ同様であることから説明を省略する。また、具体的な電子制御装置のハードウェア構成を上記の構成に限定する意図はなく、公知の各種構成を適用してもよい。

［２．ソフトウェア構成］
図４は、スマートグラス１０やサーバー３０で実行される製造支援プログラム９の処理内容を説明するためのブロック図である。これらの処理内容は、アプリケーションプログラムとしてスマートグラス１０及びサーバー３０の記憶装置１２，３２や記録媒体１８などに記録され、メモリー上に展開されて実行される。ここで実行される処理内容を機能的に分類すると、製造支援プログラム９には、抽出部３，取得部４，認識部５，描画部６，判定部７，強調表示部８が設けられる。また、これらの各要素が参照可能なデータベースとして、第一データベース１，第二データベース２が設けられる。

第一データベース１は、組み付け対象に対する部品の組み付けパターンとこれに対応する識別情報との関係を規定するものである。識別情報とは、作業者５１に指示される作業内容を特定するための情報であり、例えば作業番号，作業対象車両番号，指示対象車両番号などと呼ばれる。本実施形態では、図２に示すように、作業番号が作業管理者から提示される作業指示書５４に記載されているものとする。作業指示書５４は、作業者５１が組み付け作業を実施する前に、作業管理者から提示されるものとし、あるいは、組み付け対象となる自動車５０に貼付されているものとする。

第一データベース１の内容を図５（Ａ）に例示する。第一データベース１には、少なくとも組み付け作業を識別するための作業番号と、その作業で組み付けられる部品のレイアウト（組み付けパターン）を特定するための情報（組み付け位置，組み付け向き）との関係が規定される。その作業で組み付けられる部品の種類数が複数である場合には、一つの作業番号に対して複数種の部品の組み付けパターンが設定される。図５（Ａ）に示す例では、作業番号「ABCDE01234」に対し、三種の部品（a-01，a-02，a-03）の組み付けパターンが設定されている。

なお、作業対象となる自動車５０の車種やグレード，仕向地などが異なれば、部品の種類や組み付けパターンも異なるものとなる。一般に、自動車５０の組み付け作業において、作業者５１が習得すべき組み付けパターンは数十から数百パターンに及び、これらのパターンを暗記するのには数ヶ月から数年の経験が必要だと言われている。一方、本実施形態ではこれらのすべてのパターンが第一データベース１に規定され、作業番号に対して紐付けられる。これにより、作業者５１は組み付けパターンの暗記作業から解放される。

部品の組み付け位置は、組み付け対象（例えばリレーボックス）に固定された座標系を基準として、少なくとも三つのパラメーターで特定することができる。同様に、部品の組み付け向きについても、組み付け対象に固定された座標系を基準として、少なくとも三つのパラメーターで特定することができる。したがって、一つの部品のレイアウトを特定するための情報は、６つ以上のパラメーターを用いることで一意に特定することができる。

第二データベース２は、上記の識別情報（作業番号）と部品の保管場所及び使用数（組み付けられる部品の個数）との関係を規定するものである。部品の保管場所とは、例えば図１に示す資材保管棚５３に収納される多数の部品トレイのうち、どのトレイに入っている部品なのかを表す情報である。ある作業で使用される部品の保管場所が常に固定されている場合には、少なくとも三つのパラメーターで部品の位置（保管場所）を特定可能である。一方、作業状況によって部品の保管場所が変更される可能性がある場合には、保管場所を特定するための情報を第二データベース２の各レコードに付加することが好ましい。

図５（Ｂ）に示す例では、作業番号「ABCDE01234」で使用される部品「a-01」の使用数が3であり、その保管場所が場所コード「aA11bB22cC33dD44」となっている。その部品が実際に保管されている場所には、場所コード「aA11bB22cC33dD44」を表す文字列や記号やバーコード，二次元コードなどが掲示される。部品ごとに異なる場所コードを付与することで、各部品の保管場所が一意に特定されうる。

抽出部３は、撮影装置１６の撮影画像の中から、組み付け作業の内容が記載された作業指示書５４に含まれる識別情報（作業番号）を抽出するものである。作業指示書５４は、作業者５１が部品の組み付け作業を実施する前に撮影されるものとする。本実施形態の抽出部３は、図２に示す作業指示書５４のバーコードを読み取ることで、作業番号を抽出する機能を持つ。ここで抽出された作業番号の情報は、取得部４に伝達される。

取得部４は、二つの機能を有する。第一の機能は、第一データベース１に基づく情報取得であり、第二の機能は、第二データベース２に基づく情報取得である。ここで取得された情報は、描画部６に伝達される。
前者の機能は、第一データベース１に基づき、抽出部３で抽出された識別情報（作業番号）に対応する部品の組み付けパターンを取得するものである。例えば、抽出部３で抽出された作業番号が「ABCDE01234」である場合には、図５（Ａ）に示す第一データベース１でこれに対応する三種の部品（a-01，a-02，a-03）のそれぞれについて、組み付けパターン（組み付け位置及び組み付け向きの情報）が取得される。
後者の機能は、第二データベース２に基づき、識別情報（作業番号）に対応する部品の保管場所及び使用数の情報を取得するものである。例えば、図５（Ｂ）に示す第二データベース２に基づき、三種の部品（a-01，a-02，a-03）のそれぞれについて、場所コード及び使用数の情報が取得される。

認識部５は、撮影装置１６による撮影画像の中に存在する特定の物体やマークを認識するものである。認識部５は、少なくとも「部品の組み付け対象」を認識する機能を持つ。例えば、リレーの組み付け作業〔図５（Ａ）中の作業番号「ABCDE01234」〕では、そのリレーが組み付けられるリレーボックス５５が撮影画像の中にあるか否かが判定される。この判定では、リレーボックス５５の三次元CADデータが参照される。図６（Ａ）に示すように、撮影画像中にリレーボックス５５が検出されると、撮影画像中の特徴点（リレーボックス５５の端辺に含まれる点や頂点など）の分布に基づき、撮影位置（撮影装置１６の位置）を基準としたリレーボックス５５の位置及び姿勢が推定される。これにより、作業者５１の視界内でのリレーボックス５５の見え方が特定される。ここで特定される組み付け対象の位置及び姿勢の情報は、描画部６に伝達され、部品を描画するときに参照される。

また、認識部５は、撮影画像の中から「部品の保管場所」を認識する機能を併せ持つ。例えば、リレーの組み付け作業〔図５（Ｂ）中の作業番号「ABCDE01234」〕では、場所コード「aA11bB22cC33dD44」を表す文字列や記号や二次元コードなどが認識される。図７（Ａ）に示すように、撮影画像中に場所コードを表すマーカー５８が検出されると、そのマーカー５８の位置や形状に基づき、撮影位置を基準としたマーカー５８の位置や姿勢が推定される。ここで認識される部品の保管場所の情報も、描画部６に伝達される。

描画部６は、部品の組み付け時に表示装置１３の表示内容を制御するものであり、おもに三つの機能を有する。第一の機能は、組み付け対象に部品が組み付けられた完成時の位置及び向きで、部品の虚像を描画するものである。ここでいう「虚像」とは、部品の組み付けが完了したときの状態（完成図）を示すものであり、組み付け作業の「手本」となるものである。これを参照しながら組み付け作業を実施することで、作業経験の浅い作業者５１であっても組み付けミスをしにくくなり、作業効率が向上する。

部品の虚像は、認識部５で認識された組み付け対象に座標系が適合するように描画される。例えば、図６（Ａ）に示すリレーボックス５５に対する部品の虚像は、リレーボックス５５に組み付けされた状態に相当する位置及び姿勢で描画される。図６（Ｂ）は、ここで描画される部品の虚像のみを取り出して示すものである。リレーボックス５５と部品の虚像とを重畳させることで、図６（Ｃ）に示すように、あたかもリレーボックス５５の上に部品が存在しているかのように見せることができる。

描画部６における第二の機能は、組み付け作業で使用される部品の個数（使用数）の情報をリレーボックス５５の近傍に描画する機能であり、第三の機能は、その個数の情報を保管場所の近傍に描画するものである。個数の情報をリレーボックス５５の近傍に表示する際には、図６（Ｂ）に示すように、リレーボックス５５に組み付けられる部品に重ならない位置に描画することが好ましい。また、リレーボックス５５に対して各部品が組み付けられる面が平面状であるとすれば、各部品の虚像をその平面上で配列することが好ましい。同様に、個数の情報を保管場所の近傍に描画する際には、図７（Ｂ）に示すように、マーカー５８や部品トレイに重ならない位置に描画することが好ましい。なお、部品の個数だけでなく部品番号や部品の外観などを一緒に表示することで、保管の状態をよりわかりやすく伝達してもよい。

判定部７は、部品の組み付け作業が完了したときに、その作業内容が適切であるか否かを自動的に判定するものである。ここでは、撮影画像と識別情報（作業番号）とに基づき、部品の組み付け状態が第一データベース１に規定された組み付けパターンに一致するか否かが判定される。例えば、撮影画像中の各部品を特定し、組み付け対象に対する各部品の位置及び姿勢を推定することで、組み付けパターンとの比較を実施してもよい。あるいは、あらかじめ用意された完成状態の画像と撮影画像とを比較してもよい。

本実施形態の判定部７は、学習済みのオートエンコーダを利用して、部品の組み付け状態を判定する。具体的には、撮影画像をオートエンコーダに入力し、その出力画像を取得するとともに、入力画像と出力画像との差異を算出する。オートエンコーダの学習データとしては、部品が正しく組み付けられた組み付け対象をさまざまな位置，角度から撮影した数千枚の画像が用いられる。このようなオートエンコーダに撮影画像を入力したとき、その撮影画像中の組み付け状態が適切であれば、出力される画像が入力画像とほぼ同一の画像となる。一方、組み付け状態に不適切な箇所があれば、その箇所の像が「正しい組み付け状態に近い像」に変換されて出力される。つまり、組み付け状態が不適切な箇所は、オートエンコーダに対する入力画像と出力画像との差異として検出可能である。そこで判定部７は、入力画像と出力画像との差異を算出し、その差異が所定のしきい値以上となる箇所を「異常度が高い箇所」として算出する。

強調表示部８は、判定部７で判定された「異常度が高い箇所」を強調表示するものである。ここでは、部品の組み付け状態が組み付けパターンに一致しない部位が、作業者の視界内の実景の座標系に適合するように強調表示される。本実施形態の強調表示部８は、「異常度が高い箇所」を赤くハイライトした画像を表示装置１３に表示する機能を持つ。これにより、図８に示すように、組み付け状態が不適切な箇所が強調され、組み付けミスの存在が作業者５１にわかりやすく伝達される。

［３．フローチャート］
図９は、部品の組み付け工程の流れを説明するためのフローチャートである。本フロー中のフラグAは、識別情報（作業番号）が読み取られた状態であるか否かを表すものであり、識別情報が読み取られていない初期状態ではA=0に設定されている。まず、撮影装置１６で撮影画像が撮影され、その内容が認識される（ステップＡ１）。また、フラグAの値が判定され（ステップＡ２）、A=0であるときには撮影画像中に作業指示書５４が認識されたか否かが判定される（ステップＡ３）。

ここで、作業指示書５４が認識されると、作業指示書５４に記載されている作業番号を抽出部３が抽出する（ステップＡ４）。これを受けて取得部４は第一データベース１を参照し、作業番号に対応する部品の組み付けパターンを取得する（ステップＡ５）。また、取得部４は第二データベース２を参照して、作業番号に対応する部品の保管場所，使用数の情報を取得する（ステップＡ６）。その後、フラグAの値がA=1に設定される（ステップＡ７）。次回以降の演算周期では、制御がステップＡ１からステップＡ８へと進行する。

ステップＡ８では、撮影画像中に場所コードを表すマーカー５８が認識されたか否かが判定される。ここでマーカー５８が検出されている場合には、図７（Ｂ）に示すように、部品の保管場所や使用数の情報がスマートグラス１０の表示装置１３に表示される。作業者５１は、これを参照しながら部品を資材保管棚５３から取り出し、組み付け作業の準備を整えることができる。また、ステップＡ１０では、部品の組み付け対象が認識されたか否かが判定される。ここで組み付け対象が認識されている場合には、図６（Ｃ）に示すように、部品の虚像が表示装置１３に表示される。作業者５１は、これを参照しながら部品を組み付けることができる。

図１０は、部品の組み付け完了時における検査工程の流れを説明するためのフローチャートである。検査工程は、組み付け作業が完了したときに、作業者５１が所定の入力操作（例えば、所定の音声指示やボタン操作など）を行うことで開始されるようにしてもよい。あるいは画像解析により部品の組み付け作業が完了したことを自動的に検知して、検査工程を開始してもよい。

前者の場合、ステップＢ１において、作業者５１による入力操作に関する各種情報が入力される。ここで、所定の検査開始条件（例えば、所定の音声指示がなされること）が成立すると（ステップＢ２）、撮影装置１６での撮影画像が入力画像としてオートエンコーダに入力され、その出力画像が取得される（ステップＢ３）。また、入力画像と出力画像との差異が算出されるとともに、その差異がしきい値以上となる箇所が強調表示される。作業者５１は、これを参照しながら不適切な組み付け状態を是正することができる。

［４．作用・効果］
（１）上記の製造支援システム，方法，プログラムでは、作業指示書５４に含まれる識別情報（作業番号）が抽出され、これに対応する位置、向きで部品の虚像が描画される。また、識別情報（作業番号）と部品の組み付けパターンとの関係は、第一データベース１にあらかじめ規定される。これにより、組み付け作業に係る部品の種類や使用数，レイアウトが作業指示書５４ごとに異なっている場合であっても、正しい位置かつ正しい向きで部品の組み付けの手本を示すことができ、組み付け作業を支援することができる。

また、作業者５１は作業指示書５４ごとに異なる部品の組み付けパターンを暗記しておく必要がなくなり、組み付けミスを削減することができる。さらに、組み付け作業中は常に手本となる虚像が表示されているため、作業者５１が誤った組み付けを覚えてしまう懸念がなくなり、作業者５１の習熟度を迅速に高めることができる。したがって、部品の組み付け作業に関する作業効率（生産性）を向上させることができる。

（２）識別情報（作業番号）と部品の保管場所及び使用数との関係は、第二データベース２にあらかじめ規定される。これを用いて、部品の保管場所の近傍に使用数の情報を描画することで、部品の取り違えミスを予防することができる。例えば、外観が類似する複数の部品が混在する組み付け作業において、ピックアップミス（部品の取り出し間違い）を削減することができる。したがって、組み付け作業における不良率を低減させることができ、作業効率をさらに向上させることができる。

（３）図７（Ａ）に示すように、マーカー５８を用いて部品の保管場所を特定することで、部品の仕様変更や保管場所の変更に対して柔軟に対応することが可能となり、作業効率をさらに向上させることができる。例えば、部品の保管場所が変更されたときには、部品と一緒にマーカー５８も移動させればよい。なお、部品の種類や保管場所が変更されない場合には、マーカー５８の代わりにその部品の外観や保管場所の外観などに基づく支援を実施してもよい。

（４）図８に示すように、組み付け状態の異常度が高い箇所を実景の座標系に適合するように強調表示することで、その箇所を作業者５１に気付かせやすくすることができる。これにより、組み付けミスを直ちに修正することができ、作業効率をさらに向上させることができる。また、作業者５１の記憶違いや勘違いなどに由来する組み付け上の不具合が即座にフィードバックされるため、作業者５１の習熟度を迅速に高めることができ、短期間での人材育成が可能となる。

［５．変形例］
上記の実施形態はあくまでも例示に過ぎず、本実施形態で明示しない種々の変形や技術の適用を排除する意図はない。本実施形態の各構成は、それらの趣旨を逸脱しない範囲で種々変形して実施することができる。また、必要に応じて取捨選択することができ、あるいは適宜組み合わせることができる。

例えば、スマートグラス１０にモーションセンサー（加速度センサー，方位センサー，ジャイロセンサー，地磁気センサーなど）を内蔵させてもよい。モーションセンサーで表示装置１３及び撮影装置１６の姿勢を高精度に把握することで、作業者５１の視界内の実景や被写体の位置，姿勢をより正確に推定することが可能となり、実景に対する虚像の重畳精度を向上させることができ、虚像の現実感や臨場感を高めることができる。

本件における製造支援システム，製造支援方法，製造支援プログラムの最小構成は、第一データベース１，抽出部３，取得部４，認識部５，描画部６を備えたものである。これらの各要素が保存される装置は、任意に設定可能であるとともに、複数の装置に機能を分散させて配置することも可能である。機能を分散させる場合、少なくとも複数の装置同士が有線または無線で通信可能に接続されていればよい。

上記の機能の分散に関して、図１１（Ａ）に示すように、表示装置１３の描画に関する要素（例えば、描画部６，強調表示部８）をスマートグラス１０に担当させ、それ以外の要素（例えば、抽出部３，取得部４，認識部５，判定部７）を組み付け作業用コンピューター５９に担当させてもよい。また、第一データベース１や第二データベース２は、生産指令サーバー６０に保存しておいてもよい。生産指令サーバー６０は、生産ラインの稼働状態や生産ロボットの動作を制御する大型コンピューターであり、組み付け作業用コンピューター５９に対して有線ケーブルで接続される。また、組み付け作業用コンピューター５９は、組み付け作業が実施される作業場の近傍に配置されるコンピューターであり、スマートグラス１０に対し、中継器３６を介して無線で接続される。

このような装置構成により、スマートグラス１０に内蔵される電子制御装置２０の演算処理能力が低い場合であっても、実景に適合する虚像を精度良く表示装置１３に表示させることが可能となる。また、生産指令サーバー６０にデータベース１，２を配置することで、既存の生産システムで用いられているデータベースを利用した作業支援が容易となる。なお、スマートグラス１０に十分な演算処理能力が期待できる場合には、図１１（Ｂ）に示すように、スマートグラス１０単体で動作しうるシステムを構成してもよい。この場合、他のコンピューターとの通信が不要となることから、オフライン環境での作業支援が可能となる。

［６．付記］
上記の変形例を含む実施形態に関し、以下の付記を開示する。
［付記１］
視界内の実景を撮影する撮影装置と前記実景に虚像を重畳表示する表示装置とを内蔵するスマートグラスを頭部に装着した作業者に対し、前記実景の座標系に適合する虚像を前記表示装置に表示させることによって、部品の組み付け作業を支援する製造支援方法であって、
前記撮影装置の撮影画像の中から、前記組み付け作業の内容が記載された作業指示書に含まれる前記識別情報を抽出し、
組み付け対象に対する複数の前記部品の組み付けパターンとこれに対応する識別情報との関係が規定された第一データベースに基づき、前記識別情報に対応する前記部品の組み付けパターンを取得し、
前記撮影装置の撮影画像の中から、前記組み付け対象を認識し、
前記組み付け対象に前記部品が組み付けられた完成時の位置及び向きで前記部品の虚像を描画する
ことを特徴とする、製造支援方法。

［付記２］
前記部品の保管場所と前記組み付け対象に組み付けられる前記部品の個数と前記識別情報との関係が規定された第二データベースに基づき、前記識別情報に対応する前記部品の保管場所の情報と前記部品の個数の情報とを取得し、
前記撮影装置の撮影画像の中から、前記保管場所を認識し、
前記部品の個数の情報を前記保管場所の近傍に表示する
ことを特徴とする、付記１記載の製造支援方法。

［付記３］
前記撮影画像中における前記保管場所に設置されたマーカーを認識する
ことを特徴とする、付記２記載の製造支援方法。

［付記４］
前記撮影装置の撮影画像と前記識別情報とに基づき、前記部品の組み付け状態が前記組み付けパターンに一致するか否かを判定し、
前記部品の組み付け状態が前記組み付けパターンに一致しない部位を、前記作業者の視界内の実景の座標系に適合するように強調表示する
ことを特徴とする、付記１〜３のいずれか１項に記載の製造支援方法。

［付記５］
視界内の実景を撮影する撮影装置と前記実景に虚像を重畳表示する表示装置とを内蔵するスマートグラスを頭部に装着した作業者に対し、前記実景の座標系に適合する虚像を前記表示装置に表示させることによって、部品の組み付け作業を支援する製造支援プログラムであって、
前記撮影装置の撮影画像の中から、前記組み付け作業の内容が記載された作業指示書に含まれる前記識別情報を抽出し、
組み付け対象に対する複数の前記部品の組み付けパターンとこれに対応する識別情報との関係が規定された第一データベースに基づき、前記識別情報に対応する前記部品の組み付けパターンを取得し、
前記撮影装置の撮影画像の中から、前記組み付け対象を認識し、
前記組み付け対象に前記部品が組み付けられた完成時の位置及び向きで前記部品の虚像を描画する
処理をコンピューターに実行させる、製造支援プログラム。

［付記６］
前記部品の保管場所と前記組み付け対象に組み付けられる前記部品の個数と前記識別情報との関係が規定された第二データベースに基づき、前記識別情報に対応する前記部品の保管場所の情報と前記部品の個数の情報とを取得し、
前記撮影装置の撮影画像の中から、前記保管場所を認識し、
前記部品の個数の情報を前記保管場所の近傍に表示する
処理をコンピューターに実行させる、付記５記載の製造支援プログラム。

［付記７］
前記撮影画像中における前記保管場所に設置されたマーカーを認識する
処理をコンピューターに実行させる、付記６記載の製造支援プログラム。

［付記８］
前記撮影装置の撮影画像と前記識別情報とに基づき、前記部品の組み付け状態が前記組み付けパターンに一致するか否かを判定し、
前記部品の組み付け状態が前記組み付けパターンに一致しない部位を、前記作業者の視界内の実景の座標系に適合するように強調表示する
処理をコンピューターに実行させる、付記５〜７のいずれか１項に記載の製造支援プログラム。

１第一データベース
２第二データベース
３抽出部
４取得部
５認識部
６描画部
７判定部
８強調表示部
９製造支援プログラム
１０スマートグラス
１３表示装置
１６撮影装置
３０サーバー
５０自動車
５１作業者
５２ヘルメット
５３資材保管棚
５４作業指示書
５５リレーボックス（組み付け対象）
５６リレー（部品）

Claims

作業者による部品の組み付け作業を支援するための製造支援システムであって、
前記作業者の視界内の実景を撮影する撮影装置と前記実景に虚像を重畳表示する表示装置とを内蔵し、前記作業者の頭部に装着されるスマートグラスと、
組み付け対象に対する複数の前記部品の組み付けパターンとこれに対応する識別情報との関係を規定する第一データベースと、
前記作業者の視界内の実景の座標系に適合するように、前記部品の虚像を前記表示装置に表示させる制御装置とを備え、
前記制御装置が、
前記撮影装置の撮影画像の中から、前記組み付け作業の内容が記載された作業指示書に含まれる前記識別情報を抽出する抽出部と、
前記第一データベースに基づき、前記識別情報に対応する前記部品の組み付けパターンを取得する取得部と、
前記撮影装置の撮影画像の中から、前記組み付け対象を認識する認識部と、
前記組み付け対象に前記部品が組み付けられた完成時の位置及び向きで前記部品の虚像を描画する描画部とを有する
ことを特徴とする、製造支援システム。
前記部品の保管場所と前記組み付け対象に組み付けられる前記部品の個数と前記識別情報との関係が規定された第二データベースを備え、
前記取得部が、前記第二データベースに基づき、前記識別情報に対応する前記部品の保管場所の情報と前記部品の個数の情報とを取得し、
前記認識部が、前記撮影装置の撮影画像の中から、前記保管場所を認識し、
前記描画部が、前記部品の個数の情報を前記保管場所の近傍に表示する
ことを特徴とする、請求項１記載の製造支援システム。
前記認識部が、前記撮影画像中における前記保管場所に設置されたマーカーを認識する
ことを特徴とする、請求項２記載の製造支援システム。
前記制御装置が、
前記撮影装置の撮影画像と前記識別情報とに基づき、前記部品の組み付け状態が前記組み付けパターンに一致するか否かを判定する判定部と、
前記部品の組み付け状態が前記組み付けパターンに一致しない部位を、前記作業者の視界内の実景の座標系に適合するように強調表示する強調表示部とを有する
ことを特徴とする、請求項１〜３のいずれか１項に記載の製造支援システム。
視界内の実景を撮影する撮影装置と前記実景に虚像を重畳表示する表示装置とを内蔵するスマートグラスを頭部に装着した作業者に対し、前記実景の座標系に適合する虚像を前記表示装置に表示させることによって、部品の組み付け作業を支援する製造支援方法であって、
前記撮影装置の撮影画像の中から、前記組み付け作業の内容が記載された作業指示書に含まれる前記識別情報を抽出し、
組み付け対象に対する複数の前記部品の組み付けパターンとこれに対応する識別情報との関係が規定された第一データベースに基づき、前記識別情報に対応する前記部品の組み付けパターンを取得し、
前記撮影装置の撮影画像の中から、前記組み付け対象を認識し、
前記組み付け対象に前記部品が組み付けられた完成時の位置及び向きで前記部品の虚像を描画する
ことを特徴とする、製造支援方法。
視界内の実景を撮影する撮影装置と前記実景に虚像を重畳表示する表示装置とを内蔵するスマートグラスを頭部に装着した作業者に対し、前記実景の座標系に適合する虚像を前記表示装置に表示させることによって、部品の組み付け作業を支援する製造支援プログラムであって、
前記撮影装置の撮影画像の中から、前記組み付け作業の内容が記載された作業指示書に含まれる前記識別情報を抽出し、
組み付け対象に対する複数の前記部品の組み付けパターンとこれに対応する識別情報との関係が規定された第一データベースに基づき、前記識別情報に対応する前記部品の組み付けパターンを取得し、
前記撮影装置の撮影画像の中から、前記組み付け対象を認識し、
前記組み付け対象に前記部品が組み付けられた完成時の位置及び向きで前記部品の虚像を描画する
処理をコンピューターに実行させる、製造支援プログラム。