JP6124947B2 - 組立支援システム、組立支援方法及び制御プログラム - Google Patents

Description

本発明は、組立支援システム、組立支援方法及び制御プログラムに関し、特に、ユーザによる組立対象物への部品の取り付け作業を支援する組立支援システム、組立支援方法及び制御プログラムに関する。

近年、産業の発展に伴い、ユーザによる物品の製造工程のさらなる効率化・高速化が求められている。ユーザが効率良く且つ高速に作業できるように、例えば、ユーザが実際に目視している作業対象に作業指示を重ねて表示する技術が利用されている。

部品が実装されたプリント回路板に対する人手布線作業を支援する布線作業支援装置が知られている。この布線作業支援装置は、プリント回路板を撮像し、布線作業の対象となる部品の対象リード又は対象パッドのプリント回路板上位置を特定し、特定されたプリント回路板上位置をプロジェクタにより実際のプリント回路板上に投影する（特許文献１を参照）。

また、作業者が装着しているヘッドマウントディスプレイにおいて、作業者が現実に視認している配管に、ガスの流れを示す矢印、毒性の強いことを示す枠等を重畳表示する支援情報表示制御装置が知られている（特許文献２を参照）。

また、回路基板の裏面に部品が装着された状態を回路基板の表面側から透視した画像を、回路基板を支持する支持板に投影する画像投影装置が知られている（特許文献３を参照）。

特開２００９−２３１７６４号公報 特開２０１４−１６４４８２号公報 特開２００４−２２１１６５号公報

ユーザによる組立対象物への部品の取り付け作業において、ユーザの作業効率及び利便性のさらなる向上が求められている。

本発明の目的は、ユーザによる組立対象物への部品の取り付け作業におけるユーザの作業効率及び利便性を向上させることが可能な組立支援システム、組立支援方法及び制御プログラムを提供することにある。

本発明の一側面に係る組立支援システムは、組立対象物を載置する載置台と、組立対象物が載置された載置台に向けて画像を投影する画像投影装置と、組立対象物に取り付ける取付部品が、組立対象物に取り付けられる取付方向に沿って、組立対象物の周辺位置から取付部品を取り付ける組立対象物の取付位置近傍まで移動するような投影画像を画像投影装置に対して出力する情報処理装置とを有する。

また、本発明の一側面に係る組立支援方法は、組立対象物を載置する載置台と、画像投影装置と、情報処理装置とを有する組立支援システムにおける組立支援方法であって、情報処理装置が、組立対象物に取り付ける取付部品が、組立対象物に取り付けられる取付方向に沿って、組立対象物の周辺位置から取付部品を取り付ける組立対象物の取付位置近傍まで移動するような投影画像を画像投影装置に対して出力し、画像投影装置が、組立対象物が載置された載置台に向けて投影画像を投影することを含む。

また、本発明の一側面に係る制御プログラムは、組立対象物を載置する載置台と、組立対象物が載置された載置台に向けて画像を投影する画像投影装置と、記憶部及び出力部を有する情報処理装置とを有する組立支援システムにおける情報処理装置に実行させる制御プログラムであって、組立対象物に取り付ける取付部品が、組立対象物に取り付けられる取付方向に沿って、組立対象物の周辺位置から取付部品を取り付ける組立対象物の取付位置近傍まで移動するような投影画像を記憶部に記憶し、投影画像を画像投影装置に対して出力部に出力させることを情報処理装置に実行させる。

本発明によれば、ユーザは、組立対象物を目視しながら、組立対象物への部品の取り付け方を容易且つ確実に理解できるため、ユーザによる組立対象物への部品の取り付け作業におけるユーザの作業効率及び利便性を向上させることができる。

実施形態に係る組立支援システム１を示す概略構成図である。 載置台３００を上方から見た平面図である。 組立支援システム１のシステム構成図である。 情報処理装置１００のハードウェア構成図である。 手順テーブルのデータ構造の一例を示す図である。 ＣＰＵ１１０の概略構成を示す図である。 手順データ作成処理の動作を示すフローチャートである。 組立支援処理の動作を示すフローチャートである。 載置台３００に投影される投影画像の一例を示す模式図である。 載置台３００に投影される投影画像の一例を示す模式図である。 載置台３００に投影される投影画像の一例を示す模式図である。 載置台３００に投影される投影画像の一例を示す模式図である。 載置台３００に投影される投影画像の一例を示す模式図である。 載置台３００に投影される投影画像の他の例を示す模式図である。 載置台３００に投影される投影画像の他の例を示す模式図である。

以下、本発明の一側面に係る情報処理装置、組立支援方法及びコンピュータプログラムについて図を参照しつつ説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１は、実施形態に係る組立支援システムを示す図である。組立支援システム１は、情報処理装置１００、画像投影装置２００、載置台３００、入力装置４００、複数の部品箱５００〜５０６、トルクドライバ６００、６０１、撮像装置７００及び表示装置８００を有する。なお、情報処理装置１００は、組立支援システム１が配置される台の背面側に配置されている。また、画像投影装置２００及び撮像装置７００は、組立支援システム１が配置される台の上部に配置されたカバー内に配置されている。

図２は、載置台３００を上方から見た平面図である。以下、図１及び図２を参照しつつ組立支援システム１の各装置について説明する。

情報処理装置１００は、作業者による、載置台３００に載置された組立対象物３０１へ取付部品を取り付ける組立作業を支援するための装置である。情報処理装置１００は、例えばＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ等である。

画像投影装置２００は、組立対象物３０１が載置された載置台３００に向けて画像を投影する装置であり、例えばプロジェクタである。画像投影装置２００は、載置台３００の上方に設けられ、上方側から載置台３００に向けて画像を投影する。

載置台３００は、組立対象物３０１を載置する台である。図２に示すように、載置台３００には、組立対象物３０１を突き当てて支持するための支持部材３０２が設けられ、組立対象物３０１は、所定の角（図２に示す例では左下の角）を支持部材３０２に突き当てるように載置台３００に載置される。組立対象物３０１は、作業者によって所定の取付部品が取り付けられ、製品として製造される物であり、例えばプリント回路基板である。取付部品は、例えばコネクタ、ケーブル、ＳＤメモリカード、外枠、カバー等である。また、載置台３００に隣接して、拡張載置台３１０が設けられる。拡張載置台３１０は、複数の部品箱５００〜５０６等を載置するための台である。画像投影装置２００により載置台３００に画像が投影されるが、拡張載置台３１０には画像は投影されない。

入力装置４００は、例えば押しボタン等であり、ボタン押下等の、作業者（ユーザ）による入力を受け付け、入力信号を情報処理装置１００に対して出力する。図２に示すように、入力装置４００は、載置台３００上に配置される。なお、入力装置４００は、作業者が操作可能な範囲に配置されればよく、載置台３００上以外に配置されてもよい。

複数の部品箱５００〜５０６は、複数の取付部品のそれぞれが格納される箱である。各取付部品は、種類毎に分類され、分類された種類毎に各部品箱５００〜５０６に格納される。図２に示すように、部品箱５００〜５０６は、それぞれ、載置台３００の上に、又は、拡張載置台３１０の上に、即ち載置台３００に隣接する位置に配置される。

各部品箱５００〜５０６は、それぞれ、各部品箱５００〜５０６から取付部品が取り出されたことを検出し、情報処理装置１００に対して出力する部品箱センサ５１０〜５１６を有する。部品箱センサ５１０〜５１６は、それぞれ部品箱５００〜５０６を構成する四方の壁の内の何れかに設けられた発光部５２０〜５２６と、発光部５２０〜５２６と対向する位置に設けられた受光部５３０〜５３６を有する。発光部５２０〜５２６は、例えばＬＥＤ（Light Emitting Diode）等であり、それぞれ受光部５３０〜５３６に向けて光を放射する。受光部５３０〜５３６は、それぞれレンズ及び受光素子を有し、受光した光をその強度に応じた電気信号に変換し、情報処理装置１００に対して出力する。

作業者が各部品箱５００〜５０６から取付部品を取り出す時、発光部５２０〜５２６から放射される光は作業者の手によって遮られ、受光部５３０〜５３６が受光する光の強度は低減する。各部品箱センサ５１０〜５１６は、ユーザ（作業者）による作業結果を検出するセンサの一例であり、受光部５３０〜５３６が受光する光の強度により、各部品箱５００〜５０６から取付部品が取り出されたことを検出する。

なお、発光部５２０〜５２６及び受光部５３０〜５３６は、それぞれ部品箱５００〜５０６を構成する四方の壁の内の同じ壁に設けられてもよい。その場合、発光部５２０〜５２６から放射された光を受光部５３０〜５３６に向けて反射させる反射板が、発光部５２０〜５２６及び受光部５３０〜５３６が設けられた壁と対向する壁に設けられる。その場合も、作業者が各部品箱５００〜５０６から取付部品を取り出す時、発光部５２０〜５２６から放射された光は作業者の手によって遮られ、受光部５３０〜５３６が受光する光の強度は低減する。

トルクドライバ６００、６０１は、組立対象物３０１にネジ等の取付部品を取り付けるための装置である。組立支援システム１は、組立対象物３０１に取り付けるネジのサイズ毎に、各サイズのネジを取り付けるためのトルクドライバを有する。

トルクドライバ６００、６０１は、組立対象物３０１に取付部品が取り付けられたことを検出し、情報処理装置１００に対して出力するトルクセンサを有する。トルクセンサは、ドライバの軸にかかる回転方向の力（トルク）を計測し、計測したトルクが、予め定められたトルク値であるか否かを示すトルク信号を出力する。トルクセンサは、ユーザ（作業者）による作業結果を検出するセンサの一例であり、ドライバの軸にかかるトルクにより、組立対象物３０１に取付部品が取り付けられたことを検出する。

撮像装置７００は、例えばカメラであり、１次元又は２次元に配列された撮像素子と、撮像素子に撮像対象物の像を結像する光学系を備え、撮影画像を生成する。撮像素子は、例えばＣＣＤ（Charge Coupled Device）、Ｃ−ＭＯＳ（Complementary Metal-Oxide-Semiconductor）などである。撮像装置７００は、組立対象物３０１が載置された載置台３００を撮像し、撮影した撮影画像を出力する。なお、撮像装置７００は、所定間隔（例えば１００ｍｓｅｃ）毎に撮影画像を撮影して出力し、情報処理装置１００は、撮影画像を動画像として取得する。撮像装置７００は、ユーザ（作業者）による作業結果を検出するセンサの一例であり、載置台３００を撮像した画像により、作業者が所定の作業を完了したことを検出する。

表示装置８００は、液晶、有機ＥＬ（Electro−Luminescence）等から構成されるディスプレイであり、情報処理装置１００から出力された信号に応じた映像又は画像を表示する。

図３は、組立支援システム１のシステム構成図である。組立支援システム１は、図１に示した各装置に加え、部品箱センサコントローラ５４０及びドライバコントローラ６２０を有する。

画像投影装置２００は、ＶＧＡ（Video Graphics Array）等のディスプレイ用インタフェース規格に従って情報処理装置１００と接続される。なお、画像投影装置２００は、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ等の他の規格に従って情報処理装置１００と接続されてもよい。

入力装置４００は、ＰＳ／２（Personal System）等の入力インタフェース規格に従って情報処理装置１００と接続される。

部品箱センサ５１０〜５１６は、ＡｎｙＷｉｒｅ等の通信規格に従って、直列にデイジーチェーン接続され、末端に接続された部品箱センサ５１０は、さらに部品箱センサコントローラ５４０に接続される。部品箱センサコントローラ５４０は、イーサネット（登録商標）等の通信規格に従って情報処理装置１００と接続される。

部品箱センサコントローラ５４０は、マイクロプロセッサ等の制御装置を有し、各部品箱センサ５１０〜５１６の状態を監視する。

各部品箱センサ５１０〜５１６は、各センサのアドレスを示すアドレス信号とともに、受光部５３０〜５３６が受光した光の強度に応じた光強度信号を部品箱センサコントローラ５４０に送信する。部品箱センサコントローラ５４０は、各部品箱センサ５１０〜５１６から受信した光強度信号を定期的に監視し、光強度信号が所定値以下になった場合、その部品箱センサに対応する部品箱から取付部品が取り出されたと判定する。所定値は、各部品箱センサ５１０〜５１６の発光部５２０〜５２６が放射した光が遮られていることを示す値に定められる。部品箱センサコントローラ５４０は、部品箱から取付部品が取り出されたと判定すると、その部品箱を示す識別情報と、部品箱から取付部品が取り出された旨とを示す取出信号を情報処理装置１００に送信する。

トルクドライバ６００、６０１は、それぞれトルクセンサ６１０、６１１を有し、ＲＳ（Recommended-Standards）４８５等のシリアルインタフェース規格に従って、ドライバコントローラ６２０と接続される。なお、各トルクドライバ６００、６０１は、ドライバコントローラ６２０に対して、並列にスター型接続される。ドライバコントローラ６２０は、ＲＳ４８５等のシリアルインタフェース規格に従って情報処理装置１００と接続される。

ドライバコントローラ６２０は、マイクロプロセッサ等の制御装置を有し、各トルクドライバ６００、６０１を制御する。

ドライバコントローラ６２０は、情報処理装置１００から制御対象のトルクドライバを示す識別情報と、そのトルクドライバの電源をＯＮにする要求とを示す電源ＯＮ信号を受信した場合、そのトルクドライバへの電源の供給をＯＮにする。一方、ドライバコントローラ６２０は、情報処理装置１００から制御対象のトルクドライバを示す識別情報と、そのトルクドライバの電源をＯＦＦにする要求とを示す電源ＯＦＦ信号を受信した場合、そのトルクドライバへの電源の供給をＯＦＦにする。

また、ドライバコントローラ６２０は、各トルクドライバから、そのトルクドライバを示す識別情報及びトルク信号を受信する。ドライバコントローラ６２０は、受信したトルク信号が、予め定められたトルク値であることを示す場合、トルクドライバの識別情報及びトルクドライバによる取付部品の取付が完了した旨を示す取付完了信号を情報処理装置１００に送信する。

撮像装置７００は、所定の画像インタフェース規格又はＵＳＢ（Universal Serial Bus）等のインタフェース規格に従って情報処理装置１００と接続される。

表示装置８００は、ＶＧＡ、ＤＶＩ、ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ等のディスプレイ用インタフェース規格に従って情報処理装置１００と接続される。

図４は、情報処理装置１００のハードウェア構成図である。図４に示すように、情報処理装置１００は、通信回路１０１、入力インタフェース回路１０２、画像入力インタフェース回路１０３、出力インタフェース回路１０４、シリアルインタフェース回路１０５、記憶装置１０６及びＣＰＵ（Central Processing Unit）１１０を有する。以下、情報処理装置１００の各部について詳細に説明する。

通信回路１０１は、イーサネット（登録商標）等の通信規格に従って、有線ＬＡＮ等の有線通信ネットワークを通じて信号の送受信を行うための有線通信インタフェース回路を有し、部品箱センサコントローラ５４０と通信を行う。なお、通信回路１０１は、ＵＳＢ（Universal Serial Bus）等のシリアルバスに準じるインタフェース回路を有し、部品箱センサコントローラ５４０と通信を行ってもよい。

入力インタフェース回路１０２は、入力装置４００から信号を取得するインタフェース回路を有し、ユーザの操作に応じた信号をＣＰＵ１１０に対して出力する。

画像入力インタフェース回路１０３は、撮像装置７００から画像信号を取得するインタフェース回路を有し、撮像装置７００により撮像された画像信号をＣＰＵ１１０に対して出力する。

出力インタフェース回路１０４は、出力部の一例である。出力インタフェース回路１０４は、画像投影装置２００及び表示装置８００に画像データ又は各種の情報を出力するインタフェース回路を有し、ＣＰＵ１１０から出力された信号を画像投影装置２００又は表示装置８００に対して出力する。

シリアルインタフェース回路１０５は、ＲＳ４８５等のシリアルインタフェース規格に従って、信号の送受信を行うためのシリアルインタフェース回路を有し、トルクドライバ６００、６０１と通信を行う。シリアルインタフェース回路１０５は、トルクドライバ６００、６０１から受信した信号をＣＰＵ１１０に対して出力し、ＣＰＵ１１０から出力された信号をトルクドライバ６００、６０１に対して出力する。

記憶装置１０６は、記憶部の一例である。記憶装置１０６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のメモリ装置、ハードディスク等の固定ディスク装置、又はフレキシブルディスク、光ディスク等の可搬用の記憶装置等を有する。また、記憶装置１０６には、情報処理装置１００の各種処理に用いられるコンピュータプログラム、データベース、テーブル等が記憶される。コンピュータプログラムは、コンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶装置１０６にインストールされてもよい。可搬型記録媒体は、例えばＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）等とすることができる。

また、記憶装置１０６には、組立手順書、投影画像及び手順テーブル等が記憶される。組立手順書は、作業者による組立対象物３０１への取付部品の取付作業に関する手順が記載されたドキュメントである。投影画像は、画像投影装置２００に対して出力され、画像投影装置２００により載置台３００に向けて投影される画像である。本実施形態では、投影画像は動画像であるものとして説明するが、投影画像には静止画像が含まれていてもよい。手順テーブルは、作業者による取付作業に関する手順及び各取付作業に伴って表示される画像等を管理するテーブルであり、管理者により組立手順書に基づいて事前に作成される。手順テーブルの詳細については後述する。

ＣＰＵ１１０は、通信回路１０１、入力インタフェース回路１０２、画像入力インタフェース回路１０３、出力インタフェース回路１０４、シリアルインタフェース回路１０５及び記憶装置１０６と接続され、これらの各部を制御する。ＣＰＵ１１０は、通信回路１０１を介したデータ送受信制御、入力インタフェース回路１０２の入力制御、出力インタフェース回路１０４への出力制御、シリアルインタフェース回路１０５の通信制御、記憶装置１０６の制御等を行う。さらに、ＣＰＵ１１０は、投影画像の作成及び出力を行い、作業者による組立対象物への取付部品の取付作業を支援する。

図５は、手順テーブルのデータ構造の一例を示す図である。手順テーブルには、複数の手順毎に、手順ＩＤ（Identification）、手順内容、画像情報、追加処理、トリガ、次手順ＩＤ等が関連付けて記憶される。

手順ＩＤは、作業者による手順毎に一意に定められた識別情報である。手順内容は、その手順により作業者により実行される内容を示す。画像情報は、作業者によるその手順の実行を支援するために画像投影装置２００に対して出力される投影画像の格納場所及びファイル名を示す。追加処理は、作業者がその手順を実行する際に、投影画像の表示とは別に実行する処理を示す。トリガは、作業者によりその手順が実行されたことを検出するためのトリガであり、次の手順にすすめるためのトリガである。次手順ＩＤは、対応するトリガが検出されたときに、次に実行される手順の手順ＩＤである。なお、次に実行される手順がない場合、次手順ＩＤとして、全手順の終了を示す識別情報が記憶される。

図６は、ＣＰＵ１１０の概略構成を示す図である。図６に示すように、ＣＰＵ１１０は、データ作成部１１１及び表示制御部１１２等を有する。これらの各部は、プロセッサ上で動作するソフトウェアにより実装される機能モジュールである。なお、これらの各部は、それぞれ独立した集積回路、マイクロプロセッサ、ファームウェア等で構成されてもよい。

図７は、情報処理装置１００による手順データ作成処理の動作を示すフローチャートである。以下、図７に示したフローチャートを参照しつつ、手順データ作成処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１０６に記憶されているプログラムに基づき主にＣＰＵ１１０により情報処理装置１００の各要素と協働して実行される。

最初に、データ作成部１１１は、管理者による不図示のキーボード又はマウスを用いた手順データの作成開始指示を入力インタフェース回路１０２を介して受け付ける。データ作成部１１１は、手順データの作成開始指示を受け付けると、記憶装置１０６から組立手順書を読み出し、出力インタフェース回路１０４を介して表示装置８００に表示する（ステップＳ１０１）。

次に、データ作成部１１１は、管理者によるキーボード又はマウスを用いた手順ＩＤの入力を入力インタフェース回路１０２を介して受け付ける（ステップＳ１０２）。

次に、データ作成部１１１は、手順ＩＤの入力を受け付けると、受け付けた手順ＩＤが手順テーブルに登録済みであるか否かを判定する（ステップＳ１０３）。

データ作成部１１１は、受け付けた手順ＩＤが登録済みである場合、処理をステップＳ１０８へ移行する。一方、データ作成部１１１は、受け付けた手順ＩＤが未登録である場合、受け付けた手順ＩＤを手順テーブルに登録する。

次に、データ作成部１１１は、管理者によるキーボード又はマウスを用いた手順内容の入力を入力インタフェース回路１０２を介して受け付ける（ステップＳ１０４）。データ作成部１１１は、受け付けた手順内容を手順ＩＤと関連付けて手順テーブルに記憶する。

次に、データ作成部１１１は、支持部材３０２に突き当てるように組立対象物３０１が載置された載置台３００を撮像した撮影画像を出力インタフェース回路１０４を介して表示装置８００に表示する（ステップＳ１０５）。この撮影画像は、事前に、撮像装置７００を用いて撮影され、記憶装置１０６に記憶される。データ作成部１１１は、投影画像作成用アプリケーションプログラムに従って表示される投影画像作成用ウィンドウ内に、撮影画像を半透明に表示する。

次に、データ作成部１１１は、管理者によるキーボード又はマウスを用いた投影画像の作成指示を入力インタフェース回路１０２を介して受け付ける（ステップＳ１０６）。投影画像は、作業者による組立対象物への取付部品の取付作業を支援するための画像である。管理者は、撮影画像が半透明に表示された投影画像作成用ウィンドウ内において、撮影画像に写っている組立対象物、部品箱等の位置にあわせて各取付部品、作業指示等の画像を配置するように投影画像を作成する。投影画像の詳細については後述する。管理者は、撮影画像に写っている組立対象物、部品箱等にあわせて投影画像を作成できるので、実際に配置されている組立対象物、部品箱等に対して適切な位置に各取付部品、作業指示等を表示する投影画像を高精度且つ効率良く作成することができる。

なお、データ作成部１１１は、投影画像作成用ウィンドウ内に、撮影画像を表示する代わりに、所定間隔で格子状に配置されたラインを表示してもよい。その場合、管理者は、その所定間隔に対応する実際の距離間隔で格子状に配置されたラインが印刷されたシートを載置台３００に載置し、載置したシート内の各ラインの位置にあわせて各取付部品、作業指示等の画像を配置するように投影画像を作成する。この場合も、管理者は、実際に配置されている組立対象物、部品箱等に対して適切な位置に各取付部品、作業指示等を表示する投影画像を高精度且つ効率良く作成することができる。

データ作成部１１１は、作成した投影画像を記憶装置１０６に記憶するとともに、投影画像の格納場所及びファイル名を手順ＩＤと関連付けて手順テーブルに記憶する。

次に、データ作成部１１１は、管理者によるキーボード又はマウスを用いた追加処理の入力を入力インタフェース回路１０２を介して受け付ける（ステップＳ１０７）。データ作成部１１１は、追加処理の入力を受け付けた場合、受け付けた追加処理を手順ＩＤと関連付けて手順テーブルに記憶する。なお、追加処理は、例えば予め定められた複数の処理の中から管理者によって選択されることにより入力される。

次に、データ作成部１１１は、管理者によるキーボード又はマウスを用いたトリガの入力を入力インタフェース回路１０２を介して受け付ける（ステップＳ１０８）。データ作成部１１１は、受け付けたトリガを手順ＩＤと関連付けて手順テーブルに記憶する。なお、トリガは、例えば予め定められた複数のトリガの中から管理者によって選択されることにより入力される。

次に、データ作成部１１１は、管理者によるキーボード又はマウスを用いた次手順ＩＤの入力を入力インタフェース回路１０２を介して受け付ける（ステップＳ１０９）。データ作成部１１１は、受け付けた次手順ＩＤをステップＳ１０８で受け付けたトリガと関連付けて手順テーブルに記憶する。

次に、データ作成部１１１は、管理者によるキーボード又はマウスを用いた作成完了又は作成継続の指示を入力インタフェース回路１０２を介して受け付ける（ステップＳ１１０）。

データ作成部１１１は、作成継続の指示を受け付けた場合、処理をステップＳ１０２へ戻し、ステップＳ１０２〜Ｓ１１０の処理を繰り返す。一方、データ作成部１１１は、作成完了の指示を受け付けた場合、一連のステップを終了する。

情報処理装置１００による手順データ作成処理により、管理者は、載置台３００及びプリント回路基板が配置される位置にあわせた適切な位置に、取付部品、作業指示等を投影する投影画像を容易且つ確実に作成することができる。

図８は、情報処理装置１００による組立支援処理の動作を示すフローチャートである。以下、図８に示したフローチャートを参照しつつ、組立支援処理の動作を説明する。なお、以下に説明する動作のフローは、予め記憶装置１０６に記憶されているプログラムに基づき主にＣＰＵ１１０により情報処理装置１００の各要素と協働して実行される。

最初に、表示制御部１１２は、作業者による入力装置４００を用いた取付作業の開始指示を入力インタフェース回路１０２を介して受け付ける。表示制御部１１２は、取付作業の開始指示を受け付けると、記憶装置１０６から手順テーブルを読み出す（ステップＳ２０１）。

次に、表示制御部１１２は、手順テーブルから対応する手順ＩＤを抽出する（ステップＳ２０２）。なお、最初に抽出される手順ＩＤ、即ち取付作業の開始指示を受け付けた直後に抽出される手順ＩＤは、手順テーブルの先頭に格納された手順である。

次に、表示制御部１１２は、抽出した手順ＩＤに関連付けられた投影画像を記憶装置１０６から読み出し、出力インタフェース回路１０４を介して画像投影装置２００に対して出力する（ステップＳ２０３）。

次に、表示制御部１１２は、抽出した手順ＩＤに関連付けられて追加処理が記憶されているか否かを判定する（ステップＳ２０４）。

手順ＩＤに関連付けられて追加処理が記憶されていない場合、表示制御部１１２は、処理をステップＳ２０６へ移行する。一方、手順ＩＤに関連付けられて追加処理が記憶されている場合、表示制御部１１２は、手順ＩＤに関連付けられている追加処理を実行する（ステップＳ２０５）。

表示制御部１１２は、追加処理として、トルクドライバの起動が記憶されている場合、起動させるトルクドライバの識別情報を示す電源ＯＮ信号をシリアルインタフェース回路１０５を介してドライバコントローラ６２０に送信する。これにより、トルクドライバは電源ＯＮ状態になり、使用可能になる。一方、表示制御部１１２は、追加処理として、トルクドライバの停止が記憶されている場合、停止させるトルクドライバの識別情報を示す電源ＯＦＦ信号をシリアルインタフェース回路１０５を介してドライバコントローラ６２０に送信する。これにより、トルクドライバは電源ＯＦＦ状態になり、使用不可になる。

次に、表示制御部１１２は、抽出した手順ＩＤに関連付けられて記憶されているトリガの内の何れかが検出されたか否かを判定する（ステップＳ２０６）。

ボタン押下がトリガである場合、表示制御部１１２は、作業者による入力装置４００の押下を入力インタフェース回路１０２を介して受け付けたときにトリガを検出したと判定する。一方、特定の部品箱からの取付部品の取り出しがトリガである場合、表示制御部１１２は、その部品箱の識別情報を示す取出信号を通信回路１０１を介して受信したときにトリガを検出したと判定する。一方、トルクドライバによる取付部品の取付完了がトリガである場合、表示制御部１１２は、そのトルクドライバの識別情報を示す取付完了信号をシリアルインタフェース回路１０５を介して受信したときにトリガを検出したと判定する。一方、取付部品の取付失敗がトリガである場合、表示制御部１１２は、トルクドライバを電源ＯＮ状態にしてから所定時間経過してもそのトルクドライバの識別情報を示す取付完了信号を受信しなかったときにトリガを検出したと判定する。

このように、表示制御部１１２は、ユーザによる入力、又は、センサによって検出された作業結果に従って、画像投影装置２００に対して出力する画像を切り替える。

表示制御部１１２は、トリガを検出すると、検出したトリガに対応する次手順ＩＤを読み出し、次に実行される手順が存在するか否かを判定する（ステップＳ２０７）。次に実行される手順が存在する場合、表示制御部１１２は、処理をステップＳ２０２へ戻し、ステップＳ２０２〜Ｓ２０７の処理を繰り返す。一方、次に実行される手順が存在しない場合、表示制御部１１２は、一連のステップを終了する。

図９、１０Ａ、１０Ｂ、１１Ａ、１１Ｂは、載置台３００に投影される投影画像の一例を示す模式図である。以下、図９、１０Ａ、１０Ｂ、１１Ａ、１１Ｂ、１２Ａ、１２Ｂを用いて、図５の手順テーブルに示された各手順がどのように実行されるかについて説明する。

最初に、作業者により入力装置４００が押下されると、表示制御部１１２は、手順ＩＤ「０１」に対応する投影画像を画像投影装置２００に投影させる。図９に示す画像９００は、手順ＩＤ「０１」に対応する投影画像の一例である。画像９００には、組立対象物３０１の内、組立対象物３０１に取り付ける取付部品であるコネクタを取り付けるべき領域３０３が拡大表示され、領域３０３に対してコネクタを取り付ける具体的な作業内容が動画像により表示される。作業者は、組立対象物３０１自体と、具体的な作業内容とを同時に見ることができるので、作業内容を理解し易くなる。したがって、組立支援システム１は、作業者の利便性を向上させることが可能となる。

なお、画像９００には、組立対象物３０１のＣＡＤ図面、組立手順書自体等が表示されてもよい。その場合も、作業者は、組立対象物３０１自体と、ＣＡＤ図面、組立手順書等とを比較しながら見ることができるので、作業者の利便性が向上する。

次に、画像９００を確認した作業者により入力装置４００が押下されると、表示制御部１１２は、手順ＩＤ「０２」に対応する投影画像を画像投影装置２００に投影させる。図１０Ａに示す画像９１０は、手順ＩＤ「０２」に対応する投影画像の一例である。画像９１０には、複数の部品箱５００〜５０６のうち、組立対象物３０１に取り付けるべきコネクタが格納された部品箱５０４を指し示す矢印９１１が点滅表示される。

次に、部品箱５０４以外の部品箱からのコネクタの取り出しが検出されると、表示制御部１１２は、手順ＩＤ「１０」に対応する投影画像を画像投影装置２００に投影させる。手順ＩＤ「１０」に対応する投影画像は、誤った部品が取り出されたことを作業者に通知する画像である。一方、部品箱５０４からのコネクタの取り出しが検出されると、表示制御部１１２は、手順ＩＤ「０３」に対応する投影画像を画像投影装置２００に投影させる。図１０Ｂに示す画像９２０は、手順ＩＤ「０３」に対応する投影画像の一例である。画像９２０には、動画像により、部品箱５０４から取り出されたコネクタ９２１が、組立対象物３０１に取り付けられる取付方向に向けて、載置台３００に一旦載置しておく載置位置９２３まで、矢印９２２に沿って移動するように表示される。載置位置９２３は、組立対象物３０１が載置されている領域とは重ならない、組立対象物３０１の周辺位置である。

次に、画像９２０に従ってコネクタを載置位置９２３に載置した作業者により入力装置４００が押下されると、表示制御部１１２は、手順ＩＤ「０４」に対応する投影画像を画像投影装置２００に投影させる。図１１Ａに示す画像９３０は、手順ＩＤ「０４」に対応する投影画像の一例である。画像９３０には、動画像により、コネクタ９３１が、矢印９３２、即ち組立対象物３０１に取り付けられる取付方向に沿って、載置位置９３３からコネクタ９３１を取り付ける組立対象物３０１の取付位置９３４まで移動するように表示される。

図１１Ｂは、図１１Ａの拡大図である。図１１Ｂに示すように、コネクタ９３１の第１接続部９４０は、組立対象物３０１の第１取付位置９４１にはめ込まれ、コネクタ９３１の第２接続部９４２は、図１１Ｂにおける下方側から上方側に向かって組立対象物３０１の第２取付位置９４３に差し込まれる。

図１０Ｂに示した画像９２０では、載置位置９２３において、第１接続部９４０と第２接続部９４２の位置関係と、第１取付位置９４１と第２取付位置９４３の位置関係とが同一になるように、コネクタ９２１が載置される。即ち、画像９２０では、コネクタ９２１は、組立対象物３０１に取り付けられる状態と同一の方向に向けて載置される。

一方、図１１Ｂに示す画像９３０では、コネクタ９３１は、第１接続部９４０と第２接続部９４２の位置関係が、第１取付位置９４１と第２取付位置９４３の位置関係と同一になるように維持されたまま移動していく。即ち、画像９３０では、コネクタ９３１は、組立対象物３０１に取り付けられる状態と同一の方向を向きながら移動する。そして、画像９３０では、コネクタ９３１は、載置位置９３３から、取付位置９３４の下方位置９４４まで水平方向に移動し、下方位置９４４から取付位置９３４まで垂直方向に移動する。

なお、画像９３０において、コネクタ９３１は、取付位置９３４まで移動するように表示される必要はなく、取付位置９３４の近傍まで移動するように表示されればよい。取付位置の近傍は、一般に作業者が取付位置を認識することができる範囲に定められる。

次に、画像９３０に従ってコネクタ９３１を組立対象物３０１に取り付けた作業者により入力装置４００が押下されると、表示制御部１１２は、手順ＩＤ「０５」に対応する投影画像を画像投影装置２００に投影させる。手順ＩＤ「０５」に対応する投影画像は、次に組立対象物３０１に取り付ける取付部品に対応する画像である。以降、全ての取付部品が組立対象物３０１に取り付けられるまで、各投影画像が順次表示されていく。

なお、各部品の取付作業は、一個毎に実行されなくてもよい。例えば、複数の部品がまとめて各部品箱から取り出され、それぞれ所定の載置位置へ一旦載置され、その後、組立対象物３０１に順次取り付けられるように、手順テーブル及び各投影画像が作成されてもよい。

また、情報処理装置１００は、コネクタ９３１の載置位置９２３への載置、又は組立対象物３０１への取り付けを、作業者による入力装置４００の押下により検出するのではなく、画像により自動的に検出してもよい。

その場合、表示制御部１１２は、載置位置９２３へ正しく載置されたコネクタ９３１、又は組立対象物３０１へ正しく取り付けられたコネクタ９３１を撮像装置７００により撮像した画像を基準画像として記憶装置１０６に記憶しておく。表示制御部１１２は、予め、基準画像から、コネクタ９３１、組立対象物３０１、載置台３００等について予め定められた特徴的な部分を示す特徴点を抽出しておく。表示制御部１１２は、各特徴点として、コネクタ９３１又は組立対象物３０１の各部品の外周を構成する辺及び角、各部品に印刷された文字、模様、各部品の端子等を抽出する。そのために、表示制御部１１２は、基準画像に対してエッジ抽出処理を行い、周辺画素との輝度差が所定値以上であるエッジ画素を抽出し、抽出したエッジ画素の位置、パターン等に基づいて特徴量を求める。

一方、表示制御部１１２は、撮像装置７００が、作業者による作業中に、組立対象物３０１が載置された載置台３００を撮影した撮影画像を取得する。表示制御部１１２は、撮影画像に対しても基準画像と同様に、エッジ画素を抽出し、抽出したエッジ画素の位置、パターン等に基づいて特徴量を求める。表示制御部１１２は、基準画像から抽出した特徴点と、撮影画像から抽出された特徴点について、対応する特徴点同士の位置関係の一致の程度を一致度として算出する。そして、表示制御部１１２は、一致度が所定の閾値以上である場合に、基準画像と撮影画像が略一致すると判定し、コネクタ９３１が載置位置９２３へ載置された、又は組立対象物３０１へ取り付けられたと判定する。

また、取付部品の取付作業にトルクドライバが用いられる場合、表示制御部１１２は、対応する投影画像を表示するとともに、対応するトルクドライバの電源をＯＮにする。対応するトルクドライバ以外のトルクドライバの電源はＯＮにならないため、誤ったトルクトライバの使用が防止される。また、表示制御部１１２は、トルクドライバによる取付部品の取り付けが完了した場合、又は、失敗した場合、対応するトルクドライバの電源をＯＦＦにし、それぞれに対応する投影画像を表示する。

図１２Ａ、１２Ｂは、載置台３００に投影される投影画像の他の例を示す模式図である。

図１２Ａ、１２Ｂに示す画像９５０では、組立対象物３０１の裏面に取り付けられる外枠９５１が、取付部品の例である。外枠９５１は、組立対象物３０１に取り付けるためのツメ９５２を有する。画像９５０では、外枠９５１は、図１１Ａ、１１Ｂに示したコネクタ９３１と同様に、組立対象物３０１の周辺位置９５４から取付位置９５５の近傍まで、矢印９５３に沿って移動する。また、図１２Ｂに示すように、外枠９５１が取付位置９５５の近傍に到達すると、ツメ９５２を組立対象物３０１の裏側にはめるように、外枠９５１を傾けることを指示する矢印９６１及び外枠９５１を傾けていく様子９６２が表示される。続いて、図１２Ｂに示すように、外枠９５１を上方に向かってスライドさせることを指示する矢印９６３及び外枠９５１をスライドさせていく様子９６４が表示される。

上記の通り、情報処理装置１００は、コネクタ９３１が、組立対象物３０１に取り付けられる取付方向に沿って、組立対象物３０１の周辺位置９３３から取付位置９３４まで移動するような投影画像９３０を画像投影装置２００に投影させる。これにより、作業者は、紙面による組立手順書等を閲覧することなく、組立対象物３０１自体のみを目視することにより、コネクタ９３１を組立対象物３０１にどのように取り付けるかを容易且つ確実に理解することができる。

また、情報処理装置１００は、投影画像９３０を画像投影装置２００に投影させる前に、複数の部品箱５００〜５０６のうち、投影画像９３０に表示されるコネクタ９３１が格納された部品箱５０４を指し示す投影画像９１０を画像投影装置２００に投影させる。これにより、作業者は、複数の部品箱５００〜５０６の中から、コネクタ９３１が格納された部品箱５０４を容易且つ確実に選択することができる。

また、情報処理装置１００は、投影画像９３０を画像投影装置２００に投影させる前に、投影画像９３０に表示されるコネクタ９３１が、取付方向に向けて載置位置９２３まで移動するような投影画像９２０を画像投影装置２００に投影させる。これにより、作業者がコネクタ９３１の取り付け方を誤ってしまう可能性が低減する。

以上詳述したように、情報処理装置１００が図７、８に示したフローチャートに従って動作することによって、ユーザは、組立対象物を目視しながら、組立対象物への部品の取り付け方を容易且つ確実に理解できるようになった。したがって、組立支援システム１は、ユーザによる組立対象物への部品の取り付け作業におけるユーザの作業効率及び利便性を向上させることが可能となった。

以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、各投影画像及び手順テーブルは、情報処理装置１００ではなく他の装置によって作成され、情報処理装置１００に送信されてもよい。また、情報処理装置１００は、上記した全ての種類の投影画像を表示させるのではなく、上記した投影画像の内の何れかについては表示を省略してもよい。これらによっても、組立支援システム１は、ユーザによる組立対象物への部品の取り付け作業におけるユーザの作業効率及び利便性を向上させることが可能となる。

１ 組立支援システム
１００ 情報処理装置
２００ 画像投影装置
３００ 載置台
４００ 入力装置
５００〜５０６ 部品箱
６００、６０１ トルクドライバ
７００ 撮像装置

Claims (7)

1. 組立対象物を載置する載置台と、
   前記組立対象物が載置された前記載置台に向けて画像を投影する画像投影装置と、
   前記組立対象物に取り付ける取付部品が、前記組立対象物に取り付けられる取付方向に沿って、前記組立対象物の周辺位置から前記取付部品を取り付ける前記組立対象物の取付位置近傍まで移動するように、前記取付部品の位置が変化する動画像である投影画像を前記画像投影装置に対して出力する情報処理装置と、
   を有することを特徴とする組立支援システム。
2. 前記載置台の上に、又は、前記載置台に隣接する位置に、複数の前記取付部品のそれぞれが格納された複数の部品箱が配置され、
   前記情報処理装置は、さらに、前記投影画像を前記画像投影装置に対して出力する前に、前記複数の部品箱のうち、前記投影画像に表示される取付部品が格納された部品箱を指し示す第２投影画像を前記画像投影装置に対して出力する、請求項１に記載の組立支援システム。
3. 前記情報処理装置は、さらに、前記投影画像を前記画像投影装置に対して出力する前に、前記投影画像に表示される取付部品が、前記取付方向に向けて前記載置台に一旦載置しておく載置位置まで移動するような第３投影画像を前記画像投影装置に対して出力する、請求項１または２に記載の組立支援システム。
4. ユーザによる入力を受け付け、前記情報処理装置に対して出力する入力装置をさらに有し、
   前記情報処理装置は、前記ユーザによる入力に従って、前記画像投影装置に対して出力する画像を切り替える、請求項１〜３の何れか一項に記載の組立支援システム。
5. ユーザによる作業結果を検出し、前記情報処理装置に対して出力するセンサをさらに有し、
   前記情報処理装置は、前記センサによって検出された作業結果に従って、前記画像投影装置に対して出力する画像を切り替える、請求項１〜４の何れか一項に記載の組立支援システム。
6. 組立対象物を載置する載置台と、画像投影装置と、情報処理装置とを有する組立支援システムにおける組立支援方法であって、
   前記情報処理装置が、前記組立対象物に取り付ける取付部品が、前記組立対象物に取り付けられる取付方向に沿って、前記組立対象物の周辺位置から前記取付部品を取り付ける前記組立対象物の取付位置近傍まで移動するように、前記取付部品の位置が変化する動画像である投影画像を前記画像投影装置に対して出力し、
   前記画像投影装置が、前記組立対象物が載置された前記載置台に向けて前記投影画像を投影する、
   ことを含むことを特徴とする組立支援方法。
7. 組立対象物を載置する載置台と、前記組立対象物が載置された前記載置台に向けて画像を投影する画像投影装置と、記憶部及び出力部を有する情報処理装置とを有する組立支援システムにおける前記情報処理装置に実行させる制御プログラムであって、
   前記組立対象物に取り付ける取付部品が、前記組立対象物に取り付けられる取付方向に沿って、前記組立対象物の周辺位置から前記取付部品を取り付ける前記組立対象物の取付位置近傍まで移動するように、前記取付部品の位置が変化する動画像である投影画像を前記記憶部に記憶し、
   前記投影画像を前記画像投影装置に対して前記出力部に出力させる、
   ことを前記情報処理装置に実行させることを特徴とする制御プログラム。

Images