JP6617061B2 - 作業支援プログラム、作業支援方法、情報処理装置、及び作業支援システム - Google Patents

Description

本発明は、作業支援プログラム、作業支援方法、情報処理装置、及び作業支援システムに関する。

例えば、カスタマエンジニアにより実施されるシステム基盤構築作業等においては、エンジニアは、紙に印刷された、または画面に表示されたシステム構成図や結線図等を見ながら作業を行っている。この場合、作業対象の装置と紙や画面との間における視線の移動があるため、作業ミスが発生する可能性が高い。

これに対し、最近では、作業対象設備に作業情報を直接投影する技術が知られている（例えば特許文献１、２等参照）。

特開２００１−２８２３４９号公報 特開２０１１−４４７７３号公報

しかしながら、従来においては、作業対象設備に情報を正しく投影するためには、機器のキャリブレーション等の準備作業が必要であり、多くのパラメータを求めるための複雑な計算が必要である。

１つの側面では、本発明は、複雑な計算を行わなくても、作業支援画像を作業対象機器に投影することが可能な作業支援プログラム、作業支援方法、情報処理装置及び作業支援システムを提供することを目的とする。

一つの態様では、作業支援プログラムは、投影装置を用いて作業対象機器に対して作業支援画像を投影する処理をコンピュータに実行させる作業支援プログラムであって、前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得し、前記作業対象機器を撮影する撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換し、変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成し、前記投影装置に投影させる、処理をコンピュータに実行させるプログラムである。

複雑な計算を行わなくても、作業支援画像を作業対象機器に投影することができる。

一実施形態に係る作業支援システムの構成を概略的に示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置の機能ブロック図である。 図４（ａ）は、ポート座標リストのデータ構造の一例を示す図であり、図４（ｂ）は、作業対象機器の一例を示す図であり、図４（ｃ）は、手順リストのデータ構造の一例を示す図である。 準備段階における情報処理装置の処理を示すフローチャートである。 機器の配置及びカメラ及びプロジェクタの配置を模式的に示す図である。 図７（ａ）は、矩形の投影画像を示す図であり、図７（ｂ）は、矩形を機器１に投影した場合のカメラ画像を示す図である。 図８（ａ）、図８（ｂ）は、第１のホモグラフィの計算方法について説明するための図である。 図９（ａ）、図９（ｂ）は、第２のホモグラフィの計算方法について説明するための図である。 作業支援時の情報処理装置の処理を示すフローチャートである。 図１１（ａ）、図１１（ｂ）は、プロジェクタによるマーカの投影について説明するための図である。

以下、作業支援システムの一実施形態について、図１〜図１１に基づいて詳細に説明する。

図１には、一実施形態に係る作業支援システム１００の構成が概略的に示されている。作業支援システム１００は、カスタマエンジニア（以下、作業者と呼ぶ）がシステム基盤構築作業を行う際に、次に行うべき作業内容を作業対象機器５０に投影することで、作業者による作業を支援するシステムである。

作業支援システム１００は、図１に示すように、投影装置としてのプロジェクタ１０と、撮影装置としてのカメラ２０と、情報処理装置３０とを備える。なお、情報処理装置３０とプロジェクタ１０との間、情報処理装置３０とカメラ２０との間は、ＵＳＢ（Universal Serial Bus）ケーブル等により接続されているものとする。ただし、これに限らず、情報処理装置３０と、プロジェクタ１０及びカメラ２０の少なくとも一方とが一体的に構成されていてもよい。

プロジェクタ１０は、情報処理装置３０の指示の下、作業対象機器５０に対して作業支援画像を投影する装置である。

カメラ２０は、作業対象機器５０を撮影し、撮影した画像を情報処理装置３０に入力する。

情報処理装置３０は、例えば、ノートＰＣ（Personal Computer）や、タブレット型端末などである。情報処理装置３０は、プロジェクタ１０及びカメラ２０を制御し、カメラ２０において撮影された画像や、予め準備されている作業の手順を示す手順リストなどに基づいて、プロジェクタ１０に作業支援画像を投影するよう指示を出す。

図２には、情報処理装置３０のハードウェア構成が概略的に示されている。図２に示すように、情報処理装置３０は、ＣＰＵ（Central Processing Unit）９０、ＲＯＭ（Read Only Memory）９２、ＲＡＭ（Random Access Memory）９４、記憶部（ここではＨＤＤ（Hard Disk Drive））９６、入出力インタフェース８９、ネットワークインタフェース９７、表示部９３、入力部９５、及び可搬型記憶媒体用ドライブ９９等を備えている。これら情報処理装置３０の構成各部は、バス９８に接続されている。入出力インタフェース８９は、ＵＳＢ等であり、プロジェクタ１０やカメラ２０が接続される。表示部９３は、液晶ディスプレイ等であり、入力部９５は、キーボードやマウス、タッチパネル等を含む。情報処理装置３０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（作業支援プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（作業支援プログラムを含む）をＣＰＵ９０が実行することにより、図３に示す、各部としての機能が実現される。

図３は、ＣＰＵ９０がプログラムを実行することにより実現されている機能を示す機能ブロック図である。図３に示すように、ＣＰＵ９０は、事前準備部６０及び作業支援部７０として機能する。なお、図３においては、ＨＤＤ９６等に格納されているポート座標リスト８０及び手順リスト８２についても図示されている。

事前準備部６０は、プロジェクタ１０とカメラ２０が作業現場に設置された状態で、プロジェクタ１０とカメラ２０のキャリブレーションなどの事前準備を実行する。事前準備部６０は、図３に示すように、事前投影部６２と、座標取得部６４と、第１算出部及び第２算出部としてのホモグラフィ計算部６６と、を有する。

事前投影部６２は、事前準備において、プロジェクタ１０に指示を出し、キャリブレーション用の基準形状（本実施形態では、矩形とする）を作業対象機器５０に投影する。

座標取得部６４は、カメラ２０で撮影された画像から、作業対象機器５０に投影した矩形の四隅の座標を取得する。また、座標取得部６４は、カメラ２０で撮影された画像から、作業対象機器５０の四隅の座標を取得する。

ホモグラフィ計算部６６は、座標取得部６４により取得された座標を用いて、カメラ２０が撮影するカメラ画像の座標系とプロジェクタ１０が投影する画像（投影画像）の座標系との間の変換に用いる第１のホモグラフィＨ１と、作業対象機器５０の座標系とカメラ画像の座標系との間の変換に用いる第２のホモグラフィＨ２とを計算する。なお、ホモグラフィは、剛体変換と射影変換の掛け合わせを意味する。剛体変換とは平行移動と回転のみの変換を意味し、射影変換は１つの図形を他の図形に対応させる変換を意味している。

作業支援部７０は、事前準備部６０による事前準備（キャリブレーション）が実行された後に、プロジェクタ１０を介して作業者の作業を支援する。作業支援部７０は、取得部としての情報取得部７２と、変換部としての座標特定部７４と、生成部としての作業支援画像生成部７６と、投影部７８と、を有する。

情報取得部７２は、ホモグラフィ計算部６６が計算したホモグラフィＨ１，Ｈ２を取得する。また、情報取得部７２は、ポート座標リスト８０及び手順リスト８２に格納されているデータを取得する。

ここで、ポート座標リスト８０は、図４（ａ）に示すようなデータ構造を有し、図４（ｂ）に示すような作業対象機器上における、各ポートの位置（例えば中心位置や重心位置）の座標が格納されている。なお、図４（ａ）の座標は、作業対象機器に設定された座標系上の座標でなくてもよく、作業対象機器の画像や設計図に設定された座標系上の座標等であってもよい。なお、ポート座標リスト８０は、作業者等により作業対象機器の種類ごとに作成され、ＨＤＤ９６等に格納されているものとする。また、手順リスト８２には、作業対象機器における各ポートに対する作業の順番が格納されている。なお、手順リスト８２は、作業者等により作業対象機器の種類ごとに作成され、ＨＤＤ９６等に格納されているものとする。情報取得部７２は、手順リスト８２に格納されているポートの情報を上から順に１つずつ読み出し、読み出したポートの座標をポート座標リスト８０から取得する。

座標特定部７４は、情報取得部７２が取得したホモグラフィＨ１，Ｈ２と、作業対象のポートの座標と、に基づいて、作業対象のポートの座標を投影画像上の座標に変換する。すなわち座標特定部７４は、投影画像上において、作業対象のポートの座標に対応する座標を特定する。

作業支援画像生成部７６は、座標特定部７４が特定した、投影画像上における作業対象のポートの座標に基づいて、作業支援を行うための画像（作業支援画像）を生成し、投影部７８に送信する。作業支援画像は、例えば、次に作業を行うべきポートにマーカを投影する画像等である。

投影部７８は、作業支援画像生成部７６が生成した画像（作業支援画像）を投影するよう、プロジェクタ１０に対して指示を出す。

次に、図５及び図１０のフローチャートに沿って、その他図面を適宜参照しつつ、情報処理装置３０の処理について詳細に説明する。

（事前準備）
以下、事前準備について図５のフローチャートに沿って説明する。なお、図５の処理の前提として、作業者は、図６に示すように配置された機器１〜３のうち、機器１に対する作業を行うものとする。また、図６に示すように、機器１の近傍にカメラ２０とプロジェクタ１０が設置されているものとする。なお、プロジェクタ１０は、作業者の邪魔にならないように、機器１の背面の斜め前方に設けられているものとする。

図５のステップＳ１０では、事前投影部６２は、事前準備開始の指示があるまで待機する。すなわち、作業者が情報処理装置３０の入力部９５から事前準備開始の指示を入力した段階で、事前投影部６２は、ステップＳ１２に移行する。なお、作業者は、事前準備開始の指示を入力する際に、どの機器に対する作業の事前準備であるかの情報を入力するものとする。本実施形態では、作業者は機器１に対する作業の事前準備であるという情報を入力したものとする。

ステップＳ１２に移行すると、事前投影部６２は、作業対象機器５０（機器１）に、図７に示すような基準形状（矩形）を投影させるよう、プロジェクタ１０に指示する。プロジェクタ１０は、図７（ａ）に示す投影画像を機器１に対して投影する。この場合、カメラ２０では、例えば、図７（ｂ）に示すように機器１上に矩形が投影された状態を撮影することができる。なお、図７（ｂ）では、プロジェクタ１０が機器１の正面にないため、矩形が歪んだ状態で投影された状態となっている。

次いで、ステップＳ１４では、座標取得部６４は、カメラ２０が撮影したカメラ画像を参照し、投影した矩形の四隅の座標を取得する。なお、矩形の四隅の座標は、図８（ａ）に示すように、カメラ画像上（カメラ画像の座標系上）における位置座標Ｐ１〜Ｐ４である。この場合、矩形の四隅は、作業者が入力部９５を介して特定することができる。あるいは、自動で矩形の四隅を特定することもできる。なお、自動の場合には、座標取得部６４は、カメラ画像にソーベルフィルタをかけ、エッジ検出を行うことで、四隅を特定することができる。

次いで、ステップＳ１６では、座標取得部６４は、カメラ画像から作業対象機器５０（機器１）の四隅の座標を取得する。なお、機器１の四隅の座標は、図９（ａ）に示すように、カメラ画像上（カメラ画像の座標系上）における位置座標Ｑ１〜Ｑ４である。この場合、機器１の四隅は、作業者が入力部９５を介して特定することができる。あるいは、自動で機器１の四隅を特定することもできる。この場合、座標取得部６４は、予め用意されている機器１の画像に基づくテンプレートマッチングにより四隅を特定することができる。

次いで、ステップＳ１８では、ホモグラフィ計算部６６は、ステップＳ１４においてカメラ画像から取得した矩形の四隅の座標Ｐ１〜Ｐ４と、プロジェクタが投影する画像中の矩形の四隅の座標Ｔ１〜Ｔ４（図８（ｂ）参照）を用いて第１のホモグラフィＨ１を計算する。この第１のホモグラフィＨ１は、カメラ画像の座標系と投影画像の座標系との間の変換に用いるホモグラフィであると言える。

次いで、ステップＳ２０では、ホモグラフィ計算部６６は、作業対象機器５０（機器１）上における作業対象機器５０（機器１）の四隅の座標Ｌ１〜Ｌ４（図９（ｂ）参照）と、カメラ画像から取得した作業対象機器５０（機器１）の四隅の座標Ｑ１〜Ｑ４を用いて第２のホモグラフィＨ２を計算する。この第２のホモグラフィＨ２は、作業対象機器５０（機器１）の座標系とカメラ画像の座標系との間の変換に用いるホモグラフィであると言える。

次いで、ステップＳ２２に移行すると、ホモグラフィ計算部６６は、事前準備終了を情報処理装置３０の表示部９３等を介して作業者に対して通知する。以上により、図５の全処理が終了する。

（作業支援）
次に、図１０に基づいて、情報処理装置３０による作業支援処理について詳細に説明する。図１０の処理の前提として、すでに図５の事前準備は終了しているものとする。

図１０の処理では、まず、ステップＳ１００において、情報取得部７２が、作業開始の指示があるまで待機する。すなわち、情報取得部７２は、作業者が情報処理装置３０の入力部９５から作業開始の指示を入力した段階で、ステップＳ１０２に移行する。

ステップＳ１０２に移行すると、情報取得部７２は、手順リスト８２（図４（ｃ））から作業対象のポート情報を上から順に１つ読み込む。次いで、ステップＳ１０４では、情報取得部７２は、読み込んだ作業対象のポート情報に対応する位置座標Ｒを取得する。なお、位置座標Ｒは、作業対象機器５０（機器１）上の座標である。

次いで、ステップＳ１０６では、座標特定部７４は、Ｈ１Ｈ２Ｒを計算し、機器１上の位置座標Ｒをプロジェクタ１０の投影画像上に変換した座標を特定する。

次いで、ステップＳ１０８では、作業支援画像生成部７６は、ステップＳ１０６で特定した座標に基づいて、投影する画像（作業支援画像）を生成する。この場合、作業支援画像生成部７６は、図１１（ａ）に示すようなマーカを作業対象機器５０（機器１）上に投影するために、図１１（ｂ）に示すようなマーカの投影画像（作業支援画像）を生成する。マーカの投影画像は、特定した座標を中心とする所定半径の円の画像である。なお、マーカの投影画像としては、所定のサイズの矩形の画像であってもよいし、その他の画像であってもよい。また、ステップＳ１０８では、投影部７８が、プロジェクタ１０を介して、作業支援画像生成部７６が生成した画像（作業支援画像）を機器１に投影（プロジェクションマッピング）する。

次いで、ステップＳ１１０では、情報取得部７２が、作業完了ボタンが押されるまで待機する。作業者が入力部９５を介して、作業完了ボタンを押した場合、情報取得部７２は、ステップＳ１１２に移行する。

ステップＳ１１２に移行すると、情報取得部７２は、手順リスト８２を参照し次の作業対象が残っているか否かを判断する。このステップＳ１１２の判断が肯定された場合には、ステップＳ１０２に戻り、上記と同様にしてステップＳ１０２〜Ｓ１１２の処理・判断をステップＳ１１２の判断が否定されるまで繰り返す。これにより、作業対象機器のうち、作業者が次に作業すべき位置にマーカを投影することができるので、設計書や手順書を見ながら作業を行う場合と比べて、作業者はミスすることなく作業を行うことが可能となる。

一方、ステップＳ１１２の判断が否定された場合、すなわち、作業者が手順リスト８２に載っている全ての作業対象に対する作業を行った場合には、ステップＳ１１４に移行し、情報取得部７２は、表示部９３を介して作業終了を通知する。以上により、図１０の全処理が終了する。

ここで、通常、カメラキャリブレーションで計算するカメラパラメータは自由度が１１自由度存在するため、図１のようなカメラ１台の構成では、全自由度を計算することができない。これに対し、本実施形態では、作業対象機器５０の背面（投影面）を平面と仮定することで、８自由度まで削減でき、ホモグラフィとして表現することができる。これにより、高価な装置を用意したり、複雑な計算を行ったりしなくても、適切な位置に作業支援画像であるマーカを投影することが可能となっている。

以上、詳細に説明したように、本実施形態によると、作業支援システム１００において、情報取得部７２は、作業対象機器５０が有する複数のポートのうちの作業対象のポートを手順リスト８２に基づいて特定し、作業対象機器５０の画像上における作業対象のポートの位置座標をポート座標リスト８０から取得する。そして、座標特定部７４は、カメラ画像の座標系と投影画像の座標系との間の変換に用いる第１のホモグラフィＨ１と、作業対象機器５０の座標系とカメラ画像の座標系との間の変換に用いる第２のホモグラフィＨ２とを用いて、取得した作業対象のポートの位置座標Ｒを投影画像上の位置座標に変換する。すなわち、投影画像上において取得した作業対象のポートの位置座標Ｒに対応する座標を特定する。また、作業支援画像生成部７６は、変換後の位置座標に基づいて、投影装置が投影する作業支援画像を生成し、投影部７８は、生成した作業支援画像をプロジェクタ１０に投影させる。すなわち、本実施形態では、作業対象機器５０の背面（投影面）を平面と仮定し、ホモグラフィＨ１，Ｈ２を用いて作業対象機器５０に投影する投影画像を生成して投影する。これにより、ステレオカメラや特別なセンサ等を用いずに簡易な処理により作業支援画像を作業対象機器５０に直接投影することができる。また、作業支援画像を作業対象機器５０に直接投影するので、作業者は、設計書や手順書を見なくても作業を行うことができるようになる。これにより、作業者による作業ミスの発生を低減することができる。

また、本実施形態では、プロジェクタ１０を作業対象機器５０の正面に配置しなくてもよいため、作業者が邪魔になり作業対象機器５０に画像を投影できなくなるという事態の発生を抑制することができる。

また、本実施形態では、ホモグラフィ計算部６６は、カメラ２０で撮影した、プロジェクタ１０が投影した矩形の四隅の位置座標Ｐ１〜Ｐ４と、投影画像上における矩形の四隅の位置座標Ｔ１〜Ｔ４とに基づいて第１のホモグラフィＨ１を算出する。これにより、座標変換に用いる第１のホモグラフィＨ１を簡易に求めることが可能となる。

また、本実施形態では、ホモグラフィ計算部６６は、作業対象機器５０上における作業対象機器５０の四隅の位置座標Ｑ１〜Ｑ４と、カメラ画像中の作業対象機器５０の四隅の位置座標Ｌ１〜Ｌ４と、に基づいて第２のホモグラフィＨ２を算出する。これにより、座標変換に用いる第２のホモグラフィＨ２を簡易に求めることが可能となる。

なお、上記実施形態では、プロジェクタ１０を１つ用意する場合について説明したが、これに限られるものではない。例えば、複数のプロジェクタ１０を用意し、画像を投影する必要のある範囲を各プロジェクタ１０に分担させてもよい。これにより、画像を投影する必要のある範囲が広い場合にも、複数のプロジェクタ１０でカバーすることができる。また、例えば、複数のプロジェクタ１０それぞれが、同一位置に同一のマーカを投影するようにしてもよい。この場合、一部のプロジェクタ１０によるマーカの投影が作業者によって遮られるような事態が発生しても、他のプロジェクタ１０により投影されたマーカにより、作業支援を行うことができる。

なお、上記実施形態では、情報取得部７２は、手順リスト８２に基づいて、次の作業対象のポートの情報を取得する場合について説明したが、これに限られるものではない。例えば、作業者をサポートする人が、次の作業対象のポートの情報を入力した場合に、情報取得部７２が当該情報を取得するようにしてもよい。この場合、サポートをする人が入力したポートに対して、マーカが表示されるようになる。

なお、上記実施形態では、マーカを表示する場合について説明したが、これに限られるものではない。投影部７８は、マーカ以外の情報を投影することとしてもよい。また、投影部７８は、マーカの色を変更することで、作業内容を表現してもよいし、作業内容を示す文字等を表示してもよい。また、例えば、マーカが表示された作業対象機器の背面の画像を、作業対象機器の背面にプロジェクションマッピングすることとしてもよい。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

なお、以上実施形態の説明に関して、更に以下の付記を開示する。
（付記１） 投影装置を用いて作業対象機器に対して作業支援画像を投影する処理をコンピュータに実行させる作業支援プログラムであって、
前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得し、
前記作業対象機器を撮影する撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換し、
変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成し、前記投影装置に投影させる、
処理を前記コンピュータに実行させることを特徴とする作業支援プログラム。
（付記２） 前記投影装置が投影する画像上における基準形状上の第１の特定点の位置座標と、前記投影装置が投影した前記基準形状を前記撮影装置で撮影した画像上における前記第１の特定点の位置座標と、に基づいて前記第１のホモグラフィを算出する、処理を前記コンピュータに実行させることを特徴とする付記１に記載の作業支援プログラム。
（付記３） 前記作業対象機器上における第２の特定点の位置座標と、前記撮影装置が撮影した画像上における前記第２の特定点の位置座標と、に基づいて前記第２のホモグラフィを算出する、処理を前記コンピュータに実行させることを特徴とする付記１又は２に記載の作業支援プログラム。
（付記４） 投影装置を用いて作業対象機器に対して作業支援画像を投影する作業支援方法であって、
前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得し、
前記作業対象機器を撮影する撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換し、
変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成し、前記投影装置に投影させる、
処理をコンピュータが実行することを特徴とする作業支援方法。
（付記５） 前記投影装置が投影する画像上における基準形状上の第１の特定点の位置座標と、前記投影装置が投影した前記基準形状を前記撮影装置で撮影した画像上における前記第１の特定点の位置座標と、に基づいて前記第１のホモグラフィを算出する、処理を前記コンピュータが実行することを特徴とする付記４に記載の作業支援方法。
（付記６） 前記作業対象機器上における第２の特定点の位置座標と、前記撮影装置が撮影した画像上における前記第２の特定点の位置座標と、に基づいて前記第２のホモグラフィを算出する、処理を前記コンピュータが実行することを特徴とする付記４又は５に記載の作業支援方法。
（付記７） 投影装置を用いて作業対象機器に対して作業支援画像を投影する情報処理装置であって、
前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得する取得部と、
前記作業対象機器を撮影する撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換する変換部と、
変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成する生成部と、
前記生成部が生成した前記作業支援画像を前記投影装置に投影させる投影部と、
を備える情報処理装置。
（付記８） 前記投影装置が投影する画像上における基準形状上の第１の特定点の位置座標と、前記投影装置が投影した前記基準形状を前記撮影装置で撮影した画像上における前記第１の特定点の位置座標と、に基づいて前記第１のホモグラフィを算出する第１算出部を備える付記７に記載の情報処理装置。
（付記９） 前記作業対象機器上における第２の特定点の位置座標と、前記撮影装置が撮影した画像上における前記第２の特定点の位置座標と、に基づいて前記第２のホモグラフィを算出する第２算出部を備える付記７又は８に記載の情報処理装置。
（付記１０） 作業対象機器に対して作業支援画像を投影する投影装置と、
前記作業対象機器を撮影する撮影装置と、
前記投影装置を用いて前記作業対象機器に対して作業支援画像を投影する情報処理装置と、を備え、
前記情報処理装置は、
前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得する取得部と、
前記撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換する変換部と、
変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成する生成部と、
前記生成部が生成した前記作業支援画像を前記投影装置に投影させる投影部と、を有することを特徴とする作業支援システム。

１０ プロジェクタ（投影装置）
２０ カメラ（撮影装置）
３０ 情報処理装置
５０ 作業対象機器
６６ ホモグラフィ計算部（第１算出部、第２算出部）
７２ 情報取得部（取得部）
７４ 座標特定部（変換部）
７６ 作業支援画像生成部（生成部）
７８ 投影部
１００ 作業支援システム

Claims (6)

1. 投影装置を用いて作業対象機器に対して作業支援画像を投影する処理をコンピュータに実行させる作業支援プログラムであって、
   前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得し、
   前記作業対象機器を撮影する撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換し、
   変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成し、前記投影装置に投影させる、
   処理を前記コンピュータに実行させることを特徴とする作業支援プログラム。
2. 前記投影装置が投影する画像上における基準形状上の第１の特定点の位置座標と、前記投影装置が投影した前記基準形状を前記撮影装置で撮影した画像上における前記第１の特定点の位置座標と、に基づいて前記第１のホモグラフィを算出する、処理を前記コンピュータに実行させることを特徴とする請求項１に記載の作業支援プログラム。
3. 前記作業対象機器上における第２の特定点の位置座標と、前記撮影装置が撮影した画像上における前記第２の特定点の位置座標と、に基づいて前記第２のホモグラフィを算出する、処理を前記コンピュータに実行させることを特徴とする請求項１又は２に記載の作業支援プログラム。
4. 投影装置を用いて作業対象機器に対して作業支援画像を投影する作業支援方法であって、
   前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得し、
   前記作業対象機器を撮影する撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換し、
   変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成し、前記投影装置に投影させる、
   処理をコンピュータが実行することを特徴とする作業支援方法。
5. 投影装置を用いて作業対象機器に対して作業支援画像を投影する情報処理装置であって、
   前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得する取得部と、
   前記作業対象機器を撮影する撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換する変換部と、
   変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成する生成部と、
   前記生成部が生成した前記作業支援画像を前記投影装置に投影させる投影部と、
   を備える情報処理装置。
6. 作業対象機器に対して作業支援画像を投影する投影装置と、
   前記作業対象機器を撮影する撮影装置と、
   前記投影装置を用いて前記作業対象機器に対して作業支援画像を投影する情報処理装置と、を備え、
   前記情報処理装置は、
   前記作業対象機器が有する複数の部位から作業対象の部位を特定し、特定した前記部位の前記作業対象機器上の位置座標を取得する取得部と、
   前記撮影装置が撮影した画像の座標系と前記投影装置が投影する画像の座標系との間の変換に用いる第１のホモグラフィと、前記作業対象機器の座標系と前記撮影装置が撮影した画像の座標系との間の変換に用いる第２のホモグラフィとを用いて、取得した前記位置座標を前記投影装置が投影する画像上の位置座標に変換する変換部と、
   変換後の前記位置座標に基づいて、前記投影装置が投影する前記作業支援画像を生成する生成部と、
   前記生成部が生成した前記作業支援画像を前記投影装置に投影させる投影部と、を有することを特徴とする作業支援システム。

Images