JP7065795B2 - データ作成システム及びデータ作成方法 - Google Patents

Description

本発明は、例えば、拡張現実技術を用いて例えばプラント又は工場などの現場における作業者を支援する作業支援システムにおいて、作業を支援するために必要となる作業支援用データなどのデータを効率的に構築する技術に関するものである。

拡張現実を用いた作業支援システムを実現するためには、作業手順書などの作業内容に関する情報と、個々の作業内容と作業者が作業を行う空間である作業空間（作業環境）における特定の箇所との対応関係を表す情報をあらかじめ設定しておく必要がある。特に、拡張現実の特徴である作業環境中への情報の重ね合わせ表示を行うためには、後者の情報、すなわち作業環境への情報の対応付けが重要である。

拡張現実において作業環境への情報の対応付けを行う方法としては、あらかじめサイズ及び形状が既知であるＡＲマーカー又は特定の画像をマーカーとして用いる方法がよく知られている。また、特開２００８－３９６１１号公報（特許文献１）および特開２０１６－６６３６０号公報（特許文献２）では、作業環境中に設置されている文字列をマーカーとして用いて、作業環境への情報の対応付けを実現する技術が公開されている。特許文献１では、作業環境を撮影した画像中から文字列を認識し、認識された文字列の状態から文字列に対するカメラの位置姿勢を推定し、推定結果に基づいて仮想物体を表示している。一方、特許文献２では、特許文献１と同様に文字列に対するカメラの位置姿勢を推定して仮想物体を表示するとともに、認識された文字列を特徴点に基づいて追跡する。

上述した技術は、作業環境中で作業が実施されるそれぞれの箇所に対応付けられている情報は既知であるという前提での情報提示技術である。一方、拡張現実を用いた作業支援システムに必要となる作業支援用データを構築する際には、作業環境中のそれぞれの箇所に対して位置及び向きを考慮しながら、対応する作業内容を設定していく必要があるため、手間を要する作業となり、このような作業を効率化するための技術が重要となる。拡張現実による作業支援システムを実現する作業支援用データの作成を効率化するための技術としては、国際公開ＷＯ２０１５／１７３８８２号（特許文献３）および国際公開ＷＯ２０１５／１０７６６５号（特許文献４）がある。特許文献３では、三次元カメラによって作業環境の三次元モデルを取得するとともに、作業環境中の作業対象に対する作業者の姿勢及び動作を三次元カメラにより検出し、検出された動作が所定の動作である場合、検出された動作が行われた作業領域に対して、検出された動作に基づいた作業対象への操作状況を示すコンテンツを生成する。特許文献４では、作業空間を撮影した複数枚の全景画像から作業空間の三次元モデルを構築するとともに、各作業時の状況を撮影した作業視点画像と三次元モデルとの対応関係を求めることによって、個々の作業内容と三次元モデル上に登録されている作業対象との対応付けを効率化する。

特開２００８－３９６１１号公報 特開２０１６－６６３６０号公報 国際公開ＷＯ２０１５／１７３８８２号 国際公開ＷＯ２０１５／１０７６６５号

特許文献１および特許文献２では、作業環境中に設置された文字列に基づいて拡張現実による情報提示を行うことができる。プラント又は工場などの作業環境中には、作業者が作業を実行する箇所である作業対象の周囲に作業対象に関連する文字列が設置されている場合が多いため、マーカーの管理を容易にすることによって作業支援用データの構築を効率化することができる。一方、特許文献３および特許文献４では、作業環境中における個々の作業対象の箇所及び作業が実行されている箇所を効率的に特定することが可能である。しかしこれらの技術では、作業内容が文章を含む形で記述されている作業手順書などの作業内容を記述した文書が別途用意されており、その内容と作業環境との対応付けを行うことによって作業支援用データを構築する必要がある場合、対応付けは手作業で行うことが前提となっている。このため、作業支援用データの構築を効率化するためには、手作業が前提となっている作業内容と作業環境との対応付けを自動化できることが望ましい。

以上のことから、本発明の目的は、拡張現実技術を用いてプラント又は工場などの現場における作業者を支援する作業支援システムにおいて、作業を支援するために必要となる作業支援用データを効率的に構築する技術を提供することにある。

上記の課題の少なくとも一つを解決するために、本発明におけるデータ作成システムは、少なくとも映像が入力される入力装置と、前記入力装置に接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有し、前記記憶装置は、作業に関する文字列を含む作業手順データを保持し、前記プロセッサは、前記作業手順データから文字列を抽出し、前記入力装置から取得した映像に含まれる文字列を認識し、前記認識した文字列の位置及び姿勢を特定し、前記認識した文字列の位置及び姿勢を示す情報と、前記作業手順データから抽出した文字列のうち前記認識した文字列と同一の文字列とを対応付ける作業支援用データを生成して、前記記憶装置に保持し、前記認識した文字列の位置及び姿勢との関係が所定の条件を満たす位置及び姿勢を示す情報、又は、前記映像から抽出された物体若しくはその形状であって前記認識した文字列の位置との関係が所定の条件を満たすものの位置及び姿勢を示す情報を、前記作業手順データから抽出した、前記認識した文字列と同一の文字列と対応付けて、前記記憶装置に保持することを特徴とする。

本発明の一態様によれば、作業支援用データの構築を効率化することが可能となる。

前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。

本発明の実施例の作業支援システムを使用している状況を表す図である。 本発明の実施例において、作業者が表示装置を通して対象設備を見た場合の状況の一例を示す説明図である。 本発明の実施例１の作業支援用データ作成システムを一般的なコンピュータによって実行させる場合のコンピュータの構成の一例を示すブロック図である。 本発明の実施例１の作業手順書データに格納される各作業手順書を記述するためのフォーマットの一例を示す説明図である。 本発明の実施例１における作業対象の設備の一例を示す説明図である。 本発明の実施例１において使用される点群データの一例を示す説明図である。 本発明の実施例１の作業支援用データに保存されるデータのフォーマットの一例を示す説明図である。 本発明の実施例１の作業支援用データの可視化の一例を示す説明図である。 本発明の実施例１における点群データの取得方法の一例の説明図である。 本発明の実施例１の文字認識プログラムによる処理の流れの一例を示すフローチャートである。 本発明の実施例１の手順環境対応付けプログラムによる処理の流れの一例を示すフローチャートである。 本発明の実施例２の作業支援用データ作成システムを一般的なコンピュータによって実行させる場合のコンピュータの構成の一例を示すブロック図である。 本発明の実施例２の補助入力装置として追加されるカメラの作業者への装着方法の一例を示す説明図である。

まず、図１および図２を用いて、本発明の実施例で想定している作業支援システムの構成および基本的な機能について説明する。

図１は、本発明の実施例の作業支援システムを使用している状況を表す図である。

図１において、対象設備１０１は、作業を実施する対象である。作業者は対象設備１０１に対して、メータ及びスイッチなどの状態確認及び各種操作を実施する。対象設備としては、対象設備１０１に示すような形状の設備以外に、作業者が作業を実施する対象となるものであれば、どのような設備でも、本発明の対象となる。

カメラ１０２は、作業者の視野と同等の映像を撮影し、作業者が対象設備のどこを見て、どのような作業をしているかを映像として常時取得する。表示装置１０３は、いわゆるスマートグラスと呼ばれる眼鏡型の表示装置であり、作業者の視野中にさまざまな情報を表示するために使用される。処理装置１０４は、カメラ１０２から取得した映像の処理や作業支援に必要な情報の表示方法の決定などを行うものであり、一般的なコンピュータ、タブレット端末又はスマートフォンなどを使用することができる。

処理装置１０４は、カメラ１０２から取得した映像に基づいて作業者が対象設備のどの部分をどのような位置姿勢で見ているかを解析し、表示すべき内容および画面上の位置を決定する。この技術はよく知られた拡張現実（ＡＲ）技術と呼ばれる技術である。

図２は、本発明の実施例において、作業者が表示装置１０３を通して対象設備１０１を見た場合の状況の一例を示す説明図である。

図２において表示画面２０１は、表示装置１０３がスマートグラスの場合、スマートグラスの表示画面を示す。表示装置１０３としては、スマートグラス以外の表示装置、例えばタブレット型端末の画面、スマートフォンの画面、又は一般的なコンピュータ用の表示装置を用いることもできる。ＡＲ技術を用いた場合、表示画面２０１に示すように、現実の景色上の一部にスマートグラスの情報が重畳されて表示される状態となる。

また、図２において作業指示２０２は、作業者に対して提示される作業指示であり、全体の作業の一部分を示す内容が抽出され、スマートグラスの表示画面２０１上に表示される。表示２０３は、対象設備上において作業指示の内容に関連する箇所を作業者に明示するための表示である。ＡＲ技術を用いることによって、表示２０３に示すように、作業者が実際に見ている対象設備上に対象箇所を重畳して表示することが可能となる。また、表示２０３に示すような表示を行うためには、各作業指示に関連する設備上の位置及び方向に関する情報を対応付けておく必要があるが、位置及び方向が対応付けられていない作業指示については、あらかじめ別途用意された画像又は図を作業指示と合わせてスマートグラス上に表示することも想定する。

本実施例では、以上のようなＡＲ技術を用いた作業支援システムの使用を前提とする。

次に、本発明における実施例１を図３から図１１を用いて説明する。

図３は、本発明の実施例１の作業支援用データ作成システムを一般的なコンピュータによって実行させる場合のコンピュータの構成の一例を示すブロック図である。

図３に示すコンピュータは、情報処理装置３０１、入力装置３０２、出力装置３０３、記憶装置３０４、作業手順書データ３０９、三次元構造データ３１０、作業支援用データ３１１及び作業対象文字列認識結果データ３１２を有する。

情報処理装置３０１は、作業支援用データ作成システムにおける各プログラムを実行するプロセッサである。入力装置３０２には、作業者が作業を実施する作業環境の状況を映像として取得するためのカメラ、並びに、システムの開始及び終了等を制御するためのキーボード、ボタン、マウス又はタッチパネル等の一般的なコンピュータにおける入力装置が含まれる。また、作業者が作業を実施する作業環境の状況を映像として取得するための装置としては、通常のカメラだけでなく、作業環境の三次元情報を取得することが可能なステレオカメラ又は深度センサ付カメラなどを使用しても良い。また、入力装置３０２は、マイクロフォンなどの音声入力装置を含んでもよい。

出力装置３０３には、作業者に作業指示などの情報を提示するためのスマートグラス、システムの動作状況等を表示するためのタブレット型端末もしくはスマートフォンの画面、又は、一般的なコンピュータ用の表示装置が含まれる。

また、記憶装置３０４は、作業支援用データ作成システムにおける各種プログラムを格納する。記憶装置３０４には、三次元構造取得プログラム３０５、作業手順書解析プログラム３０６、文字認識プログラム３０７および手順環境対応付けプログラム３０８が含まれている。以下の説明において作業支援用データ作成システムが実行する手順は、実際には、情報処理装置３０１が上記のプログラムに従って必要に応じて図３に示すコンピュータの各部を制御することによって実行される。

作業手順書データ３０９は、作業の実施方法及び実施順序など、作業を進める上で必要となる情報が文書として記述されている作業手順書のデータである。三次元構造データ３１０は、三次元構造取得プログラム３０５によって構築される作業環境の三次元構造に関するデータである。作業支援用データ３１１は、本実施例における作業支援用データ作成システムによって生成される作業支援用データである。さらに、作業対象文字列認識結果データ３１２は、文字認識プログラム３０７によって認識された作業対象文字列（作業対象となる設備上に配置されている作業の具体的な対象物を示す文字列）の認識結果に関するデータである。

なお、記憶装置３０４は、例えばＤＲＡＭのようないわゆる主記憶装置と、例えばＨＤＤ又はフラッシュメモリのようないわゆる補助記憶装置と、を含んでもよい。作業手順書データ３０９、三次元構造データ３１０、作業支援用データ３１１及び作業対象文字列認識結果データ３１２は、補助記憶装置に格納され、必要に応じてその少なくとも一部が主記憶装置にコピーされてもよい。

図４は、本発明の実施例１の作業手順書データ３０９に格納される各作業手順書を記述するためのフォーマットの一例を示す説明図である。

図４の作業名４０１は、各作業手順書を識別するための名称を表す文字列である。作業名４０１によって、作業手順書データ３０９には複数の作業手順書を格納することができる。

また、図４におけるフォーマットでは、作業手順書を作業の構成要素である作業単位の列により記述することを前提としており、作業単位数４０２は作業手順書中に含まれる作業単位の数を表す。作業単位４０３および４０６は各作業単位を示しており、それぞれの作業単位には、作業見出し４０４、４０７および作業説明４０５、４０８が含まれている。作業見出し４０４、４０７は作業単位の概要を示す文字列であり、作業説明４０５、４０８は作業単位が示す作業内容を詳細に記述した文字列である。

図４に示すフォーマットでは、作業名４０１、作業単位４０３及び４０６ともに、一階層の構造で表されているが、例えば、大分類、中分類、小分類を設定し、多階層の構造で作業手順を表現しても良い。また、図４に示すフォーマットでは作業手順書は文字列のみで記述されているが、一般的な作業手順書では、作業者の理解を容易にするため、必要に応じて写真又は図が使用されることが通例である。このため、写真又は図を登録するための項目を作業手順書全体、又は各作業単位に対して設けても良い。

図５は、本発明の実施例１における作業対象の設備の一例を示す説明図である。また、図６は、本発明の実施例１において使用される点群データの一例を示す説明図である。これらを参照して三次元構造データ３１０に保存されるデータについて説明する。

三次元構造データ３１０に保存されるデータのフォーマットとしては、例えば、作業対象の設備（すなわち対象物）の三次元構造が三次元空間中の点の集まりとして表現された点群データを使用することができる。作業対象の設備が図５に示すような構造であった場合、設備の輪郭上の点の座標値からなる点群データ、すなわち、点の三次元座標値の集合として表される。三次元構造データ３１０としては、点群データの他、複数の点から構成される多角形を単位として表したデータ形式を使用しても良い。あるいは、それ以外であっても、三次元の構造データを表すことできる形式であれば、どのような形式でも使用することができる。

図７は、本発明の実施例１の作業支援用データ３１１に保存されるデータのフォーマットの一例を示す説明図である。

作業支援用データは、作業手順書データ３０９に保存されているデータに含まれる情報に加え、作業環境の三次元構造に関する情報、作業を実施する対象箇所又はそれに対応する記号を表す文字列である作業対象文字列、および、作業対象文字列の作業環境中における位置姿勢に関する情報が付与された形式のデータである。

なお、以下の説明においては、特に断りのない限り、「位置姿勢」は「作業環境中における位置および姿勢」または「作業環境の三次元構造データに対する位置および姿勢」を意味するものとする。また、「作業環境中における位置および姿勢」と「作業環境の三次元構造データに対する位置および姿勢」は等価な情報である。

図７において、作業支援用データ３１１の作業名７０１、作業単位数７０３、作業見出し７０５および７１３、作業説明７０６および７１４には、図４の作業手順書データ３０９のフォーマットにおける、作業名４０１、作業単位数４０２、作業見出し４０４および４０７、作業説明４０５および４０８と、それぞれ同じ内容が記述される。また、三次元構造情報名７０２は、作業支援用データ３１１が対象としている作業に対応付けられている作業環境の三次元構造データを識別するための情報であり、三次元構造データ３１０に格納されているいずれかのデータを示す情報が記述される。

図７において、作業単位に関する情報７０４および７１２は、作業支援用データ３１１における作業単位に関する情報を示している。それぞれの作業単位には、作業見出し７０５および７１３、作業説明７０６および７１４に加え、作業手順書解析プログラム３０６によって、作業見出しおよび作業説明から抽出された作業対象文字列に関する情報７０７～７１１および７１５～７１９が含まれている。

作業対象文字列に関する情報には、各作業単位に含まれる作業対象文字列の数を表す作業対象文字列数７０７および７１５、並びに、各作業単位に含まれる作業対象文字列それ自体である作業対象文字列７０８、７１０、７１６および７１８が含まれる。なお、ここでは、一つの作業見出しに複数（例えばｍ個またはｎ個）の作業対象文字列が対応付けられる例を示している。

さらに、作業対象文字列に関する情報には、作業対象文字列に対応付けられた作業環境中における作業対象文字列の位置および姿勢を示す作業対象文字列位置姿勢７０９、７１１、７１７および７１９が含まれる。作業対象文字列位置姿勢７０９、７１１、７１７および７１９は、具体的には、三次元構造情報名７０２で示される作業環境に関する三次元構造データ中における作業対象文字列の位置座標および方向を示す各軸周りの回転角度によって表すことができる。あるいは、位置座標を表すベクトルおよび方向を示す回転行列を使用しても良い。さらには、三次元構造データ中における位置および姿勢を示す形式であればどのような形式でも使用することができる。

また、図７に示すフォーマットでは、三次元構造情報名７０２で示される三次元構造データが作業支援用データ全体に対応付けられているが、各作業単位に対して別々の三次元構造データを対応付けるようにしても良い。また、作業支援用データ３１１に記載する情報として、作業対象文字列の作業説明中における位置を追加しても良い。あるいは、作業対象文字列間の関係を表す情報を記載するようにしても良い。

例えば、作業説明が、「運転スイッチ（ＳＷ１）をＯＮにする」というような文で表される場合、「運転スイッチ」および「ＳＷ１」が作業対象文字列となる。この場合、「運転スイッチ」および「ＳＷ１」は同じ作業対象を示すため、これらの作業対象文字列は同一であるという関連性を示す情報を記載しておくことが望ましい。「運転スイッチ」および「ＳＷ１」が同じ対象を示すことは、後述の作業手順書解析プログラム３０６において、例えば、上述のような文字列のパターンに基づいて作業説明の文字列を解析することによって判断することが可能であるため、作業手順書解析プログラム３０６の解析結果に基づいて、作業対象文字列間の関係を表す情報を記述することができる。

図８は、本発明の実施例１の作業支援用データ３１１の可視化の一例を示す説明図である。

具体的には、図８は、例として、図７に示す作業支援用データ３１１を対応する作業環境に対して仮想的に可視化した様子を示す。図８における表示８０１、８０２、８０３および８０４は、各作業単位に含まれる作業対象文字列であり、表示８０５、８０６、８０７および８０８は、各作業単位における作業見出しおよび作業説明を表している。図８では、各作業単位が作業環境中における各作業対象文字列に対応付けられており、この対応付けは作業支援用データ３１１中における各作業対象文字列の位置姿勢に基づいて行われる。本実施例の目的は、図７および図８に示すような作業支援用データを効率的に作成することにある。

次に、図９から図１１を用いて、本発明における作業支援用データ作成システムの動作について説明する。

本発明における作業支援用データ作成システムは、まず、作業手順書解析プログラム３０６を用いて、作業手順書データ３０９に格納されている各作業手順書データに対して解析処理を行い、作業見出し４０４および４０７と、作業説明４０５および４０８とから作業対象文字列を抽出し、図４のフォーマットに示す作業手順書データ３０９を図７のフォーマットに示す作業支援用データ３１１に変換する。この際、各作業対象文字列の位置姿勢は未定であるため、作業対象文字列位置姿勢７０９、７１１、７１７および７１９は空欄の状態となる。

作業見出しおよび作業説明の内容を解析する手法としては、例えば、「自然言語処理の基礎、奥村学著、コロナ社、２０１０年」などで開示されている、一般によく知られた形態素解析と呼ばれる技術を用いることができる。形態素解析によって、文章を単語の列に分割することができるため、それによって取得された単語から名詞を選択すればよい。

この際、特に固有名詞及び未知語のみを選択することによって、不要な抽出を削減するようにしても良い。さらに、同様によく知られた構文解析および意味解析などを併用することによって、抽出の精度を向上することもできる。あるいは、作業対象文字列を抽出する手法としては、あらかじめ想定される作業対象文字列の一覧を作成しておき、作業見出しまたは作業説明の中に一覧中の作業対象文字列が含まれるかどうかを判定するという手法を用いても良い。あるいは、形態素解析などによる手法と作業対象文字列の一覧による手法とを併用するようにしても良い。

上記の作業手順書データの解析処理は、作業支援用データ３１１の生成を行う前に実施しておくことが前提となる。また、新たな作業手順書データ３０９が追加された場合は、その都度、追加された作業手順書データ３０９に対してのみ解析処理を行えば良い。

次に、作業支援用データ作成システムは、三次元構造取得プログラム３０５、文字認識プログラム３０７および手順環境対応付けプログラム３０８を使用して、作業手順書解析プログラム３０６によって生成された作業支援用データ中における各作業対象文字列に対して位置姿勢の情報を対応付けることによって、目的とする作業支援用データ３１１を構築する。

三次元構造取得プログラム３０５は作業環境の三次元構造データを取得するためのプログラムであり、作業支援用データ３１１の構築中においては、他のプログラムと並行して、常に動作し続けている状態にしておき、作業環境の三次元構造データを更新し続けているものとする。

作業環境の三次元構造データを取得する手法としては、入力装置３０２として一般的なカラー映像を取得できるカメラを使用する場合は、例えば「”移動カメラからの３次元形状復元・自己位置推定（ＳＬＡＭ）と高密度な３次元形状復元”、情報処理学会研究報告、Ｖｏｌ．２０１４－ＣＶＩＭ－１９０，Ｎｏ．４０，２０１４年」などで開示されている、一般によく知られた三次元形状復元技術と呼ばれる技術を用いることができる。

図９は、本発明の実施例１における点群データの取得方法の一例の説明図である。

例えば、図９に示すように、カメラ１０２を装着した作業者が作業環境となる対象設備９０１の周囲を対象設備９０１のさまざまな箇所を見ながら移動すると、位置９０２から位置９０５のような複数の位置から（すなわち複数の方向から）対象設備９０１を撮影した画像が得られる。このようにして得られた画像から、例えば図６に示すような作業環境を表す点群データを取得することができる。

また、三次元形状復元技術では、使用した映像を撮影した際のカメラ１０２と取得された三次元構造データとの位置関係（すなわち三次元構造データに対するカメラ１０２の位置姿勢）を取得することができる。また、作業者の移動方法は位置９０２から位置９０５までのような単純な往復移動ではなく、より複雑且つ不規則な経路による移動でも良い。例えば、作業手順書中の記載されている作業の順序に従った経路で移動する方法でも良い。これによって、後述する文字認識プログラム３０７および手順環境対応付けプログラム３０８を用いて作業支援用データを構築する際、通常の作業を実施する場合と同様の状況で作業支援用データ３１１を構築することが可能となる。

さらに入力装置３０２としては、カメラ１０２の代わりに（またはそれに加えて）三次元構造に関する情報を直接取得することが可能なステレオカメラまたは深度センサと呼ばれる装置を使用することができる。この場合も上述した三次元復元技術と類似の技術を使用することによってり、作業環境の三次元構造データを取得することができる。

作業支援用データ作成システムは、三次元構造取得プログラム３０５と並行して、文字認識プログラム３０７および手順環境対応付けプログラム３０８を用いた処理を実行することによって、目的とする作業支援用データ３１１を構築する。

図１０は、本発明の実施例１の文字認識プログラム３０７による処理の流れの一例を示すフローチャートである。

文字認識プログラム３０７が起動されると、作業支援用データ作成システムは、まず図１０におけるステップ１００１において、作業支援用データ３１１に格納されている作業支援用データから、その中に含まれている作業対象文字列を取得し、作業対象文字列の一覧を作成する。ステップ１００２では、作業支援用データ作成システムは、入力装置３０２に含まれるカメラによって、作業者が見ている作業環境の状況を表す映像を取得する。

ステップ１００３では、作業支援用データ作成システムは、取得した映像中から作業対象文字列の認識を行う。作業対象文字列を映像中から認識する手法としては、例えば、「“カメラを用いた文字認識・文書画像解析の現状と課題”、電子情報通信学会技術報告、ＰＲＭＵ２００４－２４６、２００５年」などで挙げられている、一般によく知られた文字認識技術と呼ばれる技術を用いることができる。

ステップ１００４では、作業支援用データ作成システムは、ステップ１００３において映像中から作業対象文字列が認識されたかどうかを判定し、作業対象文字列が認識されていなければステップ１００２に戻る。作業対象文字列が認識されていた場合は、ステップ１００５に進み、作業環境の三次元構造データ中における認識された作業対象文字列の位置姿勢を求める。

三次元構造データ中における作業対象文字列の位置姿勢を求めるには、作業支援用データ作成システムは、まず、カメラと三次元構造データとの位置関係を用いた透視投影変換によって、三次元構造データをカメラから取得した映像上に写像する。これによって、三次元構造データが点群データである場合、カメラから取得した映像上の位置に点群データ中の点が対応付けられることになる。ここで用いる三次元構造データおよびカメラと三次元構造データとの位置関係は、文字認識プログラム３０７と並行して実行されている三次元構造取得プログラム３０５によって得られる情報である。

次に、作業支援用データ作成システムは、作業対象文字列が認識された映像上の位置の周辺において、映像上に対応付けられた点群データの点を検索する。この検索は、例えば、映像上に対応付けられた点群データの点の内、作業対象文字列が認識された映像上の位置から、あらかじめ定められた距離内にある点を選択することで行っても良い。あるいは、作業対象文字列が認識された映像上の位置を中心とする、あらかじめ定めされた形状およびサイズの領域を定義し、定義された領域内に存在する点を選択することで行っても良い。

作業支援用データ作成システムは、このようにして検索された点の三次元の位置座標を取得し、検索された全ての点についての平均位置座標を認識された作業対象文字列の作業環境中における位置とすれば良い。あるいは、作業支援用データ作成システムは、検索された点の三次元位置座標の内、一番カメラに近い位置にある位置座標を認識された作業対象文字列の作業環境中における位置とすることもできる。あるいは、作業支援用データ作成システムは、検索された点の内、映像上の位置が認識された作業対象文字列の位置に最も近い点の三次元位置座標を作業対象文字列の作業環境中における位置としても良い。

また、作業支援用データ作成システムは、映像中から認識された作業対象文字列を囲む外接四角形を求め、外接四角形の各頂点に対応する作業環境上中における三次元位置座標を上述した方法と同様の方法によって求め、求めた三次元位置座標によって構成される四角形の姿勢を作業対象文字列の姿勢とすることで、作業対象文字列の作業環境中における姿勢を求めても良い。

あるいは、作業支援用データ作成システムは、作業対象文字列の作業環境中における位置を求めた際に検索された点の三次元位置座標から、検索された点が構成する平面を求め、その平面上に映像上の作業対象文字列の領域を写像することによって作業対象文字列の作業環境中における姿勢を求めても良い。

あるいは、作業支援用データ作成システムは、あらかじめ三次元構造データの各点における法線を求めておき、検索された点に対応する法線の平均を対象とする平面の法線と見なし、その平面上に映像上の作業対象文字列の領域を写像することによって、作業対象文字列の作業環境中における姿勢を求めても良い。

ステップ１００６では、作業支援用データ作成システムは、認識された作業対象文字列とその位置姿勢とを図３における作業対象文字列認識結果データ３１２に保存する。ステップ１００７では、作業支援用データ作成システムは、手順環境対応付けプログラム３０８を呼び出し、作業支援用データ３１１の作業支援用データ中における作業対象文字列に位置姿勢を対応付ける処理を実行することによって、目的とする作業支援用データ３１１の構築を行う。

ステップ１００８では、作業支援用データ作成システムは、入力装置３０２によって作業者が処理の終了を指示する操作を行ったかどうかを判定し、終了を指示する操作を行った場合は文字認識プログラム３０７の実行を終了し、そうでない場合はステップ１００２に戻る。

以上の説明では、作業対象文字列の一覧を起動時に作成していたが、文字認識プログラム３０７の実行中に作業手順書データ３０９の内容が更新されるような場合は、作業手順書データ３０９の内容を監視し、データの更新が検出された場合は作業対象文字列の一覧の作成を実施する処理を常に実行しても良い。

図１１は、本発明の実施例１の手順環境対応付けプログラム３０８による処理の流れの一例を示すフローチャートである。

手順環境対応付けプログラム３０８では、上述した文字認識プログラム３０７において認識された作業対象文字列の位置姿勢を作業支援用データ３１１中の作業対象文字列に対応付ける処理が行われる。

ステップ１１０１では、作業支援用データ作成システムは、上述した文字認識プログラム３０７において新たに認識された作業対象文字列とその位置姿勢とを取得する。ステップ１１０２では、作業支援用データ作成システムは、作業対象文字列認識結果データ３１２に保存されている過去に認識された作業対象文字列を検索し、新たに認識された作業対象文字列と同じ位置姿勢で別の作業対象文字列が認識されていないかを調べる。ステップ１１０２で該当する作業対象文字列が見つからなかった場合は、ステップ１１０３に進む。

ステップ１１０３では、作業支援用データ作成システムは、作業支援用データ３１１から、ステップ１１０１において取得した作業対象文字列を含む作業単位を全て検索する。あるいは、作業支援用データ作成システムは、映像中から認識される作業対象文字列と作業支援用データ中に記載されている作業対象文字列との対応表をあらかじめ用意しておき、その対応表を用いることによって、映像中から認識された作業対象文字列を、作業支援用データ中に記載されている作業対象文字列に変換し、変換された作業対象文字列を含む作業単位を作業支援用データ３１１から検索しても良い。

ステップ１１０４では、作業支援用データ作成システムは、ステップ１１０３で検索された各作業単位において、ステップ１１０１で取得された作業対象文字列と同じ作業対象文字列を検索し、検索された作業対象文字列に位置姿勢が設定されていなければ、該当する作業対象文字列にステップ１１０１で取得された作業対象文字列の位置姿勢を設定する。これによって、例えば新たな作業支援用データ３１１を構築する時、又は、新たな対象設備が追加された場合などに、作業対象文字列に位置姿勢が対応付けられる。

また、作業支援用データ作成システムは、作業単位中に、作業対象文字列間の関連性に関する情報が記述されている場合、該当する作業対象文字列と同じ作業対象を示すことが記載されている作業対象文字列に対しても、同じ位置姿勢を登録しても良い。例えば、同義語、略語又はその他の代替可能な文字列の関係を示す情報が記憶装置内に保持されており、それに従って、互いに関連する文字列の少なくともいずれかに位置姿勢が対応付けられる。

具体的には、例えば、作業手順書には「スイッチ」と記載されているが、それに対応する実際の設備には「ＳＷ」と記載されている場合には、「スイッチ」と「ＳＷ」とを互いに関連する文字列として対応付ける情報を記憶装置に保持しておき、映像から特定された「ＳＷ」の位置姿勢を、「スイッチ」及び「ＳＷ」の少なくとも一方に対応付けることができる。これによって、作業手順書の文字列と実際の設備上の文字列との間に表記のゆれがある場合にも位置姿勢を対応付けることができる。

また、作業支援用データ作成システムは、作業対象文字列に対して位置姿勢を登録する場合、映像中から認識された作業対象文字列の位置姿勢をそのまま登録するだけでなく（またはそのかわりに）、認識された作業対象文字列の位置姿勢との関係が所定の条件を満たす位置姿勢、または、映像から抽出された物体もしくはその形状であって上記の位置姿勢との関係が所定の条件を満たす位置姿勢を、作業対象文字列に対応付けて登録してもよい。これによって、例えば「スイッチ」という作業対象文字列が対象設備上に表示されている位置と、それに対応する実際のスイッチの位置との間にずれがある場合などに、実際の対象物の位置を作業対象文字列の位置として登録することができる。

具体的には、作業支援用データ作成システムは、映像中から認識された作業対象文字列の位置姿勢からあらかじめ定められた位置または姿勢を変化させた後の位置姿勢を登録しても良い。あるいは、作業支援用データ作成システムは、映像中から認識された作業対象文字列の位置姿勢から最も近くに存在する作業対象をよく知られた画像認識技術などを用いることによって認識し、認識された作業対象の位置姿勢を登録しても良い。

また、上述の説明では、映像中から認識された作業対象文字列の位置姿勢を作業単位中における対応する作業対象文字に対して登録していたが、作業支援用データ作成システムは、対応する作業対象文字列を含む作業単位中のフレーズ、文、または作業単位全体に対して位置姿勢を登録しても良い。

図１１におけるステップ１１０５では、作業支援用データ作成システムは、ステップ１１０１において取得した作業対象文字列と同じ作業対象文字列を作業対象文字列認識結果データ３１２から検索し、検索された作業対象文字列の位置姿勢がステップ１１０１において取得した作業対象文字列の位置姿勢と異なるか否かを判定する。それらの位置姿勢が異なっている場合はステップ１１０６に進み、そうでない（すなわちそれらの位置姿勢が同一である）場合はステップ１１０９に進む。

ステップ１１０６では、作業支援用データ作成システムは、ステップ１１０３で検索された作業単位中において、ステップ１１０１で取得された作業対象文字列と同じ作業対象文字列を検索し、検索された作業対象文字列に位置姿勢が設定されていれば、該当する作業対象文字列の位置姿勢をステップ１１０１で取得された作業対象文字列の位置姿勢によって更新する。

このとき、作業支援用データ作成システムは、検索された全ての作業対象文字列の位置姿勢を、ステップ１１０１で取得された作業対象文字列の位置姿勢によって更新しても良い。

あるいは、作業支援用データ作成システムは、ステップ１１０３で検索された作業単位から、ステップ１１０１で取得された作業対象文字列と同じ作業対象文字列に位置姿勢が設定されている作業単位を選択し、選択された作業単位から位置姿勢が登録されているステップ１１０１で取得された作業対象文字列とは異なる他の作業対象文字列を検索し、ステップ１１０１で取得された作業対象文字列の位置姿勢に最も近い他の作業対象文字列を含む作業単位について、該当する作業対象文字列の位置姿勢をステップ１１０１で取得された作業対象文字列の位置姿勢によって更新しても良い。

あるいは、作業支援用データ作成システムは、ステップ１１０３で検索された作業単位から、ステップ１１０１で取得された作業対象文字列と同じ作業対象文字列に位置姿勢が設定されている作業単位を選択するとともに、ステップ１１０１で取得された作業対象文字列の位置姿勢に最も近い位置姿勢である他の作業対象文字列を作業対象文字列認識結果データ３１２から検索し、検索された他の作業対象文字列が含まれる選択された作業単位について、該当する作業対象文字列の位置姿勢をステップ１１０１で取得された作業対象文字列の位置姿勢によって更新しても良い。

あるいは、作業支援用データ作成システムは、ステップ１１０３で検索された作業単位から、ステップ１１０１で取得された作業対象文字列と同じ作業対象文字列に位置姿勢が設定されている作業単位を選択するとともに、ステップ１１０１で取得された作業対象文字列の位置姿勢からあらかじめ定められた範囲の位置姿勢である他の作業対象文字列を作業対象文字列認識結果データ３１２から検索し、検索された他の作業対象文字列が含まれる選択された作業単位について、該当する作業対象文字列の位置姿勢をステップ１１０１で取得された作業対象文字列の位置姿勢によって更新しても良い。

あるいは、作業支援用データ作成システムは、ステップ１１０３で検索された作業単位から、ステップ１１０１で取得された作業対象文字列と同じ作業対象文字列に位置姿勢が設定されている作業単位を選択するとともに、ステップ１１０１で取得された作業対象文字列と関連する他の作業対象文字列を入力装置３０２に含まれるカメラによって撮影することを促す指示を出力装置３０３を用いて作業者に提示し、作業者の入力装置３０２による操作に基づいて撮影を実行し、取得された映像から文字認識プログラム３０７によって作業対象文字列の認識を行い、選択された作業単位の内、認識された作業対象文字列を含む作業単位について、該当する作業対象文字列の位置姿勢をステップ１１０１で取得された作業対象文字列の位置姿勢によって更新しても良い。

これらの処理によって、例えば対象設備の設置場所が変更された場合などに、その設備を使用する作業に関連する作業対象文字列の位置姿勢を更新することができる。

ステップ１１０２で該当する作業対象文字列が見つかった場合は、ステップ１１０７に進む。ステップ１１０７では、作業支援用データ作成システムは、ステップ１１０１で取得された作業対象文字列の位置姿勢が対応付けられている作業単位を作業支援用データ３１１から検索する。ステップ１１０８では、ステップ１１０７で検索された作業単位中において、該当する位置姿勢が対応付けられている作業対象文字列をステップ１１０１で取得された作業対象文字列によって更新する。

このとき、作業支援用データ作成システムは、ステップ１１０７で検索された全ての作業単位中において、該当する位置姿勢が対応付けられている全ての作業対象文字列をステップ１１０１で取得された作業対象文字列によって更新してもよい。

また、作業支援用データ作成システムは、所定の作業単位中の作業対象文字列が更新された場合に、当該作業対象文字列の位置姿勢と同じ位置姿勢に対応付けられている全ての作業対象文字列を、当該作業対象文字列と同じ作業対象文字列によって更新してもよい。

これらの処理によって、例えば実際の対象設備に表示されている作業対象文字列が更新された場合などに、それを作業支援用データ３１１に反映させることができる。

ステップ１１０９では、作業者が入力装置３０２に対して処理の終了を指示する操作を行ったかどうかを判定し、終了を指示する操作を行った場合は文字認識プログラムを終了し、そうでない場合はステップ１１０１に戻る。

以上の説明における手順環境対応付けプログラム３０８の処理では、映像中から認識された作業対象文字列に基づいて作業支援用データ中の作業単位に対する位置姿勢の設定または更新が実行されるが、作業手順書データ３０９または作業支援用データ３１１において作業対象文字列が変更される場合もある。これに対応するためには、作業手順書データ３０９または作業支援用データ３１１における作業対象文字列が変更されたかどうかを常に監視し、作業対象文字列が変更された場合、変更前の作業対象文字列に設定されている位置姿勢と同じ位置姿勢が設定されている全ての作業単位を検索し、検索された作業単位において、該当する位置姿勢が設定されている作業対象文字列を更新する処理を手順環境対応付けプログラム３０８に追加すれば良い。

また、以上の説明における手順環境対応付けプログラム３０８の処理では、映像中から認識された作業対象文字列に基づいてのみ、作業支援用データ３１１中の作業単位に対する位置姿勢の設定や更新が実行されるが、他の情報と組み合わせることによって位置姿勢の設定または更新を実行しても良い。

例えば、作業支援用データ作成システムは、映像に含まれる文字列を認識するとともに、映像から作業者の姿勢または動作を抽出して、それが所定の条件を満たす場合に、認識した文字列に位置姿勢を対応付ける処理を実行してもよい。具体的には、例えば、映像中から作業者の手の形状および方向を認識する処理を追加し、映像から認識された作業者の手と作業対象文字列との距離があらかじめ定められた範囲内に存在している場合、映像から認識された作業者の手が作業対象文字列を指さす動作を行っている場合、または、映像から認識された作業者の手があらかじめ定められたジェスチャを行っている場合において、作業支援用データ３１１中の作業単位に対する位置姿勢の設定または更新を実行することができる。

あるいは、映像中から作業者の手の形状および方向を認識する処理とともに、作業者の音声の認識する処理を追加し、映像から認識した作業者の手があらかじめ定められたジェスチャを行うとともに、作業者があらかじめ定められた音声を発声した場合、作業支援用データ３１１中の作業単位に対する位置姿勢の設定または更新を実行しても良い。あるいは、ジェスチャの有無にかかわらず、作業者があらかじめ定められた音声を発声した場合に位置姿勢の設定または更新を実行しても良い。

また、以上の説明における手順環境対応付けプログラム３０８の処理では、映像中から作業対象文字列が認識された場合、作業支援用データ３１１中の作業単位に対する位置姿勢の設定または更新を自動的に実行することを前提としていたが、位置姿勢を設定または更新する作業対象文字列または作業単位を作業者に選択させても良い。

例えば、作業支援用データ作成システムは、映像中から認識された作業対象文字列の一覧を出力装置３０３の画面上に表示し、表示された作業対象文字列の一覧から作業者が特定の作業対象文字列を選択した場合に、位置姿勢の設定または更新の候補となる作業単位の一覧を表示し、表示された作業単位の一覧から作業者が特定の作業単位を選択した場合に、選択された作業単位に対して映像中から抽出された作業対象文字列の位置姿勢を対応付けても良い。

上記の処理によって、不要な位置姿勢の対応付けの処理の実行が防止される。

以上のように、本実施例の作業支援用データ作成システムによれば、第１の映像入力手段（例えばカメラ１０２）によって作業者が作業を実施するオフィスまたは工場などの作業環境の状況を映像として取得し、取得した映像に基づいて作業環境の三次元構造に関する情報および第１の映像入力手段と作業環境との間の位置関係を取得し、作業手順書に含まれる文章を解析することによって作業を実施する箇所または部品である作業対象の名称またはそれに対応する記号を表す文字列（作業対象文字列）を抽出し、第１の映像入力手段から取得した映像中から文字認識によって作業対象文字列を抽出し、抽出された作業対象文字列の映像中における位置姿勢および作業環境の三次元構造に関する情報および第１の映像入力手段と作業環境との位置関係に基づいて映像中から抽出された作業対象文字列の作業環境中における位置姿勢を算出し、算出された位置姿勢を作業手順書中における作業単位に対応付ける。これによって、作業者が作業環境を事前に確認する場合、作業者が作業環境中において作業手順書の内容を順番に確認する場合、または、作業者が作業環境中において作業手順書に沿った作業をリハーサルなどの名目で一通り実施する場合などの、通常行われる方法で作業者が作業環境中を移動するだけで作業単位と作業環境との対応付けを行うことが可能となり、効率的に作業支援用データの構築を行うことが可能となる。

本実施例の作業支援用データ作成システムは、上述のように作業者が作業環境中を移動する状況において、１回あるいは多くても数回、稼働させれば良く、必要な作業支援用データが構築された後は、図１および図２に示すような作業支援システムを実現することが可能となる。

また、作業環境の改修などによって作業環境中の作業対象文字列の内容または作業対象文字列の位置姿勢が変化した場合も、本実施例の作業支援用データ作成システムを起動し、上述と同様に作業者が作業環境中を移動するだけで、既存の作業支援用データを修正し、変化に対応した作業支援用データを構築することが可能となる。

本発明における実施例２を図１２および図１３を用いて説明する。以下に説明する相違点を除き、実施例２の各部は、図１～図１１に示された実施例１の同一の符号を付された各部と同一であるため、それらの説明は省略する。

図１２は、本発明の実施例２の作業支援用データ作成システムを一般的なコンピュータによって実行させる場合のコンピュータの構成の一例を示すブロック図である。

図１２のブロック図で示される構成は、図３に示したコンピュータに、補助入力装置１２０１および位置姿勢取得プログラム１２０２が追加された構成となっている。補助入力装置１２０１としては、例えば、作業者に装着される、あるいは作業者が保持するカメラ（例えば後述する図１３に示すカメラ１３０１）である。このカメラは、入力装置３０２に含まれるカメラ１０２と同様に、作業者が作業を実施する作業環境の状況を映像として取得する。

図１３は、本発明の実施例２の補助入力装置１２０１として追加されるカメラ１３０３の作業者への装着方法の一例を示す説明図である。

図１３では、入力装置３０２として作業者に装着されているカメラ１０２では撮影が困難な場所にある作業対象文字列を容易に撮影できるように、カメラ１３０１を作業者の手首に装着することを想定している。補助入力装置１２０１としてのカメラ１３０１は、手首に装着する以外に、肩または胸など、入力装置３０２としてのカメラ１０２による撮影を補助できる限り、作業者のどのような位置に装着しても良い。あるいは、カメラ１３０１を作業者から離れた位置に設置することもできる。

図１２における位置姿勢取得プログラム１２０２は、入力装置３０２としてのカメラ１０２と補助入力装置１２０１としてのカメラ１３０１との相対的な位置関係を取得するためのプログラムである。カメラ１０２とカメラ１３０１の相対的な位置関係を取得する方法としては、例えば、次のようなものが挙げられる。

すなわち、図１３に示すように、カメラ１３０１にあらかじめ大きさおよび形状が既知のマーカー１３０２をカメラ１３０１に設置する。このマーカー１３０２としては、よく知られたＡＲマーカー、二次元コード、または再帰性反射マーカーなどを使用することができる。さらに、作業支援用データ作成システムは、カメラ１０２で撮影されたマーカー１３０２を画像中から認識し、画像中のマーカーの形状および大きさと元のマーカーの形状および大きさとを比較することによって、カメラ１０２とマーカー１３０２との相対的な位置関係を容易に求めることができる。

さらに、マーカー１３０２とカメラ１３０１との相対的な位置関係は、マーカー１３０２およびカメラ１３０１を設置する際に明確になっている。このため、カメラ１０２とマーカー１３０２との相対的な位置関係、およびマーカー１３０２とカメラ１３０１との相対的な位置関係から、カメラ１０２とカメラ１３０１との相対的な位置関係を求めることができる。

入力装置３０２と補助入力装置１２０１との相対的な位置関係を取得する方法としては、上述したマーカーを使用する方法の他、磁気センサまたは超音波センサなどを使用する方法を採用することもできる。この場合は、補助入力装置１２０１だけでなく、入力装置３０２にも位置関係の取得に必要な装置を設置する場合もある。

図１２に示す文字認識プログラム１２０３で行われる処理は、図１０に示した流れ図に従って行われる処理と同様であるが、下記のような相違がある。すなわち、作業支援用データ作成システムは、ステップ１００２においてカメラ１０２から映像を取得することに加えて、カメラ１３０１からも映像を取得する。それに伴い、ステップ１００３では、作業支援用データ作成システムは、カメラ１０２によって取得された映像中から作業対象文字列を認識するとともに、カメラ１３０１によって取得された映像中から作業対象文字列の認識を行う。

上述したカメラ１０２とカメラ１３０１との相対的な位置関係は、図１０のステップ１００５において、カメラ１３０１で撮影された作業対象文字列の位置姿勢を求める際に使用される。カメラ１３０１で撮影される映像は、撮影対象の作業対象文字列に非常に近い位置で撮影される場合が多くなるため、図３に示した三次元構造取得プログラム３０５ではカメラ１３０１と三次元構造データとの位置関係を取得することが困難になると予想される。このような場合に、カメラ１０２と三次元構造データとの位置関係およびカメラ１０２とカメラ１３０１との相対的な位置関係を用いることによって、カメラ１３０１と三次元構造データとの相対的な位置関係を求めることができる。この結果、カメラ１３０１で撮影した作業対象文字列の位置姿勢を求めることが可能となる。

以上のように、本実施例の作業支援用データ作成システムによれば、第２の映像入力手段（例えばカメラ１３０１）によって作業者が作業を実施するオフィスや工場などの作業環境の状況を映像として取得し、第１の映像入力手段（例えばカメラ１０２）と第２の映像入力手段の位置関係を取得し、作業環境の三次元構造に関する情報および第１の映像入力手段と作業環境との位置関係および第１の映像入力手段と第２の映像入力手段との位置関係に基づいて、第２の映像入力手段によって取得された映像から抽出された作業対象文字列の作業環境中における位置姿勢を算出し、算出された位置姿勢を作業手順書中における作業単位に対応付ける。これによって、通常行われる方法で作業者が作業環境中を移動して作業支援用データを構築する際に、通常の入力手段では撮影が困難な箇所に設置されているような作業対象文字列などに対しても作業者にとって自然な体制で撮影することを可能とするとともに、作業対象文字列の位置姿勢を高精度に推定することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。

１０１ 作業を実施する対象設備
１０２ 作業者の視野と同等の映像を撮影するカメラ
１０３ スマートグラス
１０４ 処理装置
２０１ スマートグラスの表示画面
２０２ 作業者に対して提示される作業指示
２０３ 対象設備上に重畳表示された情報
３０１ 情報処理装置
３０２ 入力装置
３０３ 出力装置
３０４ 記憶装置
３０５ 三次元構造取得プログラム
３０６ 作業手順書解析プログラム
３０７ 文字認識プログラム
３０８ 手順環境対応付けプログラム
３０９ 作業手順書データ
３１０ 三次元構造データ
３１１ 作業支援用データ
３１２ 作業対象文字列認識結果データ
１２０１ 補助入力装置
１２０２ 位置姿勢取得プログラム
１２０３ 文字認識プログラム

Claims (13)

1. 少なくとも映像が入力される入力装置と、前記入力装置に接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有するデータ作成システムであって、
   前記記憶装置は、作業に関する文字列を含む作業手順データを保持し、
   前記プロセッサは、
   前記作業手順データから文字列を抽出し、
   前記入力装置から取得した映像に含まれる文字列を認識し、
   前記認識した文字列の位置及び姿勢を特定し、
   前記認識した文字列の位置及び姿勢を示す情報と、前記作業手順データから抽出した文字列のうち前記認識した文字列と同一の文字列とを対応付ける作業支援用データを生成して、前記記憶装置に保持し、
   前記認識した文字列の位置及び姿勢との関係が所定の条件を満たす位置及び姿勢を示す情報、又は、前記映像から抽出された物体若しくはその形状であって前記認識した文字列の位置との関係が所定の条件を満たすものの位置及び姿勢を示す情報を、前記作業手順データから抽出した、前記認識した文字列と同一の文字列と対応付けて、前記記憶装置に保持することを特徴とするデータ作成システム。
2. 請求項１に記載のデータ作成システムであって、
   前記プロセッサは、前記入力装置から取得した映像に含まれる対象物の三次元構造を構築し、前記認識した文字列の前記三次元構造中の位置及び姿勢を特定することを特徴とするデータ作成システム。
3. 請求項２に記載のデータ作成システムであって、
   前記入力装置は、第１の映像入力装置及び第２の映像入力装置を含み、
   前記第１の映像入力装置は、前記第２の映像入力装置及び前記対象物を含む映像を撮影し、
   前記第２の映像入力装置は、文字列を含む映像を撮影し、
   前記プロセッサは、
   前記第１の映像入力装置から取得した映像に基づいて、映像に含まれる対象物の三次元構造を構築し、
   前記第１の映像入力装置から取得した映像に基づいて、前記第１の映像入力装置と前記第２の映像入力装置との位置関係を特定し、
   前記第２の映像入力装置から取得した映像に含まれる文字列を認識し、
   前記対象物の三次元構造と、特定した前記第１の映像入力装置と前記第２の映像入力装置との位置関係とに基づいて、前記認識した文字列の前記三次元構造中の位置及び姿勢を特定することを特徴とするデータ作成システム。
4. 請求項１に記載のデータ作成システムであって、
   前記プロセッサは、前記作業手順データから抽出した、前記認識した文字列と同一の文字列に、位置及び姿勢を示す情報が対応付けられていない場合に、前記認識した文字列の位置及び姿勢を示す情報を対応付けることを特徴とするデータ作成システム。
5. 請求項１に記載のデータ作成システムであって、
   前記記憶装置は、前記作業手順データに含まれる、前記作業に関する文字列と、当該文字列に関連する他の文字列とを対応付ける情報をさらに保持し、
   前記プロセッサは、前記認識した文字列の位置及び姿勢を示す情報を、前記作業手順データから抽出した、前記認識した文字列と同一の文字列、及び、当該同一の文字列に関連する他の文字列の少なくともいずれかと対応付けて前記記憶装置に保持することを特徴とするデータ作成システム。
6. 請求項１に記載のデータ作成システムであって、
   前記作業手順データ及び前記作業支援用データにおいて、各作業単位と、前記各作業単位に含まれる一以上の作業に関する文字列とが対応付けられ、
   前記プロセッサは、前記認識した文字列と同一の文字列が、前記特定された位置とは異なる位置でも検出された場合、
   前記作業支援用データの前記認識した文字列と同一の文字列を含む全ての前記作業単位において、前記認識した文字列と同一の文字列に対応する位置及び姿勢を、前記特定された位置及び姿勢に更新する処理、
   前記作業支援用データの前記認識した文字列と同一の文字列のうち、前記特定された位置及び姿勢と最も近い位置及び姿勢に対応する文字列を含む前記作業単位について、前記認識した文字列と同一の文字列に対応する位置及び姿勢を、前記特定された位置及び姿勢に更新する処理、
   前記特定された位置及び姿勢に最も近い位置及び姿勢に対応付けられた他の文字列を検索し、前記認識した文字列と前記検索された他の文字列との両方を含む前記作業単位について、前記認識した文字列と同一の文字列に対応する位置及び姿勢を、前記特定された位置及び姿勢に更新する処理、
   前記特定された位置及び姿勢から所定の範囲内の位置及び姿勢に対応付けられた他の文字列を検索し、前記認識した文字列と前記検索された他の文字列との両方を含む前記作業単位について、前記認識した文字列と同一の文字列に対応する位置及び姿勢を、前記特定された位置及び姿勢に更新する処理、
   前記認識した文字列に最も近い他の文字列を撮影する指示を出力し、前記指示に応じて入力された映像から前記他の文字列を抽出し、前記認識した文字列と前記抽出された他の文字列との両方を含む前記作業単位について、前記認識した文字列と同一の文字列に対応する位置及び姿勢を、前記特定された位置及び姿勢に更新する処理、の少なくともいずれかを実行することを特徴とするデータ作成システム。
7. 請求項１に記載のデータ作成システムであって、
   前記作業手順データ及び前記作業支援用データにおいて、各作業単位と、前記各作業単位に含まれる一以上の作業に関する文字列とが対応付けられ、
   前記プロセッサは、前記特定された位置及び姿勢と同一の位置及び姿勢に、前記認識した文字列とは異なる他の文字列が対応付けられている場合、前記特定された位置及び姿勢と同一の位置及び姿勢に対応付けられた文字列を含む全ての前記作業単位について、前記特定された位置及び姿勢と同一の位置及び姿勢に対応付けられた文字列を、前記認識した文字列に更新することを特徴とするデータ作成システム。
8. 請求項１に記載のデータ作成システムであって、
   前記作業手順データ及び前記作業支援用データにおいて、各作業単位と、前記各作業単位に含まれる一以上の作業に関する文字列とが対応付けられ、
   前記プロセッサは、
   前記特定された位置及び姿勢と同一の位置及び姿勢に、前記認識した文字列とは異なる他の文字列が対応付けられている場合、前記他の文字列を前記認識した文字列に更新し、
   所定の前記作業単位において、前記他の文字列が前記認識した文字列に更新された場合、前記特定された位置及び姿勢と同一の位置及び姿勢に対応付けられている文字列を含む全ての作業単位について、前記特定された位置及び姿勢と同一の位置及び姿勢に対応付けられている文字列を前記認識した文字列に更新することを特徴とするデータ作成システム。
9. 請求項１に記載のデータ作成システムであって、
   前記プロセッサは、前記入力装置から取得した映像に含まれる文字列を認識し、かつ、当該映像から抽出された人物の姿勢又は動作が所定の条件を満たす場合に、前記認識した文字列の位置及び姿勢に基づく前記作業支援用データの作成を行うことを特徴とするデータ作成システム。
10. 請求項９に記載のデータ作成システムであって、
    前記プロセッサは、当該映像から抽出された人物の手の位置が、前記認識した文字列の位置を基準とする所定の範囲内にある場合、当該映像から抽出された人物の手が、前記認識した文字列を指している場合、又は、当該映像から抽出された人物の動作が所定の動作である場合に、当該映像から抽出された人物の姿勢又は動作が所定の条件を満たすと判定することを特徴とするデータ作成システム。
11. 請求項１に記載のデータ作成システムであって、
    前記入力装置には、さらに音声が入力され、
    前記プロセッサは、前記入力装置から取得した映像に含まれる文字列を認識し、かつ、前記入力装置に所定の音声が入力された場合に、前記認識した文字列の位置及び姿勢に基づく前記作業支援用データの作成を行うことを特徴とするデータ作成システム。
12. 請求項１に記載のデータ作成システムであって、
    前記プロセッサに接続される出力装置をさらに有し、
    前記プロセッサは、
    認識した文字列の一覧を前記出力装置に表示させ、
    前記一覧に含まれる文字列のいずれかを選択する情報が前記入力装置に入力された場合、選択された前記文字列の位置及び姿勢に基づく前記作業支援用データの作成を行うことを特徴とするデータ作成システム。
13. 少なくとも映像が入力される入力装置と、前記入力装置に接続されるプロセッサと、前記プロセッサに接続される記憶装置と、を有する計算機システムが実行するデータ作成方法であって、
    前記記憶装置は、作業に関する文字列を含む作業手順データを保持し、
    前記データ作成方法は、
    前記プロセッサが、前記作業手順データから文字列を抽出する手順と、
    前記プロセッサが、前記入力装置から取得した映像に含まれる文字列を認識する手順と、
    前記プロセッサが、前記認識した文字列の位置及び姿勢を特定する手順と、
    前記プロセッサが、前記認識した文字列の位置及び姿勢を示す情報と、前記作業手順データから抽出した文字列のうち前記認識した文字列と同一の文字列とを対応付ける作業支援用データを生成して、前記記憶装置に保持する手順と、
    前記プロセッサが、前記認識した文字列の位置及び姿勢との関係が所定の条件を満たす位置及び姿勢を示す情報、又は、前記映像から抽出された物体若しくはその形状であって前記認識した文字列の位置との関係が所定の条件を満たすものの位置及び姿勢を示す情報を、前記作業手順データから抽出した、前記認識した文字列と同一の文字列と対応付けて、前記記憶装置に保持する手順と、を含むことを特徴とするデータ作成方法。

Images