JP6144364B2 - 作業支援用データ作成プログラム - Google Patents
作業支援用データ作成プログラム Download PDFInfo
- Publication number
- JP6144364B2 JP6144364B2 JP2015557644A JP2015557644A JP6144364B2 JP 6144364 B2 JP6144364 B2 JP 6144364B2 JP 2015557644 A JP2015557644 A JP 2015557644A JP 2015557644 A JP2015557644 A JP 2015557644A JP 6144364 B2 JP6144364 B2 JP 6144364B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- image
- viewpoint image
- target
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims description 127
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000003190 augmentative effect Effects 0.000 description 21
- 238000012545 processing Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 5
- 238000007639 printing Methods 0.000 description 5
- 238000010276 construction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009415 formwork Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06316—Sequencing of tasks or work
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06311—Scheduling, planning or task assignment for a person or group
- G06Q10/063116—Schedule adjustment for a person or group
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/067—Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Marketing (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Manufacturing & Machinery (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Processing Or Creating Images (AREA)
- General Factory Administration (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
本発明は,工事や設備の保守・点検等の各種作業を行う作業者を支援する装置等において用いられる作業支援用のデータを作成するプログラムおよび方法に関する。
通常,工事や設備の保守・点検等の各種作業を実施する場合には,作業の内容や順序を記載した作業手順書を準備する。作業手順書の形式にはさまざまな形式が存在しているが,一般的には,個々の作業を表す作業項目に関する内容が,必要に応じて実際の状況を示す写真や絵等とともに,実施される順序に沿って順番に記載されている場合が多い(一覧形式作業手順書)。作業者はこのような作業手順書の内容に沿って作業を実施することにより,正しく目的の作業を完了することができる。
一方,近年,実世界を映した映像上の適切な位置に他の画像や文字等の仮想情報を提示することにより使用者による実世界の理解を補助する技術である拡張現実感と呼ばれる技術が注目されている。拡張現実感を用いることにより適切なタイミング,場所,内容を作業者に提示することが可能となるため,拡張現実感技術により作業者に指示を与える作業ナビゲーションはヒューマンエラーの防止に役立つと期待されている。
作業ナビゲーションに拡張現実感技術を利用するためには,一般的に,作業を行う空間(作業領域)およびその中に配置されているメータやバルブ,スイッチ類等,作業の対象物(作業対象)に関する3次元的な情報(3次元モデル)を用意するとともに,3次元モデルに作業項目を対応付けたデータ(拡張現実感用作業手順データ)として保存しておく必要がある。
3次元モデル上に各種情報を対応付ける技術として,特許文献1では,画面上に3次元モデルを表示するとともに,対象の位置をマウス等の入力手段により指定し,画像等を対応付ける技術が記載されている。また,特許文献2では,3次元モデルを表示するとともに,3次元モデルに含まれる部品の情報をメニュー形式で表示し,メニューにより対象となる部品を選択し,関連する情報をリンクさせる技術が記載されている。
上記の発明では,3次元モデル上に情報を対応付ける方法が記載されているが,順序関係を有する作業手順に関する情報を3次元モデルに対応付ける方法については考慮されていない。拡張現実感用作業手順データを作成するためには,順序関係も含めた作業手順を容易に3次元モデルに対応付けることが可能である必要がある。
また,拡張現実感用作業手順データは拡張現実感を用いたシステムを使用する作業者への情報提供には適しているが,拡張現実感を用いたシステムを使用しない監督者等が作業の内容や作業の流れを確認するためには適しておらず,従来からある一覧形式作業手順書が適していると考えられる。このため,拡張現実感用作業手順データと同じデータから一覧形式作業手順書も出力できることが望ましい。
また上記の発明では,作業領域に関するできるだけ正確な3次元モデルが作成できていることが前提となっているが,3次元モデルの構築は容易ではない。近年,3次元モデルによる設計が主流になりつつあるが,設計における3次元モデルと実際の作業領域の状態が一致していない場合もある。このため,実際の作業領域の状態に基づいた拡張現実感用作業手順データを容易に作成できることが望ましい。
また,一覧形式作業手順書には作業を行う視点から撮影した画像(作業視点画像)を付加する場合が多いが,作業視点画像は拡張現実感を用いたシステムにおいても役立つと考えられるため,作業視点画像を拡張現実感用作業手順データにも登録できることが望ましい。通常,作業視点画像は作業を実施する現場で撮影し,オフィス等に持ち帰った後,作業手順に追加するというような方法をとると考えられるが,作業視点画像は特定の作業対象のみに注目した画像であるため,作業領域のどこに対応する画像かを判断することが困難になることも予想される。このため,拡張現実感用作業手順データに作業視点画像を容易に追加・登録できることが望ましい。
さらに,既存の作業手順の内容をもとに,拡張現実感用作業手順データを構築する場合も考えられるが,この場合,各々の作業項目と,関連する作業対象を容易に対応付けられることが望ましい。
本発明の目的は,順序関係も含めた作業手順を実際の作業領域の状態に基づいた3次元モデルに対応付けることを可能とするとともに,拡張現実感用作業手順データと一覧形式作業手順書を出力可能なデータを効率的に作成する技術を提供することにある。本発明の他の目的は,3次元モデルへの作業視点画像の追加・登録と,既存の作業手順における各々の作業項目の3次元モデルへの登録とを容易にする技術を提供することにある。
上記の課題を解決するために,例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、
作業支援用データ作成装置であって、複数の作業対象を含む複数枚の全景画像が入力される入力部と、入力された全景画像から3次元モデルを生成するモデル生成部と,3次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成する画像変換部と,作業を行う視線から撮影した画像である作業視点画像と変形全景画像とを比較して得られる類似度に基づいて,全景画像に対する作業視点画像の位置関係を求める位置特定部と,作業を行う対象である作業対象に関連する情報を全景画像上に登録する作業対象登録部と,全景画像に対する作業視点画像の位置関係に基づいて,登録した作業対象に対応する作業視点画像を検索し,検索された作業視点画像を作業対象に対応付ける対応付け部と,作業対象と作業対象に対応付けられた作業視点画像とを3次元モデルに対応付けて保存する記憶部と,を有することを特徴とする。
作業支援用データ作成装置であって、複数の作業対象を含む複数枚の全景画像が入力される入力部と、入力された全景画像から3次元モデルを生成するモデル生成部と,3次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成する画像変換部と,作業を行う視線から撮影した画像である作業視点画像と変形全景画像とを比較して得られる類似度に基づいて,全景画像に対する作業視点画像の位置関係を求める位置特定部と,作業を行う対象である作業対象に関連する情報を全景画像上に登録する作業対象登録部と,全景画像に対する作業視点画像の位置関係に基づいて,登録した作業対象に対応する作業視点画像を検索し,検索された作業視点画像を作業対象に対応付ける対応付け部と,作業対象と作業対象に対応付けられた作業視点画像とを3次元モデルに対応付けて保存する記憶部と,を有することを特徴とする。
あるいは、作業支援用データ作成プログラムを記録した情報記録媒体であって、当該プログラムは、複数の作業対象を含む複数枚の全景画像から3次元モデルを生成するステップと,3次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成するステップと,作業を行う視線から撮影した画像である作業視点画像と変形全景画像とを比較して得られる類似度に基づいて,全景画像に対する作業視点画像の位置関係を求めるステップと,作業を行う対象である作業対象に関連する情報を全景画像上に登録するステップと,全景画像に対する作業視点画像の位置関係に基づいて,登録した作業対象に対応する作業視点画像を検索し,検索された作業視点画像を作業対象に対応付けるステップと,作業対象と作業対象に対応付けられた作業視点画像とを3次元モデルに対応付けて保存するステップと,をコンピュータに実行させることを特徴とする。
本発明によれば,順序関係も含めた作業手順を実際の作業領域の状態に基づいた3次元モデルに対応付けることが可能になり,拡張現実感用作業手順データと一覧形式作業手順書を出力可能なデータを効率的に作成することが可能となる。
本発明の実施例を図1から図20を用いて説明する。
図1は本発明による実施例によるプログラムを一般的なコンピュータによって実行させる場合のコンピュータの構成図を示す。
図1は本発明による実施例によるプログラムを一般的なコンピュータによって実行させる場合のコンピュータの構成図を示す。
図1における101は,本発明における各種のプログラムを実行するための情報処理装置である。入力装置102は,複数の作業対象(メータやバルブ,スイッチ等の作業を行う対象物)を含む画像である全景画像や作業を行う視点から撮影した画像である作業視点画像を入力するためのカメラと,使用者が各種のプログラムに指示を与えるためのキーボードやマウスあるいはタッチパネル等の一般的なコンピュータへの入力手段から構成される。出力装置103は情報を使用者へ提示し,また紙上に印刷を行うため装置であり,コンピュータにおいて一般的に使用されるモニタやプリンタ等を使用することができる。
プログラム記憶装置104は,本発明における各種プログラムを格納するための手段であり,制御プログラム105は,106から113に示す各種プログラムを使用者からの入力に基づいて制御するためのプログラムである。作業対象登録プログラム106は複数の全景画像を登録し,3次元モデル生成プログラム107を用いて全景画像上に映っている空間(作業領域)の3次元情報(3次元モデル)を取得するとともに,全景画像上に作業対象を登録するためのプログラムである。新規作業項目追加プログラム108は,全景画像−作業視点画像対応付プログラム109を用いて作業視点画像と全景画像の対応関係を求め,求めた対応関係に基づいて作業対象に作業視点画像を対応付けるとともに,対応付けた作業対象と作業視点画像を含む作業項目を新たな作業項目として作成し,作業手順に追加するためのプログラムである。
ここで作業手順とは,作業対象に対して実施される個々の作業に関する情報である作業項目が,作業が実施される順番に並べられた形式の情報をいう。作業手順−作業視点画像対応付プログラム110は,あらかじめ用意されている作業手順中の各作業項目に対応する計器類などの作業対象を検索し,検索された作業対象を作業項目に対応付ける。さらに作業項目に対応付けられた作業対象の全景画像上の位置に基づいて作業対象に対応する作業視点画像を検索し,検索された作業視点画像を作業項目に対応付けるためのプログラムである。
作業手順順序変更プログラム111は,全景画像上の作業対象に順序を表す情報を付加し,付加された順序に関する情報に基づいて,作業対象に対応付けられた作業項目の順序を変更するためのプログラムである。作業手順−3次元モデル対応付プログラム112は,作業対象の全景画像上の位置や全景画像と3次元モデルとの対応関係に基づいて,作業手順中の作業項目を3次元モデル上の位置座標に対応付けるためのプログラムである。作業手順書出力プログラム113は,3次元モデルに対応付けられた作業手順の情報を出力するとともに,紙上への作業手順書の印刷を行うためのプログラムである。図1におけるデータ記憶装置114は,全景画像や作業視点画像、全景画像から取得した3次元モデル,全景画像と作業視点画像との対応関係,作業手順に関する情報等の各種データや情報を記憶するための装置である。
図2を用いて作業対象登録プログラム106の処理について説明する。図2におけるステップ201では,複数の作業対象を含む作業領域を撮影した画像である全景画像を複数枚登録する。全景画像の登録は,使用者がキーボードやマウス等の操作により登録する全景画像を指定することにより行う。作業領域が図3に示すような構造である場合,全景画像は図4に示す様な画像となる。
図3における301,302,303および304は実空間に配置された、実際に作業者が作業を行う対象物(作業対象)であり,それぞれ図4に示す全景画像上では401,402,403および404として現れている。また,ステップ201で登録するそれぞれの全景画像は,作業領域を異なる位置および角度から撮影した画像であるとする。ステップ202ではステップ201で登録した複数枚の全景画像から,作業領域の3次元情報(3次元モデル)を取得する。同一の対象を撮影した複数の画像から対象の3次元モデルを取得する方法は,良く知られているバンドル調整と呼ばれる方法を用いることで容易に実現することができる。バンドル調整を用いることで,3次元モデルは3次元空間上の点の集合として取得される。また,各画像に対して,カメラの内部パラメータ(焦点距離および画像の中心位置)と外部パラメータ(カメラの位置と向き)が取得される。
図5に全景画像から取得される3次元モデルを保存するためのデータフォーマットの一例を示す。図5は3次元モデルを構成する各点のデータフォーマットを示しており,取得された点の数だけ図5に示すデータフォーマットのデータが保存される。図5において501は対象となる点の位置座標であり,3次元空間の点であれば通常,X軸,Y軸,Z軸それぞれに対する座標値の組で表すことができる。502は対象となる点の色情報であり,例えば,赤成分,緑成分,青成分の割合を表す3つの数値の組で表すことができる。色の表現方法としては,上記の他,一般的に用いられている方法であれば,どのような方法でも用いることができる。503以下の情報は,対象となる点が各全景画像上においてどの位置に対応しているかを表す情報である。503は対象となる点が対応する全景画像の数,504は対象となる点が対応する全景画像の内,一番目の全景画像の名称,505は対象となる点の一番目の全景画像上における位置座標である。全景画像上の位置は2次元の位置座標として表される。また,506は対象となる点が対応する全景画像の内,n番目の全景画像の名称,507は対象となる点のn番目の全景画像上における位置座標である。
図6に全景画像から3次元モデルを取得した際に同時に取得されるカメラの内部パラメータおよび外部パラメータを保存するためのデータフォーマットの一例を示す。カメラの内部パラメータおよび外部パラメータは各全景画像に対して保存される。図6において601は全景画像の名称,602はカメラの内部パラメータ,603はカメラの外部パラメータである。カメラの内部パラメータは上述のように,カメラの焦点距離および画像の中心位置の組合せによって表される。焦点距離は通常,画像のX軸方向およびY軸方向に対して定義される値である。画像の中心位置も画像のX軸方向およびY軸方向の座標値であるため,内部パラメータは4つの数値の組合せとして表される。一方,外部パラメータにおけるカメラの向きは,回転行列,あるいは,X軸,Y軸およびZ軸回りの回転角度を表す3つの数値のいずれかで表すことができる。回転行列の場合は通常3行×3列の行列で表される。また,カメラの位置については,X軸,Y軸およびZ軸上の座標値で表される。よって,カメラの外部パラメータは,カメラの向きに回転行列を用いた場合は,カメラの位置を含めて3行×4列の変換行列として,また,カメラの向きとして各軸回りの回転角度を用いた場合は6つの数値の組合せとして表される。
図2のステップ203では,ステップ201で登録した全景画像の内の一つを選択し,選択した全景画像上に撮影されている作業対象の名称や位置等の情報を登録する。作業対象の位置の指定方法としては,例えば,図7の701に示すように,作業対象に対応する領域をキーボードやマウス等の操作により指定することができる。701では四角形を用いて作業対象の領域を指定するようにしているが,円形,あるいは任意の多角形によって指定するようにすることもできる。また,作業対象の位置を指定する際に,キーボードやマウス等の操作により作業対象の名称を入力し登録する。作業対象の名称の他,作業対象に付随する各種情報を同時に登録するようにしても良い。さらに,上記では登録した全景画像の内の一つに対して作業対象を登録していたが,登録した全景画像全てに対して作業対象の名称や位置を登録するようにしても良い。図8に全景画像上に登録した作業対象の情報を保存するためのデータフォーマットの一例を示す。図8において801は作業対象が登録されている全景画像の名称である。802は全景画像に登録されている作業対象の数,803は一番目の作業対象の名称,804は一番目の作業対象の位置である。作業対象の位置は,その領域を四角形あるいは任意の多角形で指定した場合は,四角形あるいは多角形の各頂点の全景画像上における位置座標の組,円形で指定した場合は中心位置と半径によって表すことができる。また,805はn番目の作業対象の名称,806はn番目の作業対象の位置である。
図2のステップ204では,全景画像から取得した3次元モデル,カメラのパラメータ,および全景画像上に登録した作業対象の情報を保存して,処理を終了する。
図2のステップ204では,全景画像から取得した3次元モデル,カメラのパラメータ,および全景画像上に登録した作業対象の情報を保存して,処理を終了する。
図9を用いて新規作業項目追加プログラム108の処理について説明する。図9におけるステップ901では,作業視点画像を追加する。作業視点画像の追加は,使用者がキーボードやマウス等の操作により追加する作業視点画像を指定することにより行う。ステップ902では,全景画像−作業視点画像対応付プログラム109を呼び出すことにより,全景画像と追加した作業視点画像との対応関係を求める。ステップ902で行う処理の詳細は後述する。ステップ902により,作業視点画像が対応する全景画像上の位置が求められる。全景画像上に対応する作業視点画像の位置は,一つの点を表す位置座標によって表しても良いし,あるいは,全景画像上で作業視点画像が対応する領域を示す図形によって表すこともできる。後者の場合,領域を表す円形を使用しても良いし,あるいは,任意の多角形によって表しても良い。また,ステップ902の結果求められた全景画像上における作業視点画像の位置を全景画像上に明示する。この際,全景画像上に明示する作業視点画像の位置は,新たに追加した作業視点画像に対するもののみか,あるいは,登録されている全ての作業視点画像に対するものかを,使用者がキーボードやマウス等の操作によって選択できるようにしても良い。次にステップ903では,上記で求められた全景画像上の作業視点画像の位置と作業対象登録プログラムで登録した作業対象の位置とに基づいて,作業対象に対応する作業視点画像を検索する。この処理は,例えば,作業対象の領域の中心位置の座標と,作業視点画像が全景画像上で対応する領域の中心位置の座標を求め,ある作業対象の中心位置に最も近い中心位置を有する作業視点画像を,その作業対象に対応する作業視点画像と見なすことにより行うことができる。あるいは,ある作業対象の中心位置と作業視点画像の中心位置との距離が,あらかじめ定めされた閾値以内に存在する作業視点画像を,その作業対象に対応する作業視点画像と見なしても良い。
図9のステップ904では,ステップ903で対応付けられた作業対象および作業視点画像を含む作業項目を生成し,作業手順に追加する。図10に作業項目に関する情報を保存するためのデータフォーマットの一例を示す。作業手順に関する情報は,図10に示すデータフォーマットで表される複数の作業項目が,作業が実施される順序で並べられた形式で構成され,保存される。図10において,1001は作業項目の名称であり,新規に追加される場合は,対応する作業対象の名称などを設定することができる。あるいは,追加する際に,キーボードやマウス等を操作することにより使用者が入力するようにしても良い。また,作業項目の名称を後から使用者が変更するようにすることも容易に実現できる。図10における1002は作業項目の内容に関する情報であり,新規に追加する際は空白である。この情報も,後から使用者がキーボードやマウス等の操作により追加および修正を行うようにすることができるし,追加する際に使用者が入力するようにしても良い。
1003は作業対象と作業視点画像の対応を求める際に使用した全景画像の名称である。1004および1005は,ステップ903で対応付けられた作業対象の名称および作業視点画像の名称がそれぞれ設定される。1006は作業項目が対応する3次元モデル上の位置であるが,この情報は後述する作業手順−3次元モデル対応付プログラム112で設定される情報であり,ここでは空白のままとなる。図10では,作業対象の名称1004と作業視点画像の名称1005および3次元モデル上の位置座標1006は一つずつ設定されると想定したデータフォーマットとなっている。このため,作業対象に対応する作業視点画像が複数存在する場合は,キーボードやマウス等の操作によって,登録する作業視点画像を選択するようにする。あるいは,作業対象に対応する作業視点画像を複数登録するようにしても良い。
図9のステップ905では,キーボードやマウス等の操作によって,使用者が作業項目の内容,すなわち図10における1002の内容を登録する。ステップ906では,追加された作業項目の内容を保存して,処理を終了する。
図11を用いて,図9のステップ902の処理,すなわち全景画像−作業視点画像対応付プログラム109の処理の詳細を説明する。ステップ902の処理では,3次元モデルを変化させることにより,図2のステップ201で登録された全景画像とは異なる視点から見た全景画像(変形全景画像)を生成し,生成した変換画像と作業視点画像との類似度に基づいて,変形全景画像において作業視点画像が対応する位置を求め,さらにその結果に基づいて,図2のステップ201で登録した全景画像上において作業視点画像が対応する位置を求める。
図11を用いて,図9のステップ902の処理,すなわち全景画像−作業視点画像対応付プログラム109の処理の詳細を説明する。ステップ902の処理では,3次元モデルを変化させることにより,図2のステップ201で登録された全景画像とは異なる視点から見た全景画像(変形全景画像)を生成し,生成した変換画像と作業視点画像との類似度に基づいて,変形全景画像において作業視点画像が対応する位置を求め,さらにその結果に基づいて,図2のステップ201で登録した全景画像上において作業視点画像が対応する位置を求める。
この処理を行うため,まず,3次元モデルを変化させる方法を定義する。この方法として,座標軸回りの回転角度と平行移動によって3次元モデルを変化させる方法を用いることができる。座標軸回りの回転角度によって3次元モデルを変化させる方法には複数通りの方法があるが,本発明はいずれの方法を用いても良い。3次元モデルを表す座標系におけるX軸,Y軸,Z軸回りの回転角度をax、ayおよびaz、各軸方向の平行移動の大きさをtx、ty、tzとすると,3次元モデルは(式1)のようにして変化させることができる。(式1)において,(x,y,z,l)Tは元の3次元モデル上の点の位置座標,(X,Y,Z)Tは変化させた後の3次元モデル上の点の位置座標である。
ステップ902の処理では,各座標軸回りの回転角度と平行移動を表す6つの数値をパラメータとして3次元モデルを変化させる。以下の説明では,この6つの数値からなるパラメータを視点パラメータと呼ぶ。
図11におけるステップ1101では視点パラメータの初期化を行う。ここでは,視点パラメータ中の各数値をあらかじめ定められた範囲内で変化させる方法を使用することを前提とし,ステップ1101では,視点パラメータの各数値として,あらかじめ定められた値の下限値を設定する。視点パラメータを初期化する方法としては,この他,全景画像と作業視点画像から自然特徴量と呼ばれる特徴量を抽出し,それらの対応関係から3次元モデルの回転角度と平行移動を算出する方法や,別途設置されたセンサから取得された値等を用いることにより算出する方法等が知られているが,これらの方法を用いて視点パラメータを初期化しても良い。
ステップ1102では,あらかじめ用意された視線パラメータのパターン全てに対してステップ1103以降の処理が実行されたかどうかをチェックし,未処理のパターンがある場合はステップ1103に進む。ステップ1103では,未処理の視点パラメータのパターンとなるように,視点パラメータを変化させる。ステップ1104では,ステップ1103で設定された視点パラメータに基づいて,(式1)を用いて3次元モデルを構成する各点の位置座標を変化させる。さらにステップ1105では,変化させた3次元モデルから全景画像(変形全景画像)を生成する。3次元モデル上の点(X,Y,Z)Tが2次元画像上において対応する位置(sx、sy、l)Tは,カメラの内部パラメータを用いて(式2)により計算することが可能である。(式2)において,fxおよびfyはそれぞれ,カメラのX軸,Y軸方向の焦点距離,(cx,cy)は画像の中心位置の座標である。またkはサイズファクタと呼ばれる値である。
図2のステップ201で登録された全景画像が全て同じカメラで撮影された画像であれば,ステップ202で求められたカメラの内部パラメータは全て同一となる。一方,全景画像を撮影したカメラが異なる場合は,内部パラメータが異なる可能性がある。この場合は,変形全景画像を生成する場合に使用する内部パラメータは,ステップ202で求められた内部パラメータの平均値を用いれば良い。ステップ1105では,ステップ1104で変化させた3次元モデル上の全ての点について2次元画像上における対応位置を求め,その位置に元の点の色情報を用いた点を描画することにより,変形全景画像を生成することができる。
ステップ1106では,生成した変形全景画像に対してステップ1107以降の処理を全ての作業視点画像に対して処理したかどうかをチェックする。未処理の作業視点画像が残っている場合は,ステップ1107に進む。ステップ1107では,未処理の作業視点画像を一つ選択する。ステップ1108では,ステップ1107で選択した作業視点画像とステップ1105で生成した変形全景画像との類似度を求める。類似度は,変形全景画像上に作業視点画像を重ね合わせた際に,重なり合う画素の値に基づいて計算する。類似度の計算方法としては,画素が有する値の差の二乗和や相関係数等,一般的に用いられている評価尺度を類似度として計算することができる。また,類似度を計算する際に,作業視点画像の大きさと,作業視点画像を重ね合わせる変形全景画像上の位置を変化させながら重ね合わせを行う。
これにより,作業視点画像の大きさと変形全景画像上の位置の組合せ毎に類似度が求められる。ステップ1109では,ステップ1108で求められた類似度の中から,最も大きな類似度とその際の作業視点画像の大きさおよび変形画像上の位置を選択し,視点パラメータとともに保存する。以上のステップ1107から1109の処理により,各作業視点画像に対して,変形全景画像との類似度が最も大きくなる作業視点画像の大きさと変形全景画像上の位置が求められることになる。ステップ1106において,未処理の作業視点画像が残っていない場合は,ステップ1102に戻る。
ステップ1102で,全ての視点パラメータのパターンに対して処理が行われたと判断された場合は,ステップ1110に進む。ステップ1110では,各作業視点画像に対して,全景画像との類似度が最大となる視点パラメータ,作業視点画像の大きさおよび変形全景画像上の位置を選択する。ステップ1111では,ステップ1110で選択した視点パラメータ,作業視点画像の大きさ,および変形全景画像上の位置に基づいて,作業視点画像に撮影されている内容が変化前の3次元モデルのどの位置に対応するかを求める。変形全景画像は,3次元モデル上の点を (式1)により変化させた後,(式2)を用いて変化させた3次元モデル上の各点を2次元画像上の点に変換することにより生成される。よって,(式1)および(式2)による変換の際に,変換前後における点の対応関係を保存しておくことにより,変形全景画像上の位置から(式1)による変化前の3次元モデル上の位置を求めることは容易である。
ステップ1111では,各作業視点画像に対して保存されている作業視点画像の大きさ,および変形全景画像上の位置から,類似度を求めた際の作業視点画像と重ね合わせた変形全景画像上の位置座標をリストアップし,次に,変形全景画像上の点と3次元モデル上の点の対応関係に基づいて,リストアップした変形全景画像上の位置座標に対応する3次元モデル上の位置座標をリストアップする。リストアップした3次元モデル上の点は空間的な広がりを有するため,リストアップした3次元モデル上の点の中心位置や重心位置を作業視点画像が対応する3次元モデル上の位置とする。あるいは,リストアップした3次元モデル上の点を内包する直方体を求め,求めた直方体を表す情報(例えば直方体の各頂点の位置座標)を作業視点画像に対応する3次元モデル上の位置としても良い。さらには,リストアップした3次元モデル上の点の集合を作業視点画像に対応付けても良い。また,作業視点画像に対応する変形全景画像上の位置座標をリストアップする際,作業視点画像全体に対応する位置座標ではなく,例えば,作業視点画像の中心から,あらかじめ決められた範囲内の領域に対応する変形全景画像上の位置座標をリストアップするようにしても良い。あるいは,色情報や輪郭情報,特徴量等の情報から,作業視点画像上で作業対象であると判断される領域を抽出し,抽出した領域に対応する変形全景画像上の位置座標のみをリストアップするようにしても良い。さらには,使用者がキーボードやマウス等の操作により,作業視点画像上の領域を指定し,指定された領域に対応する変形全景画像上の位置座標をリストアップするようにしても良い。
最後にステップ1112において,ステップ1111で求めた3次元モデル上の位置に基づいて,作業視点画像が全景画像上のどの位置に対応するかを求める。3次元モデル上の点の位置座標と各全景画像上の位置座標の対応関係は,上述したように,全景画像から3次元モデルを取得する際に計算されているため,3次元モデル上の位置から対応する全景画像上の位置を容易に求めることができる。作業視点画像が対応する全景画像上の位置としては特定の点の位置座標で表しても良いし,あるいは,円や多角形により作業視点画像が対応する全景画像上の領域として表すこともできる。
図12を用いて,作業手順−作業視点画像対応付プログラム110の処理について説明する。図12のステップ1201では,あらかじめ用意されている作業手順中の作業項目を追加する。作業項目の追加は,使用者がキーボードやマウス等の操作により追加する作業項目を指定することにより行う。ステップ1201で追加する作業項目は図10に示す作業項目に関する情報のデータフォーマットにおいて,作業項目の名称1001および作業項目の内容1002から構成される情報であるとする。ステップ1202では,追加された作業項目に対応する作業対象を全景画像上に登録された作業対象の中から検索する。
作業項目が作業対象に対応しているかどうかの判断は,作業項目の名称および内容の中に作業対象の名称が含まれているかどうかによって判定することができる。あるいは,作業対象に対するキーワードの集合を別途保存しておき,作業項目の名称および内容の中に該当するキーワードが含まれているかどうかによって,作業項目に対応する作業対象を特定するようにしても良い。
ステップ1203では,作業項目に対応する作業対象が検索された場合,検索された作業対象を作業項目に対応付ける。具体的には,図10における作業項目に関する情報のデータフォーマットにおいて,検索された作業対象の名称を1004に登録する。検索された作業対象が複数ある場合は,登録する際に使用者のキーボードやマウス等の操作によって登録する作業対象を選択するようにしても良いし,あるいは複数の作業対象の名称を1004に登録するようにしても良い。ステップ1204では,検索された作業項目に対応付けられた作業対象に対応する作業視点画像を検索する。作業視点画像は,図9のステップ902において,全景画像上において対応する位置が求められているため,作業対象が登録されている全景画像上の位置と,作業視点画像が対応する全景画像上の位置を用いて,両者の距離が最も小さい作業視点画像,あるいは,両者の距離があらかじめ定められた閾値より小さい作業視点画像を選択することにより,作業対象に対応する作業視点画像を検索することができる。
ステップ1205では,検索された作業視点画像を作業項目に対応付ける。具体的には,図10における作業項目に関する情報のデータフォーマットにおいて,検索された作業視点画像の名称を1005に登録する。検索された作業視点画像が複数ある場合は,登録する際に使用者のキーボードやマウス等の操作によって登録する作業視点画像を選択するようにしても良いし,あるいは複数の作業視点画像の名称を1005に登録するようにしても良い。ステップ1206では,作業項目の内容を保存して処理を終了する。以上の処理は追加される作業項目に作業視点画像が含まれていない場合の処理である。追加される作業項目に作業視点画像が含まれている場合は,全景画像−作業視点画像対応付プログラム109を用いることにより,作業項目に含まれている作業視点画像が対応する全景画像上の位置を求め,さらに,作業視点画像に対応する作業対象を検索することにより,作業項目,作業対象および作業視点画像を対応付けることができる。あるいは,作業項目の名称および内容を用いた処理と,作業項目に含まれている作業視点画像を用いた処理を両方とも実行し,それぞれの処理の結果,対応する作業対象として検索された作業対象を作業項目に対応付けるようにしても良い。
図13を用いて,作業手順順序変更プログラム111の処理について説明する。図13におけるステップ1301では,全景画像上に登録されている作業対象に順序を表す情報を付加する。順序を表す情報の付加は,使用者のキーボードやマウス等の操作に基づいて行う。順序を表す情報としては,順序を表す数値や記号を使用すれば良い。ステップ1302では,変数iに数値1を代入する。ステップ1303では,変数iの値が順序を表す情報が付加された作業対象の数より小さいかどうかをチェックする。変数iの値が該当する作業対象の数より小さいか等しい場合はステップ1304に進む。ステップ1304では,変数iの値に対応する順序情報が付加された作業対象を全景画像上に登録されている作業対象から検索し,選択する。例えば,i=1であれば一番目であることを表す順序情報が付加された作業対象を,i=2であれば二番目であることを表す順序情報が付加された作業対象を選択する。ステップ1305では,選択された作業対象に対応付けられた作業項目を作業手順中から検索し,変数iの値が示す順番となるように移動する。ステップ1306では,変数iの値に1を加算し,ステップ1303に戻る。ステップ1303において,変数iの値が順序を表す情報が付加された作業対象の数より大きい場合は,処理を終了する。
図14を用いて,作業手順−3次元モデル対応付プログラム112の処理について説明する。図14におけるステップ1401では,3次元モデル上における各作業対象の位置を求める。上述のように,全景画像上の位置座標と3次元モデル上の位置座標との対応関係は全景画像から3次元モデルを取得する際に計算されているため,ステップ1401では,作業対象に対応する全景画像上の領域に対応する3次元モデル上の位置座標をリストアップする。リストアップした3次元モデル上の点は空間的な広がりを有するため,リストアップした3次元モデル上の点の中心位置や重心位置を作業対象に対応する3次元モデル上の位置とする。あるいは,リストアップした3次元モデル上の点を内包する直方体を求め,求めた直方体を表す情報(例えば直方体の各頂点の位置座標)を作業対象に対応する3次元モデル上の位置としても良い。
ステップ1402では,各作業対象に対応付けられた作業項目を求める。これは,図10に示す作業項目に関連する情報のデータフォーマットにおける作業対象の名称1004を確認することにより容易に行うことができる。さらにステップ1403では,作業対象に対して求められた3次元モデル上の位置に,その作業対象に対応する作業項目を対応付ける。具体的には,図10に示す作業項目に関連する情報のデータフォーマットにおける3次元モデル上の位置座標1006にステップ1401で取得した3次元モデル上の位置座標を登録する。ステップ1404では,作業項目の内容を保存して,処理を終了する。
作業手順中の各作業項目に作業対象,作業視点画像および3次元モデル上の位置が対応付けられた状態で,作業手順書出力プログラム113を実行することにより,一覧形式の作業手順書と3次元モデルに対応付けられた作業手順の情報(3次元作業手順データ)が出力される。作業手順書出力プログラム113により出力された一覧形式の作業手順書の一例を図15に示す。図15における1501,1502,1503および1504は各作業項目を表しており,順番,作業視点画像および作業の内容が示されている。一覧形式の作業手順書は,図10に示す作業項目に関する情報から必要な情報,例えば,作業項目の名称1001,作業項目の内容1002および作業視点画像の名称1005を抽出し,あらかじめ定められたレイアウトと形式に変換した後,登録されている順序に従って印刷することにより,得ることができる。印刷時に使用するレイアウトは複数用意し,キーボードやマウス等の操作により,印刷時に使用者が選択できるようにしても良い。また,印刷する作業項目に関する情報を使用者がキーボードやマウス等の操作により選択できるようにしても良い。また,3次元作業手順データは,作業手順に関する情報と3次元モデルから構成される。
図16に3次元作業手順データにおける作業手順に関する情報を保存するためのデータフォーマットの一例を示す。図16において1601は作業項目の数,1602は一番目の作業項目の名称,1603は一番目の作業項目の内容,1604は3次元モデル上において一番目の作業項目が対応する位置座標である。1605はn番目の作業項目の名称,1606はn番目の作業項目の内容,1607は3次元モデル上においてn番目の作業項目が対応する位置座標である。また,1602および1605は図10に示す作業項目に関する情報のデータフォーマットにおける1001,1603および1606は1002,1604および1607は1006にそれぞれ対応する。すなわち,3次元作業手順データにおける作業手順に関する情報は,図10に示すデータフォーマットで保存されている作業項目に関する情報から1001,1002および1006の情報を抽出して作成される。あるいは作業対象の名称1004や作業視点画像1005も含めて抽出するようにしても良い。3次元作業手順データにおける3次元モデルは,全景画像から取得された3次元モデルと同じものである。これにより,3次元作業手順データは図17に示すようなイメージのデータとして出力される。図17は,図3の作業領域に作業項目1701,1702,1703,1704を対応付けた状態のイメージを示しており,実際の3次元作業手順データ中においては,作業項目1701,1702,1703,1704は3次元モデル上の位置座標に対応付けられた形で格納されている。また図17では,作業項目の順序に関する情報も省略されている。
以上の説明では,全景画像や作業視点画像,作業手順等の情報を追加する際の処理について説明したが,図1における制御プログラム105に,コンピュータの一般的なユーザインタフェース技術を適用することにより,画像や情報を追加した後,使用者が画像や情報の削除や修正を行うようにすることができる。例えば,図18に示すように配置された画面をコンピュータの画面上に表示することができる。図18において,1801は全景画像を表示する領域であり,1802,1803,1804および1805は全景画像上に登録された作業対象の位置を全景画像上に重畳表示したものである。また,1806は作業手順を表示する領域であり,1807,1808,1809および1810は作業項目に関する情報であり,作業視点画像の右側に作業項目の内容が表示されている。コンピュータの一般的なユーザインタフェース技術を用いることで,図18に示すような画面上で使用者がキーボードやマウス等を操作し,作業対象や作業手順の内容を選択し,画像や情報の削除や修正を行うことができるようにすることは容易である。また図18には明示されていないが,1801や1806の周囲に,使用者が実行する操作を指定するためのメニューやボタンなどを配置することができる。
また図19に,本発明における実施例により出力した3次元作業手順データを用いて,拡張現実感技術による作業ナビゲーションを実施している例を示す。拡張現実感技術は,実世界を映した映像上の適切な位置に他の画像や文字等の仮想情報を提示することにより,使用者による実世界の理解を補助する技術である。図19は,使用者への入出力装置として,背面にカメラを有するタブレット型コンピュータ1901を使用した例であり,この他,カメラ付きの頭部装着型表示装置(ヘッドマウントディスプレイ)と可搬型のコンピュータを使用する形態でも良い。図19に示す形態で作業ナビゲーションを行う場合は,タブレット型コンピュータ1901のカメラで作業領域を撮影し,作業領域の画像をコンピュータの画面上に表示する。さらに,コンピュータは撮影された作業領域の画像と3次元作業手順データ中の3次元モデルとの位置合わせを行う。作業領域の画像と3次元モデルとの位置合わせは,例えば,特殊な形状と模様を有するマーカーを作業領域に設置し,マーカーとカメラの位置関係を計算することにより行う方法がよく知られている。マーカーと3次元モデルの位置合わせをあらかじめ実施しておくことにより,作業領域の画像中に3次元モデルのどの部分が映っているかを計算することが可能となる。作業領域の画像と3次元モデルの位置合わせを行った結果,作業領域の画像上に作業項目が対応付けられた箇所が存在する場合,作業領域の画像上に該当する作業項目の内容を重畳表示する。
作業項目の内容をタブレット型コンピュータの画面上に重畳表示した一例を図20に示す。図20において,2001は作業項目が対応付けられている箇所,2002は作業項目の内容を示している。また図20では,作業項目が3次元モデル上で空間的な広がりを有する領域(例えば,作業対象に対応する領域)に対応付けられていると想定しており,図20の示す画面上では,3次元モデル上の領域を2次元画像上の領域に変換することにより2001に示すように四角形により明示されている。さらに図20では,2002に示す作業項目の内容をそれが対応付けられた位置に関連付けて表示している。作業項目の内容の表示は,例えば画面の左上など,あらかじめ決められた位置に表示するようにしても良い。また,作業項目には順序関係があるため,対象となっていない作業項目であれば,それが対応付けられている位置が作業領域の画像上に存在しても表示は行わないようにすることができる。あるいは,使用者のキーボードやマウス等の操作によって,対象となっていない作業項目の情報も表示するようにすることもできる。
以上を踏まえ、本実施例に記載の作業支援用データ作成プログラムは、複数の作業対象を含む複数枚の全景画像から3次元モデルを生成するステップと,前記3次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成するステップと,作業を行う視線から撮影した画像である作業視点画像と変形全景画像とを比較して得られる類似度に基づいて,全景画像に対する作業視点画像の位置関係を求めるステップと,作業を行う対象である作業対象に関連する情報を全景画像上に登録するステップと,全景画像に対する作業視点画像の位置関係に基づいて,登録した作業対象に対応する作業視点画像を検索し,検索された作業視点画像を作業対象に対応付けるステップと,作業対象と作業対象に対応付けられた作業視点画像とを3次元モデルに対応付けて保存するステップと,を特徴とする。
また、このプログラムを記録した情報記録媒体も、本発明の技術的思想の範囲内であることは言うまでもない。
本構成を採用することにより、拡張現実感用作業手順データと一覧形式作業手順書を出力可能なデータを効率的に作成することが可能となる。
101 情報処理装置
102 入力装置
103 出力装置
104 プログラム記憶装置
105 制御プログラム
106 作業対象登録プログラム
107 3次元モデル生成プログラム
108 新規作業項目追加プログラム
109 全景画像−作業視点画像対応付プログラム
110 作業手順−作業視点画像対応付プログラム
111 作業手順順序変更プログラム
112 作業手順−3次元モデル対応付プログラム
113 作業手順書出力プログラム
114 データ記憶装置
1901 タブレット型コンピュータ
102 入力装置
103 出力装置
104 プログラム記憶装置
105 制御プログラム
106 作業対象登録プログラム
107 3次元モデル生成プログラム
108 新規作業項目追加プログラム
109 全景画像−作業視点画像対応付プログラム
110 作業手順−作業視点画像対応付プログラム
111 作業手順順序変更プログラム
112 作業手順−3次元モデル対応付プログラム
113 作業手順書出力プログラム
114 データ記憶装置
1901 タブレット型コンピュータ
Claims (11)
- 複数の作業対象を含む複数枚の全景画像から3次元モデルを生成するステップと、
前記3次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成する
ステップと、
作業を行う視線から撮影した画像である作業視点画像と前記変形全景画像とを比較して
得られる類似度に基づいて、前記全景画像に対する前記作業視点画像の位置関係を求めるステップと、
作業を行う対象である作業対象に関連する情報を前記全景画像上に登録するステップと、
前記全景画像に対する前記作業視点画像の位置関係に基づいて、登録した前記作業対象
に対応する前記作業視点画像を検索し、検索された前記作業視点画像を前記作業対象に対応付けるステップと、
前記作業対象と前記作業対象に対応付けられた作業視点画像とを前記3次元モデルに対
応付けて保存するステップと、
をコンピュータに実行させることを特徴とするプログラムを記録した情報記録媒体。 - 請求項1記載の情報記録媒体において、
前記作業対象に対応づけられた前記作業視点画像が検索された場合、
作業の内容を表す情報である作業項目が作業を実施する順序に従って複数並べられた情
報である作業手順に対し、検索された前記作業視点画像と前記作業対象とを新たな作業項目として前記作業手順に追加するステップと、
追加された前記作業項目に作業の内容を表す情報を登録するステップと、
をコンピュータに実行させることを特徴とするプログラムを記録した情報記録媒体。 - 請求項2記載の情報記録媒体において、
登録された前記作業対象の情報に基づいて、あらかじめ格納されている前記作業手順の
内容から関連する前記作業項目を検索し、前記全景画像上の前記作業対象に検索された前記作業項目を対応付けるステップと、
前記作業項目が対応付けられた前記作業対象に対応する前記作業視点画像を、前記全景
画像に対する前記作業視点画像の位置関係に基づいて検索するステップと、
検索された前記作業視点画像を前記作業項目に対応付けるステップと、
をさらに有することを特徴とするプログラムを記録した情報記録媒体。 - 請求項1記載の情報記録媒体において、
前記全景画像に対する前記作業視点画像の位置関係に基づいて、前記作業視点画像の位
置を前記全景画像上に表示するステップをさらに有することを特徴とするプログラムを記録した情報記録媒体。 - 請求項2記載の情報記録媒体において、
登録された前記作業対象に順序を表す順序情報を付加するステップと、
前記順序情報に基づいて、前記作業手順中の前記作業項目の順序を修正するステップと、
をさらに有することを特徴とするプログラムを記録した情報記録媒体。 - 請求項1記載の情報記録媒体において、
前記全景画像と前記3次元モデルの対応関係に基づいて、前記3次元モデル上における
前記作業対象の位置を求めるステップと、
求めた前記作業対象の位置に、前記作業対象に関連する情報あるいは前記作業対象に対応する作業項目の内容を関連付けて保存するステップと、
をさらに有することを特徴とするプログラムを記録した情報記録媒体。 - 複数の作業対象を含む複数枚の全景画像が入力される入力部と、
入力された前記全景画像から3次元モデルを生成するモデル生成部と、
前記3次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成する
画像変換部と、
作業を行う視線から撮影した画像である作業視点画像と前記変形全景画像とを比較して
得られる類似度に基づいて、前記全景画像に対する前記作業視点画像の位置関係を求める位置特定部と、
作業を行う対象である作業対象に関連する情報を前記全景画像上に登録する作業対象登
録部と、
前記全景画像に対する前記作業視点画像の位置関係に基づいて、登録した前記作業対象
に対応する前記作業視点画像を検索し、検索された前記作業視点画像を前記作業対象に対応付ける対応付け部と、
前記作業対象と前記作業対象に対応付けられた作業視点画像とを前記3次元モデルに対
応付けて保存する記憶部と、
を有することを特徴とするデータ作成装置。 - 請求項7記載のデータ作成装置において、
前記作業対象に対応する前記作業視点画像が検索された場合に、作業の内容を表す情報
である作業項目が作業を実施する順序に従って複数並べられた情報である作業手順に対し、検索された前記作業視点画像と前記作業対象とを新たな作業項目として前記作業手順に追加する順序変更部と、
追加された前記作業項目に作業の内容を表す情報を登録する項目追加部と、
をさらに有することを特徴とするデータ作成装置。 - 請求項8記載のデータ作成装置において、
前記項目追加部は、
登録された前記作業対象の情報に基づいて、前記記憶部に格納されている前記作業手順
の内容から関連する前記作業項目を検索し、前記全景画像上の前記作業対象に検索された前記作業項目の対応付けを行い、前記作業項目が対応付けられた前記作業対象に対応する前記作業視点画像を前記全景画像に対する前記作業視点画像の位置関係に基づいて検索し、検索された前記作業視点画像を前記作業項目に対応付けることを特徴とするデータ作成装置。 - 請求項8記載のデータ作成装置において、
前記順序変更部は、
登録された前記作業対象に順序を表す順序情報を付加し、
前記順序情報に基づいて、前記作業手順中の前記作業項目の順序を修正することを特徴
とするデータ作成装置。 - 請求項8記載のデータ作成装置において、
前記項目追加部は、
前記全景画像と前記3次元モデルの対応関係に基づいて,前記3次元モデル上における
前記作業対象の位置を求め、
求めた前記作業対象の位置に,前記作業対象に関連する情報あるいは前記作業対象に対
応する前記作業項目の内容を関連付けて保存することを特徴とするデータ作成装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2014/050732 WO2015107665A1 (ja) | 2014-01-17 | 2014-01-17 | 作業支援用データ作成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2015107665A1 JPWO2015107665A1 (ja) | 2017-03-23 |
JP6144364B2 true JP6144364B2 (ja) | 2017-06-07 |
Family
ID=53542584
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015557644A Expired - Fee Related JP6144364B2 (ja) | 2014-01-17 | 2014-01-17 | 作業支援用データ作成プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160335578A1 (ja) |
JP (1) | JP6144364B2 (ja) |
CN (1) | CN105745586B (ja) |
WO (1) | WO2015107665A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7347764B2 (ja) | 2021-06-25 | 2023-09-20 | 株式会社長大 | 複合浮体基盤および当該複合浮体基盤を備える浮体式洋上風力発電設備 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6138566B2 (ja) * | 2013-04-24 | 2017-05-31 | 川崎重工業株式会社 | 部品取付作業支援システムおよび部品取付方法 |
FR3022065B1 (fr) * | 2014-06-04 | 2017-10-13 | European Aeronautic Defence & Space Co Eads France | Procede de generation d'une maquette numerique enrichie |
JP6696149B2 (ja) | 2015-10-29 | 2020-05-20 | 富士通株式会社 | 画像生成方法、画像生成プログラム、情報処理装置および表示制御方法 |
EP3171302A1 (en) * | 2015-11-18 | 2017-05-24 | F. Hoffmann-La Roche AG | A method for generating an entry for an electronic laboratory journal |
US10323952B2 (en) * | 2016-04-26 | 2019-06-18 | Baidu Usa Llc | System and method for presenting media contents in autonomous vehicles |
US10699165B2 (en) | 2017-10-30 | 2020-06-30 | Palo Alto Research Center Incorporated | System and method using augmented reality for efficient collection of training data for machine learning |
JP7017689B2 (ja) * | 2017-12-29 | 2022-02-09 | 富士通株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
US11443495B2 (en) | 2018-12-31 | 2022-09-13 | Palo Alto Research Center Incorporated | Alignment- and orientation-based task assistance in an AR environment |
JP7065795B2 (ja) * | 2019-01-17 | 2022-05-12 | 株式会社日立製作所 | データ作成システム及びデータ作成方法 |
JP2023082923A (ja) * | 2021-12-03 | 2023-06-15 | 株式会社日立製作所 | 作業支援システム、作業対象特定装置および方法 |
US11917289B2 (en) | 2022-06-14 | 2024-02-27 | Xerox Corporation | System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08161031A (ja) * | 1994-12-07 | 1996-06-21 | Meidensha Corp | 監視制御システム |
JP3622094B2 (ja) * | 1995-10-05 | 2005-02-23 | 株式会社日立製作所 | 地図更新支援装置および地図情報の編集方法 |
JP2001265756A (ja) * | 2000-03-17 | 2001-09-28 | Pfu Ltd | 作業手順書作成装置及びプログラム記録媒体 |
JP2001356813A (ja) * | 2000-06-14 | 2001-12-26 | Chiyoda Corp | プラント保全支援システム |
JP4233932B2 (ja) * | 2003-06-19 | 2009-03-04 | 日立建機株式会社 | 作業機械の作業支援・管理システム |
JP2006065807A (ja) * | 2004-08-30 | 2006-03-09 | Ricoh Co Ltd | 手順書作成方法及び手順書作成プログラム |
DE102005061952B4 (de) * | 2005-12-23 | 2008-09-11 | Metaio Gmbh | Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System |
US9176235B2 (en) * | 2008-04-11 | 2015-11-03 | Caterpillar Trimble Control Technologies Llc | System and method for presenting topographical data for an earthmoving operation |
JP5072736B2 (ja) * | 2008-06-30 | 2012-11-14 | 株式会社東芝 | 遠隔目視検査支援システムおよび遠隔目視検査支援コンピュータプログラム |
JP2010121999A (ja) * | 2008-11-18 | 2010-06-03 | Omron Corp | 3次元モデルの作成方法および物体認識装置 |
JP5839553B2 (ja) * | 2011-10-28 | 2016-01-06 | 株式会社日立製作所 | 作業支援システム、作業支援方法、および、作業用端末 |
JP5815434B2 (ja) * | 2012-02-10 | 2015-11-17 | 株式会社キーエンス | マニュアル作成支援装置及びマニュアル作成支援方法 |
CN102663196B (zh) * | 2012-04-17 | 2014-04-16 | 中南大学 | 一种基于虚拟现实的汽车起重机吊装仿真方法 |
US9336629B2 (en) * | 2013-01-30 | 2016-05-10 | F3 & Associates, Inc. | Coordinate geometry augmented reality process |
US20150062123A1 (en) * | 2013-08-30 | 2015-03-05 | Ngrain (Canada) Corporation | Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model |
-
2014
- 2014-01-17 US US15/110,999 patent/US20160335578A1/en not_active Abandoned
- 2014-01-17 CN CN201480063631.6A patent/CN105745586B/zh not_active Expired - Fee Related
- 2014-01-17 WO PCT/JP2014/050732 patent/WO2015107665A1/ja active Application Filing
- 2014-01-17 JP JP2015557644A patent/JP6144364B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7347764B2 (ja) | 2021-06-25 | 2023-09-20 | 株式会社長大 | 複合浮体基盤および当該複合浮体基盤を備える浮体式洋上風力発電設備 |
Also Published As
Publication number | Publication date |
---|---|
US20160335578A1 (en) | 2016-11-17 |
JPWO2015107665A1 (ja) | 2017-03-23 |
WO2015107665A1 (ja) | 2015-07-23 |
CN105745586B (zh) | 2018-04-03 |
CN105745586A (zh) | 2016-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6144364B2 (ja) | 作業支援用データ作成プログラム | |
US10964108B2 (en) | Augmentation of captured 3D scenes with contextual information | |
JP5991423B2 (ja) | 表示装置、表示方法、表示プログラムおよび位置設定システム | |
JP6265027B2 (ja) | 表示装置、位置特定プログラム、および位置特定方法 | |
US9208607B2 (en) | Apparatus and method of producing 3D model | |
JP6310149B2 (ja) | 画像生成装置、画像生成システム及び画像生成方法 | |
WO2014097413A1 (ja) | 作業支援端末および作業支援システム | |
JP2007531004A5 (ja) | ||
JP2008275341A (ja) | 情報処理装置、情報処理方法 | |
JP2017130146A (ja) | 画像管理装置、画像管理方法及びプログラム | |
JP3245336B2 (ja) | モデリング方法およびモデリングシステム | |
JPWO2018025825A1 (ja) | 撮像システム | |
JP2013008257A (ja) | 画像合成プログラム | |
JP6719945B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
US20140142900A1 (en) | Information processing apparatus, information processing method, and program | |
JP6405539B2 (ja) | 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 | |
JP2013092888A (ja) | データ処理装置 | |
JP7015130B2 (ja) | データ処理装置 | |
JP6827717B2 (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP2008040913A (ja) | 情報処理方法、情報処理装置 | |
CN113836337A (zh) | Bim的展示方法、装置、设备及存储介质 | |
KR101873983B1 (ko) | 구조물 정보 제공 장치 및 기록 매체 | |
JP2009192098A (ja) | 物体軌道演算装置及びそのプログラム | |
WO2021176877A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
WO2023054661A1 (ja) | 注視位置分析システム及び注視位置分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6144364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |