WO2015107665A1 - 作業支援用データ作成プログラム - Google Patents

作業支援用データ作成プログラム Download PDF

Info

Publication number
WO2015107665A1
WO2015107665A1 PCT/JP2014/050732 JP2014050732W WO2015107665A1 WO 2015107665 A1 WO2015107665 A1 WO 2015107665A1 JP 2014050732 W JP2014050732 W JP 2014050732W WO 2015107665 A1 WO2015107665 A1 WO 2015107665A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
image
viewpoint image
viewpoint
information
Prior art date
Application number
PCT/JP2014/050732
Other languages
English (en)
French (fr)
Inventor
浩彦 佐川
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2015557644A priority Critical patent/JP6144364B2/ja
Priority to CN201480063631.6A priority patent/CN105745586B/zh
Priority to PCT/JP2014/050732 priority patent/WO2015107665A1/ja
Priority to US15/110,999 priority patent/US20160335578A1/en
Publication of WO2015107665A1 publication Critical patent/WO2015107665A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06316—Sequencing of tasks or work
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G06Q10/063116—Schedule adjustment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Definitions

  • the present invention relates to a program and a method for creating work support data used in an apparatus or the like that supports a worker who performs various work such as construction and maintenance / inspection of facilities.
  • each work item can be easily associated with a related work target. desirable.
  • the figure showing the image of three-dimensional work procedure data The figure which shows an example of the screen for performing deletion and correction of an image and information.
  • 1003 is the name of the panoramic image used when obtaining the correspondence between the work object and the work viewpoint image.
  • 1004 and 1005 the name of the work target and the name of the work viewpoint image associated in step 903 are set, respectively.
  • Reference numeral 1006 denotes a position on the three-dimensional model to which the work item corresponds.
  • This information is information set by the work procedure-three-dimensional model association program 112 described later, and is left blank here.
  • the data format assumes that the work object name 1004, the work viewpoint image name 1005, and the position coordinates 1006 on the three-dimensional model are set one by one. For this reason, when there are a plurality of work viewpoint images corresponding to the work target, the work viewpoint image to be registered is selected by operating the keyboard, mouse, or the like. Alternatively, a plurality of work viewpoint images corresponding to work objects may be registered.
  • Equation 2 respectively f x and f y, X axis of the camera, the focal length of the Y-axis direction, (c x, c y) are the coordinates of the center position of the image.
  • K is a value called a size factor.
  • step 1402 a work item associated with each work object is obtained. This can be easily performed by confirming the name 1004 of the work target in the data format of the information related to the work item shown in FIG.
  • step 1403 the work item corresponding to the work object is associated with the position on the three-dimensional model obtained for the work object. Specifically, the position coordinate on the three-dimensional model acquired in step 1401 is registered in the position coordinate 1006 on the three-dimensional model in the data format of the information related to the work item shown in FIG.
  • step 1404 the contents of the work item are saved and the process is terminated.
  • the information recording medium on which the program is recorded is also within the scope of the technical idea of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • General Factory Administration (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

　作業手順を実際の作業領域の状態に基づいた３次元モデルへの対応付けと，作業視点画像の３次元モデルへの追加・登録と，既存の作業手順における作業項目の３次元モデルへの登録とを容易にする技術を提供する。　複数の作業対象を含む複数枚の全景画像から生成した３次元モデルに基づいて視点を変化させた全景画像である変換画像を生成するステップと，作業を行う視線から撮影した画像である作業視点画像と変換画像とを比較して得られる類似度に基づいて，作業視点画像の位置を求め，作業を行う対象である作業対象に関連する情報を全景画像上に登録するステップと，全景画像に対する作業視点画像の位置関係に基づいて，登録した作業対象に対応する作業視点画像を検索し，検索された作業視点画像を作業対象に対応付けるステップと，をコンピュータに実行させるデータ作成プログラム。

Description

作業支援用データ作成プログラム
　本発明は，工事や設備の保守・点検等の各種作業を行う作業者を支援する装置等において用いられる作業支援用のデータを作成するプログラムおよび方法に関する。
　通常，工事や設備の保守・点検等の各種作業を実施する場合には，作業の内容や順序を記載した作業手順書を準備する。作業手順書の形式にはさまざまな形式が存在しているが，一般的には，個々の作業を表す作業項目に関する内容が，必要に応じて実際の状況を示す写真や絵等とともに，実施される順序に沿って順番に記載されている場合が多い（一覧形式作業手順書）。作業者はこのような作業手順書の内容に沿って作業を実施することにより，正しく目的の作業を完了することができる。
　一方，近年，実世界を映した映像上の適切な位置に他の画像や文字等の仮想情報を提示することにより使用者による実世界の理解を補助する技術である拡張現実感と呼ばれる技術が注目されている。拡張現実感を用いることにより適切なタイミング，場所，内容を作業者に提示することが可能となるため，拡張現実感技術により作業者に指示を与える作業ナビゲーションはヒューマンエラーの防止に役立つと期待されている。
　作業ナビゲーションに拡張現実感技術を利用するためには，一般的に，作業を行う空間（作業領域）およびその中に配置されているメータやバルブ，スイッチ類等，作業の対象物（作業対象）に関する３次元的な情報（３次元モデル）を用意するとともに，３次元モデルに作業項目を対応付けたデータ（拡張現実感用作業手順データ）として保存しておく必要がある。
　３次元モデル上に各種情報を対応付ける技術として，特許文献１では，画面上に３次元モデルを表示するとともに，対象の位置をマウス等の入力手段により指定し，画像等を対応付ける技術が記載されている。また，特許文献２では，３次元モデルを表示するとともに，３次元モデルに含まれる部品の情報をメニュー形式で表示し，メニューにより対象となる部品を選択し，関連する情報をリンクさせる技術が記載されている。
特開２０１０－９４７９号公報 特開２００１－３５６８１３号公報
　上記の発明では，３次元モデル上に情報を対応付ける方法が記載されているが，順序関係を有する作業手順に関する情報を３次元モデルに対応付ける方法については考慮されていない。拡張現実感用作業手順データを作成するためには，順序関係も含めた作業手順を容易に３次元モデルに対応付けることが可能である必要がある。
　また，拡張現実感用作業手順データは拡張現実感を用いたシステムを使用する作業者への情報提供には適しているが，拡張現実感を用いたシステムを使用しない監督者等が作業の内容や作業の流れを確認するためには適しておらず，従来からある一覧形式作業手順書が適していると考えられる。このため，拡張現実感用作業手順データと同じデータから一覧形式作業手順書も出力できることが望ましい。
　また上記の発明では，作業領域に関するできるだけ正確な３次元モデルが作成できていることが前提となっているが，３次元モデルの構築は容易ではない。近年，３次元モデルによる設計が主流になりつつあるが，設計における３次元モデルと実際の作業領域の状態が一致していない場合もある。このため，実際の作業領域の状態に基づいた拡張現実感用作業手順データを容易に作成できることが望ましい。
　また，一覧形式作業手順書には作業を行う視点から撮影した画像（作業視点画像）を付加する場合が多いが，作業視点画像は拡張現実感を用いたシステムにおいても役立つと考えられるため，作業視点画像を拡張現実感用作業手順データにも登録できることが望ましい。通常，作業視点画像は作業を実施する現場で撮影し，オフィス等に持ち帰った後，作業手順に追加するというような方法をとると考えられるが，作業視点画像は特定の作業対象のみに注目した画像であるため，作業領域のどこに対応する画像かを判断することが困難になることも予想される。このため，拡張現実感用作業手順データに作業視点画像を容易に追加・登録できることが望ましい。
　さらに，既存の作業手順の内容をもとに，拡張現実感用作業手順データを構築する場合も考えられるが，この場合，各々の作業項目と，関連する作業対象を容易に対応付けられることが望ましい。
　本発明の目的は，順序関係も含めた作業手順を実際の作業領域の状態に基づいた３次元モデルに対応付けることを可能とするとともに，拡張現実感用作業手順データと一覧形式作業手順書を出力可能なデータを効率的に作成する技術を提供することにある。本発明の他の目的は，３次元モデルへの作業視点画像の追加・登録と，既存の作業手順における各々の作業項目の３次元モデルへの登録とを容易にする技術を提供することにある。
　上記の課題を解決するために，例えば請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、
作業支援用データ作成装置であって、複数の作業対象を含む複数枚の全景画像が入力される入力部と、入力された全景画像から３次元モデルを生成するモデル生成部と，３次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成する画像変換部と，作業を行う視線から撮影した画像である作業視点画像と変形全景画像とを比較して得られる類似度に基づいて，全景画像に対する作業視点画像の位置関係を求める位置特定部と，作業を行う対象である作業対象に関連する情報を全景画像上に登録する作業対象登録部と，全景画像に対する作業視点画像の位置関係に基づいて，登録した作業対象に対応する作業視点画像を検索し，検索された作業視点画像を作業対象に対応付ける対応付け部と，作業対象と作業対象に対応付けられた作業視点画像とを３次元モデルに対応付けて保存する記憶部と，を有することを特徴とする。
　あるいは、作業支援用データ作成プログラムを記録した情報記録媒体であって、当該プログラムは、複数の作業対象を含む複数枚の全景画像から３次元モデルを生成するステップと，３次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成するステップと，作業を行う視線から撮影した画像である作業視点画像と変形全景画像とを比較して得られる類似度に基づいて，全景画像に対する作業視点画像の位置関係を求めるステップと，作業を行う対象である作業対象に関連する情報を全景画像上に登録するステップと，全景画像に対する作業視点画像の位置関係に基づいて，登録した作業対象に対応する作業視点画像を検索し，検索された作業視点画像を作業対象に対応付けるステップと，作業対象と作業対象に対応付けられた作業視点画像とを３次元モデルに対応付けて保存するステップと，をコンピュータに実行させることを特徴とする。
　本発明によれば，順序関係も含めた作業手順を実際の作業領域の状態に基づいた３次元モデルに対応付けることが可能になり，拡張現実感用作業手順データと一覧形式作業手順書を出力可能なデータを効率的に作成することが可能となる。
本発明を適用した実施例によるプログラムを一般的なコンピュータによって実行させる場合のコンピュータの構成図。 作業対象登録プログラム１０６で実行される処理の流れ図。 作業領域の一例を示す図。 作業領域を撮影した全景画像の一例を示す図。 ３次元モデルのデータフォーマットの一例を示す図。 カメラの内部パラメータと外部パラメータを保存するデータフォーマットの一例を示す図。 全景画像上に作業対象の位置を指定する方法の一例を説明する図。 全景画像上に登録した作業対象の情報を保存するデータフォーマットの一例を示す図。 新規作業項目追加プログラム１０８で実行される処理の流れ図。 作業項目に関する情報を保存するデータフォーマットの一例を示す図。 全景画像－作業視点画像対応付プログラム１０９で実行される処理の流れ図。 作業手順－作業視点画像対応付プログラム１１０で実行される処理の流れ図。 作業手順順序変更プログラム１１１で実行される処理の流れ図。 作業手順－３次元モデル対応付プログラム１１２で実行される処理の流れ図。 作業手順書出力プログラム１１３により出力された一覧形式の作業手順書の一例を示す図。 ３次元作業手順データにおける作業手順に関する情報を保存するデータフォーマットの一例を示す図。 ３次元作業手順データのイメージを表す図。 画像や情報の削除や修正を行うための画面の一例を示す図。 拡張現実感技術による作業ナビゲーションを実施している例を示す図。 作業項目の内容をタブレット型コンピュータの画面上に重畳表示した一例を示す図。
　本発明の実施例を図１から図２０を用いて説明する。
図１は本発明による実施例によるプログラムを一般的なコンピュータによって実行させる場合のコンピュータの構成図を示す。
　図１における１０１は，本発明における各種のプログラムを実行するための情報処理装置である。入力装置１０２は，複数の作業対象（メータやバルブ，スイッチ等の作業を行う対象物）を含む画像である全景画像や作業を行う視点から撮影した画像である作業視点画像を入力するためのカメラと，使用者が各種のプログラムに指示を与えるためのキーボードやマウスあるいはタッチパネル等の一般的なコンピュータへの入力手段から構成される。出力装置１０３は情報を使用者へ提示し，また紙上に印刷を行うため装置であり，コンピュータにおいて一般的に使用されるモニタやプリンタ等を使用することができる。
　プログラム記憶装置１０４は，本発明における各種プログラムを格納するための手段であり，制御プログラム１０５は，１０６から１１３に示す各種プログラムを使用者からの入力に基づいて制御するためのプログラムである。作業対象登録プログラム１０６は複数の全景画像を登録し，３次元モデル生成プログラム１０７を用いて全景画像上に映っている空間（作業領域）の３次元情報（３次元モデル）を取得するとともに，全景画像上に作業対象を登録するためのプログラムである。新規作業項目追加プログラム１０８は，全景画像－作業視点画像対応付プログラム１０９を用いて作業視点画像と全景画像の対応関係を求め，求めた対応関係に基づいて作業対象に作業視点画像を対応付けるとともに，対応付けた作業対象と作業視点画像を含む作業項目を新たな作業項目として作成し，作業手順に追加するためのプログラムである。
　ここで作業手順とは，作業対象に対して実施される個々の作業に関する情報である作業項目が，作業が実施される順番に並べられた形式の情報をいう。作業手順－作業視点画像対応付プログラム１１０は，あらかじめ用意されている作業手順中の各作業項目に対応する計器類などの作業対象を検索し，検索された作業対象を作業項目に対応付ける。さらに作業項目に対応付けられた作業対象の全景画像上の位置に基づいて作業対象に対応する作業視点画像を検索し，検索された作業視点画像を作業項目に対応付けるためのプログラムである。
　作業手順順序変更プログラム１１１は，全景画像上の作業対象に順序を表す情報を付加し，付加された順序に関する情報に基づいて，作業対象に対応付けられた作業項目の順序を変更するためのプログラムである。作業手順－３次元モデル対応付プログラム１１２は，作業対象の全景画像上の位置や全景画像と３次元モデルとの対応関係に基づいて，作業手順中の作業項目を３次元モデル上の位置座標に対応付けるためのプログラムである。作業手順書出力プログラム１１３は，３次元モデルに対応付けられた作業手順の情報を出力するとともに，紙上への作業手順書の印刷を行うためのプログラムである。図１におけるデータ記憶装置１１４は，全景画像や作業視点画像、全景画像から取得した３次元モデル，全景画像と作業視点画像との対応関係，作業手順に関する情報等の各種データや情報を記憶するための装置である。
　図２を用いて作業対象登録プログラム１０６の処理について説明する。図２におけるステップ２０１では，複数の作業対象を含む作業領域を撮影した画像である全景画像を複数枚登録する。全景画像の登録は，使用者がキーボードやマウス等の操作により登録する全景画像を指定することにより行う。作業領域が図３に示すような構造である場合，全景画像は図４に示す様な画像となる。
　図３における３０１，３０２，３０３および３０４は実空間に配置された、実際に作業者が作業を行う対象物（作業対象）であり，それぞれ図４に示す全景画像上では４０１，４０２，４０３および４０４として現れている。また，ステップ２０１で登録するそれぞれの全景画像は，作業領域を異なる位置および角度から撮影した画像であるとする。ステップ２０２ではステップ２０１で登録した複数枚の全景画像から，作業領域の３次元情報（３次元モデル）を取得する。同一の対象を撮影した複数の画像から対象の３次元モデルを取得する方法は，良く知られているバンドル調整と呼ばれる方法を用いることで容易に実現することができる。バンドル調整を用いることで，３次元モデルは３次元空間上の点の集合として取得される。また，各画像に対して，カメラの内部パラメータ（焦点距離および画像の中心位置）と外部パラメータ（カメラの位置と向き）が取得される。
　図５に全景画像から取得される３次元モデルを保存するためのデータフォーマットの一例を示す。図５は３次元モデルを構成する各点のデータフォーマットを示しており，取得された点の数だけ図５に示すデータフォーマットのデータが保存される。図５において５０１は対象となる点の位置座標であり，３次元空間の点であれば通常，Ｘ軸，Ｙ軸，Ｚ軸それぞれに対する座標値の組で表すことができる。５０２は対象となる点の色情報であり，例えば，赤成分，緑成分，青成分の割合を表す３つの数値の組で表すことができる。色の表現方法としては，上記の他，一般的に用いられている方法であれば，どのような方法でも用いることができる。５０３以下の情報は，対象となる点が各全景画像上においてどの位置に対応しているかを表す情報である。５０３は対象となる点が対応する全景画像の数，５０４は対象となる点が対応する全景画像の内，一番目の全景画像の名称，５０５は対象となる点の一番目の全景画像上における位置座標である。全景画像上の位置は２次元の位置座標として表される。また，５０６は対象となる点が対応する全景画像の内，ｎ番目の全景画像の名称，５０７は対象となる点のｎ番目の全景画像上における位置座標である。
　図６に全景画像から３次元モデルを取得した際に同時に取得されるカメラの内部パラメータおよび外部パラメータを保存するためのデータフォーマットの一例を示す。カメラの内部パラメータおよび外部パラメータは各全景画像に対して保存される。図６において６０１は全景画像の名称，６０２はカメラの内部パラメータ，６０３はカメラの外部パラメータである。カメラの内部パラメータは上述のように，カメラの焦点距離および画像の中心位置の組合せによって表される。焦点距離は通常，画像のＸ軸方向およびＹ軸方向に対して定義される値である。画像の中心位置も画像のＸ軸方向およびＹ軸方向の座標値であるため，内部パラメータは４つの数値の組合せとして表される。一方，外部パラメータにおけるカメラの向きは，回転行列，あるいは，Ｘ軸，Ｙ軸およびＺ軸回りの回転角度を表す３つの数値のいずれかで表すことができる。回転行列の場合は通常３行×３列の行列で表される。また，カメラの位置については，Ｘ軸，Ｙ軸およびＺ軸上の座標値で表される。よって，カメラの外部パラメータは，カメラの向きに回転行列を用いた場合は，カメラの位置を含めて３行×４列の変換行列として，また，カメラの向きとして各軸回りの回転角度を用いた場合は６つの数値の組合せとして表される。
　図２のステップ２０３では，ステップ２０１で登録した全景画像の内の一つを選択し，選択した全景画像上に撮影されている作業対象の名称や位置等の情報を登録する。作業対象の位置の指定方法としては，例えば，図７の７０１に示すように，作業対象に対応する領域をキーボードやマウス等の操作により指定することができる。７０１では四角形を用いて作業対象の領域を指定するようにしているが，円形，あるいは任意の多角形によって指定するようにすることもできる。また，作業対象の位置を指定する際に，キーボードやマウス等の操作により作業対象の名称を入力し登録する。作業対象の名称の他，作業対象に付随する各種情報を同時に登録するようにしても良い。さらに，上記では登録した全景画像の内の一つに対して作業対象を登録していたが，登録した全景画像全てに対して作業対象の名称や位置を登録するようにしても良い。図８に全景画像上に登録した作業対象の情報を保存するためのデータフォーマットの一例を示す。図８において８０１は作業対象が登録されている全景画像の名称である。８０２は全景画像に登録されている作業対象の数，８０３は一番目の作業対象の名称，８０４は一番目の作業対象の位置である。作業対象の位置は，その領域を四角形あるいは任意の多角形で指定した場合は，四角形あるいは多角形の各頂点の全景画像上における位置座標の組，円形で指定した場合は中心位置と半径によって表すことができる。また，８０５はｎ番目の作業対象の名称，８０６はｎ番目の作業対象の位置である。
図２のステップ２０４では，全景画像から取得した３次元モデル，カメラのパラメータ，および全景画像上に登録した作業対象の情報を保存して，処理を終了する。
　図９を用いて新規作業項目追加プログラム１０８の処理について説明する。図９におけるステップ９０１では，作業視点画像を追加する。作業視点画像の追加は，使用者がキーボードやマウス等の操作により追加する作業視点画像を指定することにより行う。ステップ９０２では，全景画像－作業視点画像対応付プログラム１０９を呼び出すことにより，全景画像と追加した作業視点画像との対応関係を求める。ステップ９０２で行う処理の詳細は後述する。ステップ９０２により，作業視点画像が対応する全景画像上の位置が求められる。全景画像上に対応する作業視点画像の位置は，一つの点を表す位置座標によって表しても良いし，あるいは，全景画像上で作業視点画像が対応する領域を示す図形によって表すこともできる。後者の場合，領域を表す円形を使用しても良いし，あるいは，任意の多角形によって表しても良い。また，ステップ９０２の結果求められた全景画像上における作業視点画像の位置を全景画像上に明示する。この際，全景画像上に明示する作業視点画像の位置は，新たに追加した作業視点画像に対するもののみか，あるいは，登録されている全ての作業視点画像に対するものかを，使用者がキーボードやマウス等の操作によって選択できるようにしても良い。次にステップ９０３では，上記で求められた全景画像上の作業視点画像の位置と作業対象登録プログラムで登録した作業対象の位置とに基づいて，作業対象に対応する作業視点画像を検索する。この処理は，例えば，作業対象の領域の中心位置の座標と，作業視点画像が全景画像上で対応する領域の中心位置の座標を求め，ある作業対象の中心位置に最も近い中心位置を有する作業視点画像を，その作業対象に対応する作業視点画像と見なすことにより行うことができる。あるいは，ある作業対象の中心位置と作業視点画像の中心位置との距離が，あらかじめ定めされた閾値以内に存在する作業視点画像を，その作業対象に対応する作業視点画像と見なしても良い。
　図９のステップ９０４では，ステップ９０３で対応付けられた作業対象および作業視点画像を含む作業項目を生成し，作業手順に追加する。図１０に作業項目に関する情報を保存するためのデータフォーマットの一例を示す。作業手順に関する情報は，図１０に示すデータフォーマットで表される複数の作業項目が，作業が実施される順序で並べられた形式で構成され，保存される。図１０において，１００１は作業項目の名称であり，新規に追加される場合は，対応する作業対象の名称などを設定することができる。あるいは，追加する際に，キーボードやマウス等を操作することにより使用者が入力するようにしても良い。また，作業項目の名称を後から使用者が変更するようにすることも容易に実現できる。図１０における１００２は作業項目の内容に関する情報であり，新規に追加する際は空白である。この情報も，後から使用者がキーボードやマウス等の操作により追加および修正を行うようにすることができるし，追加する際に使用者が入力するようにしても良い。
　１００３は作業対象と作業視点画像の対応を求める際に使用した全景画像の名称である。１００４および１００５は，ステップ９０３で対応付けられた作業対象の名称および作業視点画像の名称がそれぞれ設定される。１００６は作業項目が対応する３次元モデル上の位置であるが，この情報は後述する作業手順－３次元モデル対応付プログラム１１２で設定される情報であり，ここでは空白のままとなる。図１０では，作業対象の名称１００４と作業視点画像の名称１００５および３次元モデル上の位置座標１００６は一つずつ設定されると想定したデータフォーマットとなっている。このため，作業対象に対応する作業視点画像が複数存在する場合は，キーボードやマウス等の操作によって，登録する作業視点画像を選択するようにする。あるいは，作業対象に対応する作業視点画像を複数登録するようにしても良い。
　図９のステップ９０５では，キーボードやマウス等の操作によって，使用者が作業項目の内容，すなわち図１０における１００２の内容を登録する。ステップ９０６では，追加された作業項目の内容を保存して，処理を終了する。
図１１を用いて，図９のステップ９０２の処理，すなわち全景画像－作業視点画像対応付プログラム１０９の処理の詳細を説明する。ステップ９０２の処理では，３次元モデルを変化させることにより，図２のステップ２０１で登録された全景画像とは異なる視点から見た全景画像（変形全景画像）を生成し，生成した変換画像と作業視点画像との類似度に基づいて，変形全景画像において作業視点画像が対応する位置を求め，さらにその結果に基づいて，図２のステップ２０１で登録した全景画像上において作業視点画像が対応する位置を求める。
　この処理を行うため，まず，３次元モデルを変化させる方法を定義する。この方法として，座標軸回りの回転角度と平行移動によって３次元モデルを変化させる方法を用いることができる。座標軸回りの回転角度によって３次元モデルを変化させる方法には複数通りの方法があるが，本発明はいずれの方法を用いても良い。３次元モデルを表す座標系におけるＸ軸，Ｙ軸，Ｚ軸回りの回転角度をａｘ、ａｙおよびａｚ、各軸方向の平行移動の大きさをｔｘ、ｔｙ、ｔｚとすると，３次元モデルは（式１）のようにして変化させることができる。（式１）において，（ｘ，ｙ，ｚ，ｌ）Tは元の３次元モデル上の点の位置座標，（Ｘ，Ｙ，Ｚ）Tは変化させた後の３次元モデル上の点の位置座標である。
Figure JPOXMLDOC01-appb-M000001
　　ステップ９０２の処理では，各座標軸回りの回転角度と平行移動を表す６つの数値をパラメータとして３次元モデルを変化させる。以下の説明では，この６つの数値からなるパラメータを視点パラメータと呼ぶ。
　図１１におけるステップ１１０１では視点パラメータの初期化を行う。ここでは，視点パラメータ中の各数値をあらかじめ定められた範囲内で変化させる方法を使用することを前提とし，ステップ１１０１では，視点パラメータの各数値として，あらかじめ定められた値の下限値を設定する。視点パラメータを初期化する方法としては，この他，全景画像と作業視点画像から自然特徴量と呼ばれる特徴量を抽出し，それらの対応関係から３次元モデルの回転角度と平行移動を算出する方法や，別途設置されたセンサから取得された値等を用いることにより算出する方法等が知られているが，これらの方法を用いて視点パラメータを初期化しても良い。
　ステップ１１０２では，あらかじめ用意された視線パラメータのパターン全てに対してステップ１１０３以降の処理が実行されたかどうかをチェックし，未処理のパターンがある場合はステップ１１０３に進む。ステップ１１０３では，未処理の視点パラメータのパターンとなるように，視点パラメータを変化させる。ステップ１１０４では，ステップ１１０３で設定された視点パラメータに基づいて，（式１）を用いて３次元モデルを構成する各点の位置座標を変化させる。さらにステップ１１０５では，変化させた３次元モデルから全景画像（変形全景画像）を生成する。３次元モデル上の点（Ｘ，Ｙ，Ｚ）Tが２次元画像上において対応する位置(sx、sy、l)Tは，カメラの内部パラメータを用いて（式２）により計算することが可能である。（式２）において，ｆｘおよびｆｙはそれぞれ，カメラのＸ軸，Ｙ軸方向の焦点距離，(cx,cy)は画像の中心位置の座標である。またkはサイズファクタと呼ばれる値である。
Figure JPOXMLDOC01-appb-M000002
　図２のステップ２０１で登録された全景画像が全て同じカメラで撮影された画像であれば，ステップ２０２で求められたカメラの内部パラメータは全て同一となる。一方，全景画像を撮影したカメラが異なる場合は，内部パラメータが異なる可能性がある。この場合は，変形全景画像を生成する場合に使用する内部パラメータは，ステップ２０２で求められた内部パラメータの平均値を用いれば良い。ステップ１１０５では，ステップ１１０４で変化させた３次元モデル上の全ての点について２次元画像上における対応位置を求め，その位置に元の点の色情報を用いた点を描画することにより，変形全景画像を生成することができる。
　ステップ１１０６では，生成した変形全景画像に対してステップ１１０７以降の処理を全ての作業視点画像に対して処理したかどうかをチェックする。未処理の作業視点画像が残っている場合は，ステップ１１０７に進む。ステップ１１０７では，未処理の作業視点画像を一つ選択する。ステップ１１０８では，ステップ１１０７で選択した作業視点画像とステップ１１０５で生成した変形全景画像との類似度を求める。類似度は，変形全景画像上に作業視点画像を重ね合わせた際に，重なり合う画素の値に基づいて計算する。類似度の計算方法としては，画素が有する値の差の二乗和や相関係数等，一般的に用いられている評価尺度を類似度として計算することができる。また，類似度を計算する際に，作業視点画像の大きさと，作業視点画像を重ね合わせる変形全景画像上の位置を変化させながら重ね合わせを行う。
　これにより，作業視点画像の大きさと変形全景画像上の位置の組合せ毎に類似度が求められる。ステップ１１０９では，ステップ１１０８で求められた類似度の中から，最も大きな類似度とその際の作業視点画像の大きさおよび変形画像上の位置を選択し，視点パラメータとともに保存する。以上のステップ１１０７から１１０９の処理により，各作業視点画像に対して，変形全景画像との類似度が最も大きくなる作業視点画像の大きさと変形全景画像上の位置が求められることになる。ステップ１１０６において，未処理の作業視点画像が残っていない場合は，ステップ１１０２に戻る。
　ステップ１１０２で，全ての視点パラメータのパターンに対して処理が行われたと判断された場合は，ステップ１１１０に進む。ステップ１１１０では，各作業視点画像に対して，全景画像との類似度が最大となる視点パラメータ，作業視点画像の大きさおよび変形全景画像上の位置を選択する。ステップ１１１１では，ステップ１１１０で選択した視点パラメータ，作業視点画像の大きさ，および変形全景画像上の位置に基づいて，作業視点画像に撮影されている内容が変化前の３次元モデルのどの位置に対応するかを求める。変形全景画像は，３次元モデル上の点を　（式１）により変化させた後，（式２）を用いて変化させた３次元モデル上の各点を２次元画像上の点に変換することにより生成される。よって，（式１）および（式２）による変換の際に，変換前後における点の対応関係を保存しておくことにより，変形全景画像上の位置から（式１）による変化前の３次元モデル上の位置を求めることは容易である。
　ステップ１１１１では，各作業視点画像に対して保存されている作業視点画像の大きさ，および変形全景画像上の位置から，類似度を求めた際の作業視点画像と重ね合わせた変形全景画像上の位置座標をリストアップし，次に，変形全景画像上の点と３次元モデル上の点の対応関係に基づいて，リストアップした変形全景画像上の位置座標に対応する３次元モデル上の位置座標をリストアップする。リストアップした３次元モデル上の点は空間的な広がりを有するため，リストアップした３次元モデル上の点の中心位置や重心位置を作業視点画像が対応する３次元モデル上の位置とする。あるいは，リストアップした３次元モデル上の点を内包する直方体を求め，求めた直方体を表す情報（例えば直方体の各頂点の位置座標）を作業視点画像に対応する３次元モデル上の位置としても良い。さらには，リストアップした３次元モデル上の点の集合を作業視点画像に対応付けても良い。また，作業視点画像に対応する変形全景画像上の位置座標をリストアップする際，作業視点画像全体に対応する位置座標ではなく，例えば，作業視点画像の中心から，あらかじめ決められた範囲内の領域に対応する変形全景画像上の位置座標をリストアップするようにしても良い。あるいは，色情報や輪郭情報，特徴量等の情報から，作業視点画像上で作業対象であると判断される領域を抽出し，抽出した領域に対応する変形全景画像上の位置座標のみをリストアップするようにしても良い。さらには，使用者がキーボードやマウス等の操作により，作業視点画像上の領域を指定し，指定された領域に対応する変形全景画像上の位置座標をリストアップするようにしても良い。
　最後にステップ１１１２において，ステップ１１１１で求めた３次元モデル上の位置に基づいて，作業視点画像が全景画像上のどの位置に対応するかを求める。３次元モデル上の点の位置座標と各全景画像上の位置座標の対応関係は，上述したように，全景画像から３次元モデルを取得する際に計算されているため，３次元モデル上の位置から対応する全景画像上の位置を容易に求めることができる。作業視点画像が対応する全景画像上の位置としては特定の点の位置座標で表しても良いし，あるいは，円や多角形により作業視点画像が対応する全景画像上の領域として表すこともできる。
　図１２を用いて，作業手順－作業視点画像対応付プログラム１１０の処理について説明する。図１２のステップ１２０１では，あらかじめ用意されている作業手順中の作業項目を追加する。作業項目の追加は，使用者がキーボードやマウス等の操作により追加する作業項目を指定することにより行う。ステップ１２０１で追加する作業項目は図１０に示す作業項目に関する情報のデータフォーマットにおいて，作業項目の名称１００１および作業項目の内容１００２から構成される情報であるとする。ステップ１２０２では，追加された作業項目に対応する作業対象を全景画像上に登録された作業対象の中から検索する。
　作業項目が作業対象に対応しているかどうかの判断は，作業項目の名称および内容の中に作業対象の名称が含まれているかどうかによって判定することができる。あるいは，作業対象に対するキーワードの集合を別途保存しておき，作業項目の名称および内容の中に該当するキーワードが含まれているかどうかによって，作業項目に対応する作業対象を特定するようにしても良い。
　ステップ１２０３では，作業項目に対応する作業対象が検索された場合，検索された作業対象を作業項目に対応付ける。具体的には，図１０における作業項目に関する情報のデータフォーマットにおいて，検索された作業対象の名称を１００４に登録する。検索された作業対象が複数ある場合は，登録する際に使用者のキーボードやマウス等の操作によって登録する作業対象を選択するようにしても良いし，あるいは複数の作業対象の名称を１００４に登録するようにしても良い。ステップ１２０４では，検索された作業項目に対応付けられた作業対象に対応する作業視点画像を検索する。作業視点画像は，図９のステップ９０２において，全景画像上において対応する位置が求められているため，作業対象が登録されている全景画像上の位置と，作業視点画像が対応する全景画像上の位置を用いて，両者の距離が最も小さい作業視点画像，あるいは，両者の距離があらかじめ定められた閾値より小さい作業視点画像を選択することにより，作業対象に対応する作業視点画像を検索することができる。
　ステップ１２０５では，検索された作業視点画像を作業項目に対応付ける。具体的には，図１０における作業項目に関する情報のデータフォーマットにおいて，検索された作業視点画像の名称を１００５に登録する。検索された作業視点画像が複数ある場合は，登録する際に使用者のキーボードやマウス等の操作によって登録する作業視点画像を選択するようにしても良いし，あるいは複数の作業視点画像の名称を１００５に登録するようにしても良い。ステップ１２０６では，作業項目の内容を保存して処理を終了する。以上の処理は追加される作業項目に作業視点画像が含まれていない場合の処理である。追加される作業項目に作業視点画像が含まれている場合は，全景画像－作業視点画像対応付プログラム１０９を用いることにより，作業項目に含まれている作業視点画像が対応する全景画像上の位置を求め，さらに，作業視点画像に対応する作業対象を検索することにより，作業項目，作業対象および作業視点画像を対応付けることができる。あるいは，作業項目の名称および内容を用いた処理と，作業項目に含まれている作業視点画像を用いた処理を両方とも実行し，それぞれの処理の結果，対応する作業対象として検索された作業対象を作業項目に対応付けるようにしても良い。
　図１３を用いて，作業手順順序変更プログラム１１１の処理について説明する。図１３におけるステップ１３０１では，全景画像上に登録されている作業対象に順序を表す情報を付加する。順序を表す情報の付加は，使用者のキーボードやマウス等の操作に基づいて行う。順序を表す情報としては，順序を表す数値や記号を使用すれば良い。ステップ１３０２では，変数ｉに数値１を代入する。ステップ１３０３では，変数ｉの値が順序を表す情報が付加された作業対象の数より小さいかどうかをチェックする。変数ｉの値が該当する作業対象の数より小さいか等しい場合はステップ１３０４に進む。ステップ１３０４では，変数ｉの値に対応する順序情報が付加された作業対象を全景画像上に登録されている作業対象から検索し，選択する。例えば，ｉ＝１であれば一番目であることを表す順序情報が付加された作業対象を，ｉ＝２であれば二番目であることを表す順序情報が付加された作業対象を選択する。ステップ１３０５では，選択された作業対象に対応付けられた作業項目を作業手順中から検索し，変数ｉの値が示す順番となるように移動する。ステップ１３０６では，変数ｉの値に１を加算し，ステップ１３０３に戻る。ステップ１３０３において，変数ｉの値が順序を表す情報が付加された作業対象の数より大きい場合は，処理を終了する。
　図１４を用いて，作業手順－３次元モデル対応付プログラム１１２の処理について説明する。図１４におけるステップ１４０１では，３次元モデル上における各作業対象の位置を求める。上述のように，全景画像上の位置座標と３次元モデル上の位置座標との対応関係は全景画像から３次元モデルを取得する際に計算されているため，ステップ１４０１では，作業対象に対応する全景画像上の領域に対応する３次元モデル上の位置座標をリストアップする。リストアップした３次元モデル上の点は空間的な広がりを有するため，リストアップした３次元モデル上の点の中心位置や重心位置を作業対象に対応する３次元モデル上の位置とする。あるいは，リストアップした３次元モデル上の点を内包する直方体を求め，求めた直方体を表す情報（例えば直方体の各頂点の位置座標）を作業対象に対応する３次元モデル上の位置としても良い。
　ステップ１４０２では，各作業対象に対応付けられた作業項目を求める。これは，図１０に示す作業項目に関連する情報のデータフォーマットにおける作業対象の名称１００４を確認することにより容易に行うことができる。さらにステップ１４０３では，作業対象に対して求められた３次元モデル上の位置に，その作業対象に対応する作業項目を対応付ける。具体的には，図１０に示す作業項目に関連する情報のデータフォーマットにおける３次元モデル上の位置座標１００６にステップ１４０１で取得した３次元モデル上の位置座標を登録する。ステップ１４０４では，作業項目の内容を保存して，処理を終了する。
　作業手順中の各作業項目に作業対象，作業視点画像および３次元モデル上の位置が対応付けられた状態で，作業手順書出力プログラム１１３を実行することにより，一覧形式の作業手順書と３次元モデルに対応付けられた作業手順の情報（３次元作業手順データ）が出力される。作業手順書出力プログラム１１３により出力された一覧形式の作業手順書の一例を図１５に示す。図１５における１５０１，１５０２，１５０３および１５０４は各作業項目を表しており，順番，作業視点画像および作業の内容が示されている。一覧形式の作業手順書は，図１０に示す作業項目に関する情報から必要な情報，例えば，作業項目の名称１００１，作業項目の内容１００２および作業視点画像の名称１００５を抽出し，あらかじめ定められたレイアウトと形式に変換した後，登録されている順序に従って印刷することにより，得ることができる。印刷時に使用するレイアウトは複数用意し，キーボードやマウス等の操作により，印刷時に使用者が選択できるようにしても良い。また，印刷する作業項目に関する情報を使用者がキーボードやマウス等の操作により選択できるようにしても良い。また，３次元作業手順データは，作業手順に関する情報と３次元モデルから構成される。
　図１６に３次元作業手順データにおける作業手順に関する情報を保存するためのデータフォーマットの一例を示す。図１６において１６０１は作業項目の数，１６０２は一番目の作業項目の名称，１６０３は一番目の作業項目の内容，１６０４は３次元モデル上において一番目の作業項目が対応する位置座標である。１６０５はｎ番目の作業項目の名称，１６０６はｎ番目の作業項目の内容，１６０７は３次元モデル上においてｎ番目の作業項目が対応する位置座標である。また，１６０２および１６０５は図１０に示す作業項目に関する情報のデータフォーマットにおける１００１，１６０３および１６０６は１００２，１６０４および１６０７は１００６にそれぞれ対応する。すなわち，３次元作業手順データにおける作業手順に関する情報は，図１０に示すデータフォーマットで保存されている作業項目に関する情報から１００１，１００２および１００６の情報を抽出して作成される。あるいは作業対象の名称１００４や作業視点画像１００５も含めて抽出するようにしても良い。３次元作業手順データにおける３次元モデルは，全景画像から取得された３次元モデルと同じものである。これにより，３次元作業手順データは図１７に示すようなイメージのデータとして出力される。図１７は，図３の作業領域に作業項目１７０１，１７０２，１７０３，１７０４を対応付けた状態のイメージを示しており，実際の３次元作業手順データ中においては，作業項目１７０１，１７０２，１７０３，１７０４は３次元モデル上の位置座標に対応付けられた形で格納されている。また図１７では，作業項目の順序に関する情報も省略されている。
　以上の説明では，全景画像や作業視点画像，作業手順等の情報を追加する際の処理について説明したが，図１における制御プログラム１０５に，コンピュータの一般的なユーザインタフェース技術を適用することにより，画像や情報を追加した後，使用者が画像や情報の削除や修正を行うようにすることができる。例えば，図１８に示すように配置された画面をコンピュータの画面上に表示することができる。図１８において，１８０１は全景画像を表示する領域であり，１８０２，１８０３，１８０４および１８０５は全景画像上に登録された作業対象の位置を全景画像上に重畳表示したものである。また，１８０６は作業手順を表示する領域であり，１８０７，１８０８，１８０９および１８１０は作業項目に関する情報であり，作業視点画像の右側に作業項目の内容が表示されている。コンピュータの一般的なユーザインタフェース技術を用いることで，図１８に示すような画面上で使用者がキーボードやマウス等を操作し，作業対象や作業手順の内容を選択し，画像や情報の削除や修正を行うことができるようにすることは容易である。また図１８には明示されていないが，１８０１や１８０６の周囲に，使用者が実行する操作を指定するためのメニューやボタンなどを配置することができる。
　また図１９に，本発明における実施例により出力した３次元作業手順データを用いて，拡張現実感技術による作業ナビゲーションを実施している例を示す。拡張現実感技術は，実世界を映した映像上の適切な位置に他の画像や文字等の仮想情報を提示することにより，使用者による実世界の理解を補助する技術である。図１９は，使用者への入出力装置として，背面にカメラを有するタブレット型コンピュータ１９０１を使用した例であり，この他，カメラ付きの頭部装着型表示装置（ヘッドマウントディスプレイ）と可搬型のコンピュータを使用する形態でも良い。図１９に示す形態で作業ナビゲーションを行う場合は，タブレット型コンピュータ１９０１のカメラで作業領域を撮影し，作業領域の画像をコンピュータの画面上に表示する。さらに，コンピュータは撮影された作業領域の画像と３次元作業手順データ中の３次元モデルとの位置合わせを行う。作業領域の画像と３次元モデルとの位置合わせは，例えば，特殊な形状と模様を有するマーカーを作業領域に設置し，マーカーとカメラの位置関係を計算することにより行う方法がよく知られている。マーカーと３次元モデルの位置合わせをあらかじめ実施しておくことにより，作業領域の画像中に３次元モデルのどの部分が映っているかを計算することが可能となる。作業領域の画像と３次元モデルの位置合わせを行った結果，作業領域の画像上に作業項目が対応付けられた箇所が存在する場合，作業領域の画像上に該当する作業項目の内容を重畳表示する。
　作業項目の内容をタブレット型コンピュータの画面上に重畳表示した一例を図２０に示す。図２０において，２００１は作業項目が対応付けられている箇所，２００２は作業項目の内容を示している。また図２０では，作業項目が３次元モデル上で空間的な広がりを有する領域（例えば，作業対象に対応する領域）に対応付けられていると想定しており，図２０の示す画面上では，３次元モデル上の領域を２次元画像上の領域に変換することにより２００１に示すように四角形により明示されている。さらに図２０では，２００２に示す作業項目の内容をそれが対応付けられた位置に関連付けて表示している。作業項目の内容の表示は，例えば画面の左上など，あらかじめ決められた位置に表示するようにしても良い。また，作業項目には順序関係があるため，対象となっていない作業項目であれば，それが対応付けられている位置が作業領域の画像上に存在しても表示は行わないようにすることができる。あるいは，使用者のキーボードやマウス等の操作によって，対象となっていない作業項目の情報も表示するようにすることもできる。
　以上を踏まえ、本実施例に記載の作業支援用データ作成プログラムは、複数の作業対象を含む複数枚の全景画像から３次元モデルを生成するステップと，前記３次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成するステップと，作業を行う視線から撮影した画像である作業視点画像と変形全景画像とを比較して得られる類似度に基づいて，全景画像に対する作業視点画像の位置関係を求めるステップと，作業を行う対象である作業対象に関連する情報を全景画像上に登録するステップと，全景画像に対する作業視点画像の位置関係に基づいて，登録した作業対象に対応する作業視点画像を検索し，検索された作業視点画像を作業対象に対応付けるステップと，作業対象と作業対象に対応付けられた作業視点画像とを３次元モデルに対応付けて保存するステップと，を特徴とする。
　また、このプログラムを記録した情報記録媒体も、本発明の技術的思想の範囲内であることは言うまでもない。
　本構成を採用することにより、拡張現実感用作業手順データと一覧形式作業手順書を出力可能なデータを効率的に作成することが可能となる。
　１０１　情報処理装置
　１０２　入力装置
　１０３　出力装置
　１０４　プログラム記憶装置
　１０５　制御プログラム
　１０６　作業対象登録プログラム
　１０７　３次元モデル生成プログラム
　１０８　新規作業項目追加プログラム
　１０９　全景画像－作業視点画像対応付プログラム
　１１０　作業手順－作業視点画像対応付プログラム
　１１１　作業手順順序変更プログラム
　１１２　作業手順－３次元モデル対応付プログラム
　１１３　作業手順書出力プログラム
　１１４　データ記憶装置
　１９０１　タブレット型コンピュータ

Claims (11)

  1. 　複数の作業対象を含む複数枚の全景画像から３次元モデルを生成するステップと，
    　前記３次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成するステップと，
    　作業を行う視線から撮影した画像である作業視点画像と前記変形全景画像とを比較して得られる類似度に基づいて，前記全景画像に対する前記作業視点画像の位置関係を求めるステップと，
    　作業を行う対象である作業対象に関連する情報を前記全景画像上に登録するステップと，
    　前記全景画像に対する前記作業視点画像の位置関係に基づいて，登録した前記作業対象に対応する前記作業視点画像を検索し，検索された前記作業視点画像を前記作業対象に対応付けるステップと，
    　前記作業対象と前記作業対象に対応付けられた作業視点画像とを前記３次元モデルに対応付けて保存するステップと，
    をコンピュータに実行させることを特徴とするプログラムを記録した情報記録媒体。
  2. 　請求項１記載の情報記録媒体において，
    　前記作業対象に対応づけられた前記作業視点画像が検索された場合，
    　作業の内容を表す情報である作業項目が作業を実施する順序に従って複数並べられた情報である作業手順に対し、検索された前記作業視点画像と前記作業対象とを新たな作業項目として前記作業手順に追加するステップと、
    　追加された前記作業項目に作業の内容を表す情報を登録するステップと，
    をコンピュータに実行させることを特徴とするプログラムを記録した情報記録媒体。
  3. 　請求項１記載の情報記録媒体において，
    　登録された前記作業対象の情報に基づいて，あらかじめ格納されている前記作業手順の内容から関連する前記作業項目を検索し，前記全景画像上の前記作業対象に検索された前記作業項目を対応付けるステップと，
    　前記作業項目が対応付けられた前記作業対象に対応する前記作業視点画像を，前記全景画像に対する前記作業視点画像の位置関係に基づいて検索するステップと，
    　検索された前記作業視点画像を前記作業項目に対応付けるステップと，
    をさらに有することを特徴とするプログラムを記録した情報記録媒体。
  4. 　請求項１記載の情報記録媒体において，
    　前記全景画像に対する前記作業視点画像の位置関係に基づいて，前記作業視点画像の位置を前記全景画像上に表示するステップ
    をさらに有することを特徴とするプログラムを記録した情報記録媒体。
  5. 　請求項２記載の情報記録媒体において，
    　登録された前記作業対象に順序を表す順序情報を付加するステップと，
    　前記順序情報に基づいて，前記作業手順中の前記作業項目の順序を修正するステップと，
    をさらに有することを特徴とするプログラムを記録した情報記録媒体。
  6. 　請求項１記載の情報記録媒体において，
    　前記全景画像と前記３次元モデルの対応関係に基づいて，前記３次元モデル上における前記作業対象の位置を求めるステップと，
    　求めた前記作業対象の位置に，前記作業対象に関連する情報あるいは前記作業対象に対応する前記作業項目の内容を関連付けて保存するステップと，
    をさらに有することを特徴とするプログラムを記録した情報記録媒体。
  7. 　複数の作業対象を含む複数枚の全景画像が入力される入力部と、
    　入力された前記全景画像から３次元モデルを生成するモデル生成部と，
    　前記３次元モデルに基づいて視点を変化させた全景画像である変形全景画像を生成する画像変換部と，
    　作業を行う視線から撮影した画像である作業視点画像と前記変形全景画像とを比較して得られる類似度に基づいて，前記全景画像に対する前記作業視点画像の位置関係を求める位置特定部と，
    　作業を行う対象である作業対象に関連する情報を前記全景画像上に登録する作業対象登録部と，
    　前記全景画像に対する前記作業視点画像の位置関係に基づいて，登録した前記作業対象に対応する前記作業視点画像を検索し，検索された前記作業視点画像を前記作業対象に対応付ける対応付け部と，
    　前記作業対象と前記作業対象に対応付けられた作業視点画像とを前記３次元モデルに対応付けて保存する記憶部と，
    を有することを特徴とするデータ作成装置。
  8. 　請求項7記載のデータ作成装置において，
    　前記作業対象に対応する前記作業視点画像が検索された場合に、作業の内容を表す情報である作業項目が作業を実施する順序に従って複数並べられた情報である作業手順に対し、検索された前記作業視点画像と前記作業対象とを新たな作業項目として前記作業手順に追加する順序変更部と、
    　追加された前記作業項目に作業の内容を表す情報を登録する項目追加部と，
    をさらに有することを特徴とするデータ作成装置。
  9. 　請求項7記載のデータ作成装置において，
    　前記項目追加部は、
    　登録された前記作業対象の情報に基づいて，前記記憶部に格納されている前記作業手順の内容から関連する前記作業項目を検索し，前記全景画像上の前記作業対象に検索された前記作業項目の対応付けを行い、前記作業項目が対応付けられた前記作業対象に対応する前記作業視点画像を前記全景画像に対する前記作業視点画像の位置関係に基づいて検索し、検索された前記作業視点画像を前記作業項目に対応付けることを特徴とするデータ作成装置。
  10. 　請求項8記載のデータ作成装置において，
    　前記順序変更部は、
    　登録された前記作業対象に順序を表す順序情報を付加し、
    　前記順序情報に基づいて，前記作業手順中の前記作業項目の順序を修正することを特徴とするデータ作成装置。
  11. 　請求項7記載のデータ作成装置において，
    　前記項目追加部は、
    　前記全景画像と前記３次元モデルの対応関係に基づいて，前記３次元モデル上における前記作業対象の位置を求め、
    　求めた前記作業対象の位置に，前記作業対象に関連する情報あるいは前記作業対象に対応する前記作業項目の内容を関連付けて保存することを特徴とするデータ作成装置。
PCT/JP2014/050732 2014-01-17 2014-01-17 作業支援用データ作成プログラム WO2015107665A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015557644A JP6144364B2 (ja) 2014-01-17 2014-01-17 作業支援用データ作成プログラム
CN201480063631.6A CN105745586B (zh) 2014-01-17 2014-01-17 作业辅助用数据生成程序
PCT/JP2014/050732 WO2015107665A1 (ja) 2014-01-17 2014-01-17 作業支援用データ作成プログラム
US15/110,999 US20160335578A1 (en) 2014-01-17 2014-01-17 Program for creating work assistance data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/050732 WO2015107665A1 (ja) 2014-01-17 2014-01-17 作業支援用データ作成プログラム

Publications (1)

Publication Number Publication Date
WO2015107665A1 true WO2015107665A1 (ja) 2015-07-23

Family

ID=53542584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050732 WO2015107665A1 (ja) 2014-01-17 2014-01-17 作業支援用データ作成プログラム

Country Status (4)

Country Link
US (1) US20160335578A1 (ja)
JP (1) JP6144364B2 (ja)
CN (1) CN105745586B (ja)
WO (1) WO2015107665A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017097869A (ja) * 2015-11-18 2017-06-01 エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフト 電子検査室ジャーナルへの入力情報を生成するための方法
CN107315988A (zh) * 2016-04-26 2017-11-03 百度（美国）有限责任公司 用于在无人驾驶车辆中呈现媒体内容的系统和方法
JP2019121136A (ja) * 2017-12-29 2019-07-22 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
US10592724B2 (en) 2015-10-29 2020-03-17 Fujitsu Limited Information output method and information processing device
JP2020115284A (ja) * 2019-01-17 2020-07-30 株式会社日立製作所 データ作成システム及びデータ作成方法
WO2023100743A1 (ja) * 2021-12-03 2023-06-08 株式会社日立製作所 作業支援システム、作業対象特定装置および方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
FR3022065B1 (fr) * 2014-06-04 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de generation d'une maquette numerique enrichie
US10699165B2 (en) 2017-10-30 2020-06-30 Palo Alto Research Center Incorporated System and method using augmented reality for efficient collection of training data for machine learning
US11443495B2 (en) * 2018-12-31 2022-09-13 Palo Alto Research Center Incorporated Alignment- and orientation-based task assistance in an AR environment
JP7347764B2 (ja) 2021-06-25 2023-09-20 株式会社長大 複合浮体基盤および当該複合浮体基盤を備える浮体式洋上風力発電設備
US11917289B2 (en) 2022-06-14 2024-02-27 Xerox Corporation System and method for interactive feedback in data collection for machine learning in computer vision tasks using augmented reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161031A (ja) * 1994-12-07 1996-06-21 Meidensha Corp 監視制御システム
JP2001265756A (ja) * 2000-03-17 2001-09-28 Pfu Ltd 作業手順書作成装置及びプログラム記録媒体
JP2006065807A (ja) * 2004-08-30 2006-03-09 Ricoh Co Ltd 手順書作成方法及び手順書作成プログラム
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
JP2013164506A (ja) * 2012-02-10 2013-08-22 Keyence Corp マニュアル作成支援装置及びマニュアル作成支援方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622094B2 (ja) * 1995-10-05 2005-02-23 株式会社日立製作所 地図更新支援装置および地図情報の編集方法
JP2001356813A (ja) * 2000-06-14 2001-12-26 Chiyoda Corp プラント保全支援システム
JP4233932B2 (ja) * 2003-06-19 2009-03-04 日立建機株式会社 作業機械の作業支援・管理システム
DE102005061952B4 (de) * 2005-12-23 2008-09-11 Metaio Gmbh Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System
US9176235B2 (en) * 2008-04-11 2015-11-03 Caterpillar Trimble Control Technologies Llc System and method for presenting topographical data for an earthmoving operation
JP5072736B2 (ja) * 2008-06-30 2012-11-14 株式会社東芝 遠隔目視検査支援システムおよび遠隔目視検査支援コンピュータプログラム
JP2010121999A (ja) * 2008-11-18 2010-06-03 Omron Corp ３次元モデルの作成方法および物体認識装置
CN102663196B (zh) * 2012-04-17 2014-04-16 中南大学 一种基于虚拟现实的汽车起重机吊装仿真方法
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US20150062123A1 (en) * 2013-08-30 2015-03-05 Ngrain (Canada) Corporation Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08161031A (ja) * 1994-12-07 1996-06-21 Meidensha Corp 監視制御システム
JP2001265756A (ja) * 2000-03-17 2001-09-28 Pfu Ltd 作業手順書作成装置及びプログラム記録媒体
JP2006065807A (ja) * 2004-08-30 2006-03-09 Ricoh Co Ltd 手順書作成方法及び手順書作成プログラム
JP2013097466A (ja) * 2011-10-28 2013-05-20 Hitachi Ltd 作業支援システム、作業支援方法、および、作業用端末
JP2013164506A (ja) * 2012-02-10 2013-08-22 Keyence Corp マニュアル作成支援装置及びマニュアル作成支援方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592724B2 (en) 2015-10-29 2020-03-17 Fujitsu Limited Information output method and information processing device
JP2017097869A (ja) * 2015-11-18 2017-06-01 エフ ホフマン−ラ ロッシュ アクチェン ゲゼルシャフト 電子検査室ジャーナルへの入力情報を生成するための方法
CN107315988A (zh) * 2016-04-26 2017-11-03 百度（美国）有限责任公司 用于在无人驾驶车辆中呈现媒体内容的系统和方法
CN107315988B (zh) * 2016-04-26 2020-12-11 百度（美国）有限责任公司 用于在无人驾驶车辆中呈现媒体内容的系统和方法
JP2019121136A (ja) * 2017-12-29 2019-07-22 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
US11238653B2 (en) 2017-12-29 2022-02-01 Fujitsu Limited Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program
JP7017689B2 (ja) 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
JP2020115284A (ja) * 2019-01-17 2020-07-30 株式会社日立製作所 データ作成システム及びデータ作成方法
JP7065795B2 (ja) 2019-01-17 2022-05-12 株式会社日立製作所 データ作成システム及びデータ作成方法
WO2023100743A1 (ja) * 2021-12-03 2023-06-08 株式会社日立製作所 作業支援システム、作業対象特定装置および方法

Also Published As

Publication number Publication date
CN105745586A (zh) 2016-07-06
JP6144364B2 (ja) 2017-06-07
US20160335578A1 (en) 2016-11-17
CN105745586B (zh) 2018-04-03
JPWO2015107665A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6144364B2 (ja) 作業支援用データ作成プログラム
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
JP5991423B2 (ja) 表示装置、表示方法、表示プログラムおよび位置設定システム
JP6265027B2 (ja) 表示装置、位置特定プログラム、および位置特定方法
US9208607B2 (en) Apparatus and method of producing 3D model
JP2020535509A (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
JP6077010B2 (ja) 作業支援端末および作業支援システム
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
JP3245336B2 (ja) モデリング方法およびモデリングシステム
JP2017085533A (ja) 情報処理システム、及び情報処理方法
JPWO2018025825A1 (ja) 撮像システム
JP2013008257A (ja) 画像合成プログラム
US20140142900A1 (en) Information processing apparatus, information processing method, and program
JP7065795B2 (ja) データ作成システム及びデータ作成方法
JP7015130B2 (ja) データ処理装置
JP2013092888A (ja) データ処理装置
JP5075659B2 (ja) 物体軌道演算装置及びそのプログラム
JP2008040913A (ja) 情報処理方法、情報処理装置
JP6564259B2 (ja) 画像処理装置、画像処理方法
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
CN113836337A (zh) Bim的展示方法、装置、设备及存储介质
KR101873983B1 (ko) 구조물 정보 제공 장치 및 기록 매체
WO2021176877A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2021015572A (ja) 情報管理システムおよび情報管理方法
WO2023054661A1 (ja) 注視位置分析システム及び注視位置分析方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14879103

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015557644

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15110999

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14879103

Country of ref document: EP

Kind code of ref document: A1