JP6540108B2 - 画像生成方法、システム、装置、及び端末 - Google Patents

画像生成方法、システム、装置、及び端末 Download PDF

Info

Publication number
JP6540108B2
JP6540108B2 JP2015046130A JP2015046130A JP6540108B2 JP 6540108 B2 JP6540108 B2 JP 6540108B2 JP 2015046130 A JP2015046130 A JP 2015046130A JP 2015046130 A JP2015046130 A JP 2015046130A JP 6540108 B2 JP6540108 B2 JP 6540108B2
Authority
JP
Japan
Prior art keywords
image
information
worker
terminal
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015046130A
Other languages
English (en)
Other versions
JP2016167688A (ja
Inventor
山 姜
山 姜
桂樹 岡林
桂樹 岡林
武　理一郎
理一郎 武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015046130A priority Critical patent/JP6540108B2/ja
Priority to US15/062,408 priority patent/US20160269631A1/en
Publication of JP2016167688A publication Critical patent/JP2016167688A/ja
Application granted granted Critical
Publication of JP6540108B2 publication Critical patent/JP6540108B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像生成技術に関する。
遠隔にいる作業員が装着した小型カメラから送信された画像に対して行った指示情報を、画像に重畳させて、作業員が装着したＨＭＤ（Head-Mounted Display）に表示させて作業指示を行う技術が知られている。
例えば、作業員毎の瞳の位置の違いによるずれを調整した表示領域に、現実の光学像における対象部位に、作業すべき部位を指示する指標を重ねて表示させる技術、作業対象物が視界に入っていないと判断した場合に、撮像データに基づいて、作業対象物が含まれる静止画像が作業員が装着した表示部に表示させる技術等が提案されている。
特開２００８−１２４７９５号公報 特開２０１２−１８２７０１号公報
Kuzuoka, Hideaki and Kosuge, Toshio and Tanaka, Masatomo, "GestureCam: A video communication system for sympathetic remote collaboration", 1994 蔵田武志、大隈隆史、興梠正克、加藤丈和、坂上勝彦、「VizWear: コンピュータビジョンとウェアラブルディスプレイによる人間中心インタラクション」、2001 加藤博一、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、１９９９
しかしながら、上述した技術における作業員側から送られてくる画像は、視野範囲が狭く、また、作業員の頭部の動きによって画像が上下左右に揺れる場合がある。そのため、指示を送る側の指示者にとって、作業現場の全貌を把握することが難しいといった問題がある。指示者がより適切な指示を行うためにも、作業現場の全貌を把握できるような画像をリアルタイムで提供できることが望ましい。
したがって、１つの側面では、本発明は、移動する装置を用いたパノラマ画像を高速に生成することを目的とする。
一態様によれば、ネットワーク通信部を介して端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む支援情報を前記端末に送信する処理をコンピュータが行う画像生成方法が提供される。
また、上記課題を解決するための手段として、上記方法を行う装置、コンピュータに上記処理を実行させるためのプログラム、及び、そのプログラムを記憶した記憶媒体とすることもできる。
移動する装置を用いたパノラマ画像を高速に生成することができる。
遠隔作業支援の一例を説明するための図である。 一般的な作業フローの例を示す図である。 本実施形態における作業支援方法を説明するための図である。 システムのハードウェア構成を示す図である。 第１の全体機能構成を示す図である。 図５の第１の全体機能構成における第１の機能構成を示す図である。 図６の第１の機能構成の詳細な機能構成を示す図である。 パノラマ画像生成の一般的な原理を示す図である。 一般的なパノラマ画像生成方法を説明するための図である。 マーカー可視範囲の例を示す図である。 システムにおけるパノラマ画像の表示処理を説明するためのフローチャート図である。 座標変換を説明するための図である。 ＩＭＵを用いて位置及び姿勢情報を取得する一般的な構成を示す図である。 融合フィルタの構成例を示す図である。 円柱への投影を説明するための図である。 球面への投影を説明するための図である。 特徴点マップを説明するための図である。 作業員の頭部の動きに基づく、パノラマ画像の表示方法を説明するための図である。 パノラマ画像生成処理の高速化を説明するための図である。 左右の動きに応じたパノラマ画像の例を示す図である。 指示の提示方法を説明するための図である。 作業員を指示対象物へと誘導する誘導方法を説明するための図である。 第２の全体機能構成を示す図である。 プレイスサーバの機能構成を示す図である。 パノラマ画像の生成開始直後の時刻Ｔ１における画像例を示す図である。 時刻Ｔ１後の時刻Ｔ２における画像例を示す図である。
以下、本発明の実施の形態を図面に基づいて説明する。現在、作業現場では、労働力不足、現場技術者の育成などの課題に直面している。業務の効率化のために、指示者、専門家等の熟練者が遠隔地の情景を的確に把握しながら、遠隔地間で新人等の未熟な作業員と意図した通りのインタラクションを取ることで、協調的に作業を完遂できるような遠隔協調作業支援システムの実現が期待されている。
近年、スマートデバイス、ウェアラブル技術、及び無線通信技術の進化により、ウェアラブルデバイスを用いた遠隔作業支援システムが注目されている。一例として、スマートデバイスにヘッドマウントディスプレイ（ＨＭＤ）とヘッドマウントカメラ（ＨＭＣ）とを接続し、協働して作業する現場の作業員と遠隔にいる指示者との間を無線ネットワークで繋げて、現場作業員側の実作業空間の状況を映像と音声で伝送するとともに、指示者からの指示を視覚アノテーションでＨＭＤに表示させる。
図１は、遠隔作業支援の一例を説明するための図である。図１において、作業現場に居る作業員２は、作業員端末２０ｔと、表示デバイス２１ｄと、カメラ２１ｃとを装着して現場の状況を指示者１へ伝達し、指示者１は、指示者装置１０ｔを操作して、作業員２へ指示を伝達する。
作業員端末２０ｔは、スマートデバイス等の情報処理端末であり、通信機能等を有する。表示デバイス２１ｄは、例えば、ＨＭＤであり、ウェアラブルな音声の入出力可能な表示装置である。
カメラ２１ｃは、例えば、ＨＭＣであり、ウェアラブルなＣＣＤ（Charge Coupled Device）等の小型カメラである。
表示デバイス２１ｄ及びカメラ２１ｃとは、作業員２の頭部に装着され、近距離無線通信等により作業員端末２０ｔと通信可能な装置である。
作業現場にて、作業員２のカメラ２１ｃが撮像した現場の環境を示すカメラ画像２ｃが、作業員端末２０ｔから指示者端末１０ｔへと送信される。カメラ画像２ｃは、指示者端末１０ｔに表示される。
指示者１は、表示されたカメラ画像２ｃ上で指示内容１ｅを入力すると、指示データ１ｄが作業員端末２０ｔへ送信される。作業員端末２０ｔは、指示データ１ｄを受信すると、カメラ画像２ｃと指示内容１ｅとを合成した画像を表示デバイス２１ｄに表示する。
一方、作業員２と指示者１とは、音声通話が可能であり、作業員端末２０ｔと指示者端末１０ｔとの間で音声ストリーム配信が行われる。
このうような遠隔作業支援の一般的な作業フローについて図２で説明する。図２は、一般的な作業フローの例を示す図である。図２において、先ず、作業員２が、作業支援を要請することで、指示者１では作業支援を開始するため、作業員２と指示者１との間で作業開始の同期が行われる（フェーズ０）。現場のカメラ画像２ｃ等を指示者１の指示者端末１０ｔで受信が開始され、支援の準備が整う。
作業支援が開始されると、作業員２による現場作業における課題が説明される（フェーズ１）。作業員２の説明、及び、現場のカメラ画像２ｃにより、指示者１は、現場の課題を理解する。フェーズ１では、現場の状況がより正確にかつ迅速に指示者１に伝達されることが望ましい。
現場の状況、即ち、現場作業環境が、作業員２と指示者１との間で共有されると、指示者１は、指示者端末１０ｔに表示されたカメラ画像２ｃに対して、課題を解決するための現場での作業対象を指定する（フェーズ２）。フェーズ２では、作業対象が現場における作業員２との位置関係において、精度良くポインティングされることが望ましい。
作業員２の表示デバイス２１ｄで作業対象が特定された後、指示者１から解決方法の説明が行われ、作業員２は、作業手順の理解及び確認を行う（フェーズ３）。解決方法の説明は、指示内容の表示と、音声とにより行われる。フェーズ３では、作業員２に作業手順を正確に提示し、作業員２の作業手順の理解を容易に行なえることが望まれる。
作業員２が作業手順を理解し確認できると、現場での作業が行われる。作業員２の作業中には、指示者１は、作業員端末２０ｔから送信されるカメラ画像２ｃ等を確認しながら、現場作業を確認し、必要に応じて作業の調整を指示する（フェーズ４）。フェーズ４では、作業員２に対する作業調整の指示が、作業員２の作業に対して遅延なく即座に行え、正確に伝達されることが望まれる。調整指示毎に、フェーズ３及びフェーズ４が繰り返される。
作業が終了すると、作業員２と指示者１との間で、現場作業の終了確認が行われる（フェーズ５）。最終確認が作業員２と指示者１とで行われることで、現場作業の終了となる。
ここで、フェーズ１及びフェーズ２について考察する。非特許文献１を参照することで、指示者１側において、カメラ画像２ｃが表示された表示部に対して、指示者１が作業対象をポインティングする様子を指示者１側のカメラが撮像して、作業員２の頭部に装着した表示デバイス２１ｄに表示させることが考えられる。フェーズ１における同じ視野を共有することができるため、作業員２の目前の現場状況を知り得る。
しかしながら、カメラ画像２ｃは、作業員２の頭部のカメラ２１ｃの視点に基づく画像であるため、指示者１が見える範囲は、カメラ２１ｃの視角、及び、作業員２の頭部の向きに依存してしまう。従って、指示者１からは、作業現場の全貌を把握するのは困難である。
フェーズ２については、指示者１が作業員２のカメラ２１ｃに指示しようとしても、作業員２の頭部の向きを誘導し、固定してもらう必要がある。そして、同じ視野を共有する利点はあるものの、指示者１が作業員２に対して視野外の指示を精度良く行うのは困難である。
次に、フェーズ２に関して、非特許文献２を適用した場合について考察する。非特許文献２を参照することで、参照用の作業現場のパノラマ画像に対して提示する情報を事前に設定しておくことで、ウェアラブルコンピュータからカメラ画像２１ｃを受信し、パノラマ画像において受信したカメラ画像２１ｃが相当する部分を検出して、情報を作業員２の表示デバイス２１ｄに表示させることが考えられる。
作業現場のパノラマ画像は作業現場の全容を示す画像ではあるが、現在の作業現場を示す画像ではない。また、事前に設定した情報が作業員２の表示デバイス２１ｄに表示されるため、指示者１とのインタラクションがなく、また、リアルタイムなポインティングは実現されない。
パノラマ画像は事前に用意されるため、現場の環境の変化に対応できない。従って、遠隔からのＡＲ（拡張現実感：Augmneted Reality）指示を実現できない。
上述より、現場の作業員２のカメラ画像をライブ動画としてそのまま指示者１側へ送信することは可能であるが、以下の課題が存在する。
・指示者１側が見える範囲はカメラ２１ｃの視角、作業員２の頭部の向きに依存するため、現在の作業現場の全貌を把握しにくい。
・指示者１側が作業員２の表示デバイス２１ｄに指示情報を表示させようとしても、指示者１は、作業員２の頭部の向きを先ず誘導し、作業員２に固定してもらう必要がある。
・視野外の指示を行うためには、指示者１は、作業員２に頭部の向きを変えるように指示を行い、対象物を探さなくてはならない。
・更に、複数のカメラ画像２ｃを合成して生成したパノラマ画像に指示情報を貼り付けることが考えられるが、指示情報が貼り付けられた画像を作業員２に送信して表示デバイス２１ｄに表示させなければ指示を伝えることができない。この方法では、作業員２は、指示者１側から送られてきた画像と、現場とを見比べる必要があり、効率が悪く、また、通信の負荷も大きい。
本実施形態では、現場に基準点を定め、基準点を中心としてパノラマ画像を作成する。このようにして作成されたパノラマ画像に対して、指示者１がポインティングすると、基準点からの相対座標と、指示者１が入力した指示情報そのものとを作業員端末２に提供する。従って、通信負荷を低減できる。
また、作業員端末２０ｔで受信した指示情報を相対座標に基づいて、現在のカメラ画像２ｃに重畳（ＡＲ重畳）させて表示デバイス２１ｄに表示することで、指示者１から作業員２に直感的に効率よく遠隔指示を行う。
図３は、本実施形態における作業支援方法を説明するための図である。図３に示す本実施形態におけるシステム１００１では、作業現場７に基準点となる位置にマーカー７ａが備えられる。マーカー７ａは、基準点であることを示す参照物であり、カメラ２１ｃで撮影されたカメラ画像２ｃから位置及び作業員２の姿勢を特定できる情報を有する。例えば、ＡＲマーカー等を利用すれば良いが、ＡＲマーカーに限定しない。
作業員２のカメラ２１ｃがマーカー７ａを含む周辺を撮像後には、指示者１側の遠隔支援装置１０１によって、作業員端末２０１から受信した複数のカメラ画像２ｃをパノラマ画像４へと変換する。
遠隔支援装置１０１では、画像解析によりマーカー７ａを検出して基準点を定める。複数のカメラ画像２ｃを基準点に基づいて配置させ、各カメラ画像２ｃ内の特徴点に基づいてカメラ画像２ｃを重ね合わせることで、パノラマ画像４を生成する。
また、基準点をカメラ画像２ｃから画像認識することで、作業員２の視線方向を算出でき、作業員２の頭部の位置及び姿勢に係る情報を得ることができる。
本実施形態における作業支援方法の概要について説明する。本実施形態では、作業員端末２０１から、姿勢情報２ｂ（図６）とカメラ画像２ｃとに基づいて生成した融合姿勢情報２ｅ、及び、カメラ２１ｃが撮像したカメラ画像２ｃとがリアルタイムで遠隔支援装置１０１へ配信される。遠隔支援装置１０１からは、指示者１がパノラマ画像４上でポインティングして入力した指示情報２ｆがリアルタイムで作業員端末２０１へ配信される。また、作業員２と指示者１との音声情報２ｖもリアルタイムで互いに配信される。
姿勢情報２ｂ（図６）は、遠隔支援装置１０１にて計測された作業員２の凡その姿勢の方向及び傾きを示す。融合姿勢情報２ｅは、姿勢情報２ｂ（図６）と、カメラ画像２ｃとに基づいて生成された情報であり、詳細は後述される。
カメラ画像２ｃは、カメラ２１ｃが撮像した画像であり、時間的に連続して撮像された複数のカメラ画像２ｃのストリームにより映像として配信される。指示情報２ｆは、作業員２への指示、助言等に係る支援情報に相当し、文字、記号等で表現した指示内容２ｇ（図６）と、指示者１がパノラマ画像４上でポインティングした位置をマーカー７ａに対する相対座標２ｈ（図６）の情報を含む。
本実施形態における遠隔支援装置１０１は、作業員端末２から受信した融合姿勢情報２ｂに基づいて、リアルタイムに視角変換を行い、カメラ画像２ｃの画像解析によって特定したマーカー７ａの情報に基づいて作業員２の周辺シーンを描画する。描画された周辺シーンは、遠隔支援装置１０１にパノラマ画像４として表示される。
パノラマ画像４は、リアルタイム配信されたカメラ画像２ｃを視角変換し、マーカー７ａの位置に対する相対位置に基づいて、カメラ画像２ｃを上書きするように描画された画像である。従って、パノラマ画像４は、過去のカメラ画像２ｃの一部を残しつつ、作業員２の現在の視線方向のカメラ画像２ｃを表示した画像である。
パノラマ画像４は、現在の作業員２の視線方向のカメラ画像２ｃのみならず、過去の作業員２の視線方向のカメラ画像２ｃを部分的に残して表示するため、指示者１は、作業員２の周辺の環境に関して、より多く情報を得ることができる。また、指示者１は、パノラマ画像４上で、現在の作業員２の視野外の対象物を的確にポインティングすることができる。
指示者１のパノラマ画像４上での操作は、リアルタイムで、作業員端末２０１へ送信され、指示情報２ｆに基づいて、表示デバイス２１ｄに指示内容２ｇが表示される。指示内容２ｇは、現実に見えている作業現場のシーンと重なって表示デバイス２１ｄに表示され、作業員２は、操作する対象物を精度良く認識することができる。
また、指示者１は、作業員２と現場状況を精度よく共有でき、あたかも、現場にいるかのように作業現場７を理解することができる。そのような観点において、指示者１は、あたかも実際に作業現場７で作業員２に指示する仮想指示者１ｖに相当する。
図４は、システムのハードウェア構成を示す図である。図４において、遠隔支援装置１０１は、ＣＰＵ（Central Processing Unit）１１１と、メモリ１１２と、ＨＤＤ（Hard Disk Drive）１１３と、入力装置１１４と、表示装置１１５と、音声入出力装置１１６と、ネットワーク通信部１１７と、ドライブ装置１１８と、を有する。
ＣＰＵ１１１は、メモリ１１２に格納されたプログラムに従って遠隔支援装置１０１を制御する。メモリ１１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１１にて実行されるプログラム、ＣＰＵ１１１での処理に必要なデータ、ＣＰＵ１１１での処理にて得られたデータ等を記憶又は一時保存する。
ＨＤＤ１１３は、補助記憶装置として利用され、各種処理を実行するためのプログラム等のデータを格納する。ＨＤＤ１１３に格納されているプログラムの一部がメモリ１１２にロードされ、ＣＰＵ１１１に実行されることによって、各種処理が実現される
入力装置１１４は、マウス等のポインティングデバイス、キーボード等を有し、指示者１が遠隔支援装置１０１による処理に必要な各種情報を入力するために用いられる。表示装置１１５は、ＣＰＵ１１１の制御のもとに必要な各種情報を表示する。入力装置１１４と表示装置１１５とは、一体化したタッチパネル等によるユーザインタフェースであってもよい。
音声入出力装置１１６は、音声を入力するマイクロフォン及び音声を出力するスピーカを有する。ネットワーク通信部１１７は、有線又は無線などのネットワークを通じて通信を行う。ネットワーク通信部１１７による通信は無線又は有線に限定されるものではない。
遠隔支援装置１０１によって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体１１９によって遠隔支援装置１０１に提供される。
ドライブ装置１１８は、ドライブ装置１１８にセットされた記憶媒体１１９（例えば、ＣＤ−ＲＯＭ等）と遠隔支援装置１０１とのインターフェースを行う。
また、記憶媒体１１９に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体１１９に格納されたプログラムは、ドライブ装置１１８を介して遠隔支援装置１０１にインストールされる。インストールされたプログラムは、遠隔支援装置１０１により実行可能となる。
尚、プログラムを格納する記憶媒体１１９はＣＤ−ＲＯＭに限定されず、コンピュータが読み取り可能な、構造（structure）を有する１つ以上の非一時的（non-transitory）な、有形（tangible）な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
作業員２は、作業員端末２０１と、表示デバイス２１ｄと、カメラ２１ｃとを装備する。作業員端末２０１は、ＣＰＵ２１１と、メモリ２１２と、ＲＴＣ（Real Time Clock）２１３と、ＩＭＵ（Inertial Measurement Unit）２１５と、短距離無線通信部２１６と、ネットワーク通信部２１７とを有する。
ＣＰＵ２１１は、メモリ２１２に格納されたプログラムに従って作業員端末２０１を制御する。メモリ２１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ２１１にて実行されるプログラム、ＣＰＵ２１１での処理に必要なデータ、ＣＰＵ２１１での処理にて得られたデータ等を記憶又は一時保存する。メモリ２１２に格納されているプログラムが、ＣＰＵ２１１に実行されることによって、各種処理が実現される。
ＲＴＣ２１３は、現在時刻を計測するデバイスである。ＩＭＵ（Inertial Measurement Unit）２１５は、慣性センサを有し、加速度計測及びジャイロ機能を有するデバイスであり、作業員２の姿勢を示す姿勢情報２ｂ（図６）を取得する。
短距離無線通信部２１６は、表示デバイス２１ｄ及びカメラ２１ｃの各々と短距離無線通信を行う。短距離無線通信は、Bluetooth（登録商標）等であればよい。ネットワーク通信部２１７は、ネットワークを介して無線通信によって、姿勢情報２ｂとカメラ画像２ｃとから生成された融合姿勢情報２ｅ、カメラ画像２ｄ等のデータを遠隔支援装置１０１へ送信し、また、遠隔支援装置１０１から指示情報２ｆを受信する。
表示デバイス２１ｄは、短距離無線通信機能と、音声入出力部とを有する、例えば、メガネ形状の頭部の視線方向に装着可能なウェアラブルタイプの表示装置である。表示デバイス２１ｄは、透過性の表示部を有し、作業員２は肉眼で視線方向の現実の光景を目視できることが望ましい。表示デバイス２１ｄは、作業員端末２０１から短距離無線通信によって受信した指示情報２ｆに含まれる指示内容２ｇを表示する。
カメラ２１ｃは、短距離無線通信機能を有する。カメラ２１ｃは、作業員２の頭部に装着されることで、作業員２の視線方向の映像を捕えて、短距離無線通信により作業員端末２０１へカメラ画像２ｃを送信する。カメラ２１ｃは、表示デバイス２１ｄと一体化された装置であってもよい。
図５は、第１の全体機能構成を示す図である。図５において、システム１００１の遠隔支援装置１０１は、主に、遠隔支援処理部１４２を有する。遠隔支援処理部１４２は、ＣＰＵ１１１が対応するプログラムを実行することによって実現される。
遠隔支援処理部１４２は、作業員端末２０１の作業支援処理部２７２とにおいて、遠隔支援に関して双方向で情報提供を行う。遠隔支援処理部１４２は、作業員端末２０１から得た融合姿勢情報２ｅ及びカメラ画像２ｃに基づいてパノラマ画像４を表示装置１１５に表示し、また、入力装置１１４から受信した指示者１のポインティングの位置座標に基づいて、指示情報２ｆを作業支援処理部２７２に送信する。
システム１００１の作業員端末２０１は、主に、作業支援処理部２７２を有する。作業支援処理部２７２は、ＣＰＵ２１１が対応するプログラムを実行することによって実現され、遠隔支援装置１０１の遠隔支援処理部１４２とにおいて、遠隔支援に関して双方向で情報提供を行う。作業支援処理部２７２は、ＩＭＵ２１５から姿勢情報２ｂ（図６）を取得し、カメラ２１ｃからカメラ画像２ｃを取得して融合姿勢情報２ｅを生成し、遠隔支援装置１０１の遠隔支援処理部１４２へ送信する。
作業支援処理部２７２は、遠隔支援装置１０１とで双方向で音声情報２ｖを送受信する。作業支援処理部２７２は、表示デバイス２１ｄから送信される音声情報２ｖを遠隔支援装置１０１へ送信し、遠隔支援装置１０１から受信した音声情報２ｖを表示デバイス２１ｄへ送信する。また、遠隔支援装置１０１の遠隔支援処理部１４２から指示情報２ｆを受信すると、作業支援処理部２７２は、指示情報２ｆで示される指示内容２ｇを指示情報２ｆで示される基準点に対する相対座標に基づいて表示デバイス２１ｄに表示する。
図６は、図５の第１の全体機能構成における第１の機能構成を示す図である。図６において、作業員２側の作業員端末２０１の作業支援処理部２７２は、遠隔にいる指示者１からの支援を得るために作業員２がいる現場の状況を指示者１の遠隔支援装置１０１へ提供し、指示者１が提供する指示内容２ｇを表示デバイス２１ｄに表示して、作業員２を支援する処理部であり、主に、現場シーン提供部２７３と、支援情報表示部２７５とを有する。
現場シーン提供部２７３は、現場シーン提供部２７３は、姿勢情報２ｂと、カメラ画像２ｃとから融合姿勢情報２ｅを生成して、ネットワーク通信部２１７を介して、遠隔支援装置１０１へ送信する処理部である。
現場シーン提供部２７３は、姿勢情報２ｂのストリームと、カメラ画像２ｃのストリームとを入力し、融合姿勢情報２ｅを生成する。融合姿勢情報２ｅは、ネットワーク通信部２１７を介して、指示者１側の遠隔支援装置１０１に送信される。現場シーン提供部２７３は、また、カメラ画像２ｃを、ネットワーク通信部２１７を介して、遠隔支援装置１０１に随時送信する。
支援情報表示部２７５は、ネットワーク通信部２１７を介して、遠隔支援装置１０１の遠隔支援処理部１４２から受信した指示情報２ｆに基づいて、指示内容２ｇを相対座標２ｈに基づいて表示デバイス２１ｄに表示する処理部である。
作業員端末２０１の通信ライブラリ２７９は、作業員端末２０１に実装された複数の処理部によって共通に利用可能であって、ネットワーク３ｎを介して通信を行うための種々の機能を提供し、各処理部とネットワーク通信部２１７とのインタフェースを行う。
指示者１側の遠隔支援装置１０１の遠隔支援処理部１４２は、主に、パノラマ画像生成部１４３と、支援情報作成部１４６とを有する。
パノラマ画像生成部１４３は、ネットワーク通信部１１７を介して受信した、時系列に連続した複数のカメラ画像２ｃに基づいてパノラマ画像４を生成する。
支援情報作成部１４６は、作業員２の作業を支援する指示情報２ｆを作成し、ネットワーク通信部１１７を介して、作業員端末２０１に送信する。指示情報２ｆによって、指示内容２ｇ、相対座標２ｈ等の情報が示される。指示内容２ｇは、指示者１が操作する入力装置１１４から入力された、作業員２の作業を支援する内容を示す。相対座標２ｈは、指示者１がパノラマ画像４上でポインティングした位置を、マーカー７ａに対する相対位置で示した座標である。
遠隔支援装置１０１の通信ライブラリ１４９は、遠隔支援装置１０１に実装された複数の処理部によって共通に利用可能であって、通信を行うための種々の機能を提供し、各処理部とネットワーク通信部２１７とのインタフェースを行う。
図７は、図６の第１の機能構成の詳細な機能構成を示す図である。図７では、本実施形態に係るパノラマ画像４の生成及び支援指示に関してその概要を説明する。図７において、作業員端末２０１の作業支援処理部２７２は、更に、現場シーン提供部２７３と、支援情報表示部２７５とを有する。
現場シーン提供部２７３は、ＩＭＵ２１５からの姿勢情報２ｂと、カメラ２１ｃのカメラ画像２ｃとを入力として、融合姿勢情報２ｅを生成するハイブリッドトラッキングを行う。ハイブリッドトラッキングによって、マーカー７ａが視野範囲外になったとしても、継続的なトラッキングを可能とする。出力された融合姿勢情報２ｅは、ネットワーク通信部２１７を介して、遠隔支援装置１０１へ送信される。
現場シーン提供部２７３は、カメラ２１ｃから連続して受信するカメラ画像２ｃを画像処理してマーカー７ａを認識し、マーカー７ａからの作業員２の視線の移動距離を逐次算出して得た作業員２の位置及び姿勢の情報と、ＩＭＵ２１５によって測定された作業員２の動き（即ち、加速度）及び方位を示す姿勢情報２ｂとを用いて融合姿勢情報２ｅを生成する。融合姿勢情報２ｅは、ネットワーク通信部２１７を介して、指示者１側の遠隔支援装置１０１に送信される。現場シーン提供部２７３は、また、カメラ画像２ｃを、ネットワーク通信部２１７を介して、随時遠隔支援装置１０１に送信する。
支援情報表示部２７５は、遠隔にいる指示者１からの指示内容２ｇを表示デバイス２１ｄに表示する処理部であり、指示情報描画部２７６と、オフスクリーン対応部２７７と、映像表示部２７８とを有する。
指示情報描画部２７６は、受信した指示情報２ｆを用いて、相対座標２ｈに基づいて指示者１の指示内容２ｇを描画する。オフスクリーン対応部２７７は、相対座標２ｈが現在の作業員２の視野外の場合、相対座標２ｈへ作業員２を誘導する誘導表示を行う。映像表示部２７８は、表示デバイス２１ｄに指示内容２ｇを表示する。
指示者１側において、遠隔支援装置１０１の遠隔支援処理部１４２は、主に、パノラマ画像生成部１４３と、支援情報作成部１４４とを有する。
パノラマ画像生成部１４３は、更に、現場シーン合成部１４４と、現場シーン描画部１４５とを有する。現場シーン合成部１４４は、マーカー７ａの位置を基準点として、基準点からの相対位置に基づいたマーカー座標系において、カメラ画像２ｃを加工して合成することで、作業員２の現場周辺の様子を示すパノラマ画像４を生成する。現場シーン描画部１４５は、現場シーン合成部１４４が生成したパノラマ画像４を表示装置１１５に描画する。
指示情報作成部１４６は、更に、指示操作処理部１４７と、支援情報提供部１４８とを有する。指示操作処理部１４７は、入力装置１１４から指示者１によってポインティングされた位置座標、テキスト等の指示内容２ｇの入力を受信すると、位置座標及びテキスト等の情報を指示情報提供部１４８に通知する。
支援情報提供部１４８は、指示操作処理部１４７から通知された位置座標を基準点からの相対座標２ｈに変換し、指示操作処理部１４７から通知された指示内容２ｇと、変換して得た相対座標２ｈとを示す指示情報２ｆを作成し、ネットワーク通信部１１７を介して、作業員端末２０１へ送信する。
次に、パノラマ画像生成の一般的な原理を説明する。図８（Ａ）及び図８（Ｂ）は、パノラマ画像生成の一般的な原理を示す図である。図８（Ａ）は、ピンホールカメラモデルの原理を示す。被写体３ｋの画像を投影する画像平面３ｋと、ピンホール３ｇを有する平面３ｊとを、焦点距離３ｈ離して設定することで、被写体３ｋが画像平面３ｋに投影される。被写体３ｋの特徴点３ｔからの光は、ピンホール３ｇを介して画像平面３ｋに映し出される。
図８（Ｂ）は、カメラの動きの条件を説明するための図である。図８（Ｂ）において、カメラ２１ｃは、作業員２の頭部に装着されることから、作業員２が頭部を左右に動かした場合、カメラ２１ｃの撮像範囲は、作業員２の頭部が前向きの場合に範囲３Ｃ、頭部が左向きの場合に範囲３Ｌ、そして、頭部が右向きの場合に範囲３Ｒとなる。図８（Ｂ）の例で示すように、カメラ２１ｃの回転中心３ｅはほぼ固定であると想定できる。
図８（Ａ）で例示したピンホールカメラモデルの原理に基づいて、また、図８（Ｂ）で例示したカメラ２１ｃの回転中心３ｅを固定として、パノラマ画像４を生成する。
図９（Ａ）及び図９（Ｂ）は、パノラマ画像生成処理を説明するための図である。図９（Ａ）は、パノラマ画像生成処理を説明するためのフローチャートを示し、図９（Ｂ）は、画像フレームのオーバレイの一例を示す図である。図９（Ｂ）を参照しつつ、図９（Ａ）において、パノラマ画像生成部１４３によるパノラマ画像生成処理について説明する。回転運動を検出する毎に、以下に説明するステップＳ１１〜Ｓ１４の処理が行われる。
パノラマ画像生成部１４３において、現場シーン合成部１４４は、回転運動に伴う連続する画像フレーム２ｃ−１、２ｃ−２、２ｃ−３等（図９（Ｂ））を取得する（ステップＳ１１）。
そして、現場シーン合成部１４４は、前画像フレームと、現画像フレームとの姿勢差分を求め（ステップＳ１２）、求めた姿勢差分を用いて、前画像フレームにオーバレイする（ステップＳ１３）。前画像フレームと重なる現画像フレームの全部又は一部が、前画像フレームに上書きされ、前画像フレームと現画像フレームとが合成される。
次に、現場シーン描画部１４５が、オーバレイした画像を既存のパノラマ画像４上に描画して、パノラマ画像４を更新する（ステップＳ１４）。
図９（Ｂ）において、画像フレーム２ｃ−１、２ｃ−２、２ｃ−３等の各々は、カメラ画像２１ｃに相当する。作業員２の頭部の回転に応じて画像フレーム２ｃ−１、２ｃ−２、２ｃ−３等が連続的に撮像される。時間ｔの経過の順に、画像フレーム２ｃ−１の一部が画像フレーム２ｃ−２によって上書きされ、画像フレーム２ｃ−２の一部が画像フレーム２ｃ−３によって上書きされる。
図１０は、マーカー可視範囲の例を示す図である。図１０に示すマーカー可視範囲３ｗは、マーカー７ａが存在する現場環境３ｖにおいて、作業員２の頭部に装着したカメラ２１ｃが捉えたカメラ画像２ｃにマーカー７ａが含まれる範囲に相当する。
次に、システム１００１における、パノラマ画像４を遠隔支援装置１０１に表示するまでの処理について図１１で説明する。図１１は、システムにおけるパノラマ画像の表示処理を説明するためのフローチャート図である。
図１１において、作業員端末２０１が、短距離無線通信部２１６を介して画像フレーム（カメラ画像２ｃ）を受信すると、現場シーン提供部２７３は、画像フレームを入力し（ステップＳ２１）、マーカー７ａを画像処理により認識する（ステップＳ２２）。
そして、現場シーン提供部２７３は、マーカー認識に成功したか否かを判断する（ステップＳ２３）。マーカー認識に失敗した場合、即ち、受信した画像フレーム内にマーカーが存在しない場合、マーカー認識フラグを「false」に設定し（ステップＳ２４）、ＩＭＵ２１５が計測して得たＩＭＵ姿勢情報２７ｄを取得して、遠隔支援装置１０１へ送信する姿勢情報とする（ステップＳ２５）。現場シーン提供部２７３は、ステップＳ２８へと進む。
一方、マーカー認識に成功した場合、即ち、受信した画像フレーム内にマーカーが存在する場合、現場シーン提供部２７３は、マーカー認識フラグに「true」を設定し（ステップＳ２６）、カメラ２１ｃの作業現場７における位置及び姿勢をマーカー７ａを認識した結果を用いて３次元で推定する（ステップＳ２７）。推定した３次元の位置及び姿勢を示す推定姿勢情報２６ｄが一時的にメモリ２１２に記憶される。
現場シーン提供部２７３は、推定姿勢情報２６ｄと、ＩＭＵ２１５が計測して得たＩＭＵ姿勢情報２７ｄとを融合する（ステップＳ２８）。推定姿勢情報２６ｄとＩＭＵ姿勢情報２７ｄとを融合して得た融合姿勢情報２ｅが、遠隔支援装置１０１へ送信する姿勢情報となる。
現場シーン提供部２７３は、画像フレーム（カメラ画像２ｃ）、姿勢情報、及びマーカー認識情報を、遠隔支援装置１０１へ送信する（ステップＳ２９）。融合姿勢情報２ｅ又はＩＭＵ姿勢情報２７ｄが、姿勢情報として送信される。そして、現場シーン提供部２７３は、次の画像フレームを処理するためにステップＳ２１へと戻り、上述した同様の処理を繰り返す。
遠隔支援装置１０１は、作業員端末２０１から画像フレーム（カメラ画像２ｃ）、姿勢情報、及びマーカー認識情報を、ネットワーク通信部１１７を介して受信すると（ステップＳ４１）、パノラマ画像生成部１４３の現場シーン合成部１４４は、マーカー認識情報のマーカー認識フラグが「true」を示すか否かを判断する（ステップＳ４２）。
マーカー認識情報のマーカー認識フラグが「false」を示す場合（ステップＳ４２のＮＯ）、現場シーン合成部１４４は、現画像フレームを画像処理して特徴点を取得して（ステップＳ４３）、前画像フレームと、現画像フレームとの夫々で探索エリアを予測し、前画像フレームと、現画像フレームとの間で特徴点をマッチングする特徴点マッチング処理を行う（ステップＳ４４）。
現場シーン合成部１４４は、ステップＳ４４による画像マッチング結果に基づいて、前画像フレームと現画像フレーム間の姿勢差分を推定して（ステップＳ４５）、特徴点マップ７ｍ（図１７）を更新する（ステップＳ４６）。その後、現場シーン合成部１４４は、ステップＳ４９へと進む。
一方、マーカー認識情報のマーカー認識フラグが「true」を示す場合（ステップＳ４２のＹＥＳ）、現場シーン合成部１４４は、特徴点マップ７ｍ内のマーカー７ｍのエリアが未更新か否かを判断する（ステップＳ４７）。マーカー７ａのエリアが更新済みの場合、現場シーン合成部１４４は、ステップＳ５０へと進む。
一方、マーカー７ａのエリアが未更新の場合、現場シーン合成部１４４は、特徴点マップ７ｍ内のマーカー７ａのエリアを、受信した画像フレームから得られる情報で更新する（ステップＳ４８）。
ステップＳ４７においてマーカー７ａのエリアが更新済みであると判断した場合、ステップＳ４８の処理後、又は、ステップＳ４６の特徴点マップ７ｍの更新後、現場シーン合成部１４４は、作業員端末２０１から受信した姿勢情報に基づいて、画像フレームを変形（ワープ）して（ステップＳ４９）、既に処理済みの画像フレームと合成する（ステップＳ５０）。
その後、現場シーン描画部１４５は、パノラマ画像４を描画して表示する（ステップＳ５１）。その後、遠隔支援処理部１４３は、ステップＳ４１へと戻り、ネットワーク通信部１１７を介して次に受信した画像フレームに対して上述同様の処理を行う。
上述では、融合姿勢情報２ｅを作業者端末２０１で作成する構成例で説明したが、推定姿勢情報２６ｄと、ＩＭＵ姿勢情報２７ｄとを姿勢情報として、遠隔支援装置１０１へ送信し、遠隔支援装置１０１にて、マーカー認識フラグが「true」の場合、ステップＳ４９の前に推定姿勢情報２６ｄと、ＩＭＵ姿勢情報２７ｄとを融合して融合姿勢情報２ｅを取得するようにしてもよい。
次に、マーカー７ａの３次元位置座標を求めて基準点を取得する方法について考察する。この基準点の取得では、視覚処理を行って、３次元位置情報を取得することが考えられる（例えば、非特許文献３）。
基準点の取得方法について図１２を参照して説明する。図１２は、座標変換を説明するための図である。図１２において、先ず、入力された画像フレームからマーカー領域を抽出し、そのマーカー７ａの理想スクリーン座標系における４頂点の座標値を求める。そして、パターン認識によりマーカー７ａを識別するマーカー検出処理を行う。その後、４頂点の座標値から３次元位置座標への座標変換行列を求める。即ち、マーカー座標系７ｐからカメラ座標系２１ｐへの座標変換行列を求める。
しかしながら、この方法では、画像フレームがマーカー７ａの画像（即ち、マーカー領域）を含んでいないと、マーカー座標系からカメラ座標系への座標変換行列を求めることができない。本実施形態では、画像フレームから、マーカー認識による作業員２の頭部の位置及び姿勢の情報を取得することに加えて、慣性センサの情報を用いて作業員２の頭部の姿勢をトラッキングするハイブリッドトラッキングを行うことで、画像フレームがマーカー領域を含まない場合であっても、頭部の姿勢のトラッキングを可能とする。
図１３は、ＩＭＵを用いて位置及び姿勢情報を取得する一般的な構成を示す図である。図１３において、ＩＭＵ２１５は、慣性センサ装置に相当し、加速度センサ２１５ａと、ジャイロセンサ２１５ｂとを有する。加速度センサ２１５ａが計測した加速度情報に対して、重力モデル４ｃを用いて重力補正４ｄを行う。
一方、ジャイロセンサ２１５ｂが計測して得た角速度情報に対して、姿勢計算４ｈを行うことで、姿勢情報を取得できる。
姿勢情報を参照して、重力補正４ｄを行って得た加速度情報を種々の成分に分解し（４ｅ）、重力成分を取得する。取得した重力成分を積分（４ｆ）することで、速度情報を取得する。更に、速度情報を積分（４ｇ）することで、位置情報を取得できる。
重力補正４ｄ、分解４ｅ、積分４ｆ、積分４ｇ、及び姿勢計算４ｈの計算は、作業員端末２０１のＣＰＵ２１１が対応するプログラムを実行することで行われる。これら計算の一部又は全部を回路等のハードウェアで実現してもよい。
本実施形態におけるハイブリッドトラッキングを実現する融合フィルタについて図１４で説明する。図１４は、融合フィルタの構成例を示す図である。図１４において、現場シーン提供部２７３は、ハイブリッドトラッキングを実現する融合フィルタ２７ａを有していいる。
融合フィルタ２７ａでは、ＩＭＵ２１５の加速度センサ２１５ａ及びジャイロセンサ２１５ｂからのセンサ情報と、カメラ２１５ｃからの画像フレームとを入力とする。融合フィルタ２７ａは、ピッチロール推定部２７ａと、積分処理部２７ｂと、姿勢推定部２７ｅと、姿勢推定部２７ｅと、姿勢・位置推定部２７ｆと、融合フィルタＥＫＦ（Extended Kalman Filter）２７ｇとを有する。
ピッチロール推定部２７ａは、加速度センサ２１５ａから得た加速度情報からピッチ及びロールを推定する。積分処理部２７ｂは、ジャイロセンサ２１５ｂから得た角速度情報に対して積分処理を行う。姿勢推定部２７ｅは、加速度情報と、角速度情報を積分した結果とを入力し、作業員２の姿勢を推定した結果を示す姿勢情報を出力する。
マーカー認識部２７ｃは、カメラ２１５ｃから得た画像フレームからマーカー７ａを認識する。姿勢・位置推定部２７ｆは、マーカー認識部２７ｃにおいてマーカー７ａを認識できた場合、即ち、マーカー認識フラグが「true」の場合に、画像フレームを用いて姿勢・位置を推定する。推定姿勢情報２６ｄが出力される。マーカー認識フラグが「false」の場合には、姿勢・位置推定部２７ｆでの処理は行われない。
融合フィルタＥＫＦ２７ｇは、マーカー認識フラグが「true」を示す場合、推定指定情報２６ｄとＩＭＵ姿勢情報２７ｄとを入力値とし、拡張カルマンフィルタを用いて、作業員２の姿勢を精度良く推定する。融合フィルタＥＫＦ２７ｇによって、作業員２の姿勢の推定誤差を小さくした融合姿勢情報２ｅを得ることができる。よって、融合フィルタ２７ａから、融合フィルタＥＫＦ２７ｇが作業員２の姿勢を推定した結果を示す融合姿勢情報２ｅが出力される。
マーカー認識フラグが「false」を示す場合、融合フィルタＥＫＦ２７ｇは、推定指定情報２６ｄとＩＭＵ姿勢情報２７ｄとを入力値とした融合処理を行わない。よって、融合フィルタ２７ａから、ＩＭＵ姿勢情報２７ｄが出力される。
姿勢推定部２７ｅは、画像処理を行う姿勢・位置推定部２７ｆの６自由度に比べて、３自由度による推定となるが、姿勢・位置推定部２７ｆより高速に推定することができる。マーカー認識フラグが「false」であったとしても、より多くの姿勢情報を遠隔支援装置１０１へ配信できる。
また、カメラ２１ｃによる撮像は、凡そ１００ｍｓ毎であるのに対して、ＩＭＵ２１５では、２０ｍｓ毎にセンサ情報を出力する。従って、次の精度良い融合姿勢情報２ｅの受信を待つことなく、ＩＭＵ姿勢情報２７ｄを受信することで、パノラマ画像４をよりタイムリーに更新できる。
次に、遠隔支援装置１０１において、パノラマ画像４を生成する際の、座標変換について図１５及び図１６で説明する。図１５は、円柱への投影を説明するための図である。図１５において、先ず、数１を用いて、
三次元座標（Ｘ,Ｙ,Ｚ）を円柱１５ａへ投影する（ステップＳ６１）。円柱１５ａは、例えば、単位円柱である。
次に、数２を用いて、
円柱座標系へ変換する（ステップＳ６２）。回転時の画像シーケンスを円柱座標系のオフセットで与えた、数３を用いて、
円柱画像座標系へ変換する（ステップＳ６３）。
このような計算により、画像１５ｂは、円柱画像１５ｃのように変換される。円柱画像１５ｃの特徴点が、円柱画像１５ｃの位置に応じて、後述される特徴点マップ７ｍ内に記憶される。
図１６は、球面への投影を説明するための図である。図１６において、先ず、数４を用いて、
三次元座標（Ｘ,Ｙ,Ｚ）を円柱１５ａへ投影する（ステップＳ７１）。
次に、数５を用いて、
球面座標系へ変換する（ステップＳ７２）。回転時の画像シーケンスを円柱座標系のオフセットで与えた、数６を用いて、
球面画像座標系へ変換する（ステップＳ７３）。
次に、パノラマ画像４の生成において作成される特徴点マップ７ｍについて説明する。図１７（Ａ）及び図１７（Ｂ）は、特徴点マップを説明するための図である。図１７（Ａ）において、作業員２が頭部を左右に３６０°回転して見える光景は、作業員２が円形の底面の中心に立った場合の筒状６ｂの側面に投影された画像として表せる。
本実施形態において、パノラマ画像４は、筒状６ｂの側面に投影され得る画像のうち、作業員２の頭部の回転中にカメラ２１ｃが撮像した複数の画像フレーム２ｃ−１、２ｃ−２、２ｃ−３、２ｃ−４、２ｃ−５等に基づいて描画された画像に相当する。
図１７（Ｂ）を参照して、特徴点マップ７ｍの概要を説明する。図１７（Ｂ）では、作業員２が頭部を動かして姿勢を変化させた際に、カメラ２１ｃが連続して捕えた画像フレーム２ｃ−１、２ｃ−２、２ｃ−３、２ｃ−４、及び２ｃ−５と、特徴点マップ７ｍとの対応を示す図である。
特徴点マップ７ｍは、複数のセル７ｃを有する。セル７ｃは、パノラマ画像４を複数に分割した領域に相当する。各画像フレーム２ｃ−１から２ｃ−５から検出された特徴点７ｐが、マーカー７ａからの相対位置に対応するセル７ｃに記憶される。
各セル７ｃには、姿勢情報、特徴点情報、更新・未更新情報等が記憶される。１つのセル７ｃに記憶される領域の広さは、各画像フレーム２ｃ−１から２ｃ−５の画像範囲より小さい。
図１７（Ａ）では、頭部の左右の回転を例として、筒状６ｂを示すが、頭部を中心点として任意の方向に３６０°回転することを想定してもよい。この場合、パノラマ画像４は、半球面又は球面に投影された画像として表される。特徴点マップ７ｍは、半球面又は球面の側面を分割した各領域に対応するセルを有する。
図１８（Ａ）及び図１８（Ｂ）は、作業員の頭部の動きに基づく、パノラマ画像の表示方法を説明するための図である。図１８（Ａ）において、対象物５ａに対して、曲線５ｂのように作業員２の頭部が動いた場合の、カメラ２１ｃのカメラ視野１８ｃが示される。
カメラ視野１８ｃで捕えた５枚の画像が、マーカー７ａに対する相対位置に基づいて、配置し、姿勢差分に応じた回転を与えて、同一特徴点で時系列に上書きされ、図１８（Ｂ）に示すような形状のパノラマ画像４が形成されて、遠隔支援処理部１４２の表示装置１１５に表示される。
本実施形態では、最新のカメラ画像１８ｅの領域を視認し易いように縁取りして表示する。最新のカメラ画像１８ｅの領域は、カメラ視野１８ｃに相当する。最新のカメラ画像１８ｅが特定できることで、指示者１は、作業員２の視点がどの領域にあるのかの判断を容易に行なえるため、指示をし易くなる。
図１８（Ａ）で説明したように、本実施形態では、作業員２の視線方向、及び視線の動きに制限はなく自由である。また、図１８（Ｂ）に示すように、指示者１の視点を固定したまま、作業員２の作業周辺を全体的に把握することができる。更に、パノラマ画像４内に、作業員２の視線と連動して複数の画像フレームが描画されることで、作業員２と指示者１とは、互いに拘束の少ない環境を共有及び把握できる。
また、本実施形態に係るパノラマ画像生成処理では、作業員２の頭部のハイブリッドトラッキングにより、頭部の動きを予測することができ、画像フレーム間で特徴範囲を絞り込むことによって、パノラマ画像生成処理の高速化を実現する。
図１９（Ａ）、図１９（Ｂ）、及び図１９（Ｃ）は、パノラマ画像生成処理の高速化を説明するための図である。図１９（Ａ）では、作業員２が姿勢Ｐ１から姿勢Ｐ２へと傾きを変化させたときの作業員端末２０１の状態例を示している。
図１９（Ｂ）では、姿勢Ｐ１のときの画像フレームＰ１ａと、姿勢Ｐ２のときの画像フレームＰ２ａとに存在する同一の特徴点７ｐ−１及び７ｐ−２を、画像全体で探索する。この場合、探索処理に時間が掛る。
本実施形態では、図１９（Ｃ）に示すように、回転速度及び回転方向に基づいて、画像フレームＰ１ａ内及び画像フレームＰ２ｂ内において、探索エリア１９ａ及び探索エリア１９ｂを夫々予測する。そして、探索エリア１９ａ内と探索エリア１９ｂ内とにおいて、特徴点を探索して同一の特徴点７ｐ−１及び７ｐ−２を特定する。
探索エリア１９ａ及び探索エリア１９ｂの予測、及び、同一の特徴点７ｐ−１及び７ｐ−２の特定は、遠隔支援装置１０１のパノラマ画像生成部１４３の現場シーン合成部１４４によって行われる。
図２０（Ａ）及び図２０（Ｂ）は、左右の動きに応じたパノラマ画像の例を示す図である。図２０（Ａ）では、連続した複数の画像フレームによる画像ストリーム２０ｆの例を示す。この画像ストリーム２０ｆから、同一特徴点に基づいて、図２０（Ｂ）に示すような、パノラマ画像４が生成され表示される。
次に、遠隔支援装置１０１からの指示の提示方法について図２１で説明する。図２１は、指示の提示方法を説明するための図である。指示を提示する際に、支援情報作成部１４６で行われる処理のうち、作業員端末２０１へ提供する指示情報２ｆの相対座標２ｈの取得方法について説明する。遠隔支援装置１０１に表示されたパノラマ画像４上で、指示者１が入力装置１１４を操作して、作業員２へ操作対象となる位置Ｐｉｘｌ（ｘ、ｙ）を指定した場合で説明する。
指示操作処理部１４７は、作業員２の入力装置１１４を用いた表示装置１１５の画面上でポインティングに応じて、作業員２がポインティングしたピクセル位置（ｘｐ、ｙｐ）を取得して、指示情報提供部１４８に通知する。ピクセル位置（ｘｐ、ｙｐ）は、パノラマ画像４において、マーカー７ａに対する相対位置を示す。
指示情報提供部１４８は、特徴点マップ７ｍを参照して、ピクセル位置（ｘｐ、ｙｐ）に対応するセル７ｃ−２から姿勢情報を取得して、取得した姿勢情報に基づいて、カメラ相対座標（ｘｃ、ｙｃ）へと変換する。カメラ座標系６ｒは、作業員２を中心として、マーカー７ａまでの距離を半径とした円柱６ｂの側面上における、マーカー７ａに対する相対座標を示す。変換して得られたカメラ相対座標（ｘｃ、ｙｃ）は、３次元座標系における、マーカー７ａに対する３次元相対座標（Ｘｃ、Ｙｃ、Ｚｃ）に対応する。
指示情報提供部１４８は、求めたカメラ相対座標（ｘｃ、ｙｃ）を相対座標２ｈとして指示情報２ｆに設定する。また、指示者１が遠隔支援装置１０１へ入力した作業員２への指示内容２ｇも、指示情報２ｆに設定され、作業員端末２０１に送信される。
次に、基準点に基づく指示対象物への誘導方法について図２２（Ａ）、図２２（Ｂ）、及び図２２（Ｃ）で説明する。図２２（Ａ）、図２２（Ｂ）、及び図２２（Ｃ）は、作業員を指示対象物へと誘導する誘導方法を説明するための図である。
図２２（Ａ）において、作業員２の視線が、現在、カメラ視野１８ｃ内にあるとする。指示対象物５ｃ−１がマーカー座標系のＸ軸に対してθ１の角度で右上方に位置し、指示対象物５ｃ−２がマーカー座標系のＹ軸に対してθ２の角度で右下方に位置しているとする。
作業員端末２０１の作業支援処理部２７２において、作業情報表示部２７５の指示情報描画部２７８は、ネットワーク通信部２１７を介して受信した指示情報２ｆの相対座標２ｈが、現在のカメラ視野１８ｃ外であると判断すると、オフスクリーン対応部２７７に相対座標２ｈを通知する。
オフスクリーン対応部２７７は、指示対象物の相対座標２ｈに基づいてマーカー７ａからの距離を算出し、距離に応じた誘導情報を表示デバイス２１ｄに表示する。距離が閾値以下の指示対象物５ｃ−１の場合の誘導情報２２ｂの例を図２２（Ｂ）に示し、距離が閾値より長い指示対象物５ｃ−２の場合の誘導情報２２ｃの例を図２２（Ｃ）に示す。
誘導情報２２ｂ及び２２ｃは、指示対象物５ｃ−１又は５ｃ−２がへの方位と移動量とを示す情報であることが望ましい。移動量は、マーカー７ａまでの距離に相当する。
図２２（Ｂ）において、指示対象物５ｃ−１は、マーカー７ａに対してθ１の角度で右上方に位置するため、誘導情報２２ｂは、右上方を示す矢印で表示される。また、指示対象物５ｃ−１は、距離が閾値以下であるため、誘導情報２２ｂの矢印は、図２２（Ｃ）の誘導情報２２ｃより細く示される。
図２２（Ｃ）では、指示対象物５ｃ−２は、マーカー７ａに対してθ２の角度で右下方に位置するため、誘導情報２２ｃは、右下方を示す矢印で表示される。また、指示対象物５ｃ−２は、距離が閾値より長いため、誘導情報２２ｃの矢印は、図２２（Ｂ）の誘導情報２２ｂより太く示される。
誘導情報２２ｂ及び２２ｃは、作業員２の移動に応じて、近づくにつれ、又は、遠ざかるにつれ、矢印の太さがリアルタイムに変化するようにしてもよい。また、作業員２の移動方向に応じて、矢印の方向がリアルタイムに変化するようにしてもよい。
また、所定の距離毎に閾値を設けることで、複数の閾値に対して、矢印の太さを夫々定めるようにしてもよい。距離に応じた複数の閾値の代わりに、作業員２とマーカー７ａまでの距離に対するマーカー７ａと相対座標２ｈの距離の比に応じた複数の閾値としてもよい。
本実施形態では、方位を矢印で示し、移動量を矢印の太さで示す例として、誘導情報２２ｂ及び２２ｃを示したが、移動量を点滅頻度で表現してもよい。遠いほど単位時間当たりの点滅回数を多くし、近い程点滅頻度を少なくする。また、誘導情報２２ｂ及び２２ｃは、方位及び移動量を音声、又は、特定の音で表現されてもよい。
図２２（Ｂ）及び図２２（Ｃ）では、表示デバイス２１ｄの中心に誘導情報２２ｂ及び２２ｃを示したが、表示位置を中心から方位へずらしてもよい。この場合、作業員２は、視線を移動させ、誘導情報２２ｂ又は２２ｃを見定めようとするため、自然に作業員２の姿勢が誘導される。
図２２（Ｂ）において、表示デバイス２１ｄの中心より右上方に誘導情報２２ｂを表示することで、作業員２の視線を右上方に移動させるようにすることで、作業員２は誘導情報２２ｂを追うようにして頭部を右上方に動かすことで、作業員２を誘導させるようにしてもよい。
図２２（Ｃ）においても同様に、表示デバイス２１ｄの中心より右下方に誘導情報２２ｃを表示することで、作業員２の視線を右下方に移動させるようにすることで、作業員２は誘導情報２２ｂを追うようにして頭部を右下方に動かすことで、作業員２を誘導させるようにしてもよい。
次に、作業員２が作業するエリア内に入ったことを条件として支援を開始するシステム１００２について図２３及び図２４で説明する。図２３は、第２の全体機能構成を示す図である。図２３に示すシステム１００２では、作業員２が作業領域に入ったことを条件として、支援を開始する第２の全体機能構成を示す。
図２３において、システム１００２は、遠隔支援装置１０２と、作業員端末２０２と、プレイスサーバ３００とを有する。遠隔支援装置１０２及び作業員端末２０２のハードウェア構成は、図４と同様であるため、その説明を省略する。プレイスサーバ３００は、ＣＰＵ、主記憶装置、ＨＤＤ、ネットワーク通信部等を有するコンピュータ装置である。
システム１００２では、プレイスサーバ３００と連携することで、作業員２用の支援アプリケーション３７０を作業員２の作業員端末２０２へ提供し、指示者１用の支援アプリケーション３７０を指示者１の遠隔支援装置１０２へ提供する。
プレイスサーバ３００は、１以上の支援アプリケーション３７０を有し、作業員２がエリア内に入ったことの通知に応じて、エリアに対応する支援アプリケーション３７０を提供する。
支援アプリケーション３７０は、エリア毎に予めスケジュールされた作業手順に基づいて作業をナビゲーションするアプリケーションである。
図２３では、エリアＡにはエリアＡ用アプリケーション３７１が対応し、エリアＢにはエリアＢ用アプリケーション３７２が対応する。エリアＡ用アプリケーション３７１、エリアＢ用アプリケーション３７２等を総称して、支援アプリケーション３７０と言う。
システム１００２における遠隔支援装置１０２は、システム１００１と同様に、遠隔支援処理部１４２と、プレイスサーバ３００から提供される支援アプリケーション３７０とを有する。
システム１００２における作業員端末２０２は、エリア検知部１２４と、システム１００１と同様に作業支援処理部２７２と、プレイスサーバ３００から提供される支援アプリケーション３７０とを有する。
システム１００２では、作業員端末２０２を所持した作業員２が、作業を行うエリアＡ内に入ると（チェックイン状態）、エリア検知部２１４が作業員２の位置がエリアＡ内であることを検知して、ネットワーク通信部２１７を介して、プレイスサーバ３００へエリア検知の通知を行う（ステップＳ８１）。
プレイスサーバ３００は、作業員端末２０２からエリア検知の通知を受けると、支援アプリケーション３７０から、エリア検知の通知によって指定されたエリアＡに対応するエリアＡ用アプリケーション３７１を選択して、作業員端末２０２に送信することでアプリ配信を行う（ステップＳ８２）。
作業員端末２０２は、プレイスサーバ３００からエリアＡ用アプリケーション３７１をダウンロードする。ダウンロードされたエリアＡ用アプリケーション３７１は、メモリ２１２に格納され、作業員端末２０２のＣＰＵ２１１によって起動されることにより、作業支援処理を開始する。
エリアＡ用アプリケーション３７１によって行われる作業手順のナビゲーションと、作業支援処理部２７２による指示者１からの指示情報２ｆとによって、作業員２は、作業を精度良く行うことができる。
また、プレイスサーバ３００は、エリア検知の通知に応じて、エリアＡ用アプリケーション３７１を遠隔支援装置１０２へ提供する（ステップＳ８２）。
遠隔支援装置１０２は、プレイスサーバ３００からエリアＡ用アプリケーション３７１をダウンロードする。ダウンロードされたエリアＡ用アプリケーション３７１は、メモリ１１２又はＨＤＤ１１３に格納され、遠隔支援装置１０２のＣＰＵ１１１によって起動され、作業手順のナビゲーションが開始される。
システム１００２では、作業員２は、作業手順のナビゲーションと、指示者１からの支援とを受けることができる。
図２４は、プレイスサーバの機能構成を示す図である。図２４において、システム１００２のプレイスサーバ３００は、エリア検知通知受信部３１１と、アプリケーション提供部３１２と、アプリケーション削除部３１３とを有する。
エリア検知通知受信部３１１は、作業員端末２０２からネットワーク３ｎを介してエリア検知の通知を受信して、エリア検知をアプリケーション提供部３１２に通知する。
アプリケーション配信部３１２は、エリア検知で指定されるエリアに対応する支援アプリケーション３７０を遠隔支援装置１０２と、作業員端末２０２へと配信する。遠隔支援装置１０２と、作業員端末２０２とにおいて、作業開始に応じて、同じ作業手順でナビゲーションされるため、指示者１と作業員２とで作業手順の同期をとることができる。
アプリケーション削除部３１３は、作業の終了確認に応じて、配信した支援アプリケーション３７０を、遠隔支援装置１０２と、作業員端末２０２とから削除する。
上述した構成により、作業員２が作業するエリアに応じて、支援アプリケーション３７０を切り替えることができる。作業員２は、作業手順のナビゲーションと、指示者１からの指示情報２ｆ及び音声による解説とによって、作業員２自身で作業を完了し易くなる。
次に、本実施形態に係るパノラマ画像４の例を示す。図２５（Ａ）及び図２５（Ｂ）は、パノラマ画像の生成開始直後の時刻Ｔ１における画像例を示す図である。図２５（Ａ）は、作業員２の頭部に装着されたカメラ２１ｃが撮影開始から時刻Ｔ１における最新のカメラ画像２ｃの例を示している。カメラ視野１８ｃは、最新のカメラ画像２ｃの領域に相当し、長方形である。
指示者１側の遠隔支援装置１００では、図２５（Ｂ）に示すように過去のカメラ画像２ｃと合成されたパノラマ画像４が表示される。パノラマ画像４内で最新のカメラ画像１８ｅは縁取りされて表示される。
本実施形態に係るパノラマ画像４は、カメラ画像２ｃのストリームにおいて、過去のカメラ画像２ｃと重ね合わされるため、四方八方へと画像範囲を自由に拡張可能である。従って、本実施形態では、パノラマ画像４の画像範囲が左右方向の拡大に制限されない。
パノラマ画像４内の最新のカメラ画像１８ｅは、融合姿勢情報２ｅ等に基づいて、座標変換されて表示されるため、必ずしも長方形とは限らない。この例のように、最新のカメラ画像１８ｅは、台形等の形状で縁取りされる。その後、更に、新たなカメラ画像２ｃによってパノラマ画像４が更新される。
図２６（Ａ）、図２６（Ｂ）、及び図２６（Ｃ）は、時刻Ｔ１後の時刻Ｔ２における画像例を示す図である。図２６（Ａ）は、時刻Ｔ１後の時刻Ｔ２における最新のカメラ画像２ｃの例を示している。カメラ視野１８ｃは、最新のカメラ画像２ｃの領域に相当し、図２５（Ａ）と同意図サイズの長方形である。
指示者１側の遠隔支援装置１００では、図２６（Ｂ）に示すように、図２５（Ｂ）に示すパノラマ画像４に時刻Ｔ１後に得た複数のカメラ画像２ｃが座標変換の後重ね合された最新のパノラマ画像４が表示される。パノラマ画像４内で最新のカメラ画像１８ｅは縁取りされて表示される。
この場合においても、最新のカメラ画像１８ｅは、台形の形状で縁取りされている。また、パノラマ画像４は、リアルタイムに更新され、この例では、図２５（Ｂ）よりも、画像面積も広くなっている。
図２５（Ｂ）のパノラマ画像４において、最新のカメラ画像１８ｅ外の場所２６ｂを、指示者１がポインティングすると、リアルタイムで、図２６（Ｃ）に示すように、方向及び移動量を示した誘導情報２６ｃが作業員２の表示デバイス２１ｃに表示される。
図２６（Ｃ）では、表示デバイス２１ｃを装着した作業員２の視線方向の光景を示す。表示デバイス２１ｃに誘導情報２６ｃが表示されることで、作業員２は、現実の光景に重ね合わせられた誘導情報２６ｃを見ることができる。
誘導情報２６ｃは、左下方を示しているため、作業員２は、左下方に姿勢を傾けるように身体を動かす。
上述したように、本実施例では、動的に移動する装置で撮影されたカメラ画像２ｃからパノラマ画像４を高速に生成することができる。
また、指示対象が最新のカメラ画像１８ｅの外側に位置していても、指示者１は、過去のカメラ画像２ｃを含むパノラマ画像４によって、ポインティングすることができる。作業員２は、誘導情報２６ｃが現実の光景に重ね合わせられるため、表示デバイス２１ｃに表示された誘導情報２６ｃと、現実の光景とを照らし合わせる必要がない。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
以上の第１の全体機能構成、第２の全体機能構成等に係る実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像装置を用いて実空間に設置したオブジェクトを含む第１の画像を撮像し、
前記第１の画像を撮像したときの前記撮像装置の第１の姿勢を検知し、
前記撮像装置を用いて実空間に設置した前記オブジェクトを含む第２の画像を撮像し、
前記第２の画像を撮像したときの前記撮像装置の第２の姿勢を検知し、
前記第１の姿勢と前記第２の姿勢に基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成する
処理をコンピュータが行う画像生成方法。
（付記２）
前記コンピュータが、
前記第１の画像内において前記オブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、
前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
処理を行う付記１記載の画像生成方法。
（付記３）
前記コンピュータが、
検知した前記第１の姿勢に基づいて該第１の画像を変形させ、
検知した前記第２の姿勢に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする付記１又は２記載の画像生成方法。
（付記４）
前記第１の姿勢及び前記第２の姿勢の少なくとも１つは、前記撮像装置の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合して得た融合姿勢情報で示されることを特徴とする付記１乃至３のいずれか一項記載の画像生成方法。
（付記５）
端末と装置とがネットワークを介して接続され、遠隔支援を行うシステムであって、
前記端末は、
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部を有し、
前記装置は、
前記端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とするシステム。
（付記６）
前記装置の前記遠隔支援処理部は、
前記第１の画像内において前記オブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
ことを特徴とする付記５記載のシステム。
（付記７）
前記装置の前記遠隔支援処理部は、
前記第１の姿勢情報に基づいて該第１の画像を変形させ、
検知した前記第２の姿勢情報に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする付記５又は６記載のシステム。
（付記８）
前記端末の前記端末側処理部は、
前記第１の姿勢情報及び前記第２の姿勢情報の少なくとも１つは、前記端末の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合することで、前記姿勢情報を取得する
ことを特徴とする付記５乃至７のいずれか一項記載のシステム。
（付記９）
前記座標は、予め定められた基準点に対する相対座標であり、
前記端末の前記端末側処理部は、
前記座標が、前記撮像装置のカメラ視野外である場合、該座標の位置の方位及び距離に応じた表示を行う視野外対応部
を有することを特徴とする付記５乃至８のいずれか一項記載のシステム。
（付記１０）
ネットワーク通信部を介して受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とする遠隔支援装置。
（付記１１）
前記遠隔支援処理部は、
前記第１の画像内において前記オブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
ことを特徴とする付記１０記載のシステム。
（付記１２）
前記遠隔支援処理部は、
前記第１の姿勢情報に基づいて該第１の画像を変形させ、
検知した前記第２の姿勢情報に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする付記１０又は１１記載のシステム。
（付記１３）
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部
を有することを特徴とする端末。
（付記１４）
前記第１の姿勢情報及び前記第２の姿勢情報の少なくとも１つは、前記端末の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合することで、前記姿勢情報を取得する
ことを特徴とする付記１３記載のいずれか一項記載の端末。
２ｂ 姿勢情報、 ２ｃ カメラ画像
２ｅ 融合姿勢情報、 ２ｆ 指示情報
２ｇ 指示内容、 ２ｈ 相対座標
２１ｃ カメラ、 ２１ｄ 表示デバイス
１０１、１０２ 遠隔支援装置
１４２ 遠隔支援処理部
１４３ パノラマ画像生成部
１４４ 現場シーン合成部、 １４５ 現場シーン描画部
１４６ 支援情報作成部
１４７ 指示操作処理部、 １４８ 指示情報提供部
２０１、２０２ 作業員端末
２７２ 作業支援処理部
２７３ 現場シーン提供部
２７５ 支援情報表示部
２７６ 指示情報描画部、 ２７７ オフスクリーン対応部
１００１、１００２ システム

Claims (7)

  1. ネットワーク通信部を介して端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
    算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
    入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む支援情報を前記端末に送信する
    処理をコンピュータが行う画像生成方法。
  2. 前記コンピュータが、
    前記第１の画像内においてオブジェクトを含む第１の探索エリアと、前記第２の画像内において該オブジェクトを含む第２の探索エリアとを予測し、
    前記第１の探索エリアに含まれる前記第１のオブジェクト位置と、前記第２の探索エリアに含まれる前記第２のオブジェクト位置の前記相対位置関係を算出する
    処理を行う請求項１記載の画像生成方法。
  3. 前記コンピュータが、
    前記第１の姿勢情報に基づいて該第１の画像を変形させ、
    前記第２の姿勢情報に基づいて該第２の画像を変形させて、前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして前記第３の画像を生成することを特徴とする請求項１又は２記載の画像生成方法。
  4. 前記第１の姿勢情報及び前記第２の姿勢情報の少なくとも１つは、前記第１の画像と前記第２の画像を撮像した撮像装置の位置及び姿勢を３次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合して得た融合姿勢情報で示されることを特徴とする請求項１乃至３のいずれか一項記載の画像生成方法。
  5. 端末と装置とがネットワークを介して接続され、遠隔支援を行うシステムであって、
    前記端末は、
    撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部を有し、
    前記装置は、
    前記端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
    算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
    入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
    ことを特徴とするシステム。
  6. ネットワーク通信部を介して端末から受信した、第１の画像の第１の姿勢情報と、第２の画像の第２の姿勢情報とに基づいて、前記第１の画像に含まれる第１のオブジェクト位置と前記第２の画像に含まれる第２のオブジェクト位置の相対位置関係を算出し、
    算出した前記相対位置関係に基づいて、前記第１の画像と前記第２の画像をマージして第３の画像を生成して表示装置に表示させ、
    入力装置によってポインティングされた前記第３の画像内の指定位置の座標を含む支援情報を前記端末に送信する遠隔支援処理部を有する
    ことを特徴とする遠隔支援装置。
  7. 撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部
    を有することを特徴とする端末。
JP2015046130A 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末 Expired - Fee Related JP6540108B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015046130A JP6540108B2 (ja) 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末
US15/062,408 US20160269631A1 (en) 2015-03-09 2016-03-07 Image generation method, system, and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015046130A JP6540108B2 (ja) 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末

Publications (2)

Publication Number Publication Date
JP2016167688A JP2016167688A (ja) 2016-09-15
JP6540108B2 true JP6540108B2 (ja) 2019-07-10

Family

ID=56888364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015046130A Expired - Fee Related JP6540108B2 (ja) 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末

Country Status (2)

Country Link
US (1) US20160269631A1 (ja)
JP (1) JP6540108B2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
CA2979217C (en) * 2015-03-09 2023-12-12 Alchemy Systems, L.P. Augmented reality
US10339382B2 (en) * 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
JPWO2017013986A1 (ja) * 2015-07-17 2018-06-14 シャープ株式会社 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム
US20170053545A1 (en) * 2015-08-19 2017-02-23 Htc Corporation Electronic system, portable display device and guiding device
CN108604393B (zh) * 2016-03-04 2022-12-30 日铁系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及计算机可读取的存储介质
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US10318836B2 (en) * 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US10192414B2 (en) * 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US11601583B2 (en) * 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10466774B2 (en) 2016-11-22 2019-11-05 Honeywell International Inc. NTE display systems and methods with optical trackers
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
WO2018230510A1 (ja) * 2017-06-13 2018-12-20 ソニー株式会社 画像処理装置、画像処理方法および撮像システム
US11062517B2 (en) * 2017-09-27 2021-07-13 Fisher-Rosemount Systems, Inc. Virtual access to a limited-access object
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
JP6849582B2 (ja) * 2017-12-18 2021-03-24 株式会社日立システムズ Ａｒ情報提供システム及び情報処理装置
EP3729430A1 (en) 2017-12-21 2020-10-28 Telecom Italia S.p.A. Remote support system and method
JP7017689B2 (ja) 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
EP3746868A1 (en) * 2018-02-02 2020-12-09 InterDigital CE Patent Holdings Multiviewing virtual reality user interface
EP3788570A1 (en) * 2018-04-30 2021-03-10 Telefonaktiebolaget LM Ericsson (publ) Automated augmented reality rendering platform for providing remote expert assistance
CN110148178B (zh) * 2018-06-19 2022-02-22 腾讯科技（深圳）有限公司 相机定位方法、装置、终端及存储介质
US20200089335A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Tracking Method and Tracking System Using the Same
JP2020069538A (ja) * 2018-10-29 2020-05-07 セイコーエプソン株式会社 表示システム、及び、表示システムの制御方法
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法
JP7000364B2 (ja) * 2019-01-29 2022-01-19 ファナック株式会社 ロボットシステム
IT201900001711A1 (it) * 2019-02-06 2020-08-06 Savoia S R L Sistema e metodo d’interazione digitale tra utenti atto all’ottimizzazione degli spostamenti fisici
US11915339B2 (en) * 2019-03-04 2024-02-27 Maxell, Ltd. Remote operation instructing system, and mount type device
JP2020149140A (ja) * 2019-03-11 2020-09-17 株式会社Ｎｔｔファシリティーズ 作業支援システム、作業支援方法、及びプログラム
JP7078568B2 (ja) * 2019-03-19 2022-05-31 株式会社日立製作所 表示装置、表示制御方法、及び表示システム
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN114731389A (zh) * 2019-11-20 2022-07-08 大金工业株式会社 远程作业辅助系统
CN110913177A (zh) * 2019-11-27 2020-03-24 国网辽宁省电力有限公司葫芦岛供电公司 一种电力通讯机房可视化呈现及作业方法
US11875823B2 (en) 2020-04-06 2024-01-16 Honeywell International Inc. Hypermedia enabled procedures for industrial workflows on a voice driven platform
CN111447418A (zh) * 2020-04-30 2020-07-24 宁波市交建工程监理咨询有限公司 一种可穿戴监理方法及其用户端、监控端和存储介质
JP7494000B2 (ja) 2020-05-11 2024-06-03 株式会社日立製作所 作業者端末、作業支援システム
US20230267417A1 (en) * 2020-07-15 2023-08-24 Honeywell International Inc. Real-time proximity-based contextual information for an industrial asset
JP7513723B2 (ja) * 2020-08-06 2024-07-09 マクセル株式会社 仮想現実共有方法及びシステム
WO2022220208A1 (ja) * 2021-04-14 2022-10-20 Ｔｅｌｅｘｉｓｔｅｎｃｅ株式会社 データ処理装置、データ処理方法、プログラム及びデータ処理システム
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947171B2 (ja) * 1996-05-08 1999-09-13 日本電気株式会社 航空写真作成装置
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
EP2539883A1 (en) * 2010-02-24 2013-01-02 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US8836723B2 (en) * 2010-06-18 2014-09-16 Vantage Surgical Systems, Inc. Augmented reality methods and systems including optical merging of a plurality of component optical images
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
US20150355463A1 (en) * 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP5900468B2 (ja) * 2013-11-21 2016-04-06 コニカミノルタ株式会社 Ａｒ表示装置、処理内容設定装置、処理内容設定方法およびプログラム

Also Published As

Publication number Publication date
US20160269631A1 (en) 2016-09-15
JP2016167688A (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
JP6540108B2 (ja) 画像生成方法、システム、装置、及び端末
JP6586834B2 (ja) 作業支援方法、作業支援プログラム、及び作業支援システム
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
KR101813834B1 (ko) 화상처리장치, 화상처리방법 및 화상처리프로그램과 촬영보조기재
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6683127B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
US20160357491A1 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP2015001760A (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
JP2007080060A (ja) 対象物特定装置
JP2011203984A (ja) ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
JP6630504B2 (ja) 作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、作業行動支援ナビゲーション用プログラムを記憶した記憶媒体、作業行動支援ナビゲーションシステムを搭載した自走式ロボット、作業行動支援ナビゲーションシステムに用いられるインテリジェントヘルメット
US10771707B2 (en) Information processing device and information processing method
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2012155678A (ja) 表示システム、表示処理装置、表示方法、および表示プログラム
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP2009258884A (ja) ユーザインタフェイス
JP2022105568A (ja) ３ｄツアーの比較表示システム及び方法
JP5235127B2 (ja) 遠隔操作システムおよび遠隔操作装置
CN113677412A (zh) 信息处理装置、信息处理方法和程序
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180060403A (ko) 영상 기반의 드론 제어장치
JP2019066196A (ja) 傾き測定装置及び傾き測定方法
WO2021019591A1 (ja) 軌跡表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190527

R150 Certificate of patent or registration of utility model

Ref document number: 6540108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees