JP6540108B2 - 画像生成方法、システム、装置、及び端末 - Google Patents

画像生成方法、システム、装置、及び端末 Download PDF

Info

Publication number
JP6540108B2
JP6540108B2 JP2015046130A JP2015046130A JP6540108B2 JP 6540108 B2 JP6540108 B2 JP 6540108B2 JP 2015046130 A JP2015046130 A JP 2015046130A JP 2015046130 A JP2015046130 A JP 2015046130A JP 6540108 B2 JP6540108 B2 JP 6540108B2
Authority
JP
Japan
Prior art keywords
image
information
worker
terminal
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015046130A
Other languages
English (en)
Other versions
JP2016167688A (ja
Inventor
山 姜
山 姜
桂樹 岡林
桂樹 岡林
武 理一郎
理一郎 武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015046130A priority Critical patent/JP6540108B2/ja
Priority to US15/062,408 priority patent/US20160269631A1/en
Publication of JP2016167688A publication Critical patent/JP2016167688A/ja
Application granted granted Critical
Publication of JP6540108B2 publication Critical patent/JP6540108B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/02Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、画像生成技術に関する。
遠隔にいる作業員が装着した小型カメラから送信された画像に対して行った指示情報を、画像に重畳させて、作業員が装着したHMD(Head-Mounted Display)に表示させて作業指示を行う技術が知られている。
例えば、作業員毎の瞳の位置の違いによるずれを調整した表示領域に、現実の光学像における対象部位に、作業すべき部位を指示する指標を重ねて表示させる技術、作業対象物が視界に入っていないと判断した場合に、撮像データに基づいて、作業対象物が含まれる静止画像が作業員が装着した表示部に表示させる技術等が提案されている。
特開2008−124795号公報 特開2012−182701号公報
Kuzuoka, Hideaki and Kosuge, Toshio and Tanaka, Masatomo, "GestureCam: A video communication system for sympathetic remote collaboration", 1994 蔵田武志、大隈隆史、興梠正克、加藤丈和、坂上勝彦、「VizWear: コンピュータビジョンとウェアラブルディスプレイによる人間中心インタラクション」、2001 加藤博一、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、1999
しかしながら、上述した技術における作業員側から送られてくる画像は、視野範囲が狭く、また、作業員の頭部の動きによって画像が上下左右に揺れる場合がある。そのため、指示を送る側の指示者にとって、作業現場の全貌を把握することが難しいといった問題がある。指示者がより適切な指示を行うためにも、作業現場の全貌を把握できるような画像をリアルタイムで提供できることが望ましい。
したがって、1つの側面では、本発明は、移動する装置を用いたパノラマ画像を高速に生成することを目的とする。
一態様によれば、ネットワーク通信部を介して端末から受信した、第1の画像の第1の姿勢情報と、第2の画像の第2の姿勢情報とに基づいて、前記第1の画像に含まれる第1のオブジェクト位置と前記第2の画像に含まれる第2のオブジェクト位置の相対位置関係を算出し、算出した前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして第3の画像を生成して表示装置に表示させ、入力装置によってポインティングされた前記第3の画像内の指定位置の座標を含む支援情報を前記端末に送信する処理をコンピュータが行う画像生成方法が提供される。
また、上記課題を解決するための手段として、上記方法を行う装置、コンピュータに上記処理を実行させるためのプログラム、及び、そのプログラムを記憶した記憶媒体とすることもできる。
移動する装置を用いたパノラマ画像を高速に生成することができる。
遠隔作業支援の一例を説明するための図である。 一般的な作業フローの例を示す図である。 本実施形態における作業支援方法を説明するための図である。 システムのハードウェア構成を示す図である。 第1の全体機能構成を示す図である。 図5の第1の全体機能構成における第1の機能構成を示す図である。 図6の第1の機能構成の詳細な機能構成を示す図である。 パノラマ画像生成の一般的な原理を示す図である。 一般的なパノラマ画像生成方法を説明するための図である。 マーカー可視範囲の例を示す図である。 システムにおけるパノラマ画像の表示処理を説明するためのフローチャート図である。 座標変換を説明するための図である。 IMUを用いて位置及び姿勢情報を取得する一般的な構成を示す図である。 融合フィルタの構成例を示す図である。 円柱への投影を説明するための図である。 球面への投影を説明するための図である。 特徴点マップを説明するための図である。 作業員の頭部の動きに基づく、パノラマ画像の表示方法を説明するための図である。 パノラマ画像生成処理の高速化を説明するための図である。 左右の動きに応じたパノラマ画像の例を示す図である。 指示の提示方法を説明するための図である。 作業員を指示対象物へと誘導する誘導方法を説明するための図である。 第2の全体機能構成を示す図である。 プレイスサーバの機能構成を示す図である。 パノラマ画像の生成開始直後の時刻T1における画像例を示す図である。 時刻T1後の時刻T2における画像例を示す図である。
以下、本発明の実施の形態を図面に基づいて説明する。現在、作業現場では、労働力不足、現場技術者の育成などの課題に直面している。業務の効率化のために、指示者、専門家等の熟練者が遠隔地の情景を的確に把握しながら、遠隔地間で新人等の未熟な作業員と意図した通りのインタラクションを取ることで、協調的に作業を完遂できるような遠隔協調作業支援システムの実現が期待されている。
近年、スマートデバイス、ウェアラブル技術、及び無線通信技術の進化により、ウェアラブルデバイスを用いた遠隔作業支援システムが注目されている。一例として、スマートデバイスにヘッドマウントディスプレイ(HMD)とヘッドマウントカメラ(HMC)とを接続し、協働して作業する現場の作業員と遠隔にいる指示者との間を無線ネットワークで繋げて、現場作業員側の実作業空間の状況を映像と音声で伝送するとともに、指示者からの指示を視覚アノテーションでHMDに表示させる。
図1は、遠隔作業支援の一例を説明するための図である。図1において、作業現場に居る作業員2は、作業員端末20tと、表示デバイス21dと、カメラ21cとを装着して現場の状況を指示者1へ伝達し、指示者1は、指示者装置10tを操作して、作業員2へ指示を伝達する。
作業員端末20tは、スマートデバイス等の情報処理端末であり、通信機能等を有する。表示デバイス21dは、例えば、HMDであり、ウェアラブルな音声の入出力可能な表示装置である。
カメラ21cは、例えば、HMCであり、ウェアラブルなCCD(Charge Coupled Device)等の小型カメラである。
表示デバイス21d及びカメラ21cとは、作業員2の頭部に装着され、近距離無線通信等により作業員端末20tと通信可能な装置である。
作業現場にて、作業員2のカメラ21cが撮像した現場の環境を示すカメラ画像2cが、作業員端末20tから指示者端末10tへと送信される。カメラ画像2cは、指示者端末10tに表示される。
指示者1は、表示されたカメラ画像2c上で指示内容1eを入力すると、指示データ1dが作業員端末20tへ送信される。作業員端末20tは、指示データ1dを受信すると、カメラ画像2cと指示内容1eとを合成した画像を表示デバイス21dに表示する。
一方、作業員2と指示者1とは、音声通話が可能であり、作業員端末20tと指示者端末10tとの間で音声ストリーム配信が行われる。
このうような遠隔作業支援の一般的な作業フローについて図2で説明する。図2は、一般的な作業フローの例を示す図である。図2において、先ず、作業員2が、作業支援を要請することで、指示者1では作業支援を開始するため、作業員2と指示者1との間で作業開始の同期が行われる(フェーズ0)。現場のカメラ画像2c等を指示者1の指示者端末10tで受信が開始され、支援の準備が整う。
作業支援が開始されると、作業員2による現場作業における課題が説明される(フェーズ1)。作業員2の説明、及び、現場のカメラ画像2cにより、指示者1は、現場の課題を理解する。フェーズ1では、現場の状況がより正確にかつ迅速に指示者1に伝達されることが望ましい。
現場の状況、即ち、現場作業環境が、作業員2と指示者1との間で共有されると、指示者1は、指示者端末10tに表示されたカメラ画像2cに対して、課題を解決するための現場での作業対象を指定する(フェーズ2)。フェーズ2では、作業対象が現場における作業員2との位置関係において、精度良くポインティングされることが望ましい。
作業員2の表示デバイス21dで作業対象が特定された後、指示者1から解決方法の説明が行われ、作業員2は、作業手順の理解及び確認を行う(フェーズ3)。解決方法の説明は、指示内容の表示と、音声とにより行われる。フェーズ3では、作業員2に作業手順を正確に提示し、作業員2の作業手順の理解を容易に行なえることが望まれる。
作業員2が作業手順を理解し確認できると、現場での作業が行われる。作業員2の作業中には、指示者1は、作業員端末20tから送信されるカメラ画像2c等を確認しながら、現場作業を確認し、必要に応じて作業の調整を指示する(フェーズ4)。フェーズ4では、作業員2に対する作業調整の指示が、作業員2の作業に対して遅延なく即座に行え、正確に伝達されることが望まれる。調整指示毎に、フェーズ3及びフェーズ4が繰り返される。
作業が終了すると、作業員2と指示者1との間で、現場作業の終了確認が行われる(フェーズ5)。最終確認が作業員2と指示者1とで行われることで、現場作業の終了となる。
ここで、フェーズ1及びフェーズ2について考察する。非特許文献1を参照することで、指示者1側において、カメラ画像2cが表示された表示部に対して、指示者1が作業対象をポインティングする様子を指示者1側のカメラが撮像して、作業員2の頭部に装着した表示デバイス21dに表示させることが考えられる。フェーズ1における同じ視野を共有することができるため、作業員2の目前の現場状況を知り得る。
しかしながら、カメラ画像2cは、作業員2の頭部のカメラ21cの視点に基づく画像であるため、指示者1が見える範囲は、カメラ21cの視角、及び、作業員2の頭部の向きに依存してしまう。従って、指示者1からは、作業現場の全貌を把握するのは困難である。
フェーズ2については、指示者1が作業員2のカメラ21cに指示しようとしても、作業員2の頭部の向きを誘導し、固定してもらう必要がある。そして、同じ視野を共有する利点はあるものの、指示者1が作業員2に対して視野外の指示を精度良く行うのは困難である。
次に、フェーズ2に関して、非特許文献2を適用した場合について考察する。非特許文献2を参照することで、参照用の作業現場のパノラマ画像に対して提示する情報を事前に設定しておくことで、ウェアラブルコンピュータからカメラ画像21cを受信し、パノラマ画像において受信したカメラ画像21cが相当する部分を検出して、情報を作業員2の表示デバイス21dに表示させることが考えられる。
作業現場のパノラマ画像は作業現場の全容を示す画像ではあるが、現在の作業現場を示す画像ではない。また、事前に設定した情報が作業員2の表示デバイス21dに表示されるため、指示者1とのインタラクションがなく、また、リアルタイムなポインティングは実現されない。
パノラマ画像は事前に用意されるため、現場の環境の変化に対応できない。従って、遠隔からのAR(拡張現実感:Augmneted Reality)指示を実現できない。
上述より、現場の作業員2のカメラ画像をライブ動画としてそのまま指示者1側へ送信することは可能であるが、以下の課題が存在する。
・指示者1側が見える範囲はカメラ21cの視角、作業員2の頭部の向きに依存するため、現在の作業現場の全貌を把握しにくい。
・指示者1側が作業員2の表示デバイス21dに指示情報を表示させようとしても、指示者1は、作業員2の頭部の向きを先ず誘導し、作業員2に固定してもらう必要がある。
・視野外の指示を行うためには、指示者1は、作業員2に頭部の向きを変えるように指示を行い、対象物を探さなくてはならない。
・更に、複数のカメラ画像2cを合成して生成したパノラマ画像に指示情報を貼り付けることが考えられるが、指示情報が貼り付けられた画像を作業員2に送信して表示デバイス21dに表示させなければ指示を伝えることができない。この方法では、作業員2は、指示者1側から送られてきた画像と、現場とを見比べる必要があり、効率が悪く、また、通信の負荷も大きい。
本実施形態では、現場に基準点を定め、基準点を中心としてパノラマ画像を作成する。このようにして作成されたパノラマ画像に対して、指示者1がポインティングすると、基準点からの相対座標と、指示者1が入力した指示情報そのものとを作業員端末2に提供する。従って、通信負荷を低減できる。
また、作業員端末20tで受信した指示情報を相対座標に基づいて、現在のカメラ画像2cに重畳(AR重畳)させて表示デバイス21dに表示することで、指示者1から作業員2に直感的に効率よく遠隔指示を行う。
図3は、本実施形態における作業支援方法を説明するための図である。図3に示す本実施形態におけるシステム1001では、作業現場7に基準点となる位置にマーカー7aが備えられる。マーカー7aは、基準点であることを示す参照物であり、カメラ21cで撮影されたカメラ画像2cから位置及び作業員2の姿勢を特定できる情報を有する。例えば、ARマーカー等を利用すれば良いが、ARマーカーに限定しない。
作業員2のカメラ21cがマーカー7aを含む周辺を撮像後には、指示者1側の遠隔支援装置101によって、作業員端末201から受信した複数のカメラ画像2cをパノラマ画像4へと変換する。
遠隔支援装置101では、画像解析によりマーカー7aを検出して基準点を定める。複数のカメラ画像2cを基準点に基づいて配置させ、各カメラ画像2c内の特徴点に基づいてカメラ画像2cを重ね合わせることで、パノラマ画像4を生成する。
また、基準点をカメラ画像2cから画像認識することで、作業員2の視線方向を算出でき、作業員2の頭部の位置及び姿勢に係る情報を得ることができる。
本実施形態における作業支援方法の概要について説明する。本実施形態では、作業員端末201から、姿勢情報2b(図6)とカメラ画像2cとに基づいて生成した融合姿勢情報2e、及び、カメラ21cが撮像したカメラ画像2cとがリアルタイムで遠隔支援装置101へ配信される。遠隔支援装置101からは、指示者1がパノラマ画像4上でポインティングして入力した指示情報2fがリアルタイムで作業員端末201へ配信される。また、作業員2と指示者1との音声情報2vもリアルタイムで互いに配信される。
姿勢情報2b(図6)は、遠隔支援装置101にて計測された作業員2の凡その姿勢の方向及び傾きを示す。融合姿勢情報2eは、姿勢情報2b(図6)と、カメラ画像2cとに基づいて生成された情報であり、詳細は後述される。
カメラ画像2cは、カメラ21cが撮像した画像であり、時間的に連続して撮像された複数のカメラ画像2cのストリームにより映像として配信される。指示情報2fは、作業員2への指示、助言等に係る支援情報に相当し、文字、記号等で表現した指示内容2g(図6)と、指示者1がパノラマ画像4上でポインティングした位置をマーカー7aに対する相対座標2h(図6)の情報を含む。
本実施形態における遠隔支援装置101は、作業員端末2から受信した融合姿勢情報2bに基づいて、リアルタイムに視角変換を行い、カメラ画像2cの画像解析によって特定したマーカー7aの情報に基づいて作業員2の周辺シーンを描画する。描画された周辺シーンは、遠隔支援装置101にパノラマ画像4として表示される。
パノラマ画像4は、リアルタイム配信されたカメラ画像2cを視角変換し、マーカー7aの位置に対する相対位置に基づいて、カメラ画像2cを上書きするように描画された画像である。従って、パノラマ画像4は、過去のカメラ画像2cの一部を残しつつ、作業員2の現在の視線方向のカメラ画像2cを表示した画像である。
パノラマ画像4は、現在の作業員2の視線方向のカメラ画像2cのみならず、過去の作業員2の視線方向のカメラ画像2cを部分的に残して表示するため、指示者1は、作業員2の周辺の環境に関して、より多く情報を得ることができる。また、指示者1は、パノラマ画像4上で、現在の作業員2の視野外の対象物を的確にポインティングすることができる。
指示者1のパノラマ画像4上での操作は、リアルタイムで、作業員端末201へ送信され、指示情報2fに基づいて、表示デバイス21dに指示内容2gが表示される。指示内容2gは、現実に見えている作業現場のシーンと重なって表示デバイス21dに表示され、作業員2は、操作する対象物を精度良く認識することができる。
また、指示者1は、作業員2と現場状況を精度よく共有でき、あたかも、現場にいるかのように作業現場7を理解することができる。そのような観点において、指示者1は、あたかも実際に作業現場7で作業員2に指示する仮想指示者1vに相当する。
図4は、システムのハードウェア構成を示す図である。図4において、遠隔支援装置101は、CPU(Central Processing Unit)111と、メモリ112と、HDD(Hard Disk Drive)113と、入力装置114と、表示装置115と、音声入出力装置116と、ネットワーク通信部117と、ドライブ装置118と、を有する。
CPU111は、メモリ112に格納されたプログラムに従って遠隔支援装置101を制御する。メモリ112には、RAM(Random Access Memory)、ROM(Read Only Memory)等が用いられ、CPU111にて実行されるプログラム、CPU111での処理に必要なデータ、CPU111での処理にて得られたデータ等を記憶又は一時保存する。
HDD113は、補助記憶装置として利用され、各種処理を実行するためのプログラム等のデータを格納する。HDD113に格納されているプログラムの一部がメモリ112にロードされ、CPU111に実行されることによって、各種処理が実現される
入力装置114は、マウス等のポインティングデバイス、キーボード等を有し、指示者1が遠隔支援装置101による処理に必要な各種情報を入力するために用いられる。表示装置115は、CPU111の制御のもとに必要な各種情報を表示する。入力装置114と表示装置115とは、一体化したタッチパネル等によるユーザインタフェースであってもよい。
音声入出力装置116は、音声を入力するマイクロフォン及び音声を出力するスピーカを有する。ネットワーク通信部117は、有線又は無線などのネットワークを通じて通信を行う。ネットワーク通信部117による通信は無線又は有線に限定されるものではない。
遠隔支援装置101によって行われる処理を実現するプログラムは、例えば、CD−ROM(Compact Disc Read-Only Memory)等の記憶媒体119によって遠隔支援装置101に提供される。
ドライブ装置118は、ドライブ装置118にセットされた記憶媒体119(例えば、CD−ROM等)と遠隔支援装置101とのインターフェースを行う。
また、記憶媒体119に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体119に格納されたプログラムは、ドライブ装置118を介して遠隔支援装置101にインストールされる。インストールされたプログラムは、遠隔支援装置101により実行可能となる。
尚、プログラムを格納する記憶媒体119はCD−ROMに限定されず、コンピュータが読み取り可能な、構造(structure)を有する1つ以上の非一時的(non-transitory)な、有形(tangible)な媒体であればよい。コンピュータ読取可能な記憶媒体として、CD−ROMの他に、DVDディスク、USBメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。
作業員2は、作業員端末201と、表示デバイス21dと、カメラ21cとを装備する。作業員端末201は、CPU211と、メモリ212と、RTC(Real Time Clock)213と、IMU(Inertial Measurement Unit)215と、短距離無線通信部216と、ネットワーク通信部217とを有する。
CPU211は、メモリ212に格納されたプログラムに従って作業員端末201を制御する。メモリ212には、RAM(Random Access Memory)、ROM(Read Only Memory)等が用いられ、CPU211にて実行されるプログラム、CPU211での処理に必要なデータ、CPU211での処理にて得られたデータ等を記憶又は一時保存する。メモリ212に格納されているプログラムが、CPU211に実行されることによって、各種処理が実現される。
RTC213は、現在時刻を計測するデバイスである。IMU(Inertial Measurement Unit)215は、慣性センサを有し、加速度計測及びジャイロ機能を有するデバイスであり、作業員2の姿勢を示す姿勢情報2b(図6)を取得する。
短距離無線通信部216は、表示デバイス21d及びカメラ21cの各々と短距離無線通信を行う。短距離無線通信は、Bluetooth(登録商標)等であればよい。ネットワーク通信部217は、ネットワークを介して無線通信によって、姿勢情報2bとカメラ画像2cとから生成された融合姿勢情報2e、カメラ画像2d等のデータを遠隔支援装置101へ送信し、また、遠隔支援装置101から指示情報2fを受信する。
表示デバイス21dは、短距離無線通信機能と、音声入出力部とを有する、例えば、メガネ形状の頭部の視線方向に装着可能なウェアラブルタイプの表示装置である。表示デバイス21dは、透過性の表示部を有し、作業員2は肉眼で視線方向の現実の光景を目視できることが望ましい。表示デバイス21dは、作業員端末201から短距離無線通信によって受信した指示情報2fに含まれる指示内容2gを表示する。
カメラ21cは、短距離無線通信機能を有する。カメラ21cは、作業員2の頭部に装着されることで、作業員2の視線方向の映像を捕えて、短距離無線通信により作業員端末201へカメラ画像2cを送信する。カメラ21cは、表示デバイス21dと一体化された装置であってもよい。
図5は、第1の全体機能構成を示す図である。図5において、システム1001の遠隔支援装置101は、主に、遠隔支援処理部142を有する。遠隔支援処理部142は、CPU111が対応するプログラムを実行することによって実現される。
遠隔支援処理部142は、作業員端末201の作業支援処理部272とにおいて、遠隔支援に関して双方向で情報提供を行う。遠隔支援処理部142は、作業員端末201から得た融合姿勢情報2e及びカメラ画像2cに基づいてパノラマ画像4を表示装置115に表示し、また、入力装置114から受信した指示者1のポインティングの位置座標に基づいて、指示情報2fを作業支援処理部272に送信する。
システム1001の作業員端末201は、主に、作業支援処理部272を有する。作業支援処理部272は、CPU211が対応するプログラムを実行することによって実現され、遠隔支援装置101の遠隔支援処理部142とにおいて、遠隔支援に関して双方向で情報提供を行う。作業支援処理部272は、IMU215から姿勢情報2b(図6)を取得し、カメラ21cからカメラ画像2cを取得して融合姿勢情報2eを生成し、遠隔支援装置101の遠隔支援処理部142へ送信する。
作業支援処理部272は、遠隔支援装置101とで双方向で音声情報2vを送受信する。作業支援処理部272は、表示デバイス21dから送信される音声情報2vを遠隔支援装置101へ送信し、遠隔支援装置101から受信した音声情報2vを表示デバイス21dへ送信する。また、遠隔支援装置101の遠隔支援処理部142から指示情報2fを受信すると、作業支援処理部272は、指示情報2fで示される指示内容2gを指示情報2fで示される基準点に対する相対座標に基づいて表示デバイス21dに表示する。
図6は、図5の第1の全体機能構成における第1の機能構成を示す図である。図6において、作業員2側の作業員端末201の作業支援処理部272は、遠隔にいる指示者1からの支援を得るために作業員2がいる現場の状況を指示者1の遠隔支援装置101へ提供し、指示者1が提供する指示内容2gを表示デバイス21dに表示して、作業員2を支援する処理部であり、主に、現場シーン提供部273と、支援情報表示部275とを有する。
現場シーン提供部273は、現場シーン提供部273は、姿勢情報2bと、カメラ画像2cとから融合姿勢情報2eを生成して、ネットワーク通信部217を介して、遠隔支援装置101へ送信する処理部である。
現場シーン提供部273は、姿勢情報2bのストリームと、カメラ画像2cのストリームとを入力し、融合姿勢情報2eを生成する。融合姿勢情報2eは、ネットワーク通信部217を介して、指示者1側の遠隔支援装置101に送信される。現場シーン提供部273は、また、カメラ画像2cを、ネットワーク通信部217を介して、遠隔支援装置101に随時送信する。
支援情報表示部275は、ネットワーク通信部217を介して、遠隔支援装置101の遠隔支援処理部142から受信した指示情報2fに基づいて、指示内容2gを相対座標2hに基づいて表示デバイス21dに表示する処理部である。
作業員端末201の通信ライブラリ279は、作業員端末201に実装された複数の処理部によって共通に利用可能であって、ネットワーク3nを介して通信を行うための種々の機能を提供し、各処理部とネットワーク通信部217とのインタフェースを行う。
指示者1側の遠隔支援装置101の遠隔支援処理部142は、主に、パノラマ画像生成部143と、支援情報作成部146とを有する。
パノラマ画像生成部143は、ネットワーク通信部117を介して受信した、時系列に連続した複数のカメラ画像2cに基づいてパノラマ画像4を生成する。
支援情報作成部146は、作業員2の作業を支援する指示情報2fを作成し、ネットワーク通信部117を介して、作業員端末201に送信する。指示情報2fによって、指示内容2g、相対座標2h等の情報が示される。指示内容2gは、指示者1が操作する入力装置114から入力された、作業員2の作業を支援する内容を示す。相対座標2hは、指示者1がパノラマ画像4上でポインティングした位置を、マーカー7aに対する相対位置で示した座標である。
遠隔支援装置101の通信ライブラリ149は、遠隔支援装置101に実装された複数の処理部によって共通に利用可能であって、通信を行うための種々の機能を提供し、各処理部とネットワーク通信部217とのインタフェースを行う。
図7は、図6の第1の機能構成の詳細な機能構成を示す図である。図7では、本実施形態に係るパノラマ画像4の生成及び支援指示に関してその概要を説明する。図7において、作業員端末201の作業支援処理部272は、更に、現場シーン提供部273と、支援情報表示部275とを有する。
現場シーン提供部273は、IMU215からの姿勢情報2bと、カメラ21cのカメラ画像2cとを入力として、融合姿勢情報2eを生成するハイブリッドトラッキングを行う。ハイブリッドトラッキングによって、マーカー7aが視野範囲外になったとしても、継続的なトラッキングを可能とする。出力された融合姿勢情報2eは、ネットワーク通信部217を介して、遠隔支援装置101へ送信される。
現場シーン提供部273は、カメラ21cから連続して受信するカメラ画像2cを画像処理してマーカー7aを認識し、マーカー7aからの作業員2の視線の移動距離を逐次算出して得た作業員2の位置及び姿勢の情報と、IMU215によって測定された作業員2の動き(即ち、加速度)及び方位を示す姿勢情報2bとを用いて融合姿勢情報2eを生成する。融合姿勢情報2eは、ネットワーク通信部217を介して、指示者1側の遠隔支援装置101に送信される。現場シーン提供部273は、また、カメラ画像2cを、ネットワーク通信部217を介して、随時遠隔支援装置101に送信する。
支援情報表示部275は、遠隔にいる指示者1からの指示内容2gを表示デバイス21dに表示する処理部であり、指示情報描画部276と、オフスクリーン対応部277と、映像表示部278とを有する。
指示情報描画部276は、受信した指示情報2fを用いて、相対座標2hに基づいて指示者1の指示内容2gを描画する。オフスクリーン対応部277は、相対座標2hが現在の作業員2の視野外の場合、相対座標2hへ作業員2を誘導する誘導表示を行う。映像表示部278は、表示デバイス21dに指示内容2gを表示する。
指示者1側において、遠隔支援装置101の遠隔支援処理部142は、主に、パノラマ画像生成部143と、支援情報作成部144とを有する。
パノラマ画像生成部143は、更に、現場シーン合成部144と、現場シーン描画部145とを有する。現場シーン合成部144は、マーカー7aの位置を基準点として、基準点からの相対位置に基づいたマーカー座標系において、カメラ画像2cを加工して合成することで、作業員2の現場周辺の様子を示すパノラマ画像4を生成する。現場シーン描画部145は、現場シーン合成部144が生成したパノラマ画像4を表示装置115に描画する。
指示情報作成部146は、更に、指示操作処理部147と、支援情報提供部148とを有する。指示操作処理部147は、入力装置114から指示者1によってポインティングされた位置座標、テキスト等の指示内容2gの入力を受信すると、位置座標及びテキスト等の情報を指示情報提供部148に通知する。
支援情報提供部148は、指示操作処理部147から通知された位置座標を基準点からの相対座標2hに変換し、指示操作処理部147から通知された指示内容2gと、変換して得た相対座標2hとを示す指示情報2fを作成し、ネットワーク通信部117を介して、作業員端末201へ送信する。
次に、パノラマ画像生成の一般的な原理を説明する。図8(A)及び図8(B)は、パノラマ画像生成の一般的な原理を示す図である。図8(A)は、ピンホールカメラモデルの原理を示す。被写体3kの画像を投影する画像平面3kと、ピンホール3gを有する平面3jとを、焦点距離3h離して設定することで、被写体3kが画像平面3kに投影される。被写体3kの特徴点3tからの光は、ピンホール3gを介して画像平面3kに映し出される。
図8(B)は、カメラの動きの条件を説明するための図である。図8(B)において、カメラ21cは、作業員2の頭部に装着されることから、作業員2が頭部を左右に動かした場合、カメラ21cの撮像範囲は、作業員2の頭部が前向きの場合に範囲3C、頭部が左向きの場合に範囲3L、そして、頭部が右向きの場合に範囲3Rとなる。図8(B)の例で示すように、カメラ21cの回転中心3eはほぼ固定であると想定できる。
図8(A)で例示したピンホールカメラモデルの原理に基づいて、また、図8(B)で例示したカメラ21cの回転中心3eを固定として、パノラマ画像4を生成する。
図9(A)及び図9(B)は、パノラマ画像生成処理を説明するための図である。図9(A)は、パノラマ画像生成処理を説明するためのフローチャートを示し、図9(B)は、画像フレームのオーバレイの一例を示す図である。図9(B)を参照しつつ、図9(A)において、パノラマ画像生成部143によるパノラマ画像生成処理について説明する。回転運動を検出する毎に、以下に説明するステップS11〜S14の処理が行われる。
パノラマ画像生成部143において、現場シーン合成部144は、回転運動に伴う連続する画像フレーム2c−1、2c−2、2c−3等(図9(B))を取得する(ステップS11)。
そして、現場シーン合成部144は、前画像フレームと、現画像フレームとの姿勢差分を求め(ステップS12)、求めた姿勢差分を用いて、前画像フレームにオーバレイする(ステップS13)。前画像フレームと重なる現画像フレームの全部又は一部が、前画像フレームに上書きされ、前画像フレームと現画像フレームとが合成される。
次に、現場シーン描画部145が、オーバレイした画像を既存のパノラマ画像4上に描画して、パノラマ画像4を更新する(ステップS14)。
図9(B)において、画像フレーム2c−1、2c−2、2c−3等の各々は、カメラ画像21cに相当する。作業員2の頭部の回転に応じて画像フレーム2c−1、2c−2、2c−3等が連続的に撮像される。時間tの経過の順に、画像フレーム2c−1の一部が画像フレーム2c−2によって上書きされ、画像フレーム2c−2の一部が画像フレーム2c−3によって上書きされる。
図10は、マーカー可視範囲の例を示す図である。図10に示すマーカー可視範囲3wは、マーカー7aが存在する現場環境3vにおいて、作業員2の頭部に装着したカメラ21cが捉えたカメラ画像2cにマーカー7aが含まれる範囲に相当する。
次に、システム1001における、パノラマ画像4を遠隔支援装置101に表示するまでの処理について図11で説明する。図11は、システムにおけるパノラマ画像の表示処理を説明するためのフローチャート図である。
図11において、作業員端末201が、短距離無線通信部216を介して画像フレーム(カメラ画像2c)を受信すると、現場シーン提供部273は、画像フレームを入力し(ステップS21)、マーカー7aを画像処理により認識する(ステップS22)。
そして、現場シーン提供部273は、マーカー認識に成功したか否かを判断する(ステップS23)。マーカー認識に失敗した場合、即ち、受信した画像フレーム内にマーカーが存在しない場合、マーカー認識フラグを「false」に設定し(ステップS24)、IMU215が計測して得たIMU姿勢情報27dを取得して、遠隔支援装置101へ送信する姿勢情報とする(ステップS25)。現場シーン提供部273は、ステップS28へと進む。
一方、マーカー認識に成功した場合、即ち、受信した画像フレーム内にマーカーが存在する場合、現場シーン提供部273は、マーカー認識フラグに「true」を設定し(ステップS26)、カメラ21cの作業現場7における位置及び姿勢をマーカー7aを認識した結果を用いて3次元で推定する(ステップS27)。推定した3次元の位置及び姿勢を示す推定姿勢情報26dが一時的にメモリ212に記憶される。
現場シーン提供部273は、推定姿勢情報26dと、IMU215が計測して得たIMU姿勢情報27dとを融合する(ステップS28)。推定姿勢情報26dとIMU姿勢情報27dとを融合して得た融合姿勢情報2eが、遠隔支援装置101へ送信する姿勢情報となる。
現場シーン提供部273は、画像フレーム(カメラ画像2c)、姿勢情報、及びマーカー認識情報を、遠隔支援装置101へ送信する(ステップS29)。融合姿勢情報2e又はIMU姿勢情報27dが、姿勢情報として送信される。そして、現場シーン提供部273は、次の画像フレームを処理するためにステップS21へと戻り、上述した同様の処理を繰り返す。
遠隔支援装置101は、作業員端末201から画像フレーム(カメラ画像2c)、姿勢情報、及びマーカー認識情報を、ネットワーク通信部117を介して受信すると(ステップS41)、パノラマ画像生成部143の現場シーン合成部144は、マーカー認識情報のマーカー認識フラグが「true」を示すか否かを判断する(ステップS42)。
マーカー認識情報のマーカー認識フラグが「false」を示す場合(ステップS42のNO)、現場シーン合成部144は、現画像フレームを画像処理して特徴点を取得して(ステップS43)、前画像フレームと、現画像フレームとの夫々で探索エリアを予測し、前画像フレームと、現画像フレームとの間で特徴点をマッチングする特徴点マッチング処理を行う(ステップS44)。
現場シーン合成部144は、ステップS44による画像マッチング結果に基づいて、前画像フレームと現画像フレーム間の姿勢差分を推定して(ステップS45)、特徴点マップ7m(図17)を更新する(ステップS46)。その後、現場シーン合成部144は、ステップS49へと進む。
一方、マーカー認識情報のマーカー認識フラグが「true」を示す場合(ステップS42のYES)、現場シーン合成部144は、特徴点マップ7m内のマーカー7mのエリアが未更新か否かを判断する(ステップS47)。マーカー7aのエリアが更新済みの場合、現場シーン合成部144は、ステップS50へと進む。
一方、マーカー7aのエリアが未更新の場合、現場シーン合成部144は、特徴点マップ7m内のマーカー7aのエリアを、受信した画像フレームから得られる情報で更新する(ステップS48)。
ステップS47においてマーカー7aのエリアが更新済みであると判断した場合、ステップS48の処理後、又は、ステップS46の特徴点マップ7mの更新後、現場シーン合成部144は、作業員端末201から受信した姿勢情報に基づいて、画像フレームを変形(ワープ)して(ステップS49)、既に処理済みの画像フレームと合成する(ステップS50)。
その後、現場シーン描画部145は、パノラマ画像4を描画して表示する(ステップS51)。その後、遠隔支援処理部143は、ステップS41へと戻り、ネットワーク通信部117を介して次に受信した画像フレームに対して上述同様の処理を行う。
上述では、融合姿勢情報2eを作業者端末201で作成する構成例で説明したが、推定姿勢情報26dと、IMU姿勢情報27dとを姿勢情報として、遠隔支援装置101へ送信し、遠隔支援装置101にて、マーカー認識フラグが「true」の場合、ステップS49の前に推定姿勢情報26dと、IMU姿勢情報27dとを融合して融合姿勢情報2eを取得するようにしてもよい。
次に、マーカー7aの3次元位置座標を求めて基準点を取得する方法について考察する。この基準点の取得では、視覚処理を行って、3次元位置情報を取得することが考えられる(例えば、非特許文献3)。
基準点の取得方法について図12を参照して説明する。図12は、座標変換を説明するための図である。図12において、先ず、入力された画像フレームからマーカー領域を抽出し、そのマーカー7aの理想スクリーン座標系における4頂点の座標値を求める。そして、パターン認識によりマーカー7aを識別するマーカー検出処理を行う。その後、4頂点の座標値から3次元位置座標への座標変換行列を求める。即ち、マーカー座標系7pからカメラ座標系21pへの座標変換行列を求める。
しかしながら、この方法では、画像フレームがマーカー7aの画像(即ち、マーカー領域)を含んでいないと、マーカー座標系からカメラ座標系への座標変換行列を求めることができない。本実施形態では、画像フレームから、マーカー認識による作業員2の頭部の位置及び姿勢の情報を取得することに加えて、慣性センサの情報を用いて作業員2の頭部の姿勢をトラッキングするハイブリッドトラッキングを行うことで、画像フレームがマーカー領域を含まない場合であっても、頭部の姿勢のトラッキングを可能とする。
図13は、IMUを用いて位置及び姿勢情報を取得する一般的な構成を示す図である。図13において、IMU215は、慣性センサ装置に相当し、加速度センサ215aと、ジャイロセンサ215bとを有する。加速度センサ215aが計測した加速度情報に対して、重力モデル4cを用いて重力補正4dを行う。
一方、ジャイロセンサ215bが計測して得た角速度情報に対して、姿勢計算4hを行うことで、姿勢情報を取得できる。
姿勢情報を参照して、重力補正4dを行って得た加速度情報を種々の成分に分解し(4e)、重力成分を取得する。取得した重力成分を積分(4f)することで、速度情報を取得する。更に、速度情報を積分(4g)することで、位置情報を取得できる。
重力補正4d、分解4e、積分4f、積分4g、及び姿勢計算4hの計算は、作業員端末201のCPU211が対応するプログラムを実行することで行われる。これら計算の一部又は全部を回路等のハードウェアで実現してもよい。
本実施形態におけるハイブリッドトラッキングを実現する融合フィルタについて図14で説明する。図14は、融合フィルタの構成例を示す図である。図14において、現場シーン提供部273は、ハイブリッドトラッキングを実現する融合フィルタ27aを有していいる。
融合フィルタ27aでは、IMU215の加速度センサ215a及びジャイロセンサ215bからのセンサ情報と、カメラ215cからの画像フレームとを入力とする。融合フィルタ27aは、ピッチロール推定部27aと、積分処理部27bと、姿勢推定部27eと、姿勢推定部27eと、姿勢・位置推定部27fと、融合フィルタEKF(Extended Kalman Filter)27gとを有する。
ピッチロール推定部27aは、加速度センサ215aから得た加速度情報からピッチ及びロールを推定する。積分処理部27bは、ジャイロセンサ215bから得た角速度情報に対して積分処理を行う。姿勢推定部27eは、加速度情報と、角速度情報を積分した結果とを入力し、作業員2の姿勢を推定した結果を示す姿勢情報を出力する。
マーカー認識部27cは、カメラ215cから得た画像フレームからマーカー7aを認識する。姿勢・位置推定部27fは、マーカー認識部27cにおいてマーカー7aを認識できた場合、即ち、マーカー認識フラグが「true」の場合に、画像フレームを用いて姿勢・位置を推定する。推定姿勢情報26dが出力される。マーカー認識フラグが「false」の場合には、姿勢・位置推定部27fでの処理は行われない。
融合フィルタEKF27gは、マーカー認識フラグが「true」を示す場合、推定指定情報26dとIMU姿勢情報27dとを入力値とし、拡張カルマンフィルタを用いて、作業員2の姿勢を精度良く推定する。融合フィルタEKF27gによって、作業員2の姿勢の推定誤差を小さくした融合姿勢情報2eを得ることができる。よって、融合フィルタ27aから、融合フィルタEKF27gが作業員2の姿勢を推定した結果を示す融合姿勢情報2eが出力される。
マーカー認識フラグが「false」を示す場合、融合フィルタEKF27gは、推定指定情報26dとIMU姿勢情報27dとを入力値とした融合処理を行わない。よって、融合フィルタ27aから、IMU姿勢情報27dが出力される。
姿勢推定部27eは、画像処理を行う姿勢・位置推定部27fの6自由度に比べて、3自由度による推定となるが、姿勢・位置推定部27fより高速に推定することができる。マーカー認識フラグが「false」であったとしても、より多くの姿勢情報を遠隔支援装置101へ配信できる。
また、カメラ21cによる撮像は、凡そ100ms毎であるのに対して、IMU215では、20ms毎にセンサ情報を出力する。従って、次の精度良い融合姿勢情報2eの受信を待つことなく、IMU姿勢情報27dを受信することで、パノラマ画像4をよりタイムリーに更新できる。
次に、遠隔支援装置101において、パノラマ画像4を生成する際の、座標変換について図15及び図16で説明する。図15は、円柱への投影を説明するための図である。図15において、先ず、数1を用いて、
三次元座標(X,Y,Z)を円柱15aへ投影する(ステップS61)。円柱15aは、例えば、単位円柱である。
次に、数2を用いて、
円柱座標系へ変換する(ステップS62)。回転時の画像シーケンスを円柱座標系のオフセットで与えた、数3を用いて、
円柱画像座標系へ変換する(ステップS63)。
このような計算により、画像15bは、円柱画像15cのように変換される。円柱画像15cの特徴点が、円柱画像15cの位置に応じて、後述される特徴点マップ7m内に記憶される。
図16は、球面への投影を説明するための図である。図16において、先ず、数4を用いて、
三次元座標(X,Y,Z)を円柱15aへ投影する(ステップS71)。
次に、数5を用いて、
球面座標系へ変換する(ステップS72)。回転時の画像シーケンスを円柱座標系のオフセットで与えた、数6を用いて、
球面画像座標系へ変換する(ステップS73)。
次に、パノラマ画像4の生成において作成される特徴点マップ7mについて説明する。図17(A)及び図17(B)は、特徴点マップを説明するための図である。図17(A)において、作業員2が頭部を左右に360°回転して見える光景は、作業員2が円形の底面の中心に立った場合の筒状6bの側面に投影された画像として表せる。
本実施形態において、パノラマ画像4は、筒状6bの側面に投影され得る画像のうち、作業員2の頭部の回転中にカメラ21cが撮像した複数の画像フレーム2c−1、2c−2、2c−3、2c−4、2c−5等に基づいて描画された画像に相当する。
図17(B)を参照して、特徴点マップ7mの概要を説明する。図17(B)では、作業員2が頭部を動かして姿勢を変化させた際に、カメラ21cが連続して捕えた画像フレーム2c−1、2c−2、2c−3、2c−4、及び2c−5と、特徴点マップ7mとの対応を示す図である。
特徴点マップ7mは、複数のセル7cを有する。セル7cは、パノラマ画像4を複数に分割した領域に相当する。各画像フレーム2c−1から2c−5から検出された特徴点7pが、マーカー7aからの相対位置に対応するセル7cに記憶される。
各セル7cには、姿勢情報、特徴点情報、更新・未更新情報等が記憶される。1つのセル7cに記憶される領域の広さは、各画像フレーム2c−1から2c−5の画像範囲より小さい。
図17(A)では、頭部の左右の回転を例として、筒状6bを示すが、頭部を中心点として任意の方向に360°回転することを想定してもよい。この場合、パノラマ画像4は、半球面又は球面に投影された画像として表される。特徴点マップ7mは、半球面又は球面の側面を分割した各領域に対応するセルを有する。
図18(A)及び図18(B)は、作業員の頭部の動きに基づく、パノラマ画像の表示方法を説明するための図である。図18(A)において、対象物5aに対して、曲線5bのように作業員2の頭部が動いた場合の、カメラ21cのカメラ視野18cが示される。
カメラ視野18cで捕えた5枚の画像が、マーカー7aに対する相対位置に基づいて、配置し、姿勢差分に応じた回転を与えて、同一特徴点で時系列に上書きされ、図18(B)に示すような形状のパノラマ画像4が形成されて、遠隔支援処理部142の表示装置115に表示される。
本実施形態では、最新のカメラ画像18eの領域を視認し易いように縁取りして表示する。最新のカメラ画像18eの領域は、カメラ視野18cに相当する。最新のカメラ画像18eが特定できることで、指示者1は、作業員2の視点がどの領域にあるのかの判断を容易に行なえるため、指示をし易くなる。
図18(A)で説明したように、本実施形態では、作業員2の視線方向、及び視線の動きに制限はなく自由である。また、図18(B)に示すように、指示者1の視点を固定したまま、作業員2の作業周辺を全体的に把握することができる。更に、パノラマ画像4内に、作業員2の視線と連動して複数の画像フレームが描画されることで、作業員2と指示者1とは、互いに拘束の少ない環境を共有及び把握できる。
また、本実施形態に係るパノラマ画像生成処理では、作業員2の頭部のハイブリッドトラッキングにより、頭部の動きを予測することができ、画像フレーム間で特徴範囲を絞り込むことによって、パノラマ画像生成処理の高速化を実現する。
図19(A)、図19(B)、及び図19(C)は、パノラマ画像生成処理の高速化を説明するための図である。図19(A)では、作業員2が姿勢P1から姿勢P2へと傾きを変化させたときの作業員端末201の状態例を示している。
図19(B)では、姿勢P1のときの画像フレームP1aと、姿勢P2のときの画像フレームP2aとに存在する同一の特徴点7p−1及び7p−2を、画像全体で探索する。この場合、探索処理に時間が掛る。
本実施形態では、図19(C)に示すように、回転速度及び回転方向に基づいて、画像フレームP1a内及び画像フレームP2b内において、探索エリア19a及び探索エリア19bを夫々予測する。そして、探索エリア19a内と探索エリア19b内とにおいて、特徴点を探索して同一の特徴点7p−1及び7p−2を特定する。
探索エリア19a及び探索エリア19bの予測、及び、同一の特徴点7p−1及び7p−2の特定は、遠隔支援装置101のパノラマ画像生成部143の現場シーン合成部144によって行われる。
図20(A)及び図20(B)は、左右の動きに応じたパノラマ画像の例を示す図である。図20(A)では、連続した複数の画像フレームによる画像ストリーム20fの例を示す。この画像ストリーム20fから、同一特徴点に基づいて、図20(B)に示すような、パノラマ画像4が生成され表示される。
次に、遠隔支援装置101からの指示の提示方法について図21で説明する。図21は、指示の提示方法を説明するための図である。指示を提示する際に、支援情報作成部146で行われる処理のうち、作業員端末201へ提供する指示情報2fの相対座標2hの取得方法について説明する。遠隔支援装置101に表示されたパノラマ画像4上で、指示者1が入力装置114を操作して、作業員2へ操作対象となる位置Pixl(x、y)を指定した場合で説明する。
指示操作処理部147は、作業員2の入力装置114を用いた表示装置115の画面上でポインティングに応じて、作業員2がポインティングしたピクセル位置(x、y)を取得して、指示情報提供部148に通知する。ピクセル位置(x、y)は、パノラマ画像4において、マーカー7aに対する相対位置を示す。
指示情報提供部148は、特徴点マップ7mを参照して、ピクセル位置(x、y)に対応するセル7c−2から姿勢情報を取得して、取得した姿勢情報に基づいて、カメラ相対座標(x、y)へと変換する。カメラ座標系6rは、作業員2を中心として、マーカー7aまでの距離を半径とした円柱6bの側面上における、マーカー7aに対する相対座標を示す。変換して得られたカメラ相対座標(x、y)は、3次元座標系における、マーカー7aに対する3次元相対座標(X、Y、Z)に対応する。
指示情報提供部148は、求めたカメラ相対座標(x、y)を相対座標2hとして指示情報2fに設定する。また、指示者1が遠隔支援装置101へ入力した作業員2への指示内容2gも、指示情報2fに設定され、作業員端末201に送信される。
次に、基準点に基づく指示対象物への誘導方法について図22(A)、図22(B)、及び図22(C)で説明する。図22(A)、図22(B)、及び図22(C)は、作業員を指示対象物へと誘導する誘導方法を説明するための図である。
図22(A)において、作業員2の視線が、現在、カメラ視野18c内にあるとする。指示対象物5c−1がマーカー座標系のX軸に対してθ1の角度で右上方に位置し、指示対象物5c−2がマーカー座標系のY軸に対してθ2の角度で右下方に位置しているとする。
作業員端末201の作業支援処理部272において、作業情報表示部275の指示情報描画部278は、ネットワーク通信部217を介して受信した指示情報2fの相対座標2hが、現在のカメラ視野18c外であると判断すると、オフスクリーン対応部277に相対座標2hを通知する。
オフスクリーン対応部277は、指示対象物の相対座標2hに基づいてマーカー7aからの距離を算出し、距離に応じた誘導情報を表示デバイス21dに表示する。距離が閾値以下の指示対象物5c−1の場合の誘導情報22bの例を図22(B)に示し、距離が閾値より長い指示対象物5c−2の場合の誘導情報22cの例を図22(C)に示す。
誘導情報22b及び22cは、指示対象物5c−1又は5c−2がへの方位と移動量とを示す情報であることが望ましい。移動量は、マーカー7aまでの距離に相当する。
図22(B)において、指示対象物5c−1は、マーカー7aに対してθ1の角度で右上方に位置するため、誘導情報22bは、右上方を示す矢印で表示される。また、指示対象物5c−1は、距離が閾値以下であるため、誘導情報22bの矢印は、図22(C)の誘導情報22cより細く示される。
図22(C)では、指示対象物5c−2は、マーカー7aに対してθ2の角度で右下方に位置するため、誘導情報22cは、右下方を示す矢印で表示される。また、指示対象物5c−2は、距離が閾値より長いため、誘導情報22cの矢印は、図22(B)の誘導情報22bより太く示される。
誘導情報22b及び22cは、作業員2の移動に応じて、近づくにつれ、又は、遠ざかるにつれ、矢印の太さがリアルタイムに変化するようにしてもよい。また、作業員2の移動方向に応じて、矢印の方向がリアルタイムに変化するようにしてもよい。
また、所定の距離毎に閾値を設けることで、複数の閾値に対して、矢印の太さを夫々定めるようにしてもよい。距離に応じた複数の閾値の代わりに、作業員2とマーカー7aまでの距離に対するマーカー7aと相対座標2hの距離の比に応じた複数の閾値としてもよい。
本実施形態では、方位を矢印で示し、移動量を矢印の太さで示す例として、誘導情報22b及び22cを示したが、移動量を点滅頻度で表現してもよい。遠いほど単位時間当たりの点滅回数を多くし、近い程点滅頻度を少なくする。また、誘導情報22b及び22cは、方位及び移動量を音声、又は、特定の音で表現されてもよい。
図22(B)及び図22(C)では、表示デバイス21dの中心に誘導情報22b及び22cを示したが、表示位置を中心から方位へずらしてもよい。この場合、作業員2は、視線を移動させ、誘導情報22b又は22cを見定めようとするため、自然に作業員2の姿勢が誘導される。
図22(B)において、表示デバイス21dの中心より右上方に誘導情報22bを表示することで、作業員2の視線を右上方に移動させるようにすることで、作業員2は誘導情報22bを追うようにして頭部を右上方に動かすことで、作業員2を誘導させるようにしてもよい。
図22(C)においても同様に、表示デバイス21dの中心より右下方に誘導情報22cを表示することで、作業員2の視線を右下方に移動させるようにすることで、作業員2は誘導情報22bを追うようにして頭部を右下方に動かすことで、作業員2を誘導させるようにしてもよい。
次に、作業員2が作業するエリア内に入ったことを条件として支援を開始するシステム1002について図23及び図24で説明する。図23は、第2の全体機能構成を示す図である。図23に示すシステム1002では、作業員2が作業領域に入ったことを条件として、支援を開始する第2の全体機能構成を示す。
図23において、システム1002は、遠隔支援装置102と、作業員端末202と、プレイスサーバ300とを有する。遠隔支援装置102及び作業員端末202のハードウェア構成は、図4と同様であるため、その説明を省略する。プレイスサーバ300は、CPU、主記憶装置、HDD、ネットワーク通信部等を有するコンピュータ装置である。
システム1002では、プレイスサーバ300と連携することで、作業員2用の支援アプリケーション370を作業員2の作業員端末202へ提供し、指示者1用の支援アプリケーション370を指示者1の遠隔支援装置102へ提供する。
プレイスサーバ300は、1以上の支援アプリケーション370を有し、作業員2がエリア内に入ったことの通知に応じて、エリアに対応する支援アプリケーション370を提供する。
支援アプリケーション370は、エリア毎に予めスケジュールされた作業手順に基づいて作業をナビゲーションするアプリケーションである。
図23では、エリアAにはエリアA用アプリケーション371が対応し、エリアBにはエリアB用アプリケーション372が対応する。エリアA用アプリケーション371、エリアB用アプリケーション372等を総称して、支援アプリケーション370と言う。
システム1002における遠隔支援装置102は、システム1001と同様に、遠隔支援処理部142と、プレイスサーバ300から提供される支援アプリケーション370とを有する。
システム1002における作業員端末202は、エリア検知部124と、システム1001と同様に作業支援処理部272と、プレイスサーバ300から提供される支援アプリケーション370とを有する。
システム1002では、作業員端末202を所持した作業員2が、作業を行うエリアA内に入ると(チェックイン状態)、エリア検知部214が作業員2の位置がエリアA内であることを検知して、ネットワーク通信部217を介して、プレイスサーバ300へエリア検知の通知を行う(ステップS81)。
プレイスサーバ300は、作業員端末202からエリア検知の通知を受けると、支援アプリケーション370から、エリア検知の通知によって指定されたエリアAに対応するエリアA用アプリケーション371を選択して、作業員端末202に送信することでアプリ配信を行う(ステップS82)。
作業員端末202は、プレイスサーバ300からエリアA用アプリケーション371をダウンロードする。ダウンロードされたエリアA用アプリケーション371は、メモリ212に格納され、作業員端末202のCPU211によって起動されることにより、作業支援処理を開始する。
エリアA用アプリケーション371によって行われる作業手順のナビゲーションと、作業支援処理部272による指示者1からの指示情報2fとによって、作業員2は、作業を精度良く行うことができる。
また、プレイスサーバ300は、エリア検知の通知に応じて、エリアA用アプリケーション371を遠隔支援装置102へ提供する(ステップS82)。
遠隔支援装置102は、プレイスサーバ300からエリアA用アプリケーション371をダウンロードする。ダウンロードされたエリアA用アプリケーション371は、メモリ112又はHDD113に格納され、遠隔支援装置102のCPU111によって起動され、作業手順のナビゲーションが開始される。
システム1002では、作業員2は、作業手順のナビゲーションと、指示者1からの支援とを受けることができる。
図24は、プレイスサーバの機能構成を示す図である。図24において、システム1002のプレイスサーバ300は、エリア検知通知受信部311と、アプリケーション提供部312と、アプリケーション削除部313とを有する。
エリア検知通知受信部311は、作業員端末202からネットワーク3nを介してエリア検知の通知を受信して、エリア検知をアプリケーション提供部312に通知する。
アプリケーション配信部312は、エリア検知で指定されるエリアに対応する支援アプリケーション370を遠隔支援装置102と、作業員端末202へと配信する。遠隔支援装置102と、作業員端末202とにおいて、作業開始に応じて、同じ作業手順でナビゲーションされるため、指示者1と作業員2とで作業手順の同期をとることができる。
アプリケーション削除部313は、作業の終了確認に応じて、配信した支援アプリケーション370を、遠隔支援装置102と、作業員端末202とから削除する。
上述した構成により、作業員2が作業するエリアに応じて、支援アプリケーション370を切り替えることができる。作業員2は、作業手順のナビゲーションと、指示者1からの指示情報2f及び音声による解説とによって、作業員2自身で作業を完了し易くなる。
次に、本実施形態に係るパノラマ画像4の例を示す。図25(A)及び図25(B)は、パノラマ画像の生成開始直後の時刻T1における画像例を示す図である。図25(A)は、作業員2の頭部に装着されたカメラ21cが撮影開始から時刻T1における最新のカメラ画像2cの例を示している。カメラ視野18cは、最新のカメラ画像2cの領域に相当し、長方形である。
指示者1側の遠隔支援装置100では、図25(B)に示すように過去のカメラ画像2cと合成されたパノラマ画像4が表示される。パノラマ画像4内で最新のカメラ画像18eは縁取りされて表示される。
本実施形態に係るパノラマ画像4は、カメラ画像2cのストリームにおいて、過去のカメラ画像2cと重ね合わされるため、四方八方へと画像範囲を自由に拡張可能である。従って、本実施形態では、パノラマ画像4の画像範囲が左右方向の拡大に制限されない。
パノラマ画像4内の最新のカメラ画像18eは、融合姿勢情報2e等に基づいて、座標変換されて表示されるため、必ずしも長方形とは限らない。この例のように、最新のカメラ画像18eは、台形等の形状で縁取りされる。その後、更に、新たなカメラ画像2cによってパノラマ画像4が更新される。
図26(A)、図26(B)、及び図26(C)は、時刻T1後の時刻T2における画像例を示す図である。図26(A)は、時刻T1後の時刻T2における最新のカメラ画像2cの例を示している。カメラ視野18cは、最新のカメラ画像2cの領域に相当し、図25(A)と同意図サイズの長方形である。
指示者1側の遠隔支援装置100では、図26(B)に示すように、図25(B)に示すパノラマ画像4に時刻T1後に得た複数のカメラ画像2cが座標変換の後重ね合された最新のパノラマ画像4が表示される。パノラマ画像4内で最新のカメラ画像18eは縁取りされて表示される。
この場合においても、最新のカメラ画像18eは、台形の形状で縁取りされている。また、パノラマ画像4は、リアルタイムに更新され、この例では、図25(B)よりも、画像面積も広くなっている。
図25(B)のパノラマ画像4において、最新のカメラ画像18e外の場所26bを、指示者1がポインティングすると、リアルタイムで、図26(C)に示すように、方向及び移動量を示した誘導情報26cが作業員2の表示デバイス21cに表示される。
図26(C)では、表示デバイス21cを装着した作業員2の視線方向の光景を示す。表示デバイス21cに誘導情報26cが表示されることで、作業員2は、現実の光景に重ね合わせられた誘導情報26cを見ることができる。
誘導情報26cは、左下方を示しているため、作業員2は、左下方に姿勢を傾けるように身体を動かす。
上述したように、本実施例では、動的に移動する装置で撮影されたカメラ画像2cからパノラマ画像4を高速に生成することができる。
また、指示対象が最新のカメラ画像18eの外側に位置していても、指示者1は、過去のカメラ画像2cを含むパノラマ画像4によって、ポインティングすることができる。作業員2は、誘導情報26cが現実の光景に重ね合わせられるため、表示デバイス21cに表示された誘導情報26cと、現実の光景とを照らし合わせる必要がない。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
以上の第1の全体機能構成、第2の全体機能構成等に係る実施形態に関し、更に以下の付記を開示する。
(付記1)
撮像装置を用いて実空間に設置したオブジェクトを含む第1の画像を撮像し、
前記第1の画像を撮像したときの前記撮像装置の第1の姿勢を検知し、
前記撮像装置を用いて実空間に設置した前記オブジェクトを含む第2の画像を撮像し、
前記第2の画像を撮像したときの前記撮像装置の第2の姿勢を検知し、
前記第1の姿勢と前記第2の姿勢に基づいて、前記第1の画像に含まれる第1のオブジェクト位置と前記第2の画像に含まれる第2のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして第3の画像を生成する
処理をコンピュータが行う画像生成方法。
(付記2)
前記コンピュータが、
前記第1の画像内において前記オブジェクトを含む第1の探索エリアと、前記第2の画像内において該オブジェクトを含む第2の探索エリアとを予測し、
前記第1の探索エリアに含まれる前記第1のオブジェクト位置と、前記第2の探索エリアに含まれる前記第2のオブジェクト位置の前記相対位置関係を算出する
処理を行う付記1記載の画像生成方法。
(付記3)
前記コンピュータが、
検知した前記第1の姿勢に基づいて該第1の画像を変形させ、
検知した前記第2の姿勢に基づいて該第2の画像を変形させて、前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして前記第3の画像を生成することを特徴とする付記1又は2記載の画像生成方法。
(付記4)
前記第1の姿勢及び前記第2の姿勢の少なくとも1つは、前記撮像装置の位置及び姿勢を3次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合して得た融合姿勢情報で示されることを特徴とする付記1乃至3のいずれか一項記載の画像生成方法。
(付記5)
端末と装置とがネットワークを介して接続され、遠隔支援を行うシステムであって、
前記端末は、
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部を有し、
前記装置は、
前記端末から受信した、第1の画像の第1の姿勢情報と、第2の画像の第2の姿勢情報とに基づいて、前記第1の画像に含まれる第1のオブジェクト位置と前記第2の画像に含まれる第2のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして第3の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第3の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とするシステム。
(付記6)
前記装置の前記遠隔支援処理部は、
前記第1の画像内において前記オブジェクトを含む第1の探索エリアと、前記第2の画像内において該オブジェクトを含む第2の探索エリアとを予測し、前記第1の探索エリアに含まれる前記第1のオブジェクト位置と、前記第2の探索エリアに含まれる前記第2のオブジェクト位置の前記相対位置関係を算出する
ことを特徴とする付記5記載のシステム。
(付記7)
前記装置の前記遠隔支援処理部は、
前記第1の姿勢情報に基づいて該第1の画像を変形させ、
検知した前記第2の姿勢情報に基づいて該第2の画像を変形させて、前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして前記第3の画像を生成することを特徴とする付記5又は6記載のシステム。
(付記8)
前記端末の前記端末側処理部は、
前記第1の姿勢情報及び前記第2の姿勢情報の少なくとも1つは、前記端末の位置及び姿勢を3次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合することで、前記姿勢情報を取得する
ことを特徴とする付記5乃至7のいずれか一項記載のシステム。
(付記9)
前記座標は、予め定められた基準点に対する相対座標であり、
前記端末の前記端末側処理部は、
前記座標が、前記撮像装置のカメラ視野外である場合、該座標の位置の方位及び距離に応じた表示を行う視野外対応部
を有することを特徴とする付記5乃至8のいずれか一項記載のシステム。
(付記10)
ネットワーク通信部を介して受信した、第1の画像の第1の姿勢情報と、第2の画像の第2の姿勢情報とに基づいて、前記第1の画像に含まれる第1のオブジェクト位置と前記第2の画像に含まれる第2のオブジェクト位置の相対位置関係を算出し、
算出した前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして第3の画像を生成して表示装置に表示させ、
入力装置によってポインティングされた前記第3の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
ことを特徴とする遠隔支援装置。
(付記11)
前記遠隔支援処理部は、
前記第1の画像内において前記オブジェクトを含む第1の探索エリアと、前記第2の画像内において該オブジェクトを含む第2の探索エリアとを予測し、前記第1の探索エリアに含まれる前記第1のオブジェクト位置と、前記第2の探索エリアに含まれる前記第2のオブジェクト位置の前記相対位置関係を算出する
ことを特徴とする付記10記載のシステム。
(付記12)
前記遠隔支援処理部は、
前記第1の姿勢情報に基づいて該第1の画像を変形させ、
検知した前記第2の姿勢情報に基づいて該第2の画像を変形させて、前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして前記第3の画像を生成することを特徴とする付記10又は11記載のシステム。
(付記13)
撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部
を有することを特徴とする端末。
(付記14)
前記第1の姿勢情報及び前記第2の姿勢情報の少なくとも1つは、前記端末の位置及び姿勢を3次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合することで、前記姿勢情報を取得する
ことを特徴とする付記13記載のいずれか一項記載の端末。
2b 姿勢情報、 2c カメラ画像
2e 融合姿勢情報、 2f 指示情報
2g 指示内容、 2h 相対座標
21c カメラ、 21d 表示デバイス
101、102 遠隔支援装置
142 遠隔支援処理部
143 パノラマ画像生成部
144 現場シーン合成部、 145 現場シーン描画部
146 支援情報作成部
147 指示操作処理部、 148 指示情報提供部
201、202 作業員端末
272 作業支援処理部
273 現場シーン提供部
275 支援情報表示部
276 指示情報描画部、 277 オフスクリーン対応部
1001、1002 システム

Claims (7)

  1. ネットワーク通信部を介して端末から受信した、第1の画像の第1の姿勢情報と、第2の画像の第2の姿勢情報とに基づいて、前記第1の画像に含まれる第1のオブジェクト位置と前記第2の画像に含まれる第2のオブジェクト位置の相対位置関係を算出し、
    算出した前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして第3の画像を生成して表示装置に表示させ、
    入力装置によってポインティングされた前記第3の画像内の指定位置の座標を含む支援情報を前記端末に送信する
    処理をコンピュータが行う画像生成方法。
  2. 前記コンピュータが、
    前記第1の画像内においオブジェクトを含む第1の探索エリアと、前記第2の画像内において該オブジェクトを含む第2の探索エリアとを予測し、
    前記第1の探索エリアに含まれる前記第1のオブジェクト位置と、前記第2の探索エリアに含まれる前記第2のオブジェクト位置の前記相対位置関係を算出する
    処理を行う請求項1記載の画像生成方法。
  3. 前記コンピュータが、
    記第1の姿勢情報に基づいて該第1の画像を変形させ、
    記第2の姿勢情報に基づいて該第2の画像を変形させて、前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして前記第3の画像を生成することを特徴とする請求項1又は2記載の画像生成方法。
  4. 前記第1の姿勢情報及び前記第2の姿勢情報の少なくとも1つは、前記第1の画像と前記第2の画像を撮像した撮像装置の位置及び姿勢を3次元で推定して得た推定姿勢情報と、慣性センサによって得たセンサ姿勢情報とを融合して得た融合姿勢情報で示されることを特徴とする請求項1乃至3のいずれか一項記載の画像生成方法。
  5. 端末と装置とがネットワークを介して接続され、遠隔支援を行うシステムであって、
    前記端末は、
    撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して前記装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部を有し、
    前記装置は、
    前記端末から受信した、第1の画像の第1の姿勢情報と、第2の画像の第2の姿勢情報とに基づいて、前記第1の画像に含まれる第1のオブジェクト位置と前記第2の画像に含まれる第2のオブジェクト位置の相対位置関係を算出し、
    算出した前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして第3の画像を生成して表示装置に表示させ、
    入力装置によってポインティングされた前記第3の画像内の指定位置の座標を含む前記支援情報を前記端末に送信する遠隔支援処理部を有する
    ことを特徴とするシステム。
  6. ネットワーク通信部を介して端末から受信した、第1の画像の第1の姿勢情報と、第2の画像の第2の姿勢情報とに基づいて、前記第1の画像に含まれる第1のオブジェクト位置と前記第2の画像に含まれる第2のオブジェクト位置の相対位置関係を算出し、
    算出した前記相対位置関係に基づいて、前記第1の画像と前記第2の画像をマージして第3の画像を生成して表示装置に表示させ、
    入力装置によってポインティングされた前記第3の画像内の指定位置の座標を含む支援情報を前記端末に送信する遠隔支援処理部を有する
    ことを特徴とする遠隔支援装置。
  7. 撮像装置から、該撮像装置が撮像した実空間に設置したオブジェクトを含む複数の画像を入力し、各画像と、各画像の撮像時の姿勢を示す姿勢情報とを、ネットワーク通信部を介して装置へ送信することで、該装置から支援情報を受信して、表示デバイスに表示させる端末側処理部
    を有することを特徴とする端末。
JP2015046130A 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末 Expired - Fee Related JP6540108B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015046130A JP6540108B2 (ja) 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末
US15/062,408 US20160269631A1 (en) 2015-03-09 2016-03-07 Image generation method, system, and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015046130A JP6540108B2 (ja) 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末

Publications (2)

Publication Number Publication Date
JP2016167688A JP2016167688A (ja) 2016-09-15
JP6540108B2 true JP6540108B2 (ja) 2019-07-10

Family

ID=56888364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015046130A Expired - Fee Related JP6540108B2 (ja) 2015-03-09 2015-03-09 画像生成方法、システム、装置、及び端末

Country Status (2)

Country Link
US (1) US20160269631A1 (ja)
JP (1) JP6540108B2 (ja)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170039867A1 (en) 2013-03-15 2017-02-09 Study Social, Inc. Mobile video presentation, digital compositing, and streaming techniques implemented via a computer network
CA2979217C (en) * 2015-03-09 2023-12-12 Alchemy Systems, L.P. Augmented reality
US10339382B2 (en) * 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
JPWO2017013986A1 (ja) * 2015-07-17 2018-06-14 シャープ株式会社 情報処理装置、端末、遠隔通信システム、および、情報処理プログラム
US20170053545A1 (en) * 2015-08-19 2017-02-23 Htc Corporation Electronic system, portable display device and guiding device
CN108604393B (zh) * 2016-03-04 2022-12-30 日铁系统集成株式会社 信息处理系统、信息处理装置、信息处理方法以及计算机可读取的存储介质
US11216847B2 (en) 2016-03-22 2022-01-04 Sensormatic Electronics, LLC System and method for retail customer tracking in surveillance camera network
US10764539B2 (en) 2016-03-22 2020-09-01 Sensormatic Electronics, LLC System and method for using mobile device of zone and correlated motion detection
US10318836B2 (en) * 2016-03-22 2019-06-11 Sensormatic Electronics, LLC System and method for designating surveillance camera regions of interest
US10665071B2 (en) 2016-03-22 2020-05-26 Sensormatic Electronics, LLC System and method for deadzone detection in surveillance camera network
US10192414B2 (en) * 2016-03-22 2019-01-29 Sensormatic Electronics, LLC System and method for overlap detection in surveillance camera network
US11601583B2 (en) * 2016-03-22 2023-03-07 Johnson Controls Tyco IP Holdings LLP System and method for controlling surveillance cameras
US10475315B2 (en) 2016-03-22 2019-11-12 Sensormatic Electronics, LLC System and method for configuring surveillance cameras using mobile computing devices
US9965680B2 (en) 2016-03-22 2018-05-08 Sensormatic Electronics, LLC Method and system for conveying data from monitored scene via surveillance cameras
US10347102B2 (en) 2016-03-22 2019-07-09 Sensormatic Electronics, LLC Method and system for surveillance camera arbitration of uplink consumption
US10733231B2 (en) 2016-03-22 2020-08-04 Sensormatic Electronics, LLC Method and system for modeling image of interest to users
US10466774B2 (en) 2016-11-22 2019-11-05 Honeywell International Inc. NTE display systems and methods with optical trackers
KR101810671B1 (ko) * 2017-03-07 2018-01-25 링크플로우 주식회사 전방향 영상의 방향 정보를 생성하는 방법 및 이러한 방법을 수행하는 장치
WO2018230510A1 (ja) * 2017-06-13 2018-12-20 ソニー株式会社 画像処理装置、画像処理方法および撮像システム
US11062517B2 (en) * 2017-09-27 2021-07-13 Fisher-Rosemount Systems, Inc. Virtual access to a limited-access object
US10403046B2 (en) * 2017-10-20 2019-09-03 Raytheon Company Field of view (FOV) and key code limited augmented reality to enforce data capture and transmission compliance
JP6849582B2 (ja) * 2017-12-18 2021-03-24 株式会社日立システムズ Ar情報提供システム及び情報処理装置
EP3729430A1 (en) 2017-12-21 2020-10-28 Telecom Italia S.p.A. Remote support system and method
JP7017689B2 (ja) 2017-12-29 2022-02-09 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
EP3746868A1 (en) * 2018-02-02 2020-12-09 InterDigital CE Patent Holdings Multiviewing virtual reality user interface
EP3788570A1 (en) * 2018-04-30 2021-03-10 Telefonaktiebolaget LM Ericsson (publ) Automated augmented reality rendering platform for providing remote expert assistance
CN110148178B (zh) * 2018-06-19 2022-02-22 腾讯科技(深圳)有限公司 相机定位方法、装置、终端及存储介质
US20200089335A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Tracking Method and Tracking System Using the Same
JP2020069538A (ja) * 2018-10-29 2020-05-07 セイコーエプソン株式会社 表示システム、及び、表示システムの制御方法
JP2020086491A (ja) * 2018-11-15 2020-06-04 株式会社リコー 情報処理装置、情報処理システム及び情報処理方法
JP7000364B2 (ja) * 2019-01-29 2022-01-19 ファナック株式会社 ロボットシステム
IT201900001711A1 (it) * 2019-02-06 2020-08-06 Savoia S R L Sistema e metodo d’interazione digitale tra utenti atto all’ottimizzazione degli spostamenti fisici
US11915339B2 (en) * 2019-03-04 2024-02-27 Maxell, Ltd. Remote operation instructing system, and mount type device
JP2020149140A (ja) * 2019-03-11 2020-09-17 株式会社Nttファシリティーズ 作業支援システム、作業支援方法、及びプログラム
JP7078568B2 (ja) * 2019-03-19 2022-05-31 株式会社日立製作所 表示装置、表示制御方法、及び表示システム
US11315326B2 (en) * 2019-10-15 2022-04-26 At&T Intellectual Property I, L.P. Extended reality anchor caching based on viewport prediction
CN114731389A (zh) * 2019-11-20 2022-07-08 大金工业株式会社 远程作业辅助系统
CN110913177A (zh) * 2019-11-27 2020-03-24 国网辽宁省电力有限公司葫芦岛供电公司 一种电力通讯机房可视化呈现及作业方法
US11875823B2 (en) 2020-04-06 2024-01-16 Honeywell International Inc. Hypermedia enabled procedures for industrial workflows on a voice driven platform
CN111447418A (zh) * 2020-04-30 2020-07-24 宁波市交建工程监理咨询有限公司 一种可穿戴监理方法及其用户端、监控端和存储介质
JP7494000B2 (ja) 2020-05-11 2024-06-03 株式会社日立製作所 作業者端末、作業支援システム
US20230267417A1 (en) * 2020-07-15 2023-08-24 Honeywell International Inc. Real-time proximity-based contextual information for an industrial asset
JP7513723B2 (ja) * 2020-08-06 2024-07-09 マクセル株式会社 仮想現実共有方法及びシステム
WO2022220208A1 (ja) * 2021-04-14 2022-10-20 Telexistence株式会社 データ処理装置、データ処理方法、プログラム及びデータ処理システム
US11792499B2 (en) 2021-10-21 2023-10-17 Raytheon Company Time-delay to enforce data capture and transmission compliance in real and near real time video
US11696011B2 (en) 2021-10-21 2023-07-04 Raytheon Company Predictive field-of-view (FOV) and cueing to enforce data capture and transmission compliance in real and near real time video
US11700448B1 (en) 2022-04-29 2023-07-11 Raytheon Company Computer/human generation, validation and use of a ground truth map to enforce data capture and transmission compliance in real and near real time video of a local scene

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2947171B2 (ja) * 1996-05-08 1999-09-13 日本電気株式会社 航空写真作成装置
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
JP4537104B2 (ja) * 2004-03-31 2010-09-01 キヤノン株式会社 マーカ検出方法、マーカ検出装置、位置姿勢推定方法、及び複合現実空間提示方法
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
EP2539883A1 (en) * 2010-02-24 2013-01-02 Ipplex Holdings Corporation Augmented reality panorama supporting visually impaired individuals
US8836723B2 (en) * 2010-06-18 2014-09-16 Vantage Surgical Systems, Inc. Augmented reality methods and systems including optical merging of a plurality of component optical images
JP5776201B2 (ja) * 2011-02-10 2015-09-09 ソニー株式会社 情報処理装置、情報共有方法、プログラム及び端末装置
US20150355463A1 (en) * 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
GB201305402D0 (en) * 2013-03-25 2013-05-08 Sony Comp Entertainment Europe Head mountable display
JP6353214B2 (ja) * 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
JP5900468B2 (ja) * 2013-11-21 2016-04-06 コニカミノルタ株式会社 Ar表示装置、処理内容設定装置、処理内容設定方法およびプログラム

Also Published As

Publication number Publication date
US20160269631A1 (en) 2016-09-15
JP2016167688A (ja) 2016-09-15

Similar Documents

Publication Publication Date Title
JP6540108B2 (ja) 画像生成方法、システム、装置、及び端末
JP6586834B2 (ja) 作業支援方法、作業支援プログラム、及び作業支援システム
CN107402000B (zh) 用于将显示装置相对于测量仪器相互关联的方法和系统
KR101813834B1 (ko) 화상처리장치, 화상처리방법 및 화상처리프로그램과 촬영보조기재
JP6635037B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP6683127B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
US20160357491A1 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
JP2015001760A (ja) 画像処理システム、画像処理装置、画像処理プログラム、および画像処理方法
JP2007080060A (ja) 対象物特定装置
JP2011203984A (ja) ナビゲーション装置、ナビゲーション画像生成方法及びプログラム
JP6630504B2 (ja) 作業行動支援ナビゲーションシステム及び方法、並びに作業行動支援ナビゲーション用コンピュータプログラム、作業行動支援ナビゲーション用プログラムを記憶した記憶媒体、作業行動支援ナビゲーションシステムを搭載した自走式ロボット、作業行動支援ナビゲーションシステムに用いられるインテリジェントヘルメット
US10771707B2 (en) Information processing device and information processing method
JP6001914B2 (ja) 目標位置特定装置、目標位置特定システム、および目標位置特定方法
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2012155678A (ja) 表示システム、表示処理装置、表示方法、および表示プログラム
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP2009258884A (ja) ユーザインタフェイス
JP2022105568A (ja) 3dツアーの比較表示システム及び方法
JP5235127B2 (ja) 遠隔操作システムおよび遠隔操作装置
CN113677412A (zh) 信息处理装置、信息处理方法和程序
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180060403A (ko) 영상 기반의 드론 제어장치
JP2019066196A (ja) 傾き測定装置及び傾き測定方法
WO2021019591A1 (ja) 軌跡表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190527

R150 Certificate of patent or registration of utility model

Ref document number: 6540108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees