JPWO2020196276A1 - 保守支援システム、保守支援方法、プログラム及び加工画像の生成方法 - Google Patents
保守支援システム、保守支援方法、プログラム及び加工画像の生成方法 Download PDFInfo
- Publication number
- JPWO2020196276A1 JPWO2020196276A1 JP2021509316A JP2021509316A JPWO2020196276A1 JP WO2020196276 A1 JPWO2020196276 A1 JP WO2020196276A1 JP 2021509316 A JP2021509316 A JP 2021509316A JP 2021509316 A JP2021509316 A JP 2021509316A JP WO2020196276 A1 JPWO2020196276 A1 JP WO2020196276A1
- Authority
- JP
- Japan
- Prior art keywords
- maintenance
- processed image
- dimensional
- identification information
- pixel region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/20—Administration of product repair or maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Human Resources & Organizations (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Data Mining & Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
【解決手段】保守支援システム100は、撮像手段12を具備するウェアラブル端末1と、所定の基準点Mを基準として保守対象Tを含む第1の3次元領域TAを特定する第1特定手段31と、ウェアラブル端末が移動した移動後状態の撮像手段で取得した撮像画像に対して、第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定する第2特定手段32と、マスク画素領域を不可視にした加工画像を生成する加工画像生成手段33と、加工画像を保守支援者側端末2に送信する通信手段34と、を備える。
Description
上記の電話対応を行ってもトラブルが解決しない場合には、製造メーカ側の熟練作業者の予定が空いているタイミングで、保守対象の設置現場に熟練作業者を派遣する対応を行っている。
また、上記の熟練作業者を派遣する対応の場合、即時の対応が難しいという問題がある。
しかしながら、上記の保守支援システムにおいて、撮像画像をそのまま保守支援者側端末に送信すると、撮像画像中に設置現場の機密情報が含まれるおそれがある。機密情報が含まれる撮像画像が保守支援者側に送信されると、保守支援者が機密情報を知り得ることになり問題である。
特許文献1に記載のシステムは、元領域を捉えた元画像を取得する取得部と、前記元画像中の1つ以上の識別子を認識する認識部と、前記認識部で認識された前記1つ以上の識別子に基づいて、前記元領域のうち第1領域を捉えた第1画像部分、および前記元領域から前記第1領域を除いた第2領域を捉えた第2画像部分の少なくとも一方を特定する特定部と、前記特定部による特定結果に応じて、前記第1画像部分を含む処理済み画像を生成する生成部と、を有する、画像処理システムである(特許文献1の請求項1)。
特許文献1に記載のシステムによれば、第1領域を保守対象とし、第2領域を保守対象以外の機密情報等とすることにより、機密情報等の漏洩を防止可能であると考えられる。
したがい、例えば、保守対象に近接して保守対象の細部を撮像しようとすると、元画像中に識別子が含まれる範囲でしか近接できないというような制約が生じる。
具体的には、例えば、撮像画像の任意の点をARカーソルを用いて指定し、この指定した位置を基準点とする場合、初期状態の撮像手段とは、ARカーソルを用いて指定した点を撮像できる位置にある撮像手段を意味する。
また、例えば、第1特定手段が撮像画像に所定の画像処理を施すことで、撮像画像中の特徴的な部位(例えば、保守対象の角部等)に対応する画素領域を抽出し、この画素領域の中心等を基準点とする場合、初期状態の撮像手段とは、特徴的な部位を撮像できる位置にある撮像手段を意味する。
さらに、例えば、基準点が保守対象等に付されたマーカによって規定されている場合、初期状態の撮像手段とは、このマーカを撮像できる位置にある撮像手段を意味する。
上記の場合、例えば、基準点を基準とする各頂点の座標を第1特定手段に予め記憶させておいたり、或いは、ARカーソルを用いて各頂点を指定すると共に、未知の環境の中でセンサの自己位置と周囲の環境地図を構築していく技術として公知であるSLAM(Simultaneous Localization and Mapping)技術を用いることで、第1特定手段は、第1の3次元領域及び/又は第2の3次元領域を特定可能である。
図10に示すように、SLAM技術では、以下の第1ステップ〜第4ステップを実行する。
(1)第1ステップ:まず、異なる時刻t0、t1にそれぞれ撮像対象を撮像して取得した2つの撮像画像において、対応する同じ点(特徴点)を検出する。図10に示す例では、撮像対象の角部が特徴点として検出されている。
(2)第2ステップ:次に、2つの撮像画像における特徴点の位置を比較することで、撮像手段の姿勢の変化量(並行/回転成分)を算出する。また、特徴点の組み合わせから、三角測量の原理により、特徴点の3次元空間での位置を求める。これが環境地図の構築に相当する。
(3)第3ステップ:さらに、別の時刻t1、t2にそれぞれ撮像対象を撮像して取得した2つの撮像画像において、特徴点の3次元空間での位置の変化を求め、この変化から、撮像手段の自己位置を推定する。
(4)第4ステップ:3次元空間上に特徴点を登録、更新する(環境地図の更新)。
以降、SLAM技術では、第3、第4ステップを繰り返し実行することになる。
上記のように、SLAM技術は、環境地図の構築(3次元形状の復元)と、撮像手段の自己位置の推定とを交互に繰り返し、常に3次元空間を把握する技術である。
本発明における基準点は、この環境地図を構築(3次元形状を復元、換言すれば3次元空間を把握)した後に、3次元空間上に任意に設定されることになる。
なお、SLAM技術のより具体的な内容は、例えば、情報処理学会研究報告 Vol.2014−CVIM−190 No.40「移動カメラ画像からの3次元形状復元・自己位置推定(SLAM)と高密度な3次元形状復元」に記載のように公知であるため、本明細書ではこれ以上の詳細な説明を省略する。
前述のように、初期状態の撮像手段で取得した撮像画像における基準点を基準とする第1の3次元領域及び/又は第2の3次元領域は、第1特定手段で特定されているため、ウェアラブル端末が移動した移動後状態において、撮像手段で取得した撮像画像における基準点を基準とする第1の3次元領域及び/又は第2の3次元領域は、例えば、SLAM技術を用いることで特定可能である。そして、移動後状態において第1の3次元領域及び/又は第2の3次元領域を特定するに際し、移動後状態の撮像手段で取得した撮像画像に必ずしも基準点が含まれる必要はない。
第2特定手段で特定したマスク画素領域が第1の3次元領域に対応する有効画素領域を除くマスク画素領域である場合、第1の3次元領域が保守対象を含み、有効画素領域が第1の3次元領域に対応するため、第1の3次元領域を保守対象よりも過度に大きく設定しない限り、有効画素領域を除くマスク画素領域を不可視にした加工画像には、保守対象以外の機密情報等に対応する画素領域が含まれないことになる。
また、第2特定手段で特定したマスク画素領域が第2の3次元領域に対応するマスク画素領域である場合、第2の3次元領域に保守対象が含まれないため、第2の3次元領域が少なくとも保守対象以外の機密情報等を含むように設定しておくことで、マスク画素領域を不可視にした加工画像には、保守対象以外の機密情報等に対応する画素領域が含まれないことになる。
本発明のように、保守対象を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は保守対象を除く所定の第2の3次元領域に対応するマスク画素領域を不可視にした加工画像を生成し、マスク画素領域に含まれる保守対象以外の機密情報等の漏洩を防止する技術を、本発明者らは「Virtual Partition」技術と称している。
また、本発明において、「ウェアラブル端末が移動した移動後状態」とは、ウェアラブル端末がその移動終点(例えば、保守作業終了時のウェアラブル端末の位置)に到達した状態のみを意味するものではなく、移動終点に到達するまでの移動過程における所定の短時間ピッチ毎の各位置に移動した状態を意味する。したがい、加工画像生成手段では、移動終点に到達するまで、撮像手段によってリアルタイムで(所定の短時間ピッチ毎に)取得した全ての撮像画像に対して、マスク画素領域を不可視にした加工画像が生成されることになる。
本発明によれば、前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない態様を採用可能である。換言すれば、撮像手段の視野内に基準点が存在する位置から存在しない位置まで撮像手段が移動するように、ウェラブル端末の移動位置の制約を外して保守支援を行うことが可能である。
前記基準点がマーカによって規定される場合、例えば、前記第1特定手段は、前記撮像手段で取得した撮像画像を用いて(例えば、撮像画像を用いたSLAM技術によって)3次元空間を把握した後、初期状態の前記撮像手段で取得した撮像画像における前記基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する構成とされる。
一方、上記の好ましい構成によれば、ディスプレイに加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末に送信される加工画像を認識可能である。このため、保守対象以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、上記の好ましい構成における「加工画像を認識可能に表示する状態」には、保守支援者側端末に送信される加工画像と同じもの(撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像からマスク画素領域以外の画素領域のみを切り出した画像など)を表示する状態の他、撮像画像にマスク画素領域とマスク画素領域以外の画素領域との境界線をオーバレイした画像を表示する状態や、表示画面の一部(例えば片隅)に加工画像を縮小して表示する状態なども含まれる。
上記のより好ましい構成によれば、本発明に係る保守支援システムを利用する保守作業者の識別情報及び保守支援者の識別情報の双方がサーバに送信されたと認証された場合に初めて、通信手段と保守支援者側端末との双方向のデータ通信が可能になるため、予め決められた保守作業者及び保守支援者しか本発明に係る保守支援システムを利用することができず、保守対象である産業用機器以外の機密情報等の漏洩をより確実に防止可能である。
なお、上記のプラグラムを記憶させたコンピュータ(CPU)で読み取り可能な記憶媒体として提供することも可能である。
図1は、本発明の第1実施形態に係る保守支援システムの概略構成を模式的に示す図である。図1(a)は全体構成図であり、図1(b)はウェアラブル端末及びこれに取り付けられた構成要素を示す図であり、図1(c)は図1(b)に示す制御信号処理手段の内部構成を示すブロック図である。
図1(a)に示すように、本実施形態に係る保守支援システム100は、ウェアラブル端末1と、保守支援者側端末2と、制御信号処理手段3と、を備えている。また、保守支援システム100は、好ましい構成として、サーバ6を備えている。
図1(b)に示すように、本実施形態のウェアラブル端末1は、眼鏡型のウェアラブル端末(ヘッドマウントディスプレイ)とされており、保守作業者が耳に掛けるフレーム11を具備する。また、ウェアラブル端末1は、フレーム11の前側中央(保守作業者がフレーム11を耳に掛けたときに保守作業者の眉間近傍に相当する位置)に撮像手段12を具備する。本実施形態の撮像手段12としては、カラー(RGB)カメラが用いられている。そして、撮像手段12の撮像方向(視線方向)L1は、保守作業者がフレーム11を耳に掛けたときの保守作業者の眉間に正対する方向となるように設定されている。さらに、ウェアラブル端末1は、フレーム11の前側に取り付けられ、保守作業者がフレーム11を耳に掛けたときに保守作業者の視界前方を覆うディスプレイ13を具備する。本実施形態のディスプレイ13としては、透過型のものが用いられている。したがい、ディスプレイ13に何も表示しない場合には、通常の眼鏡と同じように使用することが可能である。
なお、撮像手段12は、必要に応じて、後述の第2特定手段32のハードウェア部分として用いることもできる。
なお、本実施形態の保守支援者側端末2は、必須の構成ではないが、電気通信回線Nを通じて、保守対象Tとも電気的に接続されている。具体的には、本実施形態では、例えば、保守対象Tのプロセスログデータ(保守対象Tのプロセスに関わる測定値や設定値)を収集するコンピュータ(図1(a)には図示せず)が設けられ、このコンピュータが、電気通信回線Nに電気的に接続されたサーバ6を介して、保守支援者側端末2に電気的に接続されている。そして、保守対象Tで得られるプロセスログデータが保守支援者側端末2に逐次送信され、保守支援者側端末2に記憶されるように構成されている。サーバ6を設けることで、保守支援者側端末2に接続されたウェアラブル端末1や保守対象Tの識別情報の管理や利用履歴の管理が容易になる。
制御信号処理手段3は、主として、CPU、ROMやRAM等のメモリ、該メモリに記憶され、CPUに後述の動作を実行させるプログラムと、によって構成されている。
なお、上記のようなプログラムの更新は、所定のコンピュータと制御信号処理手段3とをUSBケーブル等で直接接続して行ってもよいし、サーバ6から直接アップデートしてもよい。
保守作業者の識別情報である第1識別情報及び保守支援者の識別情報である第2識別情報は、保守支援システム100を利用する前に予めサーバ6に記憶される。具体的には、例えば、保守支援者が、保守支援者側端末2のキーボード等を用いて、保守支援システム100を利用することが決まっている保守作業者の第1識別情報(例えば、ID番号)を保守支援者側端末2に入力することで、入力された第1識別情報が、電気通信回線Nを通じてサーバ6に送信され、記憶される。同様に、例えば、保守支援者が、保守支援者側端末2のキーボード等を用いて、保守支援システム100を利用することが決まっている保守支援者の第2識別情報(例えば、ID番号)を保守支援者側端末2に入力することで、入力された第2識別情報が、電気通信回線Nを通じてサーバ6に送信され、記憶される。或いは、保守支援システム100を利用する可能性のある保守作業者の第1識別情報及び保守支援者の第2識別情報を予め保守支援者側端末2に記憶させておき、保守支援者が、この保守支援者側端末2に記憶された第1識別情報及び第2識別情報のうち、これから実際に保守支援システム100を利用する保守作業者の第1識別情報及び保守支援者の第2識別情報を保守支援者側端末2のキーボード等を用いて選択することで、選択された第1識別情報及び第2識別情報が、電気通信回線Nを通じてサーバ6に送信され、記憶されるようにしてもよい。
なお、本実施形態では、第1識別情報及び第2識別情報をサーバ6に記憶させる際に、保守作業者及び保守支援者による保守支援システム100の利用開始時刻や利用時間も併せてサーバ6に記憶させる。
本実施形態に係る保守支援システム100は、上記のように、保守作業者の識別情報及び保守支援者の識別情報の双方がサーバ6に送信されたと認証された場合に初めて、通信手段34と保守支援者側端末2との双方向のデータ通信が可能になる。したがい、予め決められた保守作業者及び保守支援者しか保守支援システム100を利用することができず、保守対象T以外の機密情報等の漏洩をより確実に防止可能である。
また、保守作業者及び保守支援者のうち、少なくとも何れか一方が、利用時間が経過する前に保守支援システム100の利用を中止又は中段する場合には、利用の中止又は中段を指示する所定の指示情報をウェアラブル端末1の通信手段34及び/又は保守支援者側端末2からサーバ6に送信することで、サーバ6が通信手段34と保守支援者側端末2との双方向のデータ通信を中止又は中断するように構成することも可能である。
さらに、ウェアラブル端末1が複数である場合や、保守支援者側端末2が複数である場合、各端末1、2から送信された全ての識別情報がサーバ6で認証された場合に初めて各端末1、2における双方向のデータ通信を全て可能にする態様を採用してもよいし、認証された各端末1、2における双方向のデータ通信のみを可能にする態様を採用してもよい。
図2に示すように、本実施形態の保守対象Tの前面には、部材T1〜T3が設けられている。保守対象Tの隣には、機密情報に関わる装置Sが配置されている。
まず、ウェアラブル端末1を装着した保守作業者は、例えば、ウェアラブル端末1の撮像手段12で保守対象Tを撮像できるように、保守対象Tに正対する位置に移動する。そして、この初期状態の撮像手段12(図2に実線で図示するウェアラブル端末1が具備する撮像手段12)で保守対象Tを撮像して、図3(a)に示すような撮像画像(動画)を取得する。
また、保守作業者が、ディスプレイ13に表示された撮像画像に対してARカーソルを用いて第1の3次元領域TAの各頂点P1〜P8を指定することで、第1特定手段31が、例えば、SLAM技術を用いて、第1の3次元領域TAを特定することも可能である。この場合、第1の3次元領域TAの各頂点P1〜P8は、ARカーソルを用いて指定した瞬間に、基準点Mを基準とする3次元座標系に配置されるので、各頂点P1〜P8の座標が決まり、結果として第1の3次元領域TAを特定することができる。
さらに、保守対象Tにマーカが付されている場合には、第1特定手段31が、マーカに対応する画素領域の特徴量を演算し、この特徴量からマーカの識別情報を特定し、特定した識別情報に関連付けて第1特定手段31に記憶された各頂点P1〜P8の座標に基づき、例えば、SLAM技術を用いて、第1の3次元領域TAを特定することも可能である。このように、基準点Mをマーカによって規定する場合、各頂点P1〜P8の座標が既に第1特定手段31に記憶されていて、保守作業者が設定する必要がないため、手間がかからない。保守対象Tの形状が複雑である場合には、予め保守対象Tの設計図面等に基づき各頂点P1〜P8(或いは、8つより多い頂点)を詳細に設定してマーカの識別情報に関連付けておくことができ、特に効果的である。
なお、図2では、保守作業者が装着したウェアラブル端末1が、第1の3次元領域TA内で移動する場合を例示している。
そして、上記の移動過程において、撮像手段12及び第2の撮像手段32a、32bによって、連続的に撮像画像が取得される。また、距離画像センサ32cによって、連続的に距離画像が取得される。さらに、慣性センサ32dによって、ウェアラブル端末1が具備する撮像手段12の加速度、角速度及び地磁気(方位)が連続的に検出される。
撮像手段12で取得した撮像画像における第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域を特定する。
具体的には、第2の撮像手段32a、32bが第2特定手段32を構成する場合には、移動過程において第2の撮像手段32a、32bで連続的に取得した撮像画像に基づき、第2特定手段32を構成するソフトウェア部分32eが、例えばSLAM技術を用いて、ウェアラブル端末1(撮像手段12)の自己位置と周囲の環境地図を構築することで、移動後状態の撮像画像における第1の3次元領域TAを特定する。
また、距離画像センサ32cが第2特定手段32を構成する場合には、移動過程において距離画像センサ32cで連続的に取得した距離画像に基づき、第2特定手段32を構成するソフトウェア部分32eが、例えばSLAM技術を用いて、移動後状態の撮像画像における第1の3次元領域TAを特定する。
さらに、撮像手段12や慣性センサ32dが第2特定手段32を構成する場合も同様である。また、第2の撮像手段32a、32b、距離画像センサ32c、撮像手段12及び慣性センサ32dのうちの何れかが組み合わさって第2特定手段32を構成する場合も考えられ、この場合も、第2特定手段32が、例えばSLAM技術を用いて、移動後状態の撮像画像における第1の3次元領域TAを特定する。
なお、本実施形態の第2特定手段32は、移動後状態の撮像画像における第1の3次元領域TAを特定するに際して、GPSを用いない(後述のように、移動後状態の撮像画像における第2の3次元領域SAを特定する場合も同様)。GPSは、屋内では用いることができない他、少なくとも数メートルの位置検出誤差が生じるからである。
なお、図3(a)に示すような初期状態の撮像手段12で取得した撮像画像に対しても第2特定手段32、加工画像生成手段33及び通信手段34は動作する。これにより、加工画像生成手段33では、初期状態の撮像手段で取得した撮像画像に対してもマスク画素領域を不可視にした図3(b)に示すような加工画像が生成され、保守支援者側端末2に送信されることになる。
したがい、第2の撮像手段32a、32b等が故障又は何らかの不具合が生じた場合には、加工画像生成手段33が全ての画素領域を不可視にした加工画像を生成するか、或いは、通信手段34が加工画像の送信を停止する機能を有することが好ましい。また、この際、第2の撮像手段32a、32b等に故障又は何らかの不具合が生じたことを保守作業者が迅速に把握できるように、ディスプレイ13に故障又は何らかの不具合が生じた旨を表示するか、或いは、スピーカ4に故障又は何らかの不具合が生じた旨を音声で通知することが好ましい。
ディスプレイ13に撮像画像を表示する状態(保守作業者が保守対象Tを直接視認できる状態)では、保守作業者の視界を遮る部分が無いため、保守作業を安全に行うことが可能である。
一方、ディスプレイ13に加工画像を認識可能に表示する状態では、保守作業者にも保守支援者側端末2に送信される加工画像を認識可能である。このため、保守対象T以外の機密情報等の漏洩が防止されていることを保守作業者も確認可能であり、保守作業者に安心感を与えることができる。なお、加工画像を認識可能に表示する状態としては、保守支援者側端末2に送信される加工画像と同じもの(撮像画像と写っている領域は同じであるが撮像画像におけるマスク画素領域を黒塗りにした画像や、撮像画像から有効画素領域のみを切り出した画像など)を表示する状態の他、図3(a)や図4(a)に示すように、撮像画像にマスク画素領域と有効画素領域との境界線(第1の3次元領域TAの境界線)をオーバレイした画像を表示する状態や、表示画面の一部に加工画像を縮小して表示する状態なども含まれる。
この場合、複数のウェアラブル端末1の撮像手段12が同じ基準点Mを基準とする同じ第1の3次元領域TAを特定する構成でもよいし、ウェアラブル端末1毎に、基準点Mを異なるものにしたり、特定する第1の3次元領域TAを異なるものにする構成を採用することも可能である。
また、保守支援者側端末2では、複数のウェアラブル端末1から送信された各加工画像を並べて同時に表示したり、或いは、表示する加工画像を切り替え可能にするなど、種々の態様を採用可能である。
さらに、ウェアラブル端末1が1つであっても複数であっても、ウェアラブル端末1に電気的に接続される保守支援者側端末2を複数用意することも可能である。
第2実施形態に係る保守支援システムも、図1を参照して説明した第1実施形態に係る保守支援システム100と同様の概略構成を有する。
ただし、第2実施形態に係る保守支援システムは、第1の3次元領域TAの設定が第1実施形態に係る保守支援システム100と異なる。以下、この点について説明する。
図5に示すように、本実施形態では、第1の3次元領域TAを複数(図5に示す例では8つ)の仮想の仕切り壁W1〜W8で構成している。図5に示す例では、8つの仕切り壁W1〜W8で囲まれた領域が、第1の3次元領域TAとして設定されることになる。仕切り壁W1〜W8は、例えば、保守作業者が、ディスプレイ13に表示された撮像画像に対してARカーソルを用いて指定すればよい。これにより、第1特定手段31は、仕切り壁W1〜W8で囲まれた領域を第1の3次元領域TAとして特定することになる。
また、図5に示す例では、保守対象Tが位置する場所の天井部分や床部分には仕切り壁を設けていないが、保守対象Tの周りの機密情報に関わる装置Sが保守支援者側端末2で視認できない限り、自由に仕切り壁を設定してよい。
第3実施形態に係る保守支援システムも、図1を参照して説明した第1実施形態に係る保守支援システム100と同様の概略構成を有する。
ただし、第3実施形態に係る保守支援システムは、第1の3次元領域TAではなく、第2の3次元領域SAを用いることが第1実施形態に係る保守支援システム100と異なる。以下、この点について説明する。
第1特定手段31は、第1の3次元領域TAを特定することに代えて、第2の3次元領域SAを特定してもよいし、第1の3次元領域TA及び第2の3次元領域SAの双方を特定してもよい。第1特定手段31が第1の3次元領域TAを特定することに代えて第2の3次元領域SAを特定する場合、第2特定手段32は、第2の3次元領域SAに対応するマスク画素領域を特定することになる。第1特定手段31が第1の3次元領域TA及び第2の3次元領域SAの双方を特定する場合、第2特定手段32は、第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域を特定すると共に、第2の3次元領域SAに対応するマスク画素領域を特定することになる。なお、双方を特定する場合には、第1の3次元領域TAに対応する有効画素領域を除くマスク画素領域と、第2の3次元領域SAに対応するマスク画素領域とが重なる場合がある。この場合、少なくとも一方でマスク画素領域として特定される画素領域は、全てマスク画素領域とすればよい。
第4実施形態に係る保守支援システムも、図1を参照して説明した第1実施形態に係る保守支援システム100と同様の概略構成を有する。
ただし、第4実施形態に係る保守支援システムは、第1の3次元領域TAの設定が第1実施形態に係る保守支援システム100や第2実施形態に係る保守支援システムと異なる。以下、この点について説明する。なお、以下の説明では、機密情報に関わる装置が2つ(装置S1、S2)存在する場合を例示する。
図8は、図7に示すように第1の3次元領域TAを設定したときの第2特定手段32の概略動作を説明する平面図である。図8(a)は、ウェアラブル端末1が図7(b)に示す状態から装置S2側に平行移動した位置にある状態を示す。図8(b)は、ウェアラブル端末1が図7(b)に示す状態から装置S2側に回転移動(保守対象Tの周りを反時計回りに移動)した位置にある状態を示す。図8(c)は、ウェアラブル端末1が図7(b)に示す状態からその場で左に向きを変えた状態を示す。
なお、図7(b)、図8においては、便宜上、ウェアラブル端末1を矩形で図示している。
図7(b)に示すように、ウェアラブル端末1が保守対象Tの前面の中央に正対する位置にある状態では、ウェアラブル端末1の撮像手段で保守対象Tを(第1の3次元領域TA)を撮像した場合、ウェアラブル端末1の撮像手段の画角θの範囲内に位置する被写体が結像して撮像画像として取得されることになる。換言すれば、図7(b)に示すウェアラブル端末1の撮像手段の画角θの範囲外である撮像領域外OIAに位置する被写体は、撮像画像を構成しない。
ウェアラブル端末1の撮像手段から見て、第1の3次元領域TA(保守対象T)の後方に位置する死角領域BAに位置する被写体は、保守対象Tに遮られて結像しないため、撮像画像を構成しない。その結果、実質的に、第1の3次元領域TAに対応する有効画素領域を除く画素領域をマスク画素領域として特定するのと同じ効果がある。
図9(b)に示すように、保守作業者が装着するウェアラブル端末1が具備する撮像手段12で取得した撮像画像において、保守対象Tを含む所定の第1の3次元領域TA(図9に示す例では保守対象T=第1の3次元領域TA)に対応する有効画素領域を除くマスク画素領域、及び、図9(a)に示す装置S1、S2に対してそれぞれ設定された第2の3次元領域SA(図示省略)に対応するマスク画素領域を不可視にした(図9に示す例では黒塗りにした)加工画像が得られる。
なお、レイアウト上、機密情報に関わる装置Sが保守対象Tの近傍にない(つまり、ウェアラブル端末1を装着した作業者が移動する領域と保守対象Tとの間に機密情報に関わる装置Sがない)場合には、第1の3次元領域TAの設定のみで問題なく、機密情報に関わる装置Sが保守対象Tの近傍にある場合に、第2の3次元領域SAも必要となる。
2・・・保守支援者側端末
3・・・制御信号処理手段
12・・・撮像手段
13・・・ディスプレイ
31・・・第1特定手段
32・・・第2特定手段
32a、32b・・・第2の撮像手段
32c・・・距離画像センサ
32d・・・慣性センサ
33・・・加工画像生成手段
34・・・通信手段
100・・・保守支援システム
M・・・基準点
N・・・電気通信回線
S、S1、S2・・・機密情報に関わる装置
T・・・保守対象
TA・・・第1の3次元領域
SA・・・第2の3次元領域
W1、W2、W3、W4、W5、W6、W7、W8・・・仕切り壁
θ・・・画角
BA・・・死角領域
OIA・・・撮像領域外
EA・・・例外領域
MA・・・マスク領域
前記基準点がマーカによって規定されるため、例えば、前記第1特定手段は、前記撮像手段で取得した撮像画像を用いて(例えば、撮像画像を用いたSLAM技術によって)3次元空間を把握した後、初期状態の前記撮像手段で取得した撮像画像における前記基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する構成とされる。
Claims (14)
- 撮像手段を具備し保守作業者が装着するウェアラブル端末と、
初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定手段と、
前記ウェアラブル端末が移動した移動後状態において、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定手段と、
前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定手段で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成手段と、
前記加工画像生成手段で生成した前記加工画像を保守支援者が操作する保守支援者側端末に送信する通信手段と、
を備えることを特徴とする保守支援システム。 - 前記移動後状態の前記撮像手段で取得した撮像画像中に前記基準点が含まれる必要がない、
ことを特徴とする請求項1に記載の保守支援システム。 - 前記基準点は、マーカによって規定される、
ことを特徴とする請求項1又は2に記載の保守支援システム。 - 前記第2特定手段は、撮像方向が互いに異なる複数の第2の撮像手段を具備し、前記複数の第2の撮像手段で取得した撮像画像に基づき、前記マスク画素領域を特定する、
ことを特徴とする請求項1から3の何れかに記載の保守支援システム。 - 前記ウェアラブル端末は、ディスプレイを具備するヘッドマウントディスプレイであり、
前記ヘッドマウントディスプレイは、前記ディスプレイに前記撮像画像を表示する状態と、前記ディスプレイに前記加工画像を認識可能に表示する状態とが切り替え可能に構成されている、
ことを特徴とする請求項1から4の何れかに記載の保守支援システム。 - 前記第1特定手段、前記第2特定手段、前記加工画像生成手段及び前記通信手段が、前記ウェアラブル端末に取り付けられている、
ことを特徴とする請求項1から5の何れかに記載の保守支援システム。 - 前記保守支援者側端末を備え、
前記保守支援者側端末は、前記通信手段と双方向にデータ通信可能に構成されている、
ことを特徴とする請求項1から6の何れかに記載の保守支援システム。 - 前記通信手段及び前記保守支援者側端末に電気的に接続され、前記保守作業者の識別情報である第1識別情報及び前記保守支援者の識別情報である第2識別情報が記憶されたサーバを備え、
前記サーバは、前記通信手段から前記サーバに送信された識別情報と前記サーバに記憶された前記第1識別情報とが合致するか否かを判定すると共に、前記保守支援者側端末から前記サーバに送信された識別情報と前記サーバに記憶された前記第2識別情報とが合致するか否かを判定し、前記通信手段から前記サーバに送信された前記識別情報と前記第1識別情報とが合致し、且つ、前記保守支援者側端末から前記サーバに送信された識別情報と前記第2識別情報とが合致する場合に、前記サーバを介した前記通信手段と前記保守支援者側端末との双方向のデータ通信を可能にする、
ことを特徴とする請求項7に記載の保守支援システム。 - 撮像手段を具備し保守作業者が装着するウェアラブル端末を用いた保守支援方法であって、
第1特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定工程と、
前記ウェアラブル端末が移動した移動後状態において、第2特定手段によって、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定工程と、
加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
通信手段によって、前記加工画像生成工程で生成した前記加工画像を保守支援者側端末に送信する通信工程と、
を含むことを特徴とする保守支援方法。 - 請求項9に記載の保守支援方法が含む前記第1特定工程、前記第2特定工程、前記加工画像生成工程及び前記通信工程を、前記第1特定手段、前記第2特定手段及び前記加工画像生成手段及び前記通信手段にそれぞれ実行させるためのプログラム。
- 保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像において、保守対象である産業用機器を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域に対応するマスク画素領域を特定し、前記マスク画素領域を不可視にした加工画像を生成する、
ことを特徴とする加工画像の生成方法。 - 保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像を用いて加工画像を生成する方法であって、
第1特定手段によって、初期状態の前記撮像手段で取得した撮像画像における所定の基準点を基準として、保守対象である産業用機器を含む所定の第1の3次元領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域を特定する第1特定工程と、
前記ウェアラブル端末が移動した移動後状態において、第2特定手段によって、前記撮像手段で取得した撮像画像における前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域を特定するか及び/又は前記第2の3次元領域に対応するマスク画素領域を特定する第2特定工程と、
加工画像生成手段によって、前記移動後状態の前記撮像手段で取得した撮像画像に対して、前記第2特定工程で特定した前記マスク画素領域を不可視にした加工画像を生成する加工画像生成工程と、
を含むことを特徴とする加工画像の生成方法。 - 保守作業者が装着するウェアラブル端末が具備する撮像手段で取得した撮像画像において、保守対象である産業用機器を含む所定の第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は前記保守対象である産業用機器を除く所定の第2の3次元領域に対応するマスク画素領域が、不可視にされた加工画像。
- 請求項12に記載の生成方法によって生成され、前記保守対象である産業用機器を含む前記第1の3次元領域に対応する有効画素領域を除くマスク画素領域及び/又は前記保守対象である産業用機器を除く前記第2の3次元領域に対応するマスク画素領域が、不可視にされた加工画像。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPPCT/JP2019/012279 | 2019-03-22 | ||
PCT/JP2019/012279 WO2020194413A1 (ja) | 2019-03-22 | 2019-03-22 | 保守支援システム、保守支援方法及びプログラム |
JPPCT/JP2019/027986 | 2019-07-16 | ||
PCT/JP2019/027986 WO2020194777A1 (ja) | 2019-03-22 | 2019-07-16 | 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像 |
PCT/JP2020/012325 WO2020196276A1 (ja) | 2019-03-22 | 2020-03-19 | 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020196276A1 true JPWO2020196276A1 (ja) | 2021-10-21 |
JP6970858B2 JP6970858B2 (ja) | 2021-11-24 |
Family
ID=72610410
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508395A Active JP7058798B2 (ja) | 2019-03-22 | 2019-03-22 | 保守支援システム、保守支援方法及びプログラム |
JP2020519818A Active JP6837603B1 (ja) | 2019-03-22 | 2019-07-18 | 支援システム、支援方法及びプログラム |
JP2021509316A Active JP6970858B2 (ja) | 2019-03-22 | 2020-03-19 | 保守支援システム、保守支援方法、プログラム及び加工画像の生成方法 |
JP2020120552A Pending JP2021018815A (ja) | 2019-03-22 | 2020-07-14 | 支援システム、支援方法及びプログラム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021508395A Active JP7058798B2 (ja) | 2019-03-22 | 2019-03-22 | 保守支援システム、保守支援方法及びプログラム |
JP2020519818A Active JP6837603B1 (ja) | 2019-03-22 | 2019-07-18 | 支援システム、支援方法及びプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020120552A Pending JP2021018815A (ja) | 2019-03-22 | 2020-07-14 | 支援システム、支援方法及びプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US11785184B2 (ja) |
EP (2) | EP3944201B1 (ja) |
JP (4) | JP7058798B2 (ja) |
KR (2) | KR20210142630A (ja) |
CN (2) | CN113614792A (ja) |
TW (1) | TWI831951B (ja) |
WO (2) | WO2020194413A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7377614B2 (ja) * | 2019-03-26 | 2023-11-10 | 株式会社富士通エフサス | ウェアラブル装置および送信制御方法 |
CN112565658A (zh) * | 2020-12-04 | 2021-03-26 | 杭州中车数字科技有限公司 | 一种设备维护辅助方法和系统 |
CN116468206A (zh) * | 2022-01-11 | 2023-07-21 | 大金工业株式会社 | 设备的维护方法、装置及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150399A (ja) * | 2010-01-19 | 2011-08-04 | Nec Corp | 保守システム、保守端末、復旧作業支援方法および復旧作業支援用プログラム |
JP2012054891A (ja) * | 2010-09-03 | 2012-03-15 | Nec Corp | 画像処理装置、方法及びプログラム |
WO2014016862A1 (ja) * | 2012-07-23 | 2014-01-30 | 富士通株式会社 | 表示制御プログラム、表示制御方法及び表示制御装置 |
JP2018036812A (ja) * | 2016-08-31 | 2018-03-08 | 株式会社日立システムズ | It運用作業遠隔支援システム及び方法 |
JP2019012971A (ja) * | 2017-06-30 | 2019-01-24 | キヤノン株式会社 | システム及び情報処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11100234B2 (en) * | 2014-06-13 | 2021-08-24 | Hitachi Systems, Ltd. | Work recording apparatus, system, program, and method preventing confidential information leaks |
US9529198B2 (en) * | 2014-08-29 | 2016-12-27 | Google Inc. | Opto-mechanical system for head-mounted device |
JP2017162102A (ja) * | 2016-03-08 | 2017-09-14 | 株式会社東芝 | 保守支援方法、保守支援システム、及び保守支援プログラム |
JP2017211766A (ja) | 2016-05-24 | 2017-11-30 | 株式会社Screenホールディングス | 画像処理システム、画像処理プログラム、および画像処理方法 |
-
2019
- 2019-03-22 JP JP2021508395A patent/JP7058798B2/ja active Active
- 2019-03-22 WO PCT/JP2019/012279 patent/WO2020194413A1/ja unknown
- 2019-03-22 KR KR1020217029992A patent/KR20210142630A/ko not_active Application Discontinuation
- 2019-03-22 CN CN201980094425.4A patent/CN113614792A/zh active Pending
- 2019-03-22 EP EP19920663.2A patent/EP3944201B1/en active Active
- 2019-03-22 US US17/440,863 patent/US11785184B2/en active Active
- 2019-07-16 WO PCT/JP2019/027986 patent/WO2020194777A1/ja active Application Filing
- 2019-07-18 JP JP2020519818A patent/JP6837603B1/ja active Active
-
2020
- 2020-03-19 CN CN202080004994.8A patent/CN112655027A/zh active Pending
- 2020-03-19 JP JP2021509316A patent/JP6970858B2/ja active Active
- 2020-03-19 KR KR1020217001936A patent/KR20210142084A/ko unknown
- 2020-03-19 EP EP20775810.3A patent/EP3822923A4/en active Pending
- 2020-03-20 TW TW109109420A patent/TWI831951B/zh active
- 2020-07-14 JP JP2020120552A patent/JP2021018815A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011150399A (ja) * | 2010-01-19 | 2011-08-04 | Nec Corp | 保守システム、保守端末、復旧作業支援方法および復旧作業支援用プログラム |
JP2012054891A (ja) * | 2010-09-03 | 2012-03-15 | Nec Corp | 画像処理装置、方法及びプログラム |
WO2014016862A1 (ja) * | 2012-07-23 | 2014-01-30 | 富士通株式会社 | 表示制御プログラム、表示制御方法及び表示制御装置 |
JP2018036812A (ja) * | 2016-08-31 | 2018-03-08 | 株式会社日立システムズ | It運用作業遠隔支援システム及び方法 |
JP2019012971A (ja) * | 2017-06-30 | 2019-01-24 | キヤノン株式会社 | システム及び情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7058798B2 (ja) | 2022-04-22 |
US20220165044A1 (en) | 2022-05-26 |
EP3822923A1 (en) | 2021-05-19 |
KR20210142084A (ko) | 2021-11-24 |
KR20210142630A (ko) | 2021-11-25 |
JP6837603B1 (ja) | 2021-03-03 |
CN112655027A (zh) | 2021-04-13 |
EP3944201B1 (en) | 2024-03-13 |
EP3944201A1 (en) | 2022-01-26 |
JP2021018815A (ja) | 2021-02-15 |
US11785184B2 (en) | 2023-10-10 |
EP3822923A4 (en) | 2021-11-24 |
WO2020194777A1 (ja) | 2020-10-01 |
TWI831951B (zh) | 2024-02-11 |
TW202046064A (zh) | 2020-12-16 |
CN113614792A (zh) | 2021-11-05 |
JP6970858B2 (ja) | 2021-11-24 |
WO2020194413A1 (ja) | 2020-10-01 |
EP3944201A4 (en) | 2022-04-13 |
JPWO2020194778A1 (ja) | 2021-04-08 |
JPWO2020194413A1 (ja) | 2021-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6970858B2 (ja) | 保守支援システム、保守支援方法、プログラム及び加工画像の生成方法 | |
US9401050B2 (en) | Recalibration of a flexible mixed reality device | |
US9746913B2 (en) | Secured mobile maintenance and operator system including wearable augmented reality interface, voice command interface, and visual recognition systems and related methods | |
US10786906B2 (en) | Robot system | |
JP2019008623A (ja) | 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体 | |
EP4172681A1 (en) | Augmented reality eyewear with 3d costumes | |
JP2016122392A (ja) | 情報処理装置、情報処理システム、その制御方法及びプログラム | |
JP5215211B2 (ja) | 関連情報表示位置特定システムおよび関連情報表示位置特定用プログラム | |
WO2020196276A1 (ja) | 保守支援システム、保守支援方法、プログラム、加工画像の生成方法及び加工画像 | |
JP6882147B2 (ja) | 操作案内システム | |
JP2022088678A (ja) | 遠隔保守支援方法 | |
KR20190048810A (ko) | 증강현실용 컨텐츠 제공 장치 및 방법 | |
JP2021077127A (ja) | アイウェア装置を用いた管理システムおよび管理方法 | |
KR20200094941A (ko) | 생산 라인에서의 작업자 위치 인식 방법 및 그 장치 | |
JP2020170482A (ja) | 作業指示システム | |
JP2023000203A (ja) | 俯瞰映像提示システム | |
JP2023077070A (ja) | 現実空間に対するヴァーチャル空間の位置合わせ方法 | |
JP2023077071A (ja) | マーカ設置方法 | |
JP2022184481A (ja) | 画像制限方法、画像制限プログラム、情報処理装置及び支援システム | |
CN114827338A (zh) | 用于在设备的显示媒介上呈现虚拟对象的方法和电子装置 | |
JP2017215262A (ja) | 検出方法、被検出物、及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211019 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211029 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6970858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |