JP2024019208A

JP2024019208A - 操作支援方法

Info

Publication number: JP2024019208A
Application number: JP2023198735A
Authority: JP
Inventors: 恵藏知; Megumi Kurachi; 万寿男奥; Masuo Oku
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2019-06-10
Filing date: 2023-11-24
Publication date: 2024-02-08
Also published as: WO2020250270A1; JPWO2020250270A1; JP7393427B2

Abstract

【課題】被操作機器の通信状況の如何に関らず、被操作機器の操作支援を円滑に行うことを目的とする。
【解決手段】ヘッドマウントディスプレイ（ＨＭＤ）１と操作支援サーバ４とを通信接続して操作支援を行う。ＨＭＤ１は、操作支援の対象となる被操作機器を撮像し、撮像画像を操作支援サーバ４に送信する。操作支援サーバ４は、撮像画像に基づいて被操作機器の動作状態を判定し、被操作機器の操作支援情報を示す仮想画像を少なくとも一つ以上含む仮想画像データセットから、判定した動作状態に対応する少なくとも一つ以上の仮想画像を提案仮想画像として選択し、ＨＭＤ１に送信する。ＨＭＤ１は、提案仮想画像を表示する。
【選択図】図１

Description

本発明は、操作支援システム及び操作支援方法に関する。

現実空間にグラフィックスや文字などの仮想物体（ＡＲオブジェクト：ＡｒｇｕｍｅｎｔＲｅａｌｉｔｙオブジェクト）の画像を重ね合わせて表示させ、ユーザに視認させる、所謂ＡＲ技術が、ゲームや操作支援等のコンテンツに用いられている。

またＡＲ技術を応用した複合現実（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）システムがある。その一例として、特許文献１には、「案内情報表示装置としてのヘッドマウントディスプレイ装置は表示部と、カメラ部と、ユーザの特定行動（たとえば、外部メモリを手に持って注視する行動）を検出する行動検出部を有し、特定行動を検出した後、カメラ部で特定の操作対象機器（たとえば、複合機）が撮影されたとき、その特定行動と撮影された操作対象機器との組み合わせに対応する案内情報（操作対象機器における外部メモリの装着方法や外部メモリを使用する機能に関する案内情報）を表示部に表示する。また操作対象機器から外部メモリの接続Ｉ／Ｆ部の位置や現時点の使用状況に関する情報を取得して案内表示する（要約抜粋）」という記載がある。

特開２０１４－９３０３６号公報

特許文献１では、操作支援の対象となる被操作機器と、操作支援情報を表示するヘッドマウントディスプレイ（ＨＭＤ：ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）とが同一のＬＡＮに接続された状態で操作支援を行う。

しかし、被操作機器に通信機能がない場合、また操作対象機器に通信機能があっても、ＨＭＤが接続中のネットワークには未接続、又は操作対象機器の通信状況が不安定な場合がある。このように操作対象機器の通信環境や通信状態については特許文献１では考慮されていない。

本発明は上記実情に鑑みてなされたものであり、被操作機器の通信状況の如何に関らず、被操作機器の操作支援を円滑に行うことを目的とする。

上記課題を解決するために、本発明は、ヘッドマウントディスプレイと操作支援サーバとを通信接続して構成された操作支援システムであって、前記ヘッドマウントディスプレイは、操作支援の対象となる被操作機器を撮像し撮像画像を出力するカメラと、前記撮像画像を前記操作支援サーバに送信し、当該操作支援サーバから前記被操作機器の操作支援情報を含む提案仮想画像を受信する第一通信器と、前記提案仮想画像を表示するディスプレイと、前記カメラ、前記第一通信器、及び前記ディスプレイのそれぞれに接続され、前記カメラ、前記第一通信器、及び前記ディスプレイのそれぞれの動作を制御する第一プロセッサと、を備え、前記操作支援サーバは、前記撮像画像を前記ヘッドマウントディスプレイから受信し、当該ヘッドマウントディスプレイに前記提案仮想画像を送信する第二通信器と、前記第二通信器に接続され、当該第二通信器の動作を制御する第二プロセッサと、を備え、前記第二プロセッサは、前記撮像画像に基づいて前記被操作機器の動作状態を判定し、前記被操作機器の操作支援情報を示す仮想画像を少なくとも一つ以上含む仮想画像データセットから、前記判定した動作状態に対応する少なくとも一つ以上の仮想画像を前記提案仮想画像として選択し、前記提案仮想画像を前記第二通信器から前記ヘッドマウントディスプレイに対して送信する制御を行う、ことを特徴とする。

本発明によれば、被操作機器の通信状況の如何に関らず、被操作機器の操作支援を円滑に行うことができる。上記した以外の課題、構成、効果については以下の説明で明らかにされる。

第一実施形態の操作支援システムの構成を示す図透過型のＨＭＤ１の外観を示す図ＨＭＤの機能ブロック図操作支援アプリのフローチャート操作支援システムの機能ブロック図操作支援方法のフローチャートマニュアルデータセットの例を示す図撮像画像データセットの例を示す図ＡＲ画像データセットの例を示す図被操作機器の外見を撮像した撮像画像を示す図ＨＭＤで表示されるＡＲ画像の例を示す図ＨＭＤで表示されるＡＲ画像の例を示す図ＨＭＤで表示されるＡＲ画像の例を示す図ＨＭＤで表示されるＡＲ画像の例を示す図ＨＭＤで表示されるＡＲ画像の例を示す図第二実施形態に係る操作支援システムの機能ブロック図第二実施形態に係る操作支援方法のフローチャート操作者履歴データセットの例を示す図第三実施形態に係る操作支援システムの構成を示す図第三実施形態に係る操作支援方法のフローチャート

以下、図面を参照しながら、本発明の実施形態について説明する。

［第一実施形態］
図１から図１０を参照して、本発明の第一実施形態に係る操作支援システム１００及び操作支援方法について説明する。

（操作支援システムの構成）
図１は、第一実施形態の操作支援システム１００の構成を示す図である。図１に示すように、操作支援システム１００は、操作者２が装着した透過型のＨＭＤ１、操作支援サーバ４、操作支援データベース５のそれぞれを、第一ネットワーク３を介して通信接続して構成される。

一方、操作者２が操作支援システム１００を用いて操作支援を受ける対象となる操作機器（以下「被操作機器」という）６は、第一ネットワーク３には接続されておらず、かつＨＭＤ１、操作支援サーバ４、操作支援データベース５のいずれにも通信接続されていない操作機器である。

被操作機器６は、被操作機器６の機器制御サーバ８と第二ネットワーク７を介して接続され、機器制御システム２００を構成する。

被操作機器６は、筐体の外表面に操作パネル６１が備えられる。操作パネル６１は、表示面６２と、操作ボタン６３とを含む。表示面６２の表示内容は、被操作機器６の外表面から視認できる。

機器制御サーバ８は、機器制御システム２００の第二ネットワーク７を介して、被操作機器６の動作命令を送信し、被操作機器６の動作状態を収集する。機器制御システム２００は、複数の被操作機器６を含んでもよいし、被操作機器６のスタンドアローンの形態であってもよい。

ＨＭＤ１は、操作者２の視界とほぼ同じ撮像範囲の映像を撮像するカメラ１０を備える。これにより、操作者２が被操作機器６の操作中に被操作機器６の操作パネル６１を視認すると、カメラ１０は操作パネル６１の撮像画像（映像でも静止画でもよい）を撮像する。この撮像画像は、操作パネル６１が撮像された映像に限らない。例えば、被操作機器６の筐体に記載された製造メーカ、機種名、機種番号、製造番号、インジケータ等であってもよい。撮像画像は、操作支援システム１００の第一ネットワーク３を介して、操作支援サーバ４に送信される。操作支援サーバ４は、この撮像画像を用いて被操作機器６の動作状態を判定する。

操作支援サーバ４は、操作支援データベース５を検索し、判定した被操作機器６の動作状態に対応する少なくとも一つ以上の操作支援情報を選択又は抽出する。操作支援サーバ４は、選択又は抽出した操作支援情報から操作者２に対して推奨するのに適した少なくとも一つ以上の操作支援情報を決定する。操作支援サーバ４は、操作支援情報に対応するＡＲ画像を操作支援データベース５から選択し、ＨＭＤ１に送信する。本明細書において、操作支援データベース５には予め少なくとも一つ以上のＡＲ画像が格納されているものとする。そして、操作支援サーバ４が選択してＨＭＤ１に送信するＡＲ画像は、予め記憶されたＡＲ画像と区別する意味で、「提案ＡＲ画像（ｐｒｏｐｏｓｅｄＡＲｉｍａｇｅ）」という。

ＨＭＤ１は、提案ＡＲ画像を受信する。ＨＭＤ１は、操作者２の眼前に位置する表示光学系１３（ディスプレイ）に表示する。操作者２が被操作機器６を視認している場合は、提案ＡＲ画像が被操作機器６及びその近傍に表示される。

操作者２が操作を行う度に、これらの操作過程の撮像画像が操作支援サーバ４を介して操作支援データベース５に追加される。これにより、操作支援データベース５に撮像画像が操作履歴(履歴データの一部を構成する)として更新される。

なお、操作支援システム１００で操作支援を受けられる操作者２は、一人には限られない。図示はしていないが、複数の被操作機器６のそれぞれを操作する複数の操作者２のそれぞれが装着する各ＨＭＤ１を操作支援システム１００の第一ネットワーク３に接続し、操作支援サーバ４が同時に複数人に対して操作支援を提供してもよい。

（ＨＭＤ）
図２は、透過型のＨＭＤ１の外観を示す図である。図２に示すように、透過型のＨＭＤ１は、カメラ１０、測距カメラ１１、左投影光学系１２ａ、右投影光学系１２ｂ、レンズやスクリーンを含む表示光学系１３、ノーズパッド１４、第一プロセッサ１５、スピーカ１６、マイク１７、左つる１８ａ、右つる１８ｂ、前面フレーム１８ｃ、左視線検出センサ１９ａ、右視線検出センサ１９ｂを含む。左つる１８ａ、右つる１８ｂ、及び前面フレーム１８ｃはフレーム筐体を構成する。

操作者２は、左つる１８ａの開放端（先セル）、右つる１８ｂの開放端（先セル）、及びノーズパッド１４を操作者２に接触させて、ＨＭＤ１を操作者２の顔に装着する。

カメラ１０は、ユーザの視線の前方を撮像する向きで前面フレーム１８ｃに取り付けられる。

測距カメラ１１は、カメラ１０の撮像画像が捉える現実空間の現実物体（例えば被操作機器６）との距離を測定する。測距カメラ１１は、現実物体の輪郭等の特徴点に対してステレオカメラのような方式で距離を算出するものでもよいし、ＴＯＦ（ＴｉｍｅｏｆＦｌｉｇｈｔ）方式のように２次元的に光線を照射して距離を計測するものでもよく、撮像画像に対応して、現実物体との距離を測定できるものであれば良い。測距カメラ１１は、ユーザの視線の前方を撮像する向きで前面フレーム１８ｃにカメラ１０と隣接して取り付けられる。

左投影光学系１２ａ、右投影光学系１２ｂ、及び表示光学系１３は、ＨＭＤ１の表示部を構成する。左投影光学系１２ａは、仮想物体（ＡＲオブジェクト）を左目で確認する左ＡＲ画像として表示光学系１３に投影して表示する。右投影光学系１２ｂは、ＡＲオブジェクトを右目で確認する右ＡＲ画像として表示光学系１３に投影して表示する。

又は、左投影光学系１２ａ、右投影光学系１２ｂ、及び表示光学系１３は、ひとつのプロジェクタでインタリーブした左ＡＲ画像と右ＡＲ画像を投影し、シャッタ光学系で左ＡＲ画像と右ＡＲ画像をそれぞれの目に投影させるものであっても良い。さらには、ホログラフィックレンズを用いた光学系でも良い。

操作者２は、前方の風景や現実物体を、表示光学系１３を透過して視認する。その際に、操作者２は、表示光学系１３に表示された左ＡＲ画像及び右ＡＲ画像を現実世界に重畳して視認する。操作者２は、左ＡＲ画像及び右ＡＲ画像の視差のずれに応じた現実空間の位置に一つのＡＲ画像を虚像として視認するので、結果として、現実世界に重畳して一つのＡＲ画像を視認する。視差のずれは、前述した測距カメラ１１で測定した被操作機器６までの距離に応じたずれ量とすることで、被操作機器６に一つのＡＲ画像を視認させることができる。

図３は、ＨＭＤ１の機能ブロック図である。図３に示すように、第一プロセッサ１５は、特徴抽出処理部５１、距離算出部５２、少なくとも１つ以上のセンサ、例えばジャイロ、方位、位置、接触センサ等を含んで構成されるセンサ群５３、第一通信器（ｒｅｃｅｉｖｅｒａｎｄｔｒａｎｓｍｉｔｔｅｒ）５４、ＣＰＵ５５、ＲＡＭ５６、画像ＲＡＭ５７、ＰｒｏｇｒａｍＦｌａｓｈＲＯＭ（ＦＲＯＭ）５８、及びＤａｔａＦｌａｓｈＲＯＭ（ＦＲＯＭ）５９を含み、各構成要素がバス６０を介して互いに接続されて構成される。特徴抽出処理部５１、距離算出部５２は、ＣＰＵが実行するプログラムとして構成される。

第一通信器５４は、ＨＭＤ１を第一ネットワーク３に通信接続してデータを送受信する。

ＰｒｏｇｒａｍＦＲＯＭ５８は、操作支援アプリ８１を記憶する。操作支援アプリ８１は、ＣＰＵ５５がＲＡＭ５６に展開して、実行する。

ＤａｔａＦＲＯＭ５９は、処理プログラムを実行する過程及び結果で発生するデータを格納することができる。なお、ＰｒｏｇｒａｍＦＲＯＭ５８とＤａｔａＦＲＯＭ５９は、図示したように別々のメモリ媒体で構成しても良いし、ひとつのメモリ媒体で構成しても良い。さらには２つ以上のメモリ媒体であっても良く、ＦｌａｓｈＲＯＭ以外の不揮発性のメモリ媒体であっても良い。

第一プロセッサ１５は、カメラ１０で撮像した現実空間の撮像画像、測距カメラ１１で取得した現実物体などの現実空間の位置データを取り込み、内部のＲＡＭ５６やＣＰＵ５５に供給する。

ＣＰＵ５５は、左投影光学系１２ａ及び右投影光学系１２ｂのそれぞれに送信する画像データを画像ＲＡＭ５７に格納し、画像ＲＡＭ５７から読み出して左投影光学系１２ａ及び右投影光学系１２ｂのそれぞれに出力する。また、ＣＰＵ５５は、スピーカ１６に出力する音を作成する。

第一プロセッサ１５は右つる１８ｂに、スピーカ１６、マイク１７は左つる１８ａに取り付けられる。これらの取付例は一例であり、フレーム１８の他の場所に取り付けられもよい。

図４は、操作支援アプリ８１のフローチャートである。操作者２がＨＭＤ１を装着し、ログインまたは操作支援アプリ８１を起動して操作支援方法の処理が開始する（Ｓ１００）。

ＨＭＤ１のカメラ１０が起動し、被操作機器６を撮像し（Ｓ１０１）、撮像画像を操作支援サーバ４に送信する（Ｓ１０２）。または、操作者２を特定するための操作者情報、例えば操作者２の氏名、ＩＤ情報や、ＨＭＤ１を固有に特定することで間接的に操作者２を特定する情報を送信してもよい。この操作者情報は、図６で後述する操作支援サーバ４の処理において用いられる。

撮像画像は、被操作機器６の状態が認識できる画像であって、さらには被操作機器６を特定できる機種や型番等の情報が含まれることが望ましい。撮像は、撮像画像を操作支援サーバ４に送信する直前タイミングで行っても良いし、例えば３０ｆｐｓ（ｆｒａｍｅｐｅｒｓｅｃｏｎｄ）の動画撮像を継続していて、特定のタイミングで撮像画像を操作支援サーバ４に送信するようにしてもよい。

操作支援サーバ４は、操作者２が操作支援を必要としているか否かを判定する（Ｓ１０３）。判定の基準は、例えば時間を計測し、操作者２が所定の時間を越えても次のステップの操作を開始しない場合、操作支援が必要であると判定してもよい。操作支援サーバ４が操作支援を不要と判定した場合（Ｓ１０３：ＮＯ）、後述するステップＳ１０７へ進む。

操作支援サーバ４が操作支援を必要と判定した場合（Ｓ１０３：ＹＥＳ）、操作支援サーバ４は推奨する操作を示す提案ＡＲ画像をＨＭＤ１に送信する。ＨＭＤ１は提案ＡＲ画像を受信し（Ｓ１０４）、提案ＡＲ画像を表示する（Ｓ１０５）。

操作支援サーバ４は、既にＨＭＤ１に送信した提案ＡＲ画像を再表示する場合、ＨＭＤ１に対して提案ＡＲ画像を送信する代わりに、ＨＭＤ１の画像ＲＡＭ５７、ＰｒｏｇｒａｍＦＲＯＭ５８、又はＤａｔａＦＲＯＭ５９に記憶されている提案ＡＲ画像を読み出して表示するコマンドを送信してもよい。

操作者２が被操作機器６を操作するまでは待機、即ち提案ＡＲ画像の表示を続行する（Ｓ１０６：ＮＯ）。

操作者２が被操作機器６を操作し（Ｓ１０６：ＹＥＳ）、操作が完了してログアウト操作またはアプリ終了操作がされると（Ｓ１０７：ＹＥＳ）、操作支援処理を終了する（Ｓ１０８）。

ログアウト操作及びアプリ終了操作のどちらも実行されない場合は（Ｓ１０７：ＮＯ）、Ｓ１０１に戻り操作支援処理を続行する。

（操作支援システム）
図５は、操作支援システム１００の機能ブロック図である。図５に示すように、操作支援サーバ４は、ネットワークインタフェース（Ｉ／Ｆ）４１０（第二通信器に相当する）と第二プロセッサ４１５とを含む。第二プロセッサ４１５は、ＣＰＵ４２０、ＲＡＭ４３０、内部ストレージ４４０を備え、各構成要素はバス４６０で互いに接続されている。内部ストレージ４４０は、処理プログラムとして、操作支援サービスプログラム４５０を記憶している。ＣＰＵ４２０は、内部ストレージ４４０に格納された操作支援サービスプログラム４５０をＲＡＭ４３０にロードして操作支援サービスを提供する。

操作支援データベース５は、データストレージにより構成され、その記憶領域にマニュアルデータセット５１０、撮像画像データセット５３０、ＡＲ画像データセット５５０を含む。なお、操作支援データベース５は、外部向けインタフェースによって、操作支援サーバ４に直接接続される形態であっても良い。また操作支援データベース５は、操作支援サーバ４を構成する記憶媒体により構成してもよい。この場合、操作支援サーバ４と操作支援データベース５とは一体に構成される。

図６は、操作支援方法のフローチャート（操作支援サーバ４の処理）である。図６に示すように、操作支援方法が開始し（Ｓ１２５）、操作支援サーバ４が、Ｓ１０２でＨＭＤ１から送信された撮像画像、操作者情報を受信する（Ｓ１２６）。操作支援サーバ４は、受信した撮像画像を撮像画像データセット５３０と比較し、類似の撮像画像データがあればグループ化して保存し、類似の撮像画像データがなければ新規に登録して、撮像画像データセット５３０を更新する（Ｓ１２７）。

操作支援サーバ４は、マニュアルデータセット５１０を検索し、撮像画像データに近い図面等が掲載されている推奨操作を選定する（Ｓ１２８）。この時、操作支援サーバ４は、グループ化した撮像画像データで推奨した結果も参照することにより、推奨操作選定の確度を上げられる。もしくは、類似の撮像画像データで推奨した操作を推奨して、処理プロセスの時間を短縮できる。操作支援サーバ４は、この推奨結果を、撮像画像データセット５３０とマニュアルデータセット５１０との関連付けデータとして撮像画像データセット５３０に追記する。

選択された推奨操作ではなく、操作者２の意図に基づく操作を操作者２が行ったような場合には、操作支援サーバ４は、操作者２の選択をマニュアルデータセット５１０に追記して、以降の同様なケースで、短時間で、適切な推奨が行なえるようにする。

操作支援サーバ４は、Ｓ１２６で受信した撮像画像データと、Ｓ１２７で選定した推奨操作からＡＲ画像データセット５５０を検索し、ＨＭＤ１に送信する提案ＡＲ画像を選択する（Ｓ１２９）。この選択結果は、提案ＡＲ画像と関連付ける情報として、マニュアルデータセット５１０に追記する。

もし適切なＡＲ画像が得られない場合には、操作支援サーバ４は、新規にＡＲ画像を生成する。新規にＡＲ画像を生成した場合には、ＡＲ画像データセット５５０に追記する。操作支援サーバ４は、選択もしくは生成した提案ＡＲ画像をＨＭＤ１に送信する（Ｓ１３０）。

操作支援サーバ４は、終了条件を満たしている場合（Ｓ１３１：ＹＥＳ）、例えば操作支援方法を利用している全ての操作者２がログアウトしている場合に、操作支援方法を終了する（Ｓ１３２）。

操作支援サーバ４は、終了条件を満たしていない場合（Ｓ１３１：ＮＯ）、例えば操作支援方法を利用している少なくとも一人以上の操作者２がログインしている場合に、操作支援方法を終了せずに、Ｓ１２６へ戻る。

マニュアルデータセット５１０、撮像画像データセット５３０、ＡＲ画像データセット５５０は、一連の推奨動作の提示、操作者の操作実行によってデータの更新が行なわれる。これにより、それぞれのデータの内容は拡充され、推奨の確度を上げることが可能となる。

（操作支援データベース）
図７は、マニュアルデータセット５１０の例を示す図である。マニュアルデータセット５１０は、ヘッダ５１１及びボディ５１２を含む。

ヘッダ５１１には、被操作機器の型名５１３、データの種類がマニュアルデータ５１４であることが記載されている。

ボディ５１２がマニュアルデータの中身であり、操作毎に、操作の内容、関連図面が記載されている。例えば、操作５１６に対して、操作内容５１７、関連図面５１８、及び関連付けられたＡＲ画像データの番号５１９、意図的にこの操作を選択した操作者２の名前５２０が付随して規定されている。更に、マニュアルデータは、操作５２１に対して、操作内容５２２、関連図面５２３、関連付けられたＡＲ画像データの番号５２４、意図的にこの操作を選択した操作者２の名前５２５（空欄）が付随して規定されている。

図８は、撮像画像データセット５３０の例を示す図である。撮像画像データセット５３０は、ヘッダ５３１及びボディ５３２を含む。

ヘッダ５３１には、被操作機器６の型名５３３、データの種類が撮像画像データ５３４であることが記載されている。更にヘッダ５３１は、被操作機器６の設置場所５３５、被操作機器６の個別識別情報５３６が続く。これらのデータは手動で入力してもよいし、背景画像からネットワーク空間を検索して得てもよいし、操作者２が装着しているＨＭＤ１のＧＰＳ等位置センサから得てもよい。さらに操作者情報５３７が続く。

ボディ５３２が撮像画像データの中身であり、撮像画像データは、撮像日時と画像データに、グループ化情報、関連付けられた操作で一組となる。例えば、５３８、５３９と５４０、５４１で、５４２～５４６で撮像画像データを成す。なお推奨操作を特定する処理は、時間的に連続した複数の撮像画像データを用いてもよい。

図９は、ＡＲ画像データセット５５０の例を示す図である。ＡＲ画像データセット５５０は、ヘッダ５５１及びボディ５５２を含む。

ヘッダ５５１には、被操作機器６の型名５５３、データの種類がＡＲ画像データ５５４であることが記載されている。

ボディ５５２がＡＲ画像データの中身であり、ＡＲ画像データは、ＡＲ画像の識別番号と３次元もしくは２次元のグラフィックもしくは画像データの対である。例えば、５５５と５５６、５５７と５５８、５５９と５６０の対でＡＲ画像データを成す。またＡＲ画像の識別番号（図中の一例では００１－０００－０２５－００１）は、個々のＡＲ画像を区別するためのものである。

図１０Ａは、被操作機器６の外見を撮像した撮像画像を示す図である。図１０Ａに示すように、被操作機器６の撮像画像には、操作パネル６１、表示面６２、操作ボタン６３、型式の銘板６４（機種、型番）が撮像されている。操作支援サーバ４は、撮像画像のうち、銘板６４（機種、型番）の撮像領域を画像解析して、被操作機器６の機種を特定し、被操作機器６に合ったマニュアルデータの選択を行う。

図１０Ｂ～図１０Ｆは、ＨＭＤ１で表示する提案ＡＲ画像の例を示す図である。図１０Ｂ～図１０Ｆに示すように、提案ＡＲ画像は、操作パネル６１上、あるいは近傍に表示される。

図１０Ｂに示す撮像画像には、表示面６２の表示内容６５、例えばエラーメッセージやエラーコードが撮像されている。インジケータが撮像されていれば、そのインジケータの点灯状態からも被操作機器６の状態判定が行える。該表示内容、及び表示内容の履歴は、被操作機器６の状態を特定するのに有用な情報となる。本例では、ＨＭＤ１が８番のボタン以外を覆い隠す提案ＡＲ画像６６を操作パネル６１に重畳表示する。これにより、操作者２に対して、８番のボタンを押す操作が推奨されている。

図１０Ｃは、図１０Ｂと同じ推奨操作が提示される状況で、異なる提案ＡＲ画像６７が表示されている。同一推奨動作を提示する提案ＡＲ画像であっても、操作者２の特性等に合わせて異なる提案ＡＲ画像を提示しても良い。

図１０Ｄは、推奨動作が複数提示される例である。ＡとＢが推奨動作であり、操作者２がいずれかを選択する。操作者２がＡの推奨動作を選択する場合には、１番のボタンを、Ｂの推奨動作を選択する場合には、９番のボタンを押すが、ＡやＢの推奨動作であることを示す提案ＡＲ画像６８、６９をそれぞれのボタン上に重畳表示して、わかりやすさを向上させている。

図１０Ｅは、図１０Ｄと同様に複数の推奨操作が提示される状況で、ＡＲ画像７０、７１が表示されている。提案ＡＲ画像７０、７１は、表示内容６５の内容とボタンを関連付ける矢印である。

図１０Ｆは、ＡＲ画像７２、７３、７４が操作パネル６１の近傍に表示されている例である。ＨＭＤ１の左視線検出センサ１９ａ及び右視線検出センサ１９ｂが操作者２の視線を検知し、操作パネル６１から操作者２の視線が外れているとＨＭＤ１が判断した際に、ＨＭＤ１は提案ＡＲ画像７３を表示する。

あるいは、表示面６２に操作を要求する表示がされているにも関わらず、所定の時間を経過しても操作者２が操作を行わないことを操作支援サーバ４がＨＭＤ１から受信した撮像画像を検出した場合に、操作支援サーバ４から操作を促すための提案ＡＲ画像又は画像を表示させるためのコマンドをＨＭＤ１に対して送信し、ＨＭＤ１に表示してもよい。所定の時間は推奨動作の内容によって、都度変更してもよい。

第一実施形態によれば、被操作機器６と操作支援システム１００とが通信を行うことなく操作支援を操作者２に対して行うことができる。そのため、被操作機器６が通信機能を有しているか否かに問わず、また通信状態の良否に関らず、被操作機器６の操作支援が行える。

また、被操作機器６と操作支援システム１００とは、操作支援をするために通信が不要であるので、操作支援システム１００を利用することが被操作機器６の内部への攻撃リスクになることはない。また、操作支援データベース５は、操作支援システム１００を利用する度に更新されるので、操作方法に対するノウハウの追加やユーザの熟練度向上等に対するシステム改善が可能となり推奨操作の確度を改善していくことが可能となる。

［第二実施形態］
図１１～図１３で、第二実施形態について説明する。本実施形態は、操作者２の行動履歴を操作者履歴データセット５７０として保持し、該操作者履歴データセット５７０を推奨操作の選定に反映させる例である。

図１１は、第二実施形態に係る操作支援システム１００ａの機能ブロック図である。図５で説明した操作支援システム１００と同一の機能を有するブロックには同一の番号を付与しており、重複した説明は省く。本操作支援システム１００ａの操作支援データベース５には、操作者履歴データセット５７０が追加されている。

図１２は、操作支援方法のフローチャートである。Ｓ１２５で開始する。Ｓ１２５～Ｓ１２７、Ｓ１２９～Ｓ１３２のステップは、図６で説明した操作支援方法のフローチャートと同一であり、重複する説明は省く。

図１２の操作支援方法のフローチャートで、Ｓ１５０では、マニュアルデータに加えて操作者履歴データセット５７０を用いて、推奨操作を選定している。さらにＳ１５１では、操作者２の実行動作を撮像画像から抽出し、操作者履歴データセット５７０に追記している。

図１３は、操作者履歴データセット５７０の例を示す図である。操作者履歴データセット５７０は、ヘッダ５７１とボディ５７２がある。

ヘッダ５７１には、被操作機器６の型名５７３、データの種類が操作者履歴データ５７４であることが記載されている。操作者情報として操作者名５７５、操作者の経験年数５７６、操作者のスキルポイント５７７が続く。

ボディ５３２が操作者履歴データの中身である。操作者履歴データは、操作者２の実行動作と結果の対である。例えば、５７８～５８１の実行動作と５８２の結果で一組の履歴であり、同様、５８３～５８６の実行動作と５８７の結果で組の履歴データとなる。

以上説明したように、第二実施形態によれば、第一実施形態と同様の効果を持つとともに、操作者履歴データが推奨操作の決定に反映されることにより、操作者２の意図した選択によるものや好みによるもの等を反映して、推奨動作を決定することができ、さらに確度の高い推奨動作を提示できる。

［第三実施形態］
図１４と図１５を参照して、第三実施形態について説明する。本実施形態は、操作者２の熟練度を考慮した操作支援システム１００ｂである。

図１４は、第三実施形態に係る操作支援システム１００ｂの構成を示す図である。図１で説明した操作支援システム１００ｂと同一の機能を有するブロックには同一の番号を付与しており、重複した説明は省く。

操作支援システム１００ｂの第一ネットワーク３には、上位操作者９が繋がっている。上位操作者９は、操作者２が初心者等の熟練度の低い操作者である場合に、直接操作指示を与える。

図１５は、第三実施形態に係る操作支援方法のフローチャートである。Ｓ１２５で開始する。Ｓ１２５～Ｓ１２７、Ｓ１２９～Ｓ１３２、Ｓ１５０、Ｓ１５１のステップは、図６、あるいは図１２で説明した操作支援方法のフローチャートと同一であり、重複する説明は省く。

本操作支援方法のフローチャートにおいて、Ｓ１２６で受信する操作者情報には、図１３のスキルポイント５７７（熟練度の判定に必要な情報に相当する）が含まれる。Ｓ１７０では、スキルポイント５７７で操作者２の熟練度を評価し、上位操作者９が必要かを判断する。なお、スキルポイント５７７による熟練度の評価値は、被操作機器や操作内容によって変化させてもよい。

操作者２が熟練者である場合は（Ｓ１７０：高い）、Ｓ１２７～Ｓ１３１に至るフローにて、操作支援サービスが提供される。該操作フローは、図１２で示したフローと同一である。

操作者２が初心者や熟練度が低い等の場合では（Ｓ１７０：低い）、Ｓ１７１以降のフローとなる。Ｓ１７１では、上位操作者９が操作者２の状況確認のために、操作者２から送信される撮像画像を確認する。Ｓ１７２では、受信した撮像画像を撮像画像データセット５３０と比較し、撮像画像データセット５３０を更新する。さらにＳ１７３では、マニュアルデータセット５１０と操作者履歴データセット５７０を検索して、上位操作者９が推奨操作を選定する。このとき上位操作者９は、複数の推奨操作候補から推奨操作を選択するようにしても良い。

Ｓ１７４では、撮像画像データ、推奨操作からＡＲ画像データセット５５０を検索し、好適なＡＲ画像を選ぶ。好適なＡＲ画像がない場合は、新規に生成しても良い。このときも、検索して得るＡＲ画像は複数でも良い。Ｓ１７５で、上位操作者９は、提案ＡＲ画像が適切かを確認し、Ｓ１７６で操作者２に送信する。このとき、音声による補助指示を行っても良い。

Ｓ１７７では、操作者２は送られてきた推奨操作を解釈し、受け入れられるものであれば（Ｓ１７７：ＹＥＳ）、操作を実行しＳ１５１に移行する。更なる支援を必要と考えた場合（Ｓ１７７：ＮＯ）には、再度Ｓ１７１から繰り返し、行なうべき操作への理解を深める。この結果、操作者２の熟練度は向上する。上記の変形例として、例えば、熟練度が高いと判断し（Ｓ１７０：高い）、Ｓ１２７以降のフローを進めていたが、途中で操作者が「上位操作者のサポートが必要」と判断してＨＭＤ１から上位操作者のサポート要求を入力すると、Ｓ１２７からＳ１３０までのいずれのステップにあるかを問わず、Ｓ１２１へ遷移して、上位操作者からの提案ＡＲ画像をＨＭＤ１が受信して表示するように構成してもよい。ＨＭＤ１からのサポート要求の入力は、例えばマイク１７からの音声入力でもよい。

以上説明したように、第三実施形態によれば、第一実施形態と同様の効果を持つとともに、操作者２の熟練度に応じた、きめ細かな操作支援サービスが提供できる。

以上、図１から図１５で説明した本発明の実施形態が、これらに限られるものではなく、ある実施形態の構成の一部を他の実施形態に置き換えることが可能である。また、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果を損なうものでない。

例えば、提案ＡＲ画像をＨＭＤ１の表示光学系１３（ディスプレイ）に表示した後、カメラ１０が被操作機器６に対して実行された動作を撮像した検証撮像画像を生成し、ＨＭＤ１から操作支援サーバ４に検証撮像画像を送信する。操作支援サーバ４は、提案ＡＲ画像を入力パラメータ、検証撮像画像に基づく情報を出力パラメータとして、マニュアルデータセットの内容を機械学習してもよい。この機械学習エンジンは、強化学習でもよいし、ディープラーニングでもよい。これにより、マニュアルデータセット自体を機械学習してＨＭＤ１の操作者の要求にさらに合致した提案ＡＲ画像を選択できるようにしてもよい。また、マニュアルデータセット自体ではなく、マニュアルデータセットから提案ＡＲ画像を選択する機能（操作支援サービス４５０）を機械学習させ、提案ＡＲ画像の選択がより正しく行われるように構成してもよい。この場合も、上記と同様の入力パラメータ、出力パラメータを用い、強化学習、ディープラーニング他、任意の機械学習エンジンを用いてもよい。

また、発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実装しても良い。また、マイクロプロセッサユニット、ＣＰＵ等が動作プログラムを解釈して実行することによりソフトウェアで実装しても良い。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用しても良い。

１：ＨＭＤ
２：操作者
３：第一ネットワーク
４：操作支援サーバ
５：操作支援データベース
６：被操作機器
７：第二ネットワーク
８：機器制御サーバ
９：上位操作者
１０：カメラ
１１：測距カメラ
１２ａ：左投影光学系
１２ｂ：右投影光学系
１３：表示光学系
１４：ノーズパッド
１５：第一プロセッサ
１６：スピーカ
１７：マイク
１８：フレーム
１８ａ：左つる
１８ｂ：右つる
１８ｃ：前面フレーム
１９ａ：左視線検出センサ
１９ｂ：右視線検出センサ
５１：特徴抽出処理部
５２：距離算出部
５３：センサ群
５４：第一通信器
５５：ＣＰＵ
５６：ＲＡＭ
５７：画像ＲＡＭ
６０：バス
６１：操作パネル
６２：表示面
６３：操作ボタン
６４：銘板
６５：表示内容
６６、６７、７３：提案ＡＲ画像
８１：操作支援アプリ
１００、１００ａ、１００ｂ：操作支援システム
２００：機器制御システム
４１５：第二プロセッサ
４２０：ＣＰＵ
４３０：ＲＡＭ
４４０：内部ストレージ
４５０：操作支援サービスプログラム
４６０：バス
５１０：マニュアルデータセット
５１１：ヘッダ
５１２：ボディ
５１３：型名
５１４：マニュアルデータ
５３０：撮像画像データセット
５５０：ＡＲ画像データセット
５７０：操作者履歴データセット

本発明は、操作支援方法に関する。

上記課題を解決するために、本発明は、ヘッドマウントディスプレイから被操作機器の操作支援を行う操作支援方法であって、前記ヘッドマウントディスプレイは、前記被操作機器に対して実行された第一操作を撮像して第一操作画像として取得する第一操作画像取得ステップと、前記第一操作画像をサーバに送信し、前記サーバから前記被操作機器の操作支援情報に基づく提案仮想画像を受信する第一操作画像送受信ステップと、前記提案仮想画像をディスプレイに表示する提案画像表示ステップと、前記提案仮想画像を前記ディスプレイに表示した後に前記被操作機器に対して実行された第三操作を撮像して第三操作画像として取得し、前記第三操作画像を前記サーバに送信する第三操作画像送信ステップと、を実行し、前記サーバは、前記ヘッドマウントディスプレイから前記第一操作画像を受信する第一操作画像受信ステップと、前記第一操作画像に基づいて、前記被操作機器に対して推奨される第二操作に関する前記提案仮想画像をデータベースから選択する提案画像選択ステップと、前記選択した提案仮想画像を前記ヘッドマウントディスプレイに送信する提案仮想画像送信ステップと、前記ヘッドマウントディスプレイから前記第三操作画像を受信する第三操作画像受信ステップと、前記第二操作と前記第三操作が異なる操作である場合に、前記第三操作に関する情報を記憶することにより前記データベースを更新するデータベース更新ステップと、を実行する、ことを特徴とする。

Claims

ヘッドマウントディスプレイと操作支援サーバとを通信接続して構成された操作支援システムであって、
前記ヘッドマウントディスプレイは、
操作支援の対象となる被操作機器を撮像し撮像画像を出力するカメラと、
前記撮像画像を前記操作支援サーバに送信し、当該操作支援サーバから前記被操作機器の操作支援情報を含む提案仮想画像を受信する第一通信器と、
前記提案仮想画像を表示するディスプレイと、
前記カメラ、前記第一通信器、及び前記ディスプレイのそれぞれに接続され、前記カメラ、前記第一通信器、及び前記ディスプレイのそれぞれの動作を制御する第一プロセッサと、
を備え、
前記操作支援サーバは、
前記撮像画像を前記ヘッドマウントディスプレイから受信し、当該ヘッドマウントディスプレイに前記提案仮想画像を送信する第二通信器と、
前記第二通信器に接続され、当該第二通信器の動作を制御する第二プロセッサと、を備え、
前記第二プロセッサは、
前記撮像画像に基づいて前記被操作機器の動作状態を判定し、
前記被操作機器の操作支援情報を示す仮想画像を少なくとも一つ以上含む仮想画像データセットから、前記判定した動作状態に対応する少なくとも一つ以上の仮想画像を前記提案仮想画像として選択し、
前記提案仮想画像を前記第二通信器から前記ヘッドマウントディスプレイに対して送信する制御を行う、
ことを特徴とする操作支援システム。
請求項１に記載の操作支援システムにおいて、
前記被操作機器と前記ヘッドマウントディスプレイとは、直接的又は間接的に通信接続されておらず、
前記第二プロセッサは、前記被操作機器との間で情報の送受信をすることなく前記提案仮想画像の選択を行い、
前記第一プロセッサは、前記被操作機器との間で情報の送受信をすることなく前記提案仮想画像の表示を行う、
ことを特徴とする操作支援システム。
請求項１に記載の操作支援システムであって、
前記操作支援サーバは、前記仮想画像データセットと、前記被操作機器に推奨される操作内容情報を含むマニュアルデータセットと、を記憶する操作支援データベースに接続され、
前記マニュアルデータセットは、前記操作内容情報と前記仮想画像データセットに含まれる前記仮想画像とを対応づけて構成され、
前記第二プロセッサは、前記判定した動作状態に対応する前記操作内容情報を前記マニュアルデータセットから選択し、当該操作内容情報に対応付けられた前記仮想画像を前記仮想画像データセットから前記提案仮想画像として選択する、
ことを特徴とする操作支援システム。
請求項３に記載の操作支援システムであって、
前記第一プロセッサが、前記提案仮想画像を前記ディスプレイに表示した後、前記カメラは、前記被操作機器に対して実行された動作を撮像した検証撮像画像を前記操作支援サーバに送信し、
前記操作支援サーバは、前記提案仮想画像に沿った動作が行われなかった場合には、前記提案仮想画像の選択に用いられた前記撮像画像と、前記検証撮像画像に撮像された前記被操作機器に対する操作内容と、を基に前記マニュアルデータセットの内容を更新する、
ことを特徴とする操作支援システム。
請求項４に記載の操作支援システムであって、
前記操作支援サーバは、前記提案仮想画像を入力パラメータとし、前記検証撮像画像を出力パラメータとして、前記マニュアルデータセットの内容を機械学習する、
ことを特徴とする操作支援システム。
請求項４に記載の操作支援システムであって、
前記マニュアルデータセットは、前記被操作機器の操作者の実行動作を記録した履歴データを含む、
ことを特徴とする操作支援システム。
請求項３に記載の操作支援システムであって、
前記第一プロセッサは、前記被操作機器の操作者の熟練度判定に必要な情報を前記操作支援サーバに送信し、
前記第二プロセッサは、受信した前記熟練度判定に必要な情報を基に、前記提案仮想画像を選択する処理を異ならせる、
ことを特徴とする操作支援システム。
請求項１に記載の操作支援システムであって、
前記提案仮想画像は、前記被操作機器の操作パネルのうち、前記被操作機器の動作状態の判定結果に基づいて推奨される操作において使用しない操作ボタンを隠す、又は当該使用しない操作ボタンの視認性を低下させる画像である、
ことを特徴とする操作支援システム。
ヘッドマウントディスプレイと操作支援サーバとを通信接続して実行される操作支援方法であって、
前記ヘッドマウントディスプレイが、操作支援の対象となる被操作機器を撮像し、撮像画像を前記操作支援サーバに送信するステップと、
前記操作支援サーバが、
前記撮像画像に基づいて前記被操作機器の動作状態を判定し、
前記被操作機器の操作支援情報を示す仮想画像を少なくとも一つ以上含む仮想画像データセットから、前記判定した動作状態に対応する少なくとも一つ以上の仮想画像を提案仮想画像として選択し、前記ヘッドマウントディスプレイに対して送信するステップと、
前記ヘッドマウントディスプレイが、前記提案仮想画像を表示するステップと、
を含むことを特徴とする操作支援方法。