JP6259962B1 - 遠隔作業支援システム、遠隔作業支援方法およびプログラム - Google Patents

Abstract

【課題】ユーザ端末で撮像された画像を、遠隔作業支援のためにユーザ端末と遠隔作業指示端末とで画面共有する際に、IDまたはパスワードが見えなくなるように画像を加工して遠隔作業指示端末に表示する。【解決手段】ユーザ端末で撮像された画像を、遠隔作業支援のために当該ユーザ端末と遠隔作業指示端末とで画面共有する遠隔作業支援システムであって、前記画像にIDまたはパスワードが映っているかどうかを検出する検出手段と、前記映っていると検出された場合に、前記IDまたはパスワードが見えなくなるように前記画像を加工する加工手段と、前記加工された加工画像を、前記遠隔作業指示端末に表示する表示手段と、前記表示された加工画像に対する遠隔作業指示を、前記遠隔作業指示端末から受け付ける受付手段と、を備える遠隔作業支援システムを提供する。【選択図】図１

Description

本発明は、ユーザ端末で撮像された画像を、遠隔作業支援のためにユーザ端末と遠隔作業指示端末とで画面共有する遠隔作業支援システム、遠隔作業支援方法およびプログラムに関する。

近年、労働者の不足などが問題となっている。その１つの解決策として、ベテランの作業員が、遠隔地にいる新人の作業員に対して遠隔作業指示を出せる遠隔作業支援システムがある。例えば、複数の携帯端末の間で、正しく座標調整がなされた映像及びポインタ情報を共有することができ、指示者が直感的な指示を行い、作業者が目視により作業指示を的確に認識することができるようにする遠隔作業支援システムが提供されている（特許文献１）。

特開２０１４−１９７７４５号公報

しかしながら、特許文献１のシステムでは、秘密情報が映っていても画面共有されてしまう問題がある。

本発明は、上記課題に鑑み、ユーザ端末で撮像された画像を、遠隔作業支援のためにユーザ端末と遠隔作業指示端末とで画面共有する際に、IDまたはパスワードが見えなくなるように画像を加工して遠隔作業指示端末に表示する遠隔作業支援システム、遠隔作業支援方法およびプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、ユーザ端末で撮像された画像を、遠隔作業支援のために当該ユーザ端末と遠隔作業指示端末とで画面共有する遠隔作業支援システムであって、前記画像にIDまたはパスワードが映っているかどうかを検出する検出手段と、前記映っていると検出された場合に、前記IDまたはパスワードが見えなくなるように前記画像を加工する加工手段と、前記加工された加工画像を、前記遠隔作業指示端末に表示する表示手段と、前記表示された加工画像に対する遠隔作業指示を、前記遠隔作業指示端末から受け付ける受付手段と、を備える遠隔作業支援システムを提供する。

第１の特徴に係る発明は、ユーザ端末で撮像された画像を、遠隔作業支援のために当該ユーザ端末と遠隔作業指示端末とで画面共有する遠隔作業支援方法であって、前記画像にIDまたはパスワードが映っているかどうかを検出する検出ステップと、前記映っていると検出された場合に、前記IDまたはパスワードが見えなくなるように前記画像を加工する加工ステップと、前記加工された加工画像を、前記遠隔作業指示端末に表示する表示ステップと、前記表示された加工画像に対する遠隔作業指示を、前記遠隔作業指示端末から受け付ける受付ステップと、を備える遠隔作業支援方法を提供する。

第１の特徴に係る発明は、コンピュータに、ユーザ端末で撮像された画像を、遠隔作業支援のために当該ユーザ端末と遠隔作業指示端末とで画面共有させるためのプログラムであって、前記画像にIDまたはパスワードが映っているかどうかを検出する検出ステップと、前記映っていると検出された場合に、前記IDまたはパスワードが見えなくなるように前記画像を加工する加工ステップと、前記加工された加工画像を、前記遠隔作業指示端末に表示する表示ステップと、前記表示された加工画像に対する遠隔作業指示を、前記遠隔作業指示端末から受け付ける受付ステップと、をさせるためのプログラムを提供する。

本発明によれば、ユーザ端末で撮像された画像を、遠隔作業支援のためにユーザ端末と遠隔作業指示端末とで画面共有した際に、IDまたはパスワードが映り込んでしまったとしても、遠隔作業指示端末にはIDまたはパスワードを見えなくなるように表示できる。

図１は、遠隔作業指示端末にIDまたはパスワードを見えなくなるように表示した一例である。

以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

本発明の遠隔作業支援システムは、ユーザ端末と遠隔作業指示端末とで画面共有する画像にIDまたはパスワードが映っている場合には、IDまたはパスワードが見えなくなるように画像を加工して遠隔作業指示端末に表示するシステムである。ユーザとは、遠隔作業を指示する遠隔作業指示者から遠隔作業指示を受ける者である。ユーザ端末とは、少なくともカメラなどの撮像手段を備えている端末である。画像とは、動画でも静止画でもよい。

本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である遠隔作業指示端末にIDまたはパスワードを見えなくなるように表示した一例である。

遠隔作業支援システムは、制御部が所定のプログラムを読み込むことで実現される、検出手段と、加工手段と、表示手段と、受付手段と、を備える。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。

検出手段は、ユーザ端末で撮像された画像を、遠隔作業支援のためにユーザ端末と遠隔作業指示端末とで画面共有する際に、画像にIDまたはパスワードが映っているかどうかを検出する。OCR（光学文字認識：Optical character recognition）を用いて前記画像にIDまたはパスワードが映っているかどうかを検出してもよい。また、過去に検出されたIDまたはパスワードを教師データとして機械学習を行い、画像にIDまたはパスワードが映っているかどうか検出してもよい。機械学習を行うことで検出の精度が向上する。

加工手段は、映っていると検出された場合に、IDまたはパスワードが見えなくなるように画像を加工する。加工とは、例えば、モザイク処理や、黒塗り、スタンプで隠す、などである。

加工手段は、映っていると検出された場合に、画像におけるIDまたはパスワードが映っている位置を特定して、IDまたはパスワードが見えなくなるように、その位置に相当する部分の画像のみを加工してもよい。つまり、IDまたはパスワードの部分だけが見えなくなって、それ以外の部分は見えるので、画像全体を見えなくするよりは遠隔作業指示を出しやすくなる。IDまたはパスワードの部分以外は見えるので状況の把握が出来るので遠隔作業指示を出しやすい。例えば、図１のように、IDまたはパスワードの部分だけが見えなくなる。または、IDまたはパスワードという文字列を同時に見えなくさせてもよい。

加工手段は、映っていると検出された場合に、画像におけるIDまたはパスワードが映っている位置を特定せずに、そのIDまたはパスワードが見えなくなるように画像全体を加工してもよい。つまり、画像全体が見えなくなるので、IDまたはパスワードの部分だけを見えなくするよりは、部分的な加工の不具合が起きた場合でもセキュリティを担保できる。IDまたはパスワードが映っている位置の特定にミスがあったとしても、画像全体が見えなければ情報漏洩の防止になる。

表示手段は、加工された加工画像を遠隔作業指示端末に表示する。加工画像が加工されている画像であることを表示してもよい。加工画像が加工されている画像であることを表示することで、遠隔作業指示端末を使用する遠隔作業指示者は、表示された画像が加工された加工画像であるということを認識できる。認識することで遠隔作業指示を出しやすくなる。また、図１のようにユーザ端末と遠隔作業指示端末との画面の縦横比が異なる場合には、ユーザ端末で撮像された画像の縦横比を保つように、遠隔作業端末に表示させてもよい（図１の遠隔作業端末にある破線で囲まれた部分がそれに相当する）。

受付手段は、表示された加工画像に対する遠隔作業指示を、遠隔作業指示端末から受け付ける。遠隔作業指示者は、ユーザに対する遠隔作業指示を、遠隔作業指示端末からユーザ端末に向けて入力することができる。遠隔指示とは、例えば、作業対象の機械がどれであるかを伝えるために画像に赤ペンで丸を書いて表示させたり、正しい撮像方向を伝えるために立方体の矢印アイコンを表示させたり、作業項目がどのぐらい終わったかを伝えるためにリストを適宜変更して表示させたり、など遠隔から行う作業に必要な指示のことをいう。

受付手段は、表示された加工画像のうち、IDまたはパスワードが見えなくなるように加工された部分以外に対する遠隔作業指示を受け付け、IDまたはパスワードが見えなくなるように加工された部分に対する遠隔作業指示は受け付けない。IDまたはパスワードが見えなくなるように加工された部分に対する遠隔作業指示は受け付けないことで、IDまたはパスワードが見えるように変更するような遠隔指示を出せてしまうなどの問題が起きなくなる。つまり、IDまたはパスワードが見えなくなるように加工された部分に対して、不干渉にすることでセキュリティを担保する。

検出手段は、画像にIDまたはパスワードという文字列が映っているかどうかを検出し、加工手段は、映っていると検出された場合に、文字列の近傍の文字列が見えなくなるように画像を加工してもよい。一般的に、IDまたはパスワードの管理において、IDまたはパスワードという、そのものの文字列の上下左右のいずれか近傍に、決定されたIDまたはパスワードが映っていることが多い。これを利用して、IDまたはパスワードという文字列の近傍の文字列が見えなくなるように画像を加工することで、図１のようにIDまたはパスワードが見えなくなる。また、同時にIDまたはパスワードという文字列も見えなくなるように加工してもよい。同時に見えなくすることで、遠隔作業指示者は見えなくなった部分がIDまたはパスワードであるという推測を出来にくくできる。

[動作の説明]
次に、遠隔作業支援方法について説明する。ユーザ端末と遠隔作業指示端末とで画面共有する画像にIDまたはパスワードが映っている場合には、IDまたはパスワードが見えなくなるように画像を加工して遠隔作業指示端末に表示する方法である。

遠隔作業支援方法は、検出ステップと、加工ステップと、表示ステップと、受付ステップと、を少なくとも備える。

検出ステップでは、上述の検出手段が、ユーザ端末で撮像された画像を、遠隔作業支援のためにユーザ端末と遠隔作業指示端末とで画面共有する際に、画像にIDまたはパスワードが映っているかどうかを検出する。OCR（光学文字認識：Optical character recognition）を用いて前記画像にIDまたはパスワードが映っているかどうかを検出してもよい。また、過去に検出されたIDまたはパスワードを教師データとして機械学習を行い、画像にIDまたはパスワードが映っているかどうか検出してもよい。機械学習を行うことで検出の精度が向上する。

加工ステップでは、上述の加工手段が、映っていると検出された場合に、IDまたはパスワードが見えなくなるように画像を加工する。ここでの加工とは、例えば、モザイク処理や、黒塗り、スタンプで隠す、などである。

加工ステップでは、上述の加工手段が、映っていると検出された場合に、画像におけるIDまたはパスワードが映っている位置を特定して、IDまたはパスワードが見えなくなるように、その位置に相当する部分の画像のみを加工してもよい（マスキング処理）。つまり、IDまたはパスワードの部分だけが見えなくなって、それ以外の部分は見えるので、画像全体を見えなくするよりは遠隔作業指示を出しやすくなる。IDまたはパスワードの部分以外は見えるので状況の把握が出来るので遠隔作業指示を出しやすい。例えば、図１のように、IDまたはパスワードの部分だけが見えなくなる。または、IDまたはパスワードという文字列を同時に見えなくさせてもよい。

加工ステップでは、上述の加工手段が、映っていると検出された場合に、画像におけるIDまたはパスワードが映っている位置を特定せずに、そのIDまたはパスワードが見えなくなるように画像全体を加工（マスキング処理）してもよい。つまり、画像全体が見えなくなるので、IDまたはパスワードの部分だけを見えなくするよりは、部分的な加工の不具合が起きた場合でもセキュリティを担保できる。IDまたはパスワードが映っている位置の特定にミスがあったとしても、画像全体が見えなければ情報漏洩の防止になる。

表示ステップでは、上述の表示手段が、加工された加工画像を遠隔作業指示端末に表示する。加工画像が加工されている画像であることを表示してもよい。加工画像が加工されている画像であることを表示することで、遠隔作業指示端末を使用する遠隔作業指示者は、表示された画像が加工された加工画像であるということを認識できる。認識することで遠隔作業指示を出しやすくなる。また、図１のようにユーザ端末と遠隔作業指示端末との画面の縦横比が異なる場合には、ユーザ端末で撮像された画像の縦横比を保つように、遠隔作業端末に表示させてもよい（図１の遠隔作業端末にある破線で囲まれた部分がそれに相当する）。

受付ステップでは、上述の受付手段が、表示された加工画像に対する遠隔作業指示を、遠隔作業指示端末から受け付ける。遠隔作業指示者は、ユーザに対する遠隔作業指示を、遠隔作業指示端末からユーザ端末に向けて入力することができる。遠隔指示とは、例えば、作業対象の機械がどれであるかを伝えるために画像に赤ペンで丸を書いて表示させたり、正しい撮像方向を伝えるために立方体の矢印アイコンを表示させたり、作業項目がどのぐらい終わったかを伝えるためにリストを適宜変更して表示させたり、など遠隔から行う作業に必要な指示のことをいう。

受付ステップでは、受付手段が、表示された加工画像のうち、IDまたはパスワードが見えなくなるように加工された部分以外に対する遠隔作業指示を受け付け、IDまたはパスワードが見えなくなるように加工された部分に対する遠隔作業指示は受け付けない。IDまたはパスワードが見えなくなるように加工された部分に対する遠隔作業指示は受け付けないことで、IDまたはパスワードが見えるように変更するような遠隔指示を出せてしまうなどの問題が起きなくなる。つまり、IDまたはパスワードが見えなくなるように加工された部分に対して、不干渉にすることでセキュリティを担保する。

検出ステップでは、上述の検出手段が、画像にIDまたはパスワードという文字列が映っているかどうかを検出し、ここで、映っていると検出された場合に、加工手段が、文字列の近傍の文字列が見えなくなるように画像を加工してもよい。一般的に、IDまたはパスワードの管理において、IDまたはパスワードという、そのものの文字列の上下左右のいずれか近傍に、決定されたIDまたはパスワードが映っていることが多い。これを利用して、IDまたはパスワードという文字列の近傍の文字列が見えなくなるように画像を加工することで、図１のようにIDまたはパスワードが見えなくなる。また、同時にIDまたはパスワードという文字列も見えなくなるように加工してもよい。同時に見えなくすることで、遠隔作業指示者は見えなくなった部分がIDまたはパスワードであるという推測を出来にくくできる。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

Claims (9)

1. ユーザ端末で撮像された画像を、遠隔作業支援のために当該ユーザ端末と遠隔作業指示端末とで画面共有する遠隔作業支援システムであって、
   前記画像にＩＤまたはパスワードが映っているかどうかを検出する検出手段と、
   前記映っていると検出された場合に、前記ＩＤまたはパスワードが見えなくなるように前記画像を加工する加工手段と、
   前記加工された加工画像を、前記遠隔作業指示端末に表示する表示手段と、
   前記表示された加工画像のうち、前記ＩＤまたはパスワードが見えなくなるように加工された部分以外に対する遠隔作業指示を、前記遠隔作業指示端末から受け付け、前記ＩＤまたはパスワードが見えなくなるように加工された部分に対する遠隔作業指示は受け付けない受付手段と、
   を備える遠隔作業支援システム。
2. 前記検出手段は、ＯＣＲを用いて前記画像にＩＤまたはパスワードが映っているかどうかを検出する請求項１に記載の遠隔作業支援システム。
3. 前記検出手段は、過去に検出されたＩＤまたはパスワードを教師データとして機械学習を行い、前記画像にＩＤまたはパスワードが映っているかどうか検出する請求項１に記載の遠隔作業支援システム。
4. 前記加工手段は、前記映っていると検出された場合に、前記画像における前記ＩＤまたはパスワードが映っている位置を特定して、当該ＩＤまたはパスワードが見えなくなるように、当該位置に相当する部分の画像のみを加工する請求項１に記載の遠隔作業支援システム。
5. 前記加工手段は、前記映っていると検出された場合に、前記画像における前記ＩＤまたはパスワードが映っている位置を特定せずに、当該ＩＤまたはパスワードが見えなくなるように画像全体を加工する請求項１に記載の遠隔作業支援システム。
6. 前記表示手段は、前記加工画像が加工されている画像であることを表示する請求項１に記載の遠隔作業支援システム。
7. 前記検出手段は、前記画像にＩＤまたはパスワードという文字列が映っているかどうかを検出し、
   前記加工手段は、前記映っていると検出された場合に、前記文字列の近傍の文字列が見えなくなるように前記画像を加工する請求項１に記載の遠隔作業支援システム。
8. ユーザ端末で撮像された画像を、遠隔作業支援のために当該ユーザ端末と遠隔作業指示端末とで画面共有する遠隔作業支援システムが実行する遠隔作業支援方法であって、
   前記画像にＩＤまたはパスワードが映っているかどうかを検出する検出ステップと、
   前記映っていると検出された場合に、前記ＩＤまたはパスワードが見えなくなるように前記画像を加工する加工ステップと、
   前記加工された加工画像を、前記遠隔作業指示端末に表示する表示ステップと、
   前記表示された加工画像のうち、前記ＩＤまたはパスワードが見えなくなるように加工された部分以外に対する遠隔作業指示を、前記遠隔作業指示端末から受け付け、前記ＩＤまたはパスワードが見えなくなるように加工された部分に対する遠隔作業指示は受け付けない受付ステップと、
   を備える遠隔作業支援方法。
9. ユーザ端末で撮像された画像を、遠隔作業支援のために当該ユーザ端末と遠隔作業指示端末とで画面共有する遠隔作業支援システムに、
   前記画像にＩＤまたはパスワードが映っているかどうかを検出する検出ステップ、
   前記映っていると検出された場合に、前記ＩＤまたはパスワードが見えなくなるように前記画像を加工する加工ステップ、
   前記加工された加工画像を、前記遠隔作業指示端末に表示する表示ステップ、
   前記表示された加工画像のうち、前記ＩＤまたはパスワードが見えなくなるように加工された部分以外に対する遠隔作業指示を、前記遠隔作業指示端末から受け付け、前記ＩＤまたはパスワードが見えなくなるように加工された部分に対する遠隔作業指示は受け付けない受付ステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images