JP6764151B2 - コンピュータシステム、遠隔操作通知方法及びプログラム - Google Patents

Description

本発明は、指示端末と被指示端末との間で、画面を共有するコンピュータシステム、遠隔操作通知方法及びプログラムに関する。

近年、遠隔作業の指示を受ける被指示者が有する被指示端末と、遠隔作業の指示を与える指示者が有する指示端末とで、画面共有を行うことが知られている。このとき、指示を受ける対象を撮像し、指示内容を、この対象に重畳させて表示する、いわゆる拡張現実で指示を行うことが知られている。

このような拡張現実による指示を受ける際、撮像した現実世界の中に、遠隔操作が可能なＩｏＴ機器を視認している場合がある。この場合に、このＩｏＴ機器から、指示者又は被指示者であるユーザが、遠隔操作できることが望ましい。

このような拡張現実を表示する構成として、被指示者が装備するウェアラブル端末に、指示者からの指示内容を表示するものが開示されている（特許文献１参照）。

特開２０１６−１８１７５１号公報

しかしながら、特許文献１の構成では、表示する画面内に、遠隔操作可能なＩｏＴ機器が含まれているか否か、指示内容の対象が遠隔操作可能なＩｏＴ機器であるか否かを判断することが困難であった。

本発明は、遠隔作業支援に際して、ユーザ（指示者又は被指示者の何れか又は双方）が遠隔操作可能なＩｏＴ機器を表示することが可能なコンピュータシステム、遠隔操作通知方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、ＩｏＴ機器を撮像した画像を取得する取得手段と、
遠隔操作可能な前記ＩｏＴ機器を、複数方向から撮像した画像を記憶する記憶手段と、
記憶した複数方向の画像に基づいて、取得した前記画像と比較した画像認識で、どの方向から撮像されたものであるかを判断し、当該判断の結果と、取得した前記画像とから、当該画像を視認しているユーザが遠隔操作可能な前記ＩｏＴ機器を判断する判断手段と、
遠隔操作可能と判断された前記ＩｏＴ機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示する第１通知手段と、
遠隔操作可能な前記ＩｏＴ機器がないと判断し、前記撮影画像を撮影した地点の近隣に他の遠隔操作可能なＩｏＴ機器がある場合、当該他の遠隔操作可能なＩｏＴ機器が存在する方向を拡張現実で表示する第２通知手段と、
を備えることを特徴とするコンピュータシステムを提供する。

本発明によれば、コンピュータシステムは、遠隔操作可能な前記ＩｏＴ機器を、複数方向から撮像した画像を記憶し、記憶した複数方向の画像に基づいて、取得した前記画像と比較した画像認識で、どの方向から撮像されたものであるかを判断し、当該判断の結果と、取得した前記画像とから、当該画像を視認しているユーザが遠隔操作可能な前記ＩｏＴ機器を判断し、遠隔操作可能と判断された前記ＩｏＴ機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示し、遠隔操作可能な前記ＩｏＴ機器がないと判断し、前記撮影画像を撮影した地点の近隣に他の遠隔操作可能なＩｏＴ機器がある場合、当該他の遠隔操作可能なＩｏＴ機器が存在する方向を拡張現実で表示する。

本発明は、コンピュータシステムのカテゴリであるが、遠隔操作通知方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

本発明によれば、遠隔作業支援に際して、ユーザが遠隔操作可能なＩｏＴ機器を表示することが可能なコンピュータシステム、遠隔操作通知方法及びプログラムを提供することが可能となる。

図１は、遠隔操作通知システム１の概要を示す図である。 図２は、遠隔操作通知システム１の全体構成図である。 図３は、コンピュータ１０、指示端末１００、被指示端末２００の機能ブロック図である。 図４は、コンピュータ１０、被指示端末２００が実行する機器画像データ記憶処理を示すフローチャートである。 図５は、コンピュータ１０、指示端末１００、被指示端末２００が実行する遠隔操作通知処理を示すフローチャートである。 図６は、、コンピュータ１０、指示端末１００、被指示端末２００が実行する遠隔操作通知処理を示すフローチャートである。 図７は、コンピュータ１０、被指示端末２００が実行する機器画像データ記憶処理の変形例を示すフローチャートである。 図８は、コンピュータ１０、指示端末１００、被指示端末２００が実行する遠隔操作通知処理の変形例を示すフローチャートである。 図９は、、コンピュータ１０、指示端末１００、被指示端末２００が実行する遠隔操作通知処理の変形例を示すフローチャートである。 図１０は、指示端末１００が表示する拡張現実の一例を示す図である。 図１１は、被指示端末２００が表示する拡張現実の一例を示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも一例であって、本発明の技術的範囲はこれらに限られるものではない。

［遠隔操作通知システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である遠隔操作通知システム１の概要を説明するための図である。遠隔操作通知システム１は、コンピュータ１０、指示端末１００、被指示端末２００から構成され、指示端末１００と被指示端末２００とが、コンピュータ１０を介して画面共有を実行するコンピュータシステムである。

なお、図１において、コンピュータ１０、指示端末１００、被指示端末２００の数は、適宜変更可能である。また、コンピュータ１０、指示端末１００、被指示端末２００は、実在する装置に限らず、仮想的な装置であってもよい。また、後述する各処理は、コンピュータ１０、指示端末１００、被指示端末２００のいずれか又は複数の組み合わせにより実現されてもよい。また、コンピュータ１０を介さず、指示端末１００と被指示端末２００とによりコンピュータシステム１が構成されてもよい。この場合、コンピュータ１０が実行する各処理を、指示端末１００又は被指示端末２００の何れか又は双方が実行すればよい。

コンピュータ１０は、指示端末１００、被指示端末２００とデータ通信可能に接続されたコンピュータ装置である。

指示端末１００は、コンピュータ１０とデータ通信可能に接続された端末装置である。指示端末１００は、遠隔作業支援に際して、指示を与える側のユーザである指示者が保有する端末装置である。指示端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。

被指示端末２００は、コンピュータ１０とデータ通信可能に接続された端末装置である。被指示端末２００は、遠隔作業支援に際して、指示を受ける側のユーザである被指示者が保有する端末装置である。被指示端末２００は、上述した指示端末１００と同様の電化製品や、ウェアラブル端末や、その他の物品である。

はじめに、指示端末１００又は被指示端末２００の何れか又は双方は、遠隔操作可能なＩｏＴ機器の機器画像データをコンピュータ１０に送信する（ステップＳ０１）。指示端末１００又は被指示端末２００は、遠隔操作可能なＩｏＴ機器を所定の一の方向又は複数の方向から撮像した機器画像と、このＩｏＴ機器の識別子（名称、型式、ＩＰアドレス、ＭＡＣアドレス等）とを合わせた機器画像データをコンピュータ１０に送信する。このとき機器画像は、予め撮像した機器画像であってもよいし、今回新たに撮像した機器画像であってもよい。

コンピュータ１０は、機器画像データを受信する。コンピュータ１０は、受信した機器画像データを記憶する（ステップＳ０２）。

指示端末１００と被指示端末２００とは、画面共有を実行する（ステップＳ０３）。被指示端末２００は、自身が表示する所定のウインドウや所定の画面領域の一部又は全部を、指示端末１００と画面共有する。このとき画面共有するものは、被指示端末２００が表示する撮像画像である。画面共有において、被指示端末２００は、自身が表示する対象となる画面データを、コンピュータ１０を介して、指示端末１００に送信することにより、画面共有が行われる。

被指示端末２００は、撮像した画像を撮像画像データとしてコンピュータ１０に送信する（ステップＳ０４）。被指示端末２００は、遠隔作業支援に必要な場所や物品を撮像し、これを撮像画像データとしてコンピュータ１０に送信する。この撮像画像には、ＩｏＴ機器等が写り込んでいる。被指示端末２００が送信する撮像画像データは、これまでに撮像していた撮像画像であってもよいし、今回撮像した撮像画像であってもよい。

コンピュータ１０は、撮像画像データを受信する。コンピュータ１０は、撮像画像データを受信することにより、ＩｏＴ機器を撮像した撮像画像を取得する。コンピュータ１０は、取得した撮像画像から、この撮像画像を視認しているユーザが遠隔操作可能なＩｏＴ機器を判断する（ステップＳ０５）。コンピュータ１０は、予め記憶した機器画像データに基づいて、取得した撮像画像と比較した画像認識で、遠隔操作可能なＩｏＴ機器が写り込んでいるか否かを判断する。

例えば、コンピュータ１０は、機器画像データを画像認識することにより、特徴量や特徴点を抽出する。コンピュータ１０は、撮像画像データを画像認識することにより、特徴量や特徴点を抽出する。コンピュータ１０は、抽出した其々の特徴量や特徴点を比較することにより、同一の特徴量や特徴点を有するか否かを判断し、有すると判断した場合、このＩｏＴ機器が遠隔操作可能であると判断し、有しないと判断した場合、このＩｏＴ機器が遠隔操作可能ではないと判断する。

コンピュータ１０は、遠隔操作可能と判断されたＩｏＴ機器が撮像されている撮像画像の位置に、遠隔操作が可能であることを拡張現実で表示させる遠隔操作可能通知を指示端末１００に送信する（ステップＳ０６）。

指示端末１００は、遠隔操作可能通知を受信する。指示端末１００は、この遠隔操作可能通知に基づいて、遠隔操作可能と判断されたＩｏＴ機器が撮像されている撮像画像の位置に、遠隔操作が可能であることを拡張現実で表示する（ステップＳ０７）。指示端末１００は、拡張現実として、ＩｏＴ機器の画像を囲む枠を表示する。指示端末１００は、表示された枠に対して、入力操作を受け付け、入力に応じて、ＩｏＴ機器を遠隔操作するログイン画面（ＩＤ、パスワード等の入力画面）を表示する。指示端末１００は、このＩｏＴ機器にログイン後、このＩｏＴ機器を遠隔操作することが可能となる。

以上が、遠隔操作通知システム１の概要である。

［遠隔操作通知システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態である遠隔操作通知システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である遠隔操作通知システム１のシステム構成を示す図である。遠隔操作通知システム１は、コンピュータ１０、指示端末１００、被指示端末２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成され、指示端末１００と被指示端末２００とが、コンピュータ１０を介して画面共有を実行するコンピュータシステムである。

なお、遠隔操作通知システム１を構成する各装置類の数及びその種類は、適宜変更可能である。また、遠隔操作通知システム１は、実在する装置に限らず、仮想的な装置類により実現されてもよい。また、後述する各処理は、遠隔操作通知システム１を構成する各装置類のいずれか又は複数の組み合わせにより実現されてもよい。また、遠隔操作通知システム１は、指示端末１００と被指示端末２００とにより構成されていてもよい。この場合、コンピュータ１０が実行する処理を、指示端末１００又は被指示端末２００の何れか又は双方が実行すればよい。

コンピュータ１０は、後述の機能を備えた上述したコンピュータ装置である。

指示端末１００は、後述の機能を備えた上述した端末装置である。

被指示端末２００は、後述の機能を備えた上述した端末装置である。

［各機能の説明］
図３に基づいて、本発明の好適な実施形態である遠隔操作通知システム１の機能について説明する。図３は、コンピュータ１０、指示端末１００、被指示端末２００の機能ブロック図を示す図である。

コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部１４として、各種計算、処理等を実行する各種デバイス等を備える。

コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、データ送受信モジュール２０、遠隔通知送信モジュール２１を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、画像判断モジュール４０、座標特定モジュール４１、通知作成モジュール４２、位置情報判断モジュール４３を実現する。

指示端末１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイスを備える。また、指示端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、ユーザからの入力を受け付けるタッチパネルやキーボード、マウス等の入力部や、ＩｏＴ機器を撮像する撮像デバイス等の各種デバイスを備える。

指示端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、遠隔通知受信モジュール１５０、データ送受信モジュール１５１を実現する。また、指示端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、表示モジュール１７０、入力受付モジュール１７１を実現する。

被指示端末２００は、指示端末１００と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイスを備え、入出力部２４０として、表示部や、入力部や、撮像デバイス等の各種デバイスを備える。

被指示端末２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ送受信モジュール２５０、位置情報取得モジュール２５１、遠隔通知受信モジュール２５２を実現する。また、被指示端末２００において、制御部２１０が所定のプログラムを読み込むことにより、入出力部２４０と協働して、撮像モジュール２７０、表示モジュール２７１を実現する。

［機器画像データ記憶処理］
図４に基づいて、遠隔操作通知システム１が実行する機器画像データ記憶処理について説明する。図４は、コンピュータ１０、被指示端末２００が実行する機器画像データ記憶処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

なお、本処理は、コンピュータ１０、指示端末１００が実行することが可能である。この場合、後述する被指示端末２００が実行する各処理を、指示端末１００が実行すればよいため、詳細は省略する。また、本処理は、指示端末１００、被指示端末２００が実行することが可能である。この場合、後述するコンピュータ１０が実行する各処理を、指示端末１００又は被指示端末２００の何れか又は双方が実行すればよいため、詳細は省略する。

初めに、データ送受信モジュール２５０は、遠隔操作可能なＩｏＴ機器の画像及びこのＩｏＴ機器の識別子（名称、型式、ＩＰアドレス、ＭＡＣアドレス等）を機器画像データとしてコンピュータ１０に送信する（ステップＳ１０）。ステップＳ１０において、データ送受信モジュール２５０が送信するＩｏＴ機器の画像は、今回撮像モジュール２７０が撮像したＩｏＴ機器の画像や、これまでに撮像モジュール２７０により撮像した画像や、外部データベースやウェブサイト等から取得した画像である。また、ＩｏＴ機器の画像は、一の方向又は複数の方向から撮像した画像である。データ送受信モジュール２５０は、一の方向から撮像した画像である場合、一の方向から撮像した一の画像及び識別子を機器画像データとして送信する。データ送受信モジュール２５０は、複数の方向から撮像した画像である場合、各方向から撮像した複数枚の画像及び識別子を機器画像データとして送信する。

データ送受信モジュール２０は、機器画像データを受信する。記憶モジュール３０は、受信した機器画像データを記憶する（ステップＳ１１）。ステップＳ１１において、記憶モジュール３０は、ＩｏＴ機器の画像と、識別子とを対応付けて記憶する。

以上が、機器画像データ記憶処理である。遠隔操作通知システム１は、コンピュータ１０が記憶する機器画像データを、後述する処理に使用する。

［遠隔操作通知処理］
図５及び図６に基づいて、遠隔操作通知システム１が実行する隔操作通知処理について説明する。図５及び図６は、コンピュータ１０、指示端末１００、被指示端末２００が実行する遠隔操作通知処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

なお、本処理は、指示端末１００、被指示端末２００が実行することが可能である。この場合、後述するコンピュータ１０が実行する各処理を、指示端末１００又は被指示端末２００の何れか又は双方が実行すればよい。

はじめに、撮像モジュール２７０は、ＩｏＴ機器を撮像する（ステップ２０）。ステップＳ２０において、撮像モジュール２７０は、ユーザが作業支援を所望する状況においてＩｏＴ機器を撮像するため、画像内に一又は複数のＩｏＴ機器やその他の電子機器等が写り込んでいる。

表示モジュール２７１は、撮像モジュール２７０が撮像した画像である撮像画像を表示する（ステップＳ２１）。ステップＳ２１において、表示モジュール２７１は、今回撮像モジュール２７０が撮像した撮像画像を表示してもよいし、以前に撮像モジュール２７０が撮像した撮像画像を表示してもよい。

コンピュータ１０、指示端末１００及び被指示端末２００は、被指示端末２００が表示する撮像画像を画面共有する（ステップＳ２２）。ステップＳ２２において、被指示端末２００が撮像画像を表示するウインドウや撮像画像を表示する画面領域の画面を、コンピュータ１０を介して指示端末１００と画面共有する。

被指示端末２００は、ウインドウに表示した画面の画面データを、コンピュータ１０に送信する。コンピュータ１０は、この画面データを受信し、指示端末１００に送信する。指示端末１００は、この画面データを受信し、自身に表示する。

データ送受信モジュール２５０は、上述したステップＳ２１の処理により表示した撮像画像を、撮像画像データとして、コンピュータ１０に送信する（ステップＳ２３）。なお、ステップＳ２３の処理は、上述した画面共有と同時に実行されてもよい。

データ送受信モジュール２０は、撮像画像データを受信する。コンピュータ１０は、撮像画像データを受信することにより、ＩｏＴ機器を撮像した画像を取得する。

画像判断モジュール４０は、取得した撮像画像を画像解析する（ステップＳ２４）。ステップＳ２４において、画像判断モジュール４０は、撮像画像の特徴量や特徴点を抽出する。例えば、画像判断モジュール４０は、撮像画像に含まれている物体の形状、色等を抽出する。また、画像判断モジュール４０は、撮像画像に含まれる画素値の平均、分散、ヒストグラム等の統計的な値を抽出する。

画像判断モジュール４０は、記憶モジュール３０が記憶する機器画像を画像解析する（ステップＳ２５）。ステップＳ２５において、画像判断モジュール４０は、機器画像の特徴量や特徴点を抽出する。画像判断モジュール４０は、機器画像の特徴量や特徴点を、上述したステップＳ２４の処理と同様に抽出する。このとき、画像判断モジュール４０は、機器画像が一の方向から撮像されたものである場合、一枚の画像から特徴量や特徴点を抽出する。また、画像判断モジュール４０は、機器画像が複数の方向から撮像されたものである場合、各方向の機器画像から特徴量や特徴点を抽出する。

画像判断モジュール４０は、撮像画像から抽出した特徴量や特徴点と、機器画像から抽出した特徴量や特徴点とを比較することにより、撮像画像を視認しているユーザが遠隔操作可能なＩｏＴ機器の有無を判断する（ステップＳ２６）。ステップＳ２６において、画像判断モジュール４０は、機器画像から抽出した特徴量や特徴点が、撮像画像から抽出した特徴量や特徴点と一致するか否かを判断することにより、撮像画像中に、遠隔操作可能なＩｏＴ機器が写り込んでいるか否かを判断する。画像判断モジュール４０は、一致すると判断した場合、この撮像画像に遠隔操作可能なＩｏＴ機器が写り込んでいる又は写り込んでいる電子器機器又は物体が遠隔操作可能であると判断する。一方、画像判断モジュール４０は、一致しないと判断した場合、この撮像画像に遠隔操作可能なＩｏＴ機器が写り込んでいない又は写り込んでいる電子機器や物体が遠隔操作可能ではないと判断する。画像判断モジュール４０は、遠隔操作可能であると判断したＩｏＴ機器に対応付けられた識別子を取得する。画像判断モジュール４０は、一の方向から撮像された機器画像から抽出した特徴量や特徴点と、取得した撮像画像から抽出した特徴量や特徴点とを比較する。また、画像判断モジュール４０は、複数の方向から撮像された機器画像の各方向の機器画像から抽出した特徴量や特徴点と、取得した撮像画像から抽出した特徴量や特徴点とを比較する。画像判断モジュール４０は、比較した結果から、複数の方向のうち、どの方向から撮像されたものであるかを判断することも可能である。

ステップＳ２６において、画像判断モジュール４０は、遠隔操作可能なＩｏＴ機器が無いと判断した場合（ステップＳ２６ ＮＯ）、本処理を終了する。

一方、ステップＳ２６において、画像判断モジュール４０は、遠隔操作可能なＩｏＴ機器が有ると判断した場合（ステップＳ２６ ＹＥＳ）、座標特定モジュール４１は、このＩｏＴ機器の撮像画像における座標を特定する（ステップＳ２７）。ステップＳ２７において、座標特定モジュール４１は、このＩｏＴ機器の撮像画像における座標を、例えば、直行座標系として特定する。このとき、座標特定モジュール４１は、このＩｏＴ機器の中心の座標を特定する。

通知作成モジュール４２は、特定した座標及び画像解析の結果に基づいて、このＩｏＴ機器を囲う枠を作成する（ステップＳ２８）。ステップＳ２８において、通知作成モジュール４２は、特定した座標に存在するＩｏＴ機器から抽出した形状や色変化に従って、このＩｏＴ機器を囲う枠を作成する。この枠は、例えば、矩形、円形である。通知作成モジュール４２は、矩形の枠を作成する場合、各頂点の撮像画像における座標を特定することにより、枠を作成する。また、通知作成モジュール４２は、円形の枠を作成する場合、特定したＩｏＴ機器の中心の座標及び半径の長さを特定することにより、枠を作成する。通知作成モジュール４２は、以下の説明において、矩形の枠を作成したものとして説明する。

遠隔通知送信モジュール２１は、作成した枠を、遠隔操作が可能であることを示す遠隔操作可能通知として指示端末１００に送信する（ステップＳ２９）。ステップＳ２９において、遠隔操作可能通知とは、指示端末１００に、遠隔操作可能と判断されたＩｏＴ機器が撮像されている撮像画像の位置に、遠隔操作が可能であることを拡張現実として表示させる通知である。この遠隔操作可能通知には、このＩｏＴ機器の識別子が含まれる。

遠隔通知受信モジュール１５０は、遠隔操作可能通知を受信する。表示モジュール１７０は、この遠隔操作可能通知に基づいて、画面共有している撮像画像における遠隔操作可能なＩｏＴ機器の位置に拡張現実を表示する（ステップＳ３０）。ステップＳ３０において、表示モジュール１７０は、拡張現実として、このＩｏＴ機器の画像を囲む枠を表示する。この枠は、上述した矩形の枠である。表示モジュール１７０は、各頂点の座標に基づいて、撮像画像におけるＩｏＴ機器の画像に対して、このＩｏＴ機器を囲む枠を重畳表示する。

図１０に基づいて、表示モジュール１７０が表示する拡張現実について説明する。図１０は、表示モジュール１７０が表示する拡張現実の一例を示す図である。図１０において、表示モジュール１７０は、共有画面３００に、拡張現実である囲み枠３１０を表示する。この囲み枠３１０は、共有画面３００に表示する撮像画像に写り込んでいる第一のＩｏＴ機器３２０、第二のＩｏＴ機器３３０の其々に対して重畳される。表示モジュール１７０は、この囲み枠３１０の内部に、ＩｏＴ機器の識別子及び遠隔操作可能である旨を表示する。囲み枠３１０の内部に表示する識別子及び遠隔操作可能である旨を表示する際、第一のＩｏＴ機器３２０及び第二のＩｏＴ機器３３０がユーザから判別可能である状態で表示する。図においては、この表示の背景を半透明にすることにより、この状態を表している。

入力受付モジュール１７１は、表示モジュール１７０が表示した枠に対して、入力操作を受け付けたか否かを判断する（ステップＳ３１）。ステップＳ３１において、入力受付モジュール１７１は、囲み枠３１０への入力操作を受け付けたか否かを判断する。例えば、入力受付モジュール１７１は、囲み枠３１０の内部へのタップ操作、囲み枠３１０内に表示した内容へのタップ操作、囲み枠３１０の枠線へのタップ操作、音声入力、ジェスチャー入力等の入力操作を受け付けたか否かを判断する。ステップＳ３１において、入力受付モジュール１７１は、入力操作を受け付けていないと判断した場合（ステップＳ３１ ＮＯ）、本処理を繰り返す。なお、入力受付モジュール１７１は、画面共有の終了の入力操作や、所定の時間以上入力操作を受け付けなかった場合、本処理を終了してもよい。

一方、ステップＳ３１において、入力受付モジュール１７１は、入力操作を受け付けたと判断した場合（ステップＳ３１ ＹＥＳ）、表示モジュール１７０は、このＩｏＴ機器を遠隔操作するために必要な画面を表示する（ステップＳ３２）。ステップＳ３２において、表示モジュール１７０は、このＩｏＴ機器を遠隔操作するために必要な画面として、例えば、ログイン画面を表示する。表示モジュール１７０は、ログイン画面として、ＩＤ及びパスワードの入力を受け付ける画面を表示する。表示モジュール１７０は、ログイン画面を、このＩｏＴ機器に重畳させた拡張現実として表示する。

なお、表示モジュール１７０は、ログイン画面を、共有画面の任意の場所に表示してもよい。また、表示モジュール１７０は、ログイン画面を、共有画面の外部に表示してもよい。

データ送受信モジュール１５１は、入力を受け付けたＩＤ及びパスワードをログインデータとして、第一のＩｏＴ機器３２０に送信する（ステップＳ３３）。指示端末１００は、第一のＩｏＴ機器３２０にログインすることにより、これを遠隔操作する。このとき、データ送受信モジュール１５１は、ログインデータを、コンピュータ１０に送信し、コンピュータ１０を介して、第一のＩｏＴ機器３２０に送信してもよい。

なお、遠隔操作通知システム１は、指示端末１００が表示する拡張現実を、被指示端末２００に表示させてもよい。この場合、遠隔操作通知システム１は、遠隔操作可能通知を、被指示端末２００に送信し、被指示端末２００がこの遠隔操作可能通知に基づいて、拡張現実を表示すればよい。

以上が、遠隔操作通知処理である。

［変形例］
上述した遠隔操作通知システム１が実行する機器画像データ記憶処理及び遠隔操作通知処理の変形例について説明する。以下の説明において、上述した構成と同様の構成については、同一の符号を付し、その詳細な説明は省略する。

［機器画像データ記憶処理］
図７に基づいて、遠隔操作通知システム１が実行する機器画像データ記憶処理の変形例について説明する。図７は、コンピュータ１０、被指示端末２００が実行する機器画像データ記憶処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

なお、本処理は、上述した機器画像データ記憶処理と同様に、コンピュータ１０、指示端末１００が実行することが可能である。この場合、後述する被指示端末２００が実行する各処理を、指示端末１００が実行すればよいため、詳細は省略する。また、本処理は、上述した機器画像データ記憶処理と同様に、指示端末１００、被指示端末２０が実行することが可能である。この場合、後述するコンピュータ１０が実行する各処理を、指示端末１００又は被指示端末２００の何れか又は双方が実行すればよいため、詳細は省略する。

初めに、データ送受信モジュール２５０は、遠隔操作可能なＩｏＴ機器の画像、このＩｏＴ機器の識別子及びこのＩｏＴ機器の位置情報を機器画像データとしてコンピュータ１０に送信する（ステップＳ４０）。ステップＳ４０において、データ送受信モジュール２５０が送信するＩｏＴ機器の画像は、上述したステップＳ１０における画像と同様である。ＩｏＴ機器の位置情報は、例えば、撮像地点における自身の位置情報や、ＩｏＴ機器の位置情報を取得したものである。

データ送受信モジュール２０は、機器画像データを受信する。記憶モジュール３０は、受信した機器画像データを記憶する（ステップＳ４１）。ステップＳ４１において、記憶モジュール３０は、ＩｏＴ機器の画像と、識別子と、位置情報とを対応付けて記憶する。

以上が、機器画像データ記憶処理の変形例である。遠隔操作通知システム１は、コンピュータ１０が記憶する機器画像データを、後述する処理に使用する。

［遠隔操作通知処理］
図８及び図９に基づいて、遠隔操作通知システム１が実行する隔操作通知処理の変形例について説明する。図８及び図９は、コンピュータ１０、指示端末１００、被指示端末２００が実行する隔操作通知処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

遠隔操作通知システム１は、上述した遠隔操作通知処理におけるステップＳ２０〜Ｓ２２の処理を実行する（ステップＳ５０〜Ｓ５２）。各処理の詳細は、省略する。

位置情報取得モジュール２５１は、自身の位置情報をＧＰＳ等から取得する（ステップＳ５３）。なお、ステップＳ５３の処理は、上述したステップＳ５０の処理と同様のタイミングで実行されてもよい。また、ステップＳ５１の処理により表示した撮像画像が、今回撮像したものではない場合、以前に撮像画像を撮像したタイミングで、自身の位置情報をＧＰＳ等から取得しておけばよい。

データ送受信モジュール２５０は、上述したステップＳ５０の処理により撮像した撮像画像及び上述したステップＳ５３の処理により取得した自身の位置情報を、撮像画像データとして、コンピュータ１０に送信する（ステップＳ５４）。なお、ステップＳ５４の処理は、上述した画面共有と同時に実行されてもよい。

データ送受信モジュール２０は、撮像画像データを受信する。コンピュータ１０は、撮像画像データを受信することにより、ＩｏＴ機器を撮像した画像及びＩｏＴ機器を撮像した地点の位置情報を取得する。

遠隔操作通知システム１は、上述したステップＳ２４〜Ｓ２６の処理を実行する（ステップＳ５５〜Ｓ５７）。各処理の詳細は、省略する。

ステップＳ５７において、画像判断モジュール４０は、遠隔操作可能なＩｏＴ機器が有ると判断した場合（ステップＳ５７ ＹＥＳ）、上述した遠隔操作通知処理におけるステップＳ２７以降の処理を実行する。なお、本処理においては、説明の簡略化のために、記載を省略し、処理を終了するものとして説明する。

一方、ステップＳ５７において、画像判断モジュール４０は、遠隔操作可能なＩｏＴ機器が無いと判断した場合（ステップＳ５７ ＮＯ）、位置情報判断モジュール４３は、撮像画像データの位置情報と、機器画像データの位置情報とに基づいて、被指示端末２００の周辺の位置に遠隔操作可能なＩｏＴ機器が存在するか否かを判断する（ステップＳ５８）。ステップＳ５８において、位置情報判断モジュール４３は、機器画像データの位置情報のうち、撮像画像データの位置情報の近隣の位置情報を有するＩｏＴ機器を特定できたか否かを判断する。近隣の位置情報とは、例えば、同じ部屋内と思われる位置情報、半径数ｍ以内の位置情報である。位置情報判断モジュール４３は、記憶モジュール３０が記憶する位置情報のうち、この条件に合致する位置情報に対応付けられたＩｏＴ機器の有無を判断することにより、被指示端末２００の周辺の位置に遠隔操作可能なＩｏＴ機器が存在するか否かを判断する。

ステップＳ５８において、位置情報判断モジュール４３は、存在しないと判断した場合（ステップＳ５８ ＮＯ）、本処理を終了する。

一方、ステップＳ５８において、位置情報判断モジュール４３は、存在すると判断した場合（ステップＳ５８ ＹＥＳ）、位置情報判断モジュール４３は、撮像画像データにおける位置情報と、機器画像データの位置情報とに基づいて、遠隔操作可能なＩｏＴ機器が位置する方向を特定する（ステップＳ５９）。ステップＳ５９において、位置情報判断モジュール４３は、被携帯端末２００を中心として、どの方向（例えば右、右後方、左、左後方）に、遠隔操作可能なＩｏＴ機器が存在するかを特定する。

通知作成モジュール４２は、特定した方向に基づいて、遠隔操作可能なＩｏＴ機器が存在する方向を示す矢印を作成する（ステップＳ６０）。ステップＳ６０において、通知作成モジュール４２は、このＩｏＴ機器が、撮像画像に対して、どの方向に存在するのかを示す矢印を作成する。この矢印は、例えば、ＩｏＴ機器が撮像画像から見て左後方側に存在する場合、撮像画像の左下に作成され、ＩｏＴ機器が撮像画像から見て右側に存在する場合、撮像画像の右に作成される。通知作成モジュール４２は、以下の説明において、撮像画像の左後方側及び右側に作成したものとして説明する。

遠隔通知送信モジュール２１は、作成した矢印を、遠隔操作が可能なＩｏＴ機器がその方向に存在することを示す遠隔操作可能通知として、被指示端末２００に送信する（ステップＳ６１）。ステップＳ６１において、遠隔操作可能通知とは、遠隔操作可能と判断されたＩｏＴ機器が存在する方向を、撮像画像に拡張現実として表示させる通知である。この遠隔操作可能通知には、ＩｏＴ機器の識別子が含まれる。

遠隔通知受信モジュール２５２は、遠隔操作可能通知を受信する。表示モジュール２７１は、この遠隔操作可能通知に基づいて、画面共有している撮像画像に対して、遠隔操作可能なＩｏＴ機器が存在する方向を拡張現実として表示する（ステップＳ６２）。ステップＳ６２において、表示モジュール２７１は、拡張現実として、このＩｏＴ機器が存在する場所の方向を示す矢印を表示する。表示モジュール２７１は、撮像画像に対して、矢印を重畳表示する。

図１１に基づいて、表示モジュール２７１が表示する拡張現実について説明する。図１１は、表示モジュール２７１が表示する拡張現実の一例を示す図である。図１１において、表示モジュール２７１は、共有画面５００に、拡張現実である第一の矢印５１０、第二の矢印５２０を表示する。この第一の矢印５１０及び第二の矢印５２０の内部に、ＩｏＴ機器が存在する方向を示す旨を表示する。第一の矢印５１０及び第二の矢印５２０は、遠隔操作可能なＩｏＴ機器が存在する場所の方向を其々示すものである。これらは、同一のＩｏＴ機器を指していてもよいし、異なるＩｏＴ機器を指していてもよい。

ユーザは、この拡張現実を視認することにより、前回撮像した方向とは異なる方向に被指示端末２００を移動させ、撮像画像を撮像する。遠隔操作通知システム１は、再度、上述したステップＳ５０〜Ｓ５７の処理を実行し、遠隔操作可能なＩｏＴ機器が有ると判断した場合、上述した遠隔操作通知処理におけるステップＳ２７以降の処理を実行する。なお、本処理においては、説明の簡略化のために、記載を省略し、処理を終了する。

なお、遠隔操作通知システム１は、被指示端末２００が表示する拡張現実を、指示端末１００に表示させてもよい。この場合、遠隔操作通知システム１は、遠隔操作可能通知を、指示端末１００に送信し、指示端末１００がこの遠隔操作可能通知に基づいて、拡張現実を表示すればよい。

以上が、遠隔操作通知処理の変形例である。

なお、遠隔操作通知システム１は、上述した各処理を組み合わせて実行してもよい。例えば、機器画像データ及び撮像画像データに位置情報が含まれる場合、指示端末１００に、囲み枠３１０を拡張現実として表示するとともに、被指示端末２００に、第一の矢印５１０及び第二の矢印５２０を拡張現実として表示してもよい。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ 遠隔操作通知システム、１０ コンピュータ、１００ 指示端末、２００ 被指示端末

Claims (4)

1. ＩｏＴ機器を撮像した画像を取得する取得手段と、
   遠隔操作可能な前記ＩｏＴ機器を、複数方向から撮像した画像を記憶する記憶手段と、
   記憶した複数方向の画像に基づいて、取得した前記画像と比較した画像認識で、どの方向から撮像されたものであるかを判断し、当該判断の結果と、取得した前記画像とから、当該画像を視認しているユーザが遠隔操作可能な前記ＩｏＴ機器を判断する判断手段と、
   遠隔操作可能と判断された前記ＩｏＴ機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示する第１通知手段と、
   遠隔操作可能な前記ＩｏＴ機器がないと判断し、前記撮影画像を撮影した地点の近隣に他の遠隔操作可能なＩｏＴ機器がある場合、当該他の遠隔操作可能なＩｏＴ機器が存在する方向を拡張現実で表示する第２通知手段と、
   を備えることを特徴とするコンピュータシステム。
2. 前記通知手段は、遠隔操作が可能であることを拡張現実として、前記ＩｏＴ機器の画像を囲む枠を表示し、
   表示された枠に対して、入力操作を受け付け、入力に応じて、前記ＩｏＴ機器を遠隔操作するログイン画面を表示する表示手段と、
   を備えることを特徴とする請求項１に記載のコンピュータシステム。
3. コンピュータシステムが実行する遠隔操作通知方法であって、
   ＩｏＴ機器を撮像した画像を取得するステップと、
   遠隔操作可能な前記ＩｏＴ機器を、複数方向から撮像した画像を記憶するステップと、
   記憶した複数方向の画像に基づいて、取得した前記画像と比較した画像認識で、どの方向から撮像されたものであるかを判断し、当該判断の結果と、取得した前記画像とから、当該画像を視認しているユーザが遠隔操作可能な前記ＩｏＴ機器を判断するステップと、
   遠隔操作可能と判断された前記ＩｏＴ機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示するステップと、
   遠隔操作可能な前記ＩｏＴ機器がないと判断し、前記撮影画像を撮影した地点の近隣に他の遠隔操作可能なＩｏＴ機器がある場合、当該他の遠隔操作可能なＩｏＴ機器が存在する方向を拡張現実で表示するステップと、
   を備えることを特徴とする遠隔操作通知方法。
4. コンピュータシステムに、
   ＩｏＴ機器を撮像した画像を取得するステップ、
   遠隔操作可能な前記ＩｏＴ機器を、複数方向から撮像した画像を記憶するステップ、
   記憶した複数方向の画像に基づいて、取得した前記画像と比較した画像認識で、どの方向から撮像されたものであるかを判断し、当該判断の結果と、取得した前記画像とから、当該画像を視認しているユーザが遠隔操作可能な前記ＩｏＴ機器を判断するステップ、
   遠隔操作可能と判断された前記ＩｏＴ機器が撮像されている前記画像の位置に、遠隔操作が可能であることを拡張現実で表示するステップ、
   遠隔操作可能な前記ＩｏＴ機器がないと判断し、前記撮影画像を撮影した地点の近隣に他の遠隔操作可能なＩｏＴ機器がある場合、当該他の遠隔操作可能なＩｏＴ機器が存在する方向を拡張現実で表示するステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images