JP7278847B2 - 遠隔操作システム、遠隔操作端末、遠隔操作プログラム - Google Patents

Description

本発明の実施形態は、遠隔操作システム、遠隔操作端末、遠隔操作プログラムに関する。

従来、家電機器等を操作するユーザの利便性を向上させるため、１台で複数の機器を操作することができる遠隔操作端末（いわゆるリモコン装置）が開発されている。しかしながら、従来の遠隔操作端末では、意図しない機器が操作される場合や、遠隔操作端末と操作対象の機器（以下「対象機器」という。）との間で特殊なやり取りを必要とする場合があるなど、対象機器を必ずしも操作性良く操作することができない場合があった。

特開平１０－３３６７６９号公報 特開２００１－１４２８２５号公報

本発明が解決しようとする課題は、１台で複数の対象機器の操作を可能にする遠隔操作端末の操作性を向上させることができる遠隔操作システム、遠隔操作端末、遠隔操作プログラムを提供することである。

実施形態の遠隔操作システムは、遠隔操作端末により少なくとも１つの機器を遠隔操作する遠隔操作システムであって、空間領域の種別を示す領域種別と所定の機器を一意に示す機器ＩＤとを対応付けて管理する管理部と、所定の空間領域における環境情報を取得する取得部と、前記取得された環境情報に基づいて、事前に取得された環境情報を用いた機械学習により生成された学習モデルによって領域種別を推定する推定部と、前記推定された領域種別と対応付けられた機器ＩＤにより示される機器を遠隔操作するためのユーザインタフェースを前記遠隔操作端末において提示する提示部とを備える。

第１の実施形態に係る遠隔操作システムの構成を示す概略図である。 第１の実施形態に係る遠隔操作端末のハードウェア構成を示すブロック図である。 第１の実施形態に係る推定装置のハードウェア構成を示すブロック図である。 第１の実施形態に係る遠隔操作端末の機能構成を示すブロック図である。 第１の実施形態に係る推定装置の機能構成を示すブロック図である。 第１の実施形態に係る領域登録処理の動作を示すフローチャートである。 第１の実施形態に係る領域登録画面を示す図である。 第１の実施形態に係る機器登録処理の動作を示すフローチャートである。 第１の実施形態に係る領域選択画面を示す図である。 第１の実施形態に係る機器登録画面を示す図である。 第１の実施形態に係る機器登録画面において機器リストが表示される状態を示す図である。 第１の実施形態に係る機器選択画面を示す図である。 第１の実施形態に係る機器操作画面を示す図である。 第２の実施形態に係る機器の機能構成を示す図である。 第２の実施形態に係る登録処理の動作を示すフローチャートである。 第３の実施形態に係る学習処理の動作を示すフローチャートである。 第４の実施形態に係る操作画面表示処理の動作を示すフローチャートである。 第４の実施形態に係る機器選択画面を示す図である。 第５の実施形態に係る機器登録処理の動作を示すフローチャートである。 第５の実施形態に係る機器登録画面を示す図である。 第５の実施形態に係る機器登録画面において機器リストが表示される状態を示す図である。

以下、本発明の実施形態について図面を参照しつつ説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。

＜第１の実施形態＞
（全体構成）
本実施形態に係る遠隔操作システムの全体構成について説明する。図１は、遠隔操作システムの構成を示す概略図である。

図１に示すように、本実施形態に係る遠隔操作システムは、遠隔操作端末１と、遠隔操作端末１とネットワークＮＷを介して接続される推定装置２とを備える。また、本実施形態においては、複数の機器３が設置される室内空間または室外空間（庭、ベランダ、バルコニー等）を含む居住施設において遠隔操作システムが運用されるものとする。この居住施設は、ダイニング、リビング、脱衣室の３つの空間領域を有し、これらの空間領域は互いに環境が異なっているものとする。互いに異なる環境としては、例えば、各空間領域に設置される家具などの設備の差異に起因する内観が挙げられる。また、機器３として、ダイニングには冷蔵庫３１が設置され、リビングには照明機器３２、エアコン３３、テレビ３４が設置され、脱衣室には洗濯機３５が設置されるものとする。また、推定装置２は、本実施形態においては居住施設外の遠隔地に設置されるものとするが、居住施設内に設置されても良く、推定装置２により実現される機能を、遠隔操作端末１や機器３において実現するようにしても良い。また、遠隔操作システムのユーザは、居住施設の居住者または利用者を想定する。

居住施設内にはネットワークＮＷと接続される無線ルータＲＴが設置され、居住施設内に設置される全ての機器３及び遠隔操作端末１は、それぞれ、無線ルータＲＴと無線接続されるものとする。遠隔操作端末１は、無線ルータＲＴを介して、推定装置２と通信可能に接続されるとともに、機器３のそれぞれと通信可能に接続される。機器３のそれぞれは、無線ネットワークを介して、その主機能を遠隔操作端末１からの遠隔操作により制御可能に構成される。また、機器３のそれぞれには、一意な識別子である機器ＩＤが予め設定されているものとし、遠隔操作端末１は同一ＬＡＮに接続される機器３の機器ＩＤを取得可能であるものとする。また、機器ＩＤとしてＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）アドレスを用いても良い。

（ハードウェア構成）
遠隔操作端末、推定装置のハードウェア構成について説明する。図２、図３は、それぞれ、遠隔操作端末、推定装置のハードウェア構成を示すブロック図である。

遠隔操作端末１は、タブレット型端末であり、図２に示すように、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ストレージ１２、入出力Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１３、ネットワークＩ／Ｆ１４、ディスプレイ１５、カメラ１６、地磁気センサ１７、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）センサ１８、環境光センサ１９を備える。

ＣＰＵ１０及びＲＡＭ１１は協働して各種機能を実行し、ストレージ１２は各種機能により実行される処理（遠隔操作プログラム）に用いられる各種データを記憶する。入出力Ｉ／Ｆ１３は、入出力装置とのデータの入出力を行う。ネットワークＩ／Ｆ１４は、無線ルータＲＴと無線通信を行うためのネットワークアダプタである。ディスプレイ１５は、ディスプレイとタッチセンサとを有する入出力装置の一種である。カメラ１６は、可視光による２次元画像及び映像を撮像する。地磁気センサ１７は、地磁気を検出することによって方角を測定する。ＧＮＳＳセンサ１８は、ＧＰＳなどのＧＮＳＳにより遠隔操作端末１の位置を測定する。環境光センサ１９は、遠隔操作端末１の周囲の明るさを測定する。

推定装置２は、図３に示すように、ハードウェアとして、ＣＰＵ２０、ＲＡＭ２１、ストレージ２２、入出力Ｉ／Ｆ２３、ネットワークＩ／Ｆ２４を備える。ＣＰＵ２０及びＲＡＭ２１は協働して各種機能を実行し、ストレージ２２は各種機能により実行される処理に用いられる各種データを記憶する。入出力Ｉ／Ｆ２３は、推定装置２に接続されるキーボードなどの入力装置やディスプレイなどの出力装置とのデータの入出力を行う。ネットワークＩ／Ｆ２４は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークアダプタである。

（機能構成）
遠隔操作端末、推定装置の機能構成について説明する。図４、図５は、それぞれ、遠隔操作端末、推定装置の機能構成を示すブロック図である。

図４に示すように、遠隔操作端末１は、取得部１０１、送信部１０２、受信部１０３、管理部１０４、提示部１０５、遠隔操作部１０６を機能として備える。取得部１０１は、各空間領域の特徴を示す環境情報を取得する。送信部１０２は、取得部１０１により取得された環境情報を推定装置２へ送信する。受信部１０３は、推定装置２により送信された環境情報に基づく空間領域の種別である領域種別を受信する。管理部１０４は、領域種別と、機器３を一意に示す機器ＩＤとを対応付けて管理する。提示部１０５は、受信部１０３により受信された領域種別に対応付けられる機器３を操作するための操作画面をディスプレイ１５に表示することによりユーザに提示する。遠隔操作部１０６は、操作画面に対するユーザ入力に基づいて、操作対象である機器３へ動作指示を送信する。なお、操作対象である機器３への動作指示を生成するための各種情報、及び機器３を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を構成するための各種情報は、設定情報としてストレージ１２に格納されているものとする。

取得部１０１により取得される環境情報は、領域種別を推定するのに有意な情報であれば良く、例えば、対象とする空間領域を撮像した画像、対象とする空間領域において受信された全ての無線通信に係る電波の種別及び強度のパターン、地磁気センサ１７により検出される地磁気のパターン、ＧＮＳＳセンサ１８による測定位置、環境光センサ１９により測定された明るさなどを環境情報として用いることができる。また、これらを組み合わせて環境情報としても良い。なお、本実施形態においてはカメラ１６により撮像された撮像画像を環境情報として用いるものとする。

図５に示すように、推定装置２は、受信部２０１、推定部２０２、送信部２０３、学習部２０４を機能として備える。受信部２０１は、遠隔操作端末１により送信された環境情報を受信する。推定部２０２は、受信部２０１により受信された環境情報を入力として領域種別を出力する学習モデル２０５を用いて領域種別を推定する。送信部２０３は、推定部２０２により推定された領域種別を遠隔操作端末１へ送信する。学習部２０４は、学習モデル２０５による推定精度を向上させる。

学習モデル２０５は、本実施形態においては、遠隔操作システムの運用に先立って、教師あり学習を用いる機械学習により予めトレーニングされる。機械学習のアルゴリズムとしてディープラーニングを用いるものとするが、既知の他のアルゴリズムを用いても良い。学習モデル２０５は、環境情報を入力して領域種別を出力するモデルであり、推定すべき領域種別のそれぞれに対して、領域種別について得られた環境情報群に基づく機械学習によるトレーニングがなされる。例えば、リビングに分類される部屋内を撮像した撮像画像を事前に用意し、これらを用いてリビングの撮像画像に基づいて領域種別をリビングと推定することができるように、学習モデル２０５が事前にトレーニングされる。

学習部２０４は、領域種別を正解ラベルとして付した環境情報である教師データ２０６を学習モデル２０５に反映させることにより、学習モデル２０５による推定精度を向上させる。

（領域登録処理）
領域登録処理について説明する。図６は、領域登録処理の動作を示すフローチャートである。図７は、領域登録画面を示す図である。この領域登録処理は、居住施設内にある空間領域の領域種別を遠隔操作端末による操作対象である機器が設置される場所として登録する処理である。なお、図６に示す領域登録処理に先立って、登録対象とする空間領域の撮像画像が予め取得されているものとする。

図６に示すように、まず、遠隔操作端末１において、送信部１０２が、取得部１０１により取得された環境情報としての撮像画像を推定装置２へ送信する（Ｓ１０１）。次に、推定装置２において、受信部２０１が送信部１０２により送信された撮像画像を受信し（Ｓ１０２）、推定部２０２が受信部２０１により受信された撮像画像に基づいて領域種別を推定し（Ｓ１０３）、この領域種別を送信部２０３が推定領域種別として遠隔操作端末１へ送信する（Ｓ１０４）。

次に、遠隔操作端末１において、受信部１０３が送信部２０３により送信された推定領域種別を受信し（Ｓ１０５）、提示部１０５が推定領域種別をユーザに提示する（Ｓ１０６）。ここで、提示部１０５は、図７に示すような、領域登録画面Ｇ１をディスプレイ１５に表示させる。この領域登録画面Ｇ１は、推定領域種別の候補をユーザにより選択可能に示す領域表示Ｒ１と、候補以外の推定領域種別をユーザにより選択可能に示すプルダウンメニューＰ１、ユーザにより選択可能な登録ボタンＢ１１及びキャンセルボタンＢ１２とが含まれる。図７においては、領域表示Ｒ１として、リビングＲ１１とダイニングＲ１２とが示される。

次に、管理部１０４は、登録指示がなされたか否かを判定する（Ｓ１０７）。ここで、管理部１０４は、登録ボタンＢ１１が選択された場合に登録指示がなされたと判定する。登録指示がなされた場合（Ｓ１０７，ＹＥＳ）、管理部１０４が推定領域種別を機器３が設定される領域種別として登録し（Ｓ１０８）、送信部１０２が推定装置２に対して推定結果が正解である旨を示す正解通知を送信する（Ｓ１０９）。

次に、推定装置２において、受信部２０１が送信部１０２により送信された正解通知を受信し（Ｓ１１０）、この正解通知をステップＳ１０２において受信された撮像画像に付して教師データ２０６としてストレージ１２に記憶し（Ｓ１１１）、領域登録処理が終了される。

一方、登録指示がなされない場合、すなわちキャンセルボタンＢ１２が選択された場合（Ｓ１０７，ＮＯ）、領域登録処理が終了される。

（機器登録処理）
機器登録処理について説明する。図８は、機器登録処理の動作を示すフローチャートである。図９、図１０は、それぞれ、領域選択画面、機器登録画面を示す図である。図１１は、機器登録画面において機器リストが表示される状態を示す図である。機器登録処理は、遠隔操作端末においてなされる処理であって、遠隔操作端末による操作対象として、所定の空間領域に対して、この空間領域に設置された機器を対応付けて登録する処理である。なお、図８に示す機器登録処理に先立って、上述した領域登録処理によって、機器を対応付けるべき空間領域の領域種別が予め登録されているものとする。

図８に示すように、まず、提示部１０５が予め登録された空間領域の領域種別をユーザに対して提示する（Ｓ２０１）。ここで、提示部１０５は、図９に示すような領域選択画面Ｇ２をディスプレイ１５に表示させる。この領域選択画面Ｇ２は、管理部１０４により管理される全ての空間領域をユーザにより選択可能に提示するものであり、登録済みの空間領域の領域種別を選択可能に示す領域表示Ｒ２と機器登録処理の終了を指示するためのキャンセルボタンＢ２１とを含む。図９には、領域表示Ｒ２として、リビングＲ２１、ダイニングＲ２２、脱衣室Ｒ２３が示される。

次に、提示部１０５は、領域選択画面Ｇ２における領域表示Ｒ２により示される領域種別のいずれかが選択されたか否かを判断する（Ｓ２０２）。

領域種別のいずれかが選択された場合（Ｓ２０２，ＹＥＳ）、提示部１０５は、図１０、図１１に示すような機器登録画面Ｇ３により、遠隔操作端末１と同一のＬＡＮに接続され、且つ他の領域種別に対応付けられていない機器３をユーザに対して提示する（Ｓ２０３）。図１０に示す機器登録画面Ｇ３には、選択中の領域種別に対応付けるべき機器３の追加を指示するための追加ボタンＢ３１が含まれる。この追加ボタンＢ３１が選択されると、図１１に示すように追加すべき機器３を登録するためのアイコンＣ３と確定ボタンＢ３２含む機器リストＬ３が表示される。図１１においては、アイコンＣ３として、アイコンＣ３１～Ｃ３５が表示され、これらのうち少なくとも１つ以上が選択され、確定ボタンＢ３２が選択されることによって、領域種別に対応付けるべき機器３としてアイコンＣ３により示される機器３が選択される。

次に、管理部１０４は、選択中の領域種別に対応付けるべき機器３が選択されたか否かを判定する（Ｓ２０４）。

機器３が選択された場合（Ｓ２０４，ＹＥＳ）、管理部１０４は、選択された機器３を選択中の領域種別に対応付けて登録し（Ｓ２０５）、機器登録処理の終了がユーザにより指示されたか否かを判断する（Ｓ２０６）。ここで、提示部１０５は、領域種別に機器３を対応付けた後に機器登録画面Ｇ３（図１０、１１）から領域選択画面Ｇ２（図９）に表示画面を遷移させ、領域選択画面Ｇ２においてキャンセルボタンＢ２１が選択された際に登録処理を終了させるか否かの選択肢を含むポップアップを表示し、管理部１０４は、このポップアップ表示において終了させる選択肢が選択された場合に機器登録処理の終了が指示されたものと判定する。

機器登録処理の終了が指示された場合（Ｓ２０６，ＹＥＳ）、機器登録処理が終了される。一方、機器登録処理の終了が指示されない場合（Ｓ２０６，ＮＯ）、提示部１０５は、再度、領域種別のいずれかが選択されたか否かを判断する（Ｓ２０２）。

また、ステップＳ２０４において、機器３が選択されない場合（Ｓ２０４，ＮＯ）、管理部１０４は、機器登録処理の終了がユーザにより指示されたか否かを判断する（Ｓ２０６）。

また、ステップＳ２０２において、領域種別が選択されない場合（Ｓ２０２，ＮＯ）、提示部１０５は、ユーザによる最後の操作がなされてからの経過時間が所定時間、例えば１時間以上であるか否かを判定する（Ｓ２０７）。

経過時間が所定時間以上である場合（Ｓ２０７，ＹＥＳ）、機器登録処理が終了される。一方、経過時間が所定時間未満である場合（Ｓ２０７，ＮＯ）、提示部１０５は、再度、領域種別のいずれかが選択されたか否かを判断する（Ｓ２０２）。

（操作画面表示処理）
操作画面表示処理について説明する。図１２は、機器選択画面を示す図である。図１３は、機器操作画面を示す図である。

提示部１０５は、ユーザの指示に応じて、図１２に示すような、機器選択画面Ｇ４をディスプレイ１５に表示させる。この機器選択画面Ｇ４には、領域種別とこの領域種別と対応付けられる機器ＩＤにより示される機器３を選択可能に示すアイコンＣ４と、登録された全ての機器３の電源をＯＮに制御するための全てＯＮボタンＢ４１と、登録された全ての機器３の電源をＯＦＦに制御するための全てＯＦＦボタンＢ４２とが含まれる。図１２においては、アイコンＣ４として、アイコンＣ４１～Ｃ４５が表示される。アイコンＣ４１～４５は、それぞれ、リビングと対応付けられた照明機器、エアコン、テレビを示し、アイコンＣ４４は脱衣室と対応付けられた洗濯機を示し、アイコンＣ４５はダイニングと対応付けられた冷蔵庫を示す。

機器選択画面Ｇ４におけるアイコンＣ４のいずれかが選択されると、提示部１０５は、選択された機器３を操作するためのＧＵＩとして、図１３に示すような操作画面Ｇ５をディスプレイ１５に表示させる。図１３に示す操作画面Ｇ５は、エアコン３３を操作対象としたものであり、機器３の種別及び機器ＩＤとこの機器３と対応付けられる領域種別とを示す表示領域Ｒ５１、エアコン３３の動作モードを示す表示領域Ｒ５２、室内の温度及び湿度を示す表示領域Ｒ５３、タイマに関する情報を示す表示領域Ｒ５４、設定温度及び設定温度を示す表示領域Ｒ５５、エアコン３３をオン又はオフするための操作ボタンを含む表示領域Ｒ５６、各種ステータスを示す表示領域Ｒ５７、これら以外の各種機能を呼び出すためのメニューボタンＢ５１等を含んで構成される。

上述したように、機器３の名称とこの機器３に対応付けられた領域種別をユーザに選択可能に提示することによって、ユーザは操作対象としての機器３の設置場所を容易に把握することができる。

＜第２の実施形態＞
第２の実施形態に係る遠隔操作システムについて説明する。第１の実施形態においては、空間領域の登録に係る領域種別の推定に係る環境情報の取得、領域種別の推定は、それぞれ、遠隔操作端末、推定装置においてなされるものとしたが、本実施形態に係る遠隔操作システムにおいては、機器においてなされる点が第１の実施形態とは異なる。以下、第１の実施形態とは異なる構成及び動作について説明する。

本実施形態に係る機器の構成について説明する。図１４は、機器の機能構成を示す図である。

図１４に示すように、本実施形態に係る機器３ａは、ハードウェアとしてＣＰＵ、ＲＡＭ、ストレージと、設置される空間領域を撮像するカメラを備えたエアコン３３であり、ＣＰＵ及びＲＡＭが協働することにより実行される機能として、推定機能３０を備える。この推定機能３０は、取得部３００、受信部３０１、推定部３０２、送信部３０３を備える。

取得部３００は、第１の実施形態における遠隔操作端末１の取得部１０１に相当し、各空間領域の特徴を示す環境情報として機器３ａが備えるカメラによる撮像画像を取得する。受信部３０１は、遠隔操作端末１により送信された推定要求を受信する。推定部３０２は、第１の実施形態に係る推定装置２における推定部２０２に相当し、取得部３００により取得された環境情報に基づいて、領域種別を推定する点において推定部２０２とは異なる。送信部３０３は、受信部３０１により受信された推定要求に対する応答として、推定部３０２により推定された領域種別と、自機器３ａに設定された機器ＩＤとを遠隔操作端末１へ送信する。学習モデル２０５については、第１の実施形態において推定装置２が備えるものと実質的に同様である。

機器の動作として登録処理について説明する。この登録処理は、第１の実施形態に係る領域登録処理及び機器登録処理に相当するものである。図１５は、登録処理の動作を示すフローチャートである。なお、図１５においては、カメラによる撮像が予めなされているものとする。

図１５に示すように、まず、遠隔操作端末１において、送信部１０２が推定要求を送信する（Ｓ４０１）。次に、機器３ａにおいて、受信部３０１が遠隔操作端末１から送信された推定要求を受信し（Ｓ４０２）、取得部３００がカメラによる撮像画像を取得し（Ｓ４０３）、取得された撮像画像に基づいて領域種別を推定部３０２が推定し（Ｓ４０４）、受信された推定要求に対する応答として、推定された領域種別と自機器３ａに設定された機器ＩＤとを送信部３０３が遠隔操作端末１へ送信する（Ｓ４０５）。

次に、遠隔操作端末１において、受信部１０３が機器３ａから送信された推定領域と機器ＩＤとを受信し（Ｓ４０６）、管理部１０４が、受信された領域種別に機器ＩＤを対応付けて、領域種別及び機器ＩＤを登録する（４０７）。

このように、機器３ａにおいて環境情報の取得と領域種別の推定を行うことによって、領域種別と機器３ａとの対応付けに係るユーザの操作を低減させることができる。また、第１の実施形態における推定装置２による処理を機器３ａに行わせるようにしても良い。

＜第３の実施形態＞
第３の実施形態に係る遠隔操作システムについて説明する。本実施形態に係る遠隔操作システムは、運用される施設それぞれについて学習モデルを生成、更新する学習処理が実行される点において、第１の実施形態とは異なる。以下、学習処理の動作について説明する。図１６は、学習処理の動作を示すフローチャートである。なお、図１６に示す学習処理においては、領域登録処理に先立って実行されており、また、環境情報が予め取得されているものとする。

図１６に示すように、まず、遠隔操作端末１において、送信部１０２が対象とする空間領域についての環境情報と、この空間領域の領域種別とを推定装置２へ送信する（Ｓ５０１）。ここで、空間領域の領域種別は、遠隔操作端末１においてユーザにより設定されたものである。

次に、推定装置２において、受信部２０１が、遠隔操作端末１により送信された環境情報と領域種別とを受信し（Ｓ５０２）、領域種別を正解ラベルと付した環境情報を教師データ２０６としてストレージ１２に記憶し（Ｓ５０３）、推定部２０２が教師データ２０６により学習モデル２０５を生成または更新する（Ｓ５０４）。

第１の実施形態においては、居住施設全般において共通する特徴を有する内観の撮像画像を入力として領域種別の推定を行うため、事前に学習モデルを用意することが有効である。これに対し、居住施設全般において共通しない特徴を有する環境情報を入力として領域種別の推定を行う場合、事前に学習モデルを用意することは有効ではない。上述した学習処理によれば、空間領域においてセンサにより検知される電波の強度、地磁気のパターン、測定位置、明るさなどを環境情報として用いた場合であっても、領域種別の推定を行うことができる。

＜第４の実施形態＞
第４の実施形態に係る遠隔操作システムについて説明する。本実施形態に係る遠隔操作システムは、操作画面表示処理において領域種別の推定を行う点が第１の実施形態とは異なる。図１７は、操作画面表示処理の動作を示すフローチャートである。図１８は、機器選択画面を示す図である。なお、図１７に示す操作画面表示処理に先立って、上述した領域登録処理及び機器登録処理によって、領域種別と機器とが予め対応付けられているものとする。また、所定の空間領域において撮像された撮像画像が予め取得されているものとする。

図１７に示すように、まず、遠隔操作端末１において、送信部１０２は、取得部１０１により取得された撮像画像を推定装置２へ送信する（Ｓ３０１）。次に、推定装置２において、受信部２０１が送信部１０２により送信された撮像画像を受信し（Ｓ３０２）、推定部２０２が受信部２０１により受信された撮像画像に基づいて領域種別を推定し（Ｓ３０３）、この領域種別を送信部２０３が遠隔操作端末１へ送信する（Ｓ３０４）。

次に、遠隔操作端末１において、受信部１０３が送信部２０３により送信された領域種別を受信し（Ｓ３０５）、提示部１０５が管理部１０４により受信された領域種別と対応付けられる機器３をユーザに提示する（Ｓ３０６）。ここで、提示部１０５は、図１８に示すような、機器選択画面Ｇ６をディスプレイ１５に表示させる。この機器選択画面Ｇ６には、領域種別と対応付けられる機器ＩＤにより示される機器３を選択可能に示すアイコンＣ６と、領域種別と対応付けられる全ての機器３の電源をＯＮに制御するための全てＯＮボタンＢ６１と、領域種別と対応付けられる全ての機器３の電源をＯＦＦに制御するための全てＯＦＦボタンＢ６２とが含まれる。図１８においては、リビングに対応付けられる機器３を示すアイコンＣ６として、アイコンＣ６１～Ｃ６３が表示される。

次に、提示部１０５は、提示した機器３のいずれかが選択されたか否かを判定する（Ｓ３０７）。機器３が選択された場合（Ｓ３０７，ＹＥＳ）、提示部１０５は、選択された機器３を操作するためのＧＵＩをユーザに提示する（Ｓ３０８）。一方、機器３が選択されない場合（Ｓ３０７，ＮＯ）、提示部１０５は、再度、提示した機器３のいずれかが選択されたか否かを判定する（Ｓ３０７）。

提示部１０５は、第１の実施形態と同様に、選択された機器３を操作するためのＧＵＩとして、図１３に示した操作画面Ｇ５をディスプレイ１５に表示させる。

上述したように、空間領域において得られる環境情報により領域種別を推定し、推定した領域種別に対応付けられた機器３をユーザに提示することによって、操作対象としての機器３の選択に係る操作性を向上させることができる。

＜第５の実施形態＞
第５の実施形態に係る遠隔操作システムについて説明する。本実施形態に係る遠隔操作システムは、機器登録処理において領域登録処理を行う点が第１の実施形態とは異なる。図１９は、本実施形態に係る機器登録処理の動作を示すフローチャートである。図２０、本実施形態に係る機器登録画面を示す図である。図２１は、本実施形態に係る機器登録画面において機器リストが表示される状態を示す図である。

図１９に示すように、まず、提示部１０５は、ユーザにより機器３の追加が指示されたか否かを判定する（Ｓ６０１）。ここで、提示部１０５は、図２０に示す機器登録画面Ｇ３ａにおける追加ボタンＢ３１が選択された場合に、ユーザにより機器３の追加が指示されたものと判定する。

機器３の追加が指示された場合（Ｓ６０１，ＹＥＳ）、提示部１０５は、図２１に示す機器登録画面Ｇ３ａにより、遠隔操作端末１と同一のＬＡＮに接続され、且つ未登録である機器３をユーザに対して提示する（Ｓ６０２）。なお、図２１に示す機器登録画面Ｇ３ａに含まれるアイコンＣ３及び確定ボタンＢ３２の機能は、図１１に示した機器登録画面と同様である。

次に、管理部１０４は、登録すべき機器３が選択されたか否かを判定する（Ｓ６０３）。

機器３が選択された場合（Ｓ６０３，ＹＥＳ）、選択された機器３に対応付けるべき領域種別について、上述した領域登録処理が実行される（Ｓ６０４）。次に、管理部１０４は、この領域登録処理により登録された領域種別と、選択された機器３と、この機器３を操作するための設定情報とを対応付けて登録する（Ｓ６０５）。

一方、機器３が選択されない場合（Ｓ６０３，ＮＯ）、管理部１０４は、再度、登録すべき機器３が選択されたか否かを判定する（Ｓ６０３）。

また、ステップＳ６０１において、機器３の追加が指示されない場合（Ｓ６０１，ＮＯ）、提示部１０５は、ユーザによる最後の操作がなされてからの経過時間が所定時間、例えば１時間以上であるか否かを判定する（Ｓ６０６）。

経過時間が所定時間以上である場合（Ｓ６０６，ＹＥＳ）、機器登録処理が終了される。一方、経過時間が所定時間未満である場合（Ｓ６０６，ＮＯ）、提示部１０５は、再度、ユーザにより機器３の追加が指示されたか否かを判定する（Ｓ６０１）。

このように、遠隔操作システムによる操作対象としての機器３を登録する際に、機器３が設置される場所についての環境情報に基づいて推定された領域種別と対応付けて登録することによって、機器３と設置場所との対応付けを容易に行うことができる。

本実施の形態において、遠隔操作プログラムは上述した遠隔操作端末１の内部に予めインストールされているものとして記載したが、本発明における遠隔操作プログラムは記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク（ハードディスクドライブ等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ等、遠隔操作端末１に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した遠隔操作端末１としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。

発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 遠隔操作端末
２ 推定装置
３ 機器
１０１ 取得部
１０２ 送信部
１０３ 受信部
１０４ 管理部
１０５ 提示部
１０６ 遠隔操作部
２０１ 受信部
２０２ 推定部
２０３ 送信部
２０４ 学習部
２０５ 学習モデル
２０６ 教師データ

Claims (13)

1. 遠隔操作端末により少なくとも１つの機器を遠隔操作する遠隔操作システムであって、
   所定の空間領域における環境情報を取得する取得部と、
   前記取得された環境情報に基づいて、事前に取得された環境情報を用いた機械学習により生成された学習モデルによって領域種別を推定する推定部と、
   前記推定部により推定された領域種別と、ユーザにより選択された所定の機器を一意に示す機器ＩＤとを対応付けて管理する管理部と、
   前記管理部により管理された機器ＩＤに示される機器を遠隔操作するためのユーザインタフェースを前記遠隔操作端末において提示する提示部と
   を備える遠隔操作システム。
2. 前記提示部は、前記管理された領域種別をユーザに選択可能に提示し、該ユーザに選択された領域種別に対応付けられた機器ＩＤに示される機器を遠隔操作するためのユーザインタフェースを前記遠隔操作端末において提示することを特徴とする請求項１に記載の遠隔操作システム。
3. 前記取得部は、前記遠隔操作端末による操作対象である機器の少なくともいずれか１つに備えられることを特徴とする請求項１または請求項２に記載の遠隔操作システム。
4. 前記推定部は、前記遠隔操作端末による操作対象である機器の少なくともいずれか１つに備えられることを特徴とする請求項１～請求項３のいずれか一項に記載の遠隔操作システム。
5. 前記推定部は、前記遠隔操作端末とネットワークを介して接続される推定装置に備えられることを特徴とする請求項１～請求項３のいずれか一項に記載の遠隔操作システム。
6. 前記推定部は、前記遠隔操作端末に備えられることを特徴とする請求項１～請求項３のいずれか一項に記載の遠隔操作システム。
7. 前記環境情報を用いた機械学習により前記学習モデルを生成または更新する学習部を更に備えることを特徴とする請求項１～請求項６のいずれか一項に記載の遠隔操作システム。
8. 前記学習部は、前記遠隔操作端末とネットワークを介して接続される推定装置に備えられることを特徴とする請求項７に記載の遠隔操作システム。
9. 前記環境情報は、撮像画像であることを特徴とする請求項１～請求項８のいずれか一項に記載の遠隔操作システム。
10. 推定装置とネットワークを介して接続され、少なくとも１つの機器を遠隔操作する遠隔操作端末であって、
    所定の空間領域における環境情報を取得する取得部と、
    前記取得された環境情報を前記推定装置へ送信する送信部と、
    前記推定装置において前記送信された環境情報に基づいて推定された空間領域の種別を示す領域種別であって、前記推定装置により送信された領域種別を受信する受信部と、
    前記受信部により受信された領域種別と、ユーザにより選択された所定の機器を一意に示す機器ＩＤとを対応付けて管理する管理部と、
    前記管理部により管理された領域種別と対応付けられた機器ＩＤにより示される機器を遠隔操作するためのユーザインタフェースを提示する提示部と
    を備える遠隔操作端末。
11. 前記提示部は、前記管理された領域種別をユーザに選択可能に提示し、該ユーザに選択された領域種別に対応付けられた機器ＩＤに示される機器を遠隔操作するためのユーザインタフェースを前記遠隔操作端末において提示することを特徴とする請求項１０に記載の遠隔操作端末。
12. 推定装置とネットワークを介して接続されるコンピュータにおいて実行され、少なくとも１つの機器を遠隔操作する遠隔操作プログラムであって、
    前記コンピュータを、
    所定の空間領域における環境情報を取得する取得部と、
    前記取得された環境情報を前記推定装置へ送信する送信部と、
    前記推定装置において前記送信された環境情報に基づいて推定された空間領域の種別を示す領域種別であって、前記推定装置により送信された領域種別を受信する受信部と、
    前記受信部により受信され領域種別と、ユーザにより選択された所定の機器を一意に示す機器ＩＤとを対応付けて管理する管理部と、
    前記管理部により管理された領域種別と対応付けられた機器ＩＤにより示される機器を遠隔操作するためのユーザインタフェースを提示する提示部として機能させる遠隔操作プログラム。
13. 前記提示部は、前記管理された領域種別をユーザに選択可能に提示し、該ユーザに選択された領域種別に対応付けられた機器ＩＤに示される機器を遠隔操作するためのユーザインタフェースを提示することを特徴とする請求項１２に記載の遠隔操作プログラム。

Images