JP6641482B2 - Control system and device control method - Google Patents
Control system and device control method Download PDFInfo
- Publication number
- JP6641482B2 JP6641482B2 JP2018527290A JP2018527290A JP6641482B2 JP 6641482 B2 JP6641482 B2 JP 6641482B2 JP 2018527290 A JP2018527290 A JP 2018527290A JP 2018527290 A JP2018527290 A JP 2018527290A JP 6641482 B2 JP6641482 B2 JP 6641482B2
- Authority
- JP
- Japan
- Prior art keywords
- control
- operation information
- terminal device
- image
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 claims description 94
- 230000005540 biological transmission Effects 0.000 claims description 20
- 230000004048 modification Effects 0.000 description 31
- 238000012986 modification Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 19
- 230000000007 visual effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010438 heat treatment Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000007791 dehumidification Methods 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Selective Calling Equipment (AREA)
Description
本発明は、制御システム及び機器制御方法に関する。 The present invention relates to a control system and a device control method.
バーコードが示す情報を用いてネットワークに接続された機器を操作する技術が知られている(例えば、特許文献1)。 A technique for operating a device connected to a network using information indicated by a barcode is known (for example, Patent Document 1).
特許文献1に開示されるデジタル家電遠隔操作システムでは、携帯電話に接続されたバーコードリーダによってバーコードを読み取って、読み取ったバーコードに記述された情報コードに従ってデジタル家電が操作される。
In the digital home appliance remote control system disclosed in
ところで、近年、ウェアラブルコンピュータ(ウェアラブルデバイス、ウェアラブル端末とも呼ばれる。)が普及しつつある。このようなウェアラブルコンピュータは、主として娯楽や健康管理で利用されているが、さらに、ウェアラブルコンピュータが備えるセンサによって計測される情報を用いて機器の操作を行う研究も進められている。 By the way, wearable computers (also called wearable devices and wearable terminals) have been spreading in recent years. Such wearable computers are mainly used for entertainment and health management, and further studies are being made to operate devices using information measured by sensors provided in the wearable computer.
しかしながら、ウェアラブルコンピュータが備えるセンサは、常時起動、即ち、常時の計測が想定されるため、上記のように機器の操作に利用される場合、ユーザの意図しない操作が自動的に行われてしまうという懸念がある。 However, since the sensor included in the wearable computer is assumed to be always activated, that is, always measured, when the sensor is used for operating the device as described above, an operation unintended by the user is automatically performed. There are concerns.
本発明は、上記課題を解決するためになされたものであり、ユーザの意図しない操作の実行を回避可能な制御システム等を提供することを目的とする。 The present invention has been made to solve the above problems, and has as its object to provide a control system or the like that can avoid execution of an operation not intended by the user.
上記目的を達成するため、本発明に係る制御システムは、
複数の機器を制御する制御装置と、端末装置を備える制御システムであって、
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段は、前記制御候補機器に対する制御の不許可の指示済みであることをユーザに報知する。
To achieve the above object, the control system according to the present invention includes:
A control device for controlling a plurality of devices, a control system including a terminal device,
The terminal device,
An image sensor,
A specific image detection unit that detects a specific image that matches a predetermined condition from an image captured by the image sensor,
Detection information transmission means for transmitting image detection information based on the specific image to the control device,
Notifying means for notifying a user of the content of the operation information when receiving the operation information transmitted from the control device,
The control device includes:
Upon receiving the image detection information transmitted from the terminal device, based on the image detection information, selects a control candidate device from the plurality of devices and generates operation information regarding the control candidate device, and generates the operation information for the terminal device. Operation information transmitting means for transmitting;
Device control means for determining whether or not control on the control candidate device has been permitted by the user, and, if permitted, controlling the control candidate device based on the operation information;
The notifying unit notifies the user that an instruction to disallow control of the control candidate device has been issued.
本発明では、端末装置は、検出した特定画像に基づく画像検出情報を制御装置に送信する。制御装置は、画像検出情報に基づいて、制御候補機器を選択すると共に制御候補機器に関する操作情報を生成し、端末装置に送信する。端末装置は、操作情報の内容をユーザに報知し、制御装置は、ユーザにより制御が許可された場合に、制御候補機器を制御する。したがって、機器に対するユーザの意図しない操作の実行が回避可能となる。 In the present invention, the terminal device transmits image detection information based on the detected specific image to the control device. The control device selects a control candidate device based on the image detection information, generates operation information regarding the control candidate device, and transmits the operation information to the terminal device. The terminal device notifies the user of the contents of the operation information, and the control device controls the control candidate device when the control is permitted by the user. Therefore, execution of an unintended operation on the device by the user can be avoided.
以下、本発明の実施形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施形態1)
図1は、本発明の実施形態1に係る制御システム1の構成を示す図である。制御システム1は、一般家庭で使用される電力の管理を行う、いわゆる、HEMS(Home Energy Management System)と呼ばれるシステムである。(Embodiment 1)
FIG. 1 is a diagram illustrating a configuration of a
図1に示すように、制御システム1は、制御装置2と、端末装置3と、複数の機器4(機器4−1,4−2,…)と、を備える。制御装置2は、家屋H内の適切な場所に設置され、この家庭(需要地)において消費される電力の監視を行い、電力の消費状況を表示する。また、制御装置2は、各機器4の制御や動作状態の監視などを行う。
As shown in FIG. 1, the
機器4(機器4−1,4−2,…)は、例えば、エアコン、照明器、テレビ、給湯機、IH(Induction Heating)調理器等の電気機器である。各機器4は、家屋H(敷地も含む)内に設置され、商用電源、発電設備や蓄電設備等(何れも図示せず)からの電力を供給する電力線に接続される。また、各機器4は、図示しない無線ネットワークを介して、制御装置2と通信可能に接続する。この無線ネットワークは、例えば、エコーネットライト(ECHONET Lite)に準じたネットワークである。なお、機器4の仕様によっては、外付けの通信アダプタ(図示せず)を介して、この無線ネットワークに接続されるようにしてもよい。
The devices 4 (devices 4-1, 4-2,...) Are, for example, electric devices such as an air conditioner, a lighting device, a television, a water heater, and an IH (Induction Heating) cooker. Each device 4 is installed in a house H (including a site) and is connected to a power line that supplies power from a commercial power supply, a power generation facility, a power storage facility, and the like (neither is shown). Each device 4 is communicably connected to the
各機器4は、制御装置2からの要求に応答して、現在の運転状態を示す情報を格納したデータ(運転状態データ)を制御装置2に送信する。
Each device 4 transmits data (operation state data) storing information indicating the current operation state to the
制御装置2は、図2に示すように、CPU(Central Processing Unit)20と、通信インタフェース21と、ROM(Read Only Memory)22と、RAM(Random Access Memory)23と、二次記憶装置24と、を備える。これらの構成部は、バス25を介して相互に接続される。CPU20は、この制御装置2を統括的に制御する。CPU20によって実現される機能の詳細については後述する。
As shown in FIG. 2, the
通信インタフェース21は、上述した無線ネットワークを介して各機器4と無線通信するためのネットワークカードと、端末装置3と無線通信するためのICチップを含んで構成される。
The
ROM22は、複数のファームウェアやこれらのファームウェアの実行時に使用されるデータ等を記憶する。RAM23は、CPU20の作業領域として使用される。
The
二次記憶装置24は、EEPROM(Electrically Erasable Programmable Read-Only Memory)、フラッシュメモリ等の読み書き可能な不揮発性の半導体メモリやHDD(Hard Disk Drive)等から構成される。二次記憶装置24は、図3に示すように、遠隔操作プログラム240と、機器情報241とを記憶する。なお、この他にも、二次記憶装置24は、機器4の動作状態を監視するためのプログラムや、この家庭で消費される電力を監視するためのプログラム等を含む各種のプログラムと、これらのプログラムの実行時に使用されるデータを記憶する。
The
遠隔操作プログラム240は、CPU20によって実行されるコンピュータ・プログラムである。遠隔操作プログラム240には、端末装置3を介した機器4の操作のための処理について記述されている。
The
機器情報241は、機器4に関する情報であり、接続情報テーブル2410と、場所情報テーブル2411と、動作情報テーブル2412と、操作コードテーブル2413と、を有する。接続情報テーブル2410は、機器4の接続情報を格納するデータテーブルである。接続情報とは、機器4と通信するための情報であり、例えば、機器4のアドレスである。
The
場所情報テーブル2411は、機器4の場所情報を格納するデータテーブルである。場所情報とは、機器4が設置されている場所を示す情報であり、より詳細には、家屋Hにおける部屋を識別する情報である。部屋を識別する情報とは、例えば、各部屋に予め割り当てたID(identification)や各部屋の名称(“リビング”、“キッチン”等)である。 The location information table 2411 is a data table that stores location information of the device 4. The place information is information indicating a place where the device 4 is installed, and more specifically, information for identifying a room in the house H. The information for identifying a room is, for example, an ID (identification) assigned to each room in advance or a name of each room (“living room”, “kitchen”, etc.).
動作情報テーブル2412は、機器4の現在の動作状態を格納するデータテーブルである。動作状態には、例えば、電源状態(電源のオン/オフ)、運転有無(運転中/停止中)、異常有無(異常/正常)、運転モード、設定情報等が含まれる。運転モードとは、運転方式を示し、例えば、エアコンの場合では、冷房、暖房、送風、除湿等が該当し、照明器の場合では、通常照明、節電照明等が運転モードに該当する。設定情報には、エアコンの場合では、設定温度(目標温度ともいう。)や風量等が該当し、照明器の場合では、明るさの段階等が該当する。CPU20は、各機器4から取得する運転状態データに基づいて、動作情報テーブル2412を更新する。
The operation information table 2412 is a data table that stores the current operation state of the device 4. The operation state includes, for example, a power supply state (power ON / OFF), operation presence / absence (during operation / stop), abnormality presence / absence (abnormal / normal), operation mode, setting information, and the like. The operation mode indicates an operation mode. For example, in the case of an air conditioner, cooling, heating, ventilation, dehumidification, and the like correspond to the operation mode. In the case of an illuminator, normal lighting, power saving lighting, and the like correspond to the operation mode. In the case of an air conditioner, the setting information corresponds to a set temperature (also referred to as a target temperature), an air volume, and the like. The
操作コードテーブル2413は、操作コードと、機器4を識別する情報(例えば、機器のIDやアドレス)及び機器4の操作内容とを対応付けたデータテーブルである。操作コードは、例えば、アルファベットと数字とを組み合わせた半角4桁の文字列であり、例えば、“L001”がリビングに設置されている照明器の電源のオン/オフ操作を示し、“L002”がリビングに設置されているエアコンの電源のオン/オフ操作を示し、“K013”がキッチンに設置されている冷蔵庫の節電機能のオン/オフ操作を示す。 The operation code table 2413 is a data table in which the operation codes are associated with information for identifying the device 4 (for example, device ID and address) and the operation content of the device 4. The operation code is, for example, a four-byte character string combining alphabets and numbers. For example, “L001” indicates an on / off operation of a power supply of a lighting device installed in a living room, and “L002” indicates The power on / off operation of the air conditioner installed in the living room is indicated, and “K013” indicates the on / off operation of the power saving function of the refrigerator installed in the kitchen.
図1に戻り、端末装置3は、いわゆるウェアラブルコンピュータ(ウェアラブルデバイス、ウェアラブル端末とも呼ばれる。)であり、本実施形態では、ユーザの頭部に装着される眼鏡型のヘッドマウントディスプレイ(スマートグラスともいう。)である。
Returning to FIG. 1, the
端末装置3は、図4に示すように、CPU30、通信インタフェース31、イメージセンサ32、映像投影部33、ROM34、RAM35、二次記憶装置36と、を備える。これらの構成部は、バス37を介して相互に接続される。
As shown in FIG. 4, the
CPU30は、端末装置3を統括的に制御する。CPU30によって実現される機能の詳細については後述する。通信インタフェース31は、制御装置2と無線通信するためのICチップを含んで構成される。
The
イメージセンサ32は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサであり、端末装置3を装着したユーザの視野に入っている被写体を撮像可能なように端末装置3のフレームの外側に設けられている。即ち、イメージセンサ32の撮像範囲(視野)は、端末装置3を装着したユーザの視野と同等である。
The
映像投影部33は、CPU30の制御の下、端末装置3における右眼用、左眼用のレンズの少なくとも何れか一方に映像を投影する。なお、端末装置3におけるこれらのレンズは、誘電体多層膜によるハーフミラーを採用し、前方からの光は透過し、映像投影部33による映像は反射させる構造となっている。これにより、ユーザは、端末装置3を装着したままで外界の様子を見ることができつつ、投影された映像も併せて見ることが可能である。つまり、端末装置3を装着したユーザは、いわゆる拡張現実(Augmented Reality:AR)を体感することができる。
The
ROM34は、複数のファームウェアやこれらのファームウェアの実行時に使用されるデータ等を記憶する。RAM35は、CPU30の作業領域として使用される。
The
二次記憶装置36は、EEPROMやフラッシュメモリ等の読み書き可能な不揮発性の半導体メモリで構成される。二次記憶装置36は、制御装置2を介して機器4を遠隔操作するための処理について記述された遠隔操作プログラムを含む各種のプログラムと、これらのプログラムの実行時に使用されるデータを記憶する。
The
端末装置3は、機能的には、図5に示すように、特定画像検出部300と、検出情報送信部301と、報知部302と、を備える。これらの機能部は、CPU30が二次記憶装置36に記憶されている遠隔操作プログラムを実行することで実現される。
The
特定画像検出部300は、一定時間間隔(例えば、0.5秒間隔)で、イメージセンサ32により撮像された画像から予め定めた条件に合致する特定画像を検出する。特定画像とは、本実施形態では、二次元コードであり、より詳細には、マトリックス式の二次元コードである。なお、特定画像は、スタック式の二次元コードであってもよいし、一次元コードでもよい。あるいは、特定画像は、周知の規格に基づくものに限定されず、制御システム1で使用するために定義したものであってもよい。
The specific
検出情報送信部301は、特定画像検出部300により特定画像が検出される度に、当該検出された特定画像をデコードし、デコードした結果(本実施形態では、上述した操作コード)を格納した情報(画像検出情報)を制御装置2に送信する。
Each time the specific image is detected by the specific
報知部302は、制御装置2から送信された後述する操作情報を受信すると、操作情報の内容をユーザに報知する。より詳細には、報知部302は、操作情報の内容を示す映像を端末装置3のレンズの予め定めた位置に投影する。
When receiving the operation information described below transmitted from the
続いて、制御装置2の機能構成について説明する。制御装置2は、機能的には、図6に示すように、操作情報送信部200と、機器制御部201と、を備える。これらの機能部は、CPU20が二次記憶装置24に記憶されている遠隔操作プログラム240を実行することで実現される。
Subsequently, a functional configuration of the
操作情報送信部200は、候補決定部2000と、操作情報生成部2001と、を有する。候補決定部2000は、端末装置3からの上述した画像検出情報を受信すると、受信した画像検出情報から操作コードを抽出する。そして、候補決定部2000は、抽出した操作コードを用いて操作コードテーブル2413を参照することで、制御対象の候補となる機器4(制御候補機器)と当該機器4の操作内容を決定する。
The operation
例えば、操作コードが“L001”の場合、候補決定部2000は、リビングに設置されている照明器(以下、リビングの照明器と称する。)を制御候補機器として決定し、電源のオン/オフをリビングの照明器の操作内容として決定する。
For example, when the operation code is “L001”, the
操作情報生成部2001は、動作情報テーブル2412を参照して、決定した制御候補機器における決定した操作内容に対応する現在の動作状態を取得する。そして、操作情報生成部2001は、決定した制御候補機器及びその操作内容と、取得した当該制御候補機器の現在の動作状態に基づいて、端末装置3に通知するための操作情報を生成する。
The operation
例えば、リビングの照明器が制御候補機器であり、操作内容が電源のオン/オフであり、リビングの照明器の電源が現在オフである場合、操作情報には、リビングの照明器をオフからオンにする制御であることを示す情報が格納される。操作情報生成部2001は、このようにして生成した操作情報を端末装置3に送信する。
For example, if the living room illuminator is a control candidate device, the operation content is power on / off, and the living room illuminator is currently off, the operation information includes the living room illuminator from off to on. Is stored. The operation
機器制御部201は、許可判別部2010と、制御コマンド送信部2011と、を有する。許可判別部2010は、操作情報の送信後に、端末装置3から送られてくる画像検出情報に基づいて、ユーザにより、当該制御候補機器に対する制御が許可されたか否かを判別する。
The
より詳細には、許可判別部2010は、先に端末装置3に送信した操作情報に対応する画像検出情報と同内容(即ち、操作コードが同一)の画像検出情報を、予め定めた期間(第1期間)の間、端末装置3から継続して受信したか否かを判別する。そして、継続して受信した場合、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。第1期間は、例えば10秒である。
More specifically, the
また、許可判別部2010は、先に端末装置3に送信した操作情報に対応する画像検出情報と同内容の画像検出情報を、予め定めた期間(第2期間)の間、1回も受信できなかった場合、不許可条件が成立したとして、当該制御候補機器に対する制御が許可されなかったと判別する。第2期間は、例えば10秒である。
In addition, the
許可判別部2010は、上記のような許可されたか否かの判別を、操作情報生成部2001により操作情報が端末装置3に送信されてから、即ち、端末装置3において操作情報の内容がユーザに報知されてから、予め定めた期間(許可待ち期間)の間に行う。許可待ち期間は、例えば30秒である。なお、許可待ち期間の間に、許可条件、不許可条件の何れも成立しなかった場合、許可判別部2010は、当該制御候補機器に対する制御が許可されなかったと判別する。
The
制御コマンド送信部2011は、上記の許可条件が成立した場合、当該制御候補機器を制御するための制御コマンドを生成し、当該制御候補機器に送信する。より詳細には、制御コマンド送信部2011は、上記の操作情報で示される内容で当該制御候補機器を制御するための制御コマンドを生成する。
When the above permission condition is satisfied, the control
図7は、制御システム1で実行される、遠隔操作における機器制御処理の手順を示すフローチャートである。端末装置3を装着したユーザの視野(レンズ越しのユーザ視野)に、紙等の物体に印字された特定画像(即ち、二次元コード)が入ると(図8参照)、端末装置3の特定画像検出部300は、かかる特定画像を検出する(ステップS101)。
FIG. 7 is a flowchart illustrating a procedure of a device control process in a remote operation, which is executed by the
端末装置3の検出情報送信部301は、特定画像検出部300により検出された特定画像をデコードし、デコードした結果(即ち、操作コード)を格納した画像検出情報を制御装置2に送信する(ステップS102)。
The detection
制御装置2の操作情報送信部200(候補決定部2000、操作情報生成部2001)は、端末装置3からの画像検出情報を受信すると、受信した画像検出情報に格納されている操作コードに基づいて、制御候補機器を決定し、操作情報を生成する(ステップS103)。そして、操作情報送信部200は、生成した操作情報を端末装置3に送信する(ステップS104)。
When receiving the image detection information from the
端末装置3の報知部302は、制御装置2からの操作情報を受信すると、操作情報の内容をユーザに報知する(ステップS105)。より詳細には、報知部302は、操作情報の内容を示す映像(操作情報映像)を端末装置3のレンズに投影する。図9に、操作情報映像が投影された例を示す。
Upon receiving the operation information from the
ユーザは、制御候補機器に対する制御を許可する場合(ここでは、リビングの照明器をオフからオンにする制御を許可する場合)、上述した許可待ち期間内(例えば、30秒以内)に、少なくとも第1期間(例えば10秒)の間、当該二次元コードがユーザの視野(視界)に入っているように注意する。具体的には、ユーザは、当該二次元コードがユーザの視野から外れてしまうほどに、頭部を動かしたり、あるいは、二次元コードが印字された物体を動かさないようにする。 When permitting control of the control candidate device (in this case, permitting control of turning on the illuminator in the living room from off to on), the user must set at least the first time within the above-described permission waiting period (for example, within 30 seconds). During one period (for example, 10 seconds), care is taken so that the two-dimensional code is in the visual field of the user. Specifically, the user does not move the head or move the object on which the two-dimensional code is printed so that the two-dimensional code is out of the user's field of view.
一方、制御候補機器に対する制御を許可しない場合には、ユーザは、第2期間(例えば10秒)の間、当該二次元コードがユーザの視野から外れるように、頭部を動かしたり、あるいは、当該二次元コードが印字された物体を動かせばよい。 On the other hand, when the control on the control candidate device is not permitted, the user moves his / her head so that the two-dimensional code is out of the user's field of view during the second period (for example, 10 seconds), or What is necessary is just to move the object on which the two-dimensional code is printed.
制御装置2の許可判別部2010は、操作情報を端末装置3に送信してから(即ち、端末装置3にて操作情報の内容が報知されてから)、端末装置3から送られくる画像検出情報を監視して、当該制御候補機器に対する制御が許可されたか否かを判別する(ステップS106)。
The
制御が許可されたと判別されると(ステップS106;YES)、制御コマンド送信部2011は、操作情報生成部2001が生成した操作情報の内容で当該制御候補機器を制御するための制御コマンドを生成し、当該制御候補機器に送信する(ステップS107)。
When it is determined that the control is permitted (step S106; YES), the control
以上説明したように、本発明の実施形態1に係る制御システム1では、特定画像、即ち二次元コードを用いて機器4を制御することが可能であるため、ユーザの操作性が向上し、利便性に優れる。また、端末装置3により特定画像が検出されても、制御装置2は、直ちに対応する機器4の制御を実行せず、当該特定画像に対応する操作情報を生成し、端末装置3に送信する。そして、端末装置3は、制御装置2からの操作情報の内容をユーザに報知する。制御装置2は、制御の実行をユーザが許可した場合に限り、当該機器4(制御候補機器)の制御を実行する。したがって、機器4に対して、ユーザの意図しない操作が実行されてしまう事態を回避でき、機器4に対する誤操作の防止効果が得られる。
As described above, in the
さらに、制御の実行の許可、不許可を、特別な操作を行うことなく、簡易な動作によって制御装置2に指示することができるため、このような端末装置3を用いた機器4の遠隔操作サービスを幅広いユーザに提供することが可能となる。
Furthermore, since permission or non-permission of control execution can be instructed to the
なお、実施形態1は、以下のように変形してもよい。 Note that the first embodiment may be modified as follows.
(変形例1)
端末装置3の報知部302は、操作情報の内容に加え、図10に示すように、許可及び不許可の指示方法をユーザに報知してもよい。(Modification 1)
The
(変形例2)
実施形態1では、操作情報映像が投影されると、ユーザは、第1期間(例えば10秒)の間、特定画像(二次元コード)がユーザの視野に入っているようにすることで制御の許可を指示した。しかしながら、この指示方法に限定されることはない。(Modification 2)
In the first embodiment, when the operation information image is projected, the user controls the specific image (two-dimensional code) in the user's field of view for the first period (for example, 10 seconds). Instructed permission. However, the present invention is not limited to this instruction method.
例えば、ユーザは、視野内における現在の特定画像の位置を、視野内における予め定めた領域に移動させることで、制御の許可を指示できるようにしてもよい。この場合、端末装置3の報知部302は、制御装置2からの操作情報を受信すると、操作情報映像を端末装置3のレンズに投影すると共に、図11に示すような移動先枠1101をレンズに投影する。
For example, the user may be able to instruct control permission by moving the current position of the specific image in the field of view to a predetermined area in the field of view. In this case, when receiving the operation information from the
ユーザは、制御の実行を許可する場合、頭部を動かしたり、あるいは、当該特定画像が印字された物体の位置を動かす等して、ユーザの視野内(即ち、イメージセンサ32の撮像範囲内)における特定画像の位置を、上記の移動先枠1101で囲まれた領域まで移動させる(図12参照)。 When permitting the execution of the control, the user moves the head, or moves the position of the object on which the specific image is printed, for example, within the field of view of the user (that is, within the imaging range of the image sensor 32). Is moved to the area surrounded by the destination frame 1101 (see FIG. 12).
この変形例では、端末装置3の検出情報送信部301は、操作情報映像が投影されてから予め定めた期間(許可待ち期間と同一期間)の間は、制御装置2に送信する画像検出情報に、特定画像検出部300により検出された特定画像をデコードした結果に加え、当該特定画像の位置情報を格納する。特定画像の位置情報とは、イメージセンサ32によって撮像された画像(撮像画像)における特定画像の位置を示す情報である。
In this modification, the detection
また、この変形例における制御装置2の許可判別部2010は、受信した画像検出情報に含まれる特定画像の位置情報に基づいて、ユーザにより制御が許可されたか否かを判別する。即ち、特定画像が、撮像画像における、上記の移動先枠1101の投影位置に相当する領域内に位置する場合、許可判別部2010は、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。なお、撮像画像の領域と、移動先枠1101の投影位置との対応関係を示すデータは、予め制御装置2の二次記憶装置24に保存されているものとする。
In addition, the
(変形例3)
実施形態1では、1つの特定画像がユーザの視野(イメージセンサ32の撮像範囲)に入った場合、即ち、制御候補機器が1つの場合の制御について説明した。しかし、図13に示すように、複数の特定画像がユーザの視野に入るケースもあり得る。このような場合、この変形例における端末装置3の報知部302は、制御装置2から送信された操作情報を受信すると、対応する特定画像に近接させて当該操作情報映像を投影する(図14参照)。(Modification 3)
In the first embodiment, the control in the case where one specific image enters the user's field of view (the imaging range of the image sensor 32), that is, in the case where there is one control candidate device, has been described. However, as shown in FIG. 13, there may be a case where a plurality of specific images are included in the field of view of the user. In such a case, the
このようにすると、複数の特定画像が検出された場合であっても、ユーザは、各特定画像と操作情報の内容との対応関係を把握できる。 In this way, even when a plurality of specific images are detected, the user can grasp the correspondence between each specific image and the content of the operation information.
この変形例では、前述した変形例2の場合と同様、ユーザは、ユーザの視野内における何れかの特定画像の位置を、レンズに投影された移動先枠1101で囲まれた領域まで移動させることで、当該特定画像に対応する制御候補機器に対する制御の許可を制御装置2に指示することができる。この変形例において、許可待ち期間は、固定ではなく、制御候補機器の数に応じて変更してもよい。例えば、制御候補機器が1つの場合、許可待ち期間は30秒であり、制御候補機器が3つの場合、許可待ち期間は60秒にしてもよい。
In this modification, similarly to the above-described
(変形例4)
制御装置2において、候補決定部2000により制御候補機器とその操作内容が決定された後、操作情報生成部2001が操作情報を端末装置3に送信する前に、当該制御候補機器に対する制御の可否を判断するようにしてもよい。具体的には、制御装置2の操作情報送信部200は、制御候補機器に対する制御の可否を判別する図示しない制御可否判別部をさらに備える。(Modification 4)
In the
例えば、制御可否判別部は、動作情報テーブル2412を参照して、当該制御候補機器に異常が検出されているか否かを判別する。異常が検出されている場合、制御可否判別部は、当該制御候補機器に対する制御は不可であると判別する。また、例えば、当該制御候補機器に対して行われた直近の操作から予め定められた操作禁止期間が経過していない場合、制御可否判別部は、当該制御候補機器に対する制御は不可であると判別する。操作禁止期間は、全ての機器4で共通であってもよいし、機器4の種別毎、あるいは個別に設定されてもよい。 For example, the control availability determination unit refers to the operation information table 2412 to determine whether an abnormality is detected in the control candidate device. If an abnormality is detected, the controllability determining unit determines that control on the control candidate device is not possible. Further, for example, if the predetermined operation prohibition period has not elapsed from the latest operation performed on the control candidate device, the controllability determining unit determines that the control on the control candidate device is impossible. I do. The operation prohibition period may be common to all devices 4 or may be set for each type of device 4 or individually.
また、例えば、当該制御候補機器が、予めスケジュールされた運転の最中または、予めスケジュールされた運転の開始直前(例えば、開始時刻の10分前以内など)の場合、制御可否判別部は、当該制御候補機器に対する制御は不可であると判別する。 Further, for example, when the control candidate device is in the middle of a pre-scheduled operation or immediately before the start of a pre-scheduled operation (for example, within 10 minutes before the start time), the controllability determining unit may It is determined that the control on the control candidate device is impossible.
操作情報生成部2001は、制御可否判別部により制御が不可であると判別されると、制御候補機器の現在の動作状態及び制御が不可であることを示す操作情報を生成し、端末装置3に送信する。この場合に端末装置3で報知される操作情報の内容の例を図15に示す。
When the control availability determination unit determines that the control is not possible, the operation
許可判別部2010は、制御可否判別部により制御が不可であると判別された制御候補機器に対応する画像検出情報を端末装置3から受信した場合であっても、制御の許可/不許可の判別に係る処理を行うことなく、当該画像検出情報を破棄する。
The
このように、制御候補機器の制御の可否を判別することで、安全性、省エネ性、快適性等の観点から端末装置3を介して操作されることが好ましくない機器4を操作対象から外すことが可能となる。
As described above, by judging whether or not the control candidate device can be controlled, the device 4 that is not preferably operated via the
(実施形態2)
続いて、本発明の実施形態2について説明する。なお、以下の説明において、実施形態1と共通する構成要素等については、同一の符号を付し、その説明を省略する。(Embodiment 2)
Next, a second embodiment of the present invention will be described. In the following description, components and the like common to the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
図16は、実施形態2の端末装置3Aのハードウェア構成を示すブロック図である。端末装置3Aには、実施形態1の端末装置3の構成に加え、視線検出部38が追加されている。視線検出部38は、眼電位センサを備え、端末装置3Aを装着したユーザの視線を検出する。なお、視線検出部38は、ユーザの眼部を撮像するイメージセンサを有し、撮像した眼部の画像を解析することでユーザの視線を検出してもよい。
FIG. 16 is a block diagram illustrating a hardware configuration of the terminal device 3A according to the second embodiment. In the terminal device 3A, in addition to the configuration of the
端末装置3Aの報知部302は制御装置2からの操作情報を受信すると、操作情報映像を端末装置3Aのレンズに投影すると共に、図17に示すようなマーク1701をレンズに投影する。ユーザは、制御の実行を許可する場合、予め定めた期間(第3期間)の間、マーク1701を見つめる。第3期間は、前述した第1,第2期間より短い時間であり、例えば3秒である。
Upon receiving the operation information from the
端末装置3Aの検出情報送信部301は、操作情報映像が投影されてから予め定めた期間(許可待ち期間と同一期間)の間は、制御装置2に送信する画像検出情報に、特定画像検出部300により検出された特定画像をデコードした結果に加え、視線情報を格納する。視線情報とは、視線検出部38の検出値を示す情報である。
The detection
本実施形態の制御装置2の許可判別部2010は、受信した画像検出情報に含まれる視線情報を監視することで、ユーザにより制御が許可されたか否かを判別する。より詳細には、許可判別部2010は、視線情報から、ユーザがマーク1701を見ているか否かを判別し、ユーザがマーク1701を見ている状態が予め定めた期間(第3期間と同一期間)の間、継続した場合に、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。なお、視線検出部38の検出値と、マーク1701の投影位置との対応関係を示すデータは、予め制御装置2の二次記憶装置24に保存されているものとする。
The
一方、許可待ち期間の間に、上記の許可条件が成立しなかった場合、許可判別部2010は、当該制御候補機器に対する制御が許可されなかったと判別する。
On the other hand, when the above-described permission condition is not satisfied during the permission waiting period, the
制御コマンド送信部2011は、上記の許可条件が成立した場合、操作情報生成部2001が生成した操作情報の内容で当該制御候補機器を制御するための制御コマンドを生成し、当該制御候補機器に送信する。
When the above-mentioned permission condition is satisfied, the control
以上説明したように、本発明の実施形態2に係る制御システム1では、特定画像、即ち二次元コードを用いて機器4を制御することが可能であるため、ユーザの操作性が向上し、利便性に優れる。また、端末装置3Aにより特定画像が検出されても、制御装置2は、直ちに対応する機器4の制御を実行せず、当該特定画像に対応する操作情報を生成し、端末装置3に送信する。そして、端末装置3Aは、制御装置2からの操作情報の内容をユーザに報知する。制御装置2は、制御の実行をユーザが許可した場合に限り、当該機器4(制御候補機器)の制御を実行する。機器4に対して、ユーザの意図しない操作が実行されてしまう事態を回避でき、機器4に対する誤操作の防止効果が得られる。
As described above, in the
さらに、ユーザは、制御の実行の許可、不許可を視線を変えるだけで制御装置2に指示することができる。したがって、このような端末装置3を用いた機器4の遠隔操作サービスをより幅広いユーザに提供することが可能となる。
Further, the user can instruct the
なお、実施形態2は、以下のように変形してもよい。 Note that the second embodiment may be modified as follows.
(変形例1)
実施形態2では、ユーザは、制御内容が報知されると、第3期間の間、端末装置3のレンズに投影されたマーク1701を見つめることで制御の許可を指示した。しかしながら、この指示方法に限定されることはない。(Modification 1)
In the second embodiment, when the control content is notified, the user instructs the permission of the control by looking at the
例えば、端末装置3Aの報知部302は、マーク1701ではなく、図18に示すように、許可する場合と許可しない場合の視線の移動先を示すマーク1801A,1801Bを端末装置3Aのレンズに投影してもよい。
For example, as shown in FIG. 18, the
ユーザは、制御を許可する場合、第3期間の間、マーク1801Aを見つめ、一方、制御を許可しない場合は、第3期間の間、マーク1801Bを見つめる。
The user looks at the
この変形例において、制御装置2の許可判別部2010は、受信した画像検出情報に含まれる視線情報から、ユーザがマーク1801Aを見ているか否かを判別する。ユーザがマーク1801Aを見ている状態が第3期間の間、継続した場合、許可判別部2010は、許可条件が成立したとして、当該制御候補機器に対する制御が許可されたと判別する。
In this modification, the
また、許可判別部2010は、視線情報から、ユーザがマーク1801Bを見ているか否かを判別する。ユーザがマーク1801Bを見ている状態が第3期間の間、継続した場合、許可判別部2010は、不許可条件が成立したとして、当該制御候補機器に対する制御が許可されなかったと判別する。
In addition, the
なお、視線検出部38の検出値と、マーク1801A,1801Bそれぞれの投影位置との対応関係を示すデータは、予め制御装置2の二次記憶装置24に保存されているものとする。
It is assumed that data indicating the correspondence between the detection value of the visual
許可待ち期間の間に、上記の許可条件、不許可条件の何れも成立しなかった場合、許可判別部2010は、当該制御候補機器に対する制御が許可されなかったと判別する。
If neither the permission condition nor the non-permission condition is satisfied during the permission waiting period, the
(変形例2)
実施形態2では、1つの特定画像がユーザの視野(イメージセンサ32の撮像範囲)に入った場合、即ち、制御候補機器が1つの場合の制御について説明した。しかし、図13に示すように、複数の特定画像がユーザの視野に入るケースもあり得る。このような場合、この変形例における端末装置3Aの報知部302は、実施形態1の変形例3の場合と同様、制御装置2からの操作情報を受信すると、対応する特定画像に近接させて当該操作情報映像を投影する(図19参照)。(Modification 2)
In the second embodiment, the control in the case where one specific image enters the field of view of the user (the imaging range of the image sensor 32), that is, in the case where the number of control candidate devices is one, has been described. However, as shown in FIG. 13, there may be a case where a plurality of specific images are included in the field of view of the user. In such a case, as in the case of the third modification of the first embodiment, the
この変形例では、ユーザは、制御を許可する場合、第4期間の間、当該制御候補機器に対応する操作情報映像を見つめる。第4期間は、前述した第1,第2期間より短く、第3期間より長い時間であり、例えば5秒である。また、報知部302は、ユーザの視線が向けられた操作情報映像の投影態様を他と異なるようにする。例えば、図19の例では、制御候補機器であるキッチンの照明器に対応する操作情報映像にユーザの視線が向けられていることが示されている。このようすれば、ユーザは、自分の視線がどこに向けられているかを容易且つ正確に認識できる。
In this modification, when permitting control, the user looks at the operation information image corresponding to the control candidate device during the fourth period. The fourth period is shorter than the first and second periods and longer than the third period, for example, 5 seconds. In addition, the
端末装置3Aの検出情報送信部301は、上述したように、操作情報映像が投影されてから予め定めた期間(許可待ち期間と同一期間)の間は、制御装置2に送信する画像検出情報に、特定画像検出部300により検出された特定画像をデコードした結果に加え、視線情報を格納する。ただし、この変形例における視線情報は、当該特定画像に対応する操作情報映像にユーザの視線が向けられているか否かを示す情報である。
As described above, the detection
この変形例における制御装置2の許可判別部2010は、受信した画像検出情報に含まれる視線情報を監視して、ユーザが何れか1つの操作情報映像を見ているか否かを判別する。そして、何れか1つの操作情報映像を見ている状態が予め定めた期間(第4期間)の間、継続した場合、許可判別部2010は、許可条件が成立したとして、当該画像検出情報に対応する制御候補機器に対する制御が許可されたと判別する。
The
なお、実施形態1の変形例3の場合と同様、許可待ち期間は、固定ではなく、制御候補機器の数に応じて変更してもよい。例えば、制御候補機器が1つの場合、許可待ち期間は30秒であり、制御候補機器が3つの場合、許可待ち期間は60秒にしてもよい。 Note that, similarly to the third modification of the first embodiment, the permission waiting period is not fixed, and may be changed according to the number of control candidate devices. For example, when there is one control candidate device, the permission waiting period may be 30 seconds, and when there are three control candidate devices, the permission waiting period may be 60 seconds.
(変形例3)
実施形態1の変形例4と同様に、実施形態2の制御装置2において、操作情報送信部200が、制御候補機器に対する制御の可否を判別する図示しない制御可否判別部をさらに備えるようにしてもよい。この場合、操作情報生成部2001は、制御可否判別部により制御が不可であると判別されると、制御候補機器の現在の動作状態及び制御が不可であることを示す操作情報を生成し、端末装置3Aに送信する。(Modification 3)
Similarly to the fourth modification of the first embodiment, in the
許可判別部2010は、制御可否判別部により制御が不可であると判別された制御候補機器に対応する画像検出情報を端末装置3Aから受信した場合であっても、制御の許可/不許可の判別に係る処理を行うことなく、当該画像検出情報を破棄する。
The
本発明は、上記の各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。 The present invention is not limited to the above embodiments, and various changes can be made without departing from the spirit of the present invention.
例えば、上記の各実施形態では、端末装置3,3Aは、眼鏡型のヘッドマウントディスプレイ(スマートグラスともいう。)であったが、本発明に係る端末装置として、非透過型のヘッドマウントディスプレイや、ヘッドマウントディスプレイ以外のウェアラブルコンピュータを採用することも可能である。このような端末装置では、端末装置3,3Aにおける映像投影部33の替わりに、イメージセンサ32により撮像された外界の様子を示す画像(外界画像)を表示する液晶ディスプレイ等の表示デバイスを備える。この場合、操作情報映像が、外界画像に重畳させて表示デバイスに表示される。
For example, in each of the above embodiments, the
また、操作情報の内容が報知されていることをユーザに知らせるため、端末装置3,3Aは、音や光を発したり、あるいは、振動する等してもよい。
Further, the
また、端末装置3,3Aが、制御の許可又は不許可の指示を制御装置2が受付済みであることをユーザに報知してもよい。この場合、ユーザによる制御の許可又は不許可の指示を受け付けたことが制御装置2から端末装置3,3Aに通知される。かかる通知を受けた端末装置3,3Aは、対応する操作情報映像の投影態様(あるいは表示態様)を許可又は不許可に応じて変化させる。このような報知が、実施形態1の変形例3における端末装置3で行われた例を図20に示す。図20の例では、リビングの照明器に対する制御が許可済みであり、リビングのエアコンに対する制御が不許可済みであり、キッチンの照明器に対する制御については許可又は不許可の指示待ちであることが示されている。
Further, the
また、操作情報の内容の報知態様も映像のみに限定されず、例えば、音声メッセージで報知してもよい。 Further, the mode of notification of the content of the operation information is not limited to only the video, but may be, for example, a voice message.
また、上記の各実施形態では、制御装置2が、制御候補機器に対する制御がユーザにより許可されたか否かを判別していたが、かかる判別を端末装置3,3Aが行ってもよい。具体的には、端末装置3,3Aは、制御装置2の許可判別部2010と同様の機能を果たす許可判別部(図示せず)を備え、この許可判別部は、判別した結果を示す情報(許可判別情報)を制御装置2に送信する。そして、制御装置2は、かかる許可判別情報に基づいて、ユーザが制御候補機器に対する制御を許可したか否かを判別する。
Further, in each of the above-described embodiments, the
また、端末装置3,3Aに、制御候補機器に対する制御の許可又は不許可をユーザから受け付けるための押しボタンやスイッチ等を別途設けてもよい。あるいは、端末装置3,3Aに、マイクロフォンを設け、ユーザが、音声により制御候補機器に対する制御の許可又は不許可を指示できるようにしてもよいし、端末装置3,3Aに、加速度センサを設け、ユーザが、端末装置3,3Aを傾けたり、振ったりすることで制御候補機器に対する制御の許可又は不許可を指示できるようにしてもよい。
Further, the
上記の実施形態では、CPU20によって二次記憶装置24に記憶されている遠隔操作プログラム240が実行されることで、制御装置2の各機能部(図6参照)が実現された。また、CPU30によって二次記憶装置36に記憶されている遠隔操作プログラムが実行されることで、端末装置3,3Aの各機能部(図5参照)が実現された。しかし、制御装置2、端末装置3,3Aそれぞれの機能部の全部又は一部が、専用のハードウェアで実現されるようにしてもよい。専用のハードウェアとは、例えば、単一回路、複合回路、プログラム化されたプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらの組み合わせ等である。
In the above-described embodiment, the
また、上記の実施形態において、制御装置2によって実行されるプログラムは、CD−ROM(Compact Disc Read Only Memory)、DVD(digital versatile disc)、光磁気ディスク(Magneto-Optical Disc)、USB(Universal Serial Bus)メモリ、メモリカード、HDD等のコンピュータ読み取り可能な記録媒体に格納して配布することも可能である。そして、かかるプログラムを特定の又は汎用のコンピュータにインストールすることによって、当該コンピュータを上記の各実施形態における制御装置2として機能させることも可能である。
In the above embodiment, the program executed by the
また、上記のプログラムをインターネット等のネットワーク上のサーバが有するディスク装置等に格納しておき、当該プログラムがサーバからコンピュータにダウンロードされるようにしてもよい。 Alternatively, the program may be stored in a disk device or the like of a server on a network such as the Internet, and the program may be downloaded from the server to a computer.
本発明は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能である。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。 The present invention is capable of various embodiments and modifications without departing from the broad spirit and scope. Further, the above-described embodiment is for describing the present invention, and does not limit the scope of the present invention. That is, the scope of the present invention is shown not by the embodiment but by the claims. Various modifications made within the scope of the claims and equivalents thereof are considered to be within the scope of the present invention.
本発明は、家庭内に設置された電気機器の動作を管理するシステム等に好適に採用され得る。 INDUSTRIAL APPLICATION This invention can be employ | adopted suitably for the system etc. which manage the operation | movement of the electric equipment installed in the home.
1 制御システム、2 制御装置、3 端末装置、4−1,4−2 機器、20,30 CPU、21,31 通信インタフェース、22,34 ROM、23,35 RAM、24,36 二次記憶装置、25,37 バス、32 イメージセンサ、33 映像投影部、38 視線検出部、200 操作情報送信部、201 機器制御部、240 遠隔操作プログラム、241 機器情報、300 特定画像検出部、301 検出情報送信部、302 報知部、2000 候補決定部、2001 操作情報生成部、2010 許可判別部、2011 制御コマンド送信部、2410 接続情報テーブル、2411 場所情報テーブル、2412 動作情報テーブル、2413 操作コードテーブル 1 control system, 2 control devices, 3 terminal devices, 4-1 and 4-2 devices, 20, 30 CPU, 21, 31 communication interface, 22, 34 ROM, 23, 35 RAM, 24, 36 secondary storage device, 25, 37 bus, 32 image sensor, 33 video projection unit, 38 gaze detection unit, 200 operation information transmission unit, 201 device control unit, 240 remote operation program, 241 device information, 300 specific image detection unit, 301 detection information transmission unit , 302 notification unit, 2000 candidate determination unit, 2001 operation information generation unit, 2010 permission determination unit, 2011 control command transmission unit, 2410 connection information table, 2411 location information table, 2412 operation information table, 2413 operation code table
Claims (10)
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段は、前記制御候補機器に対する制御の不許可の指示済みであることをユーザに報知する、制御システム。 A control device for controlling a plurality of devices, a control system including a terminal device,
The terminal device,
An image sensor,
A specific image detection unit that detects a specific image that matches a predetermined condition from an image captured by the image sensor,
Detection information transmission means for transmitting image detection information based on the specific image to the control device,
Notifying means for notifying a user of the content of the operation information when receiving the operation information transmitted from the control device,
The control device includes:
Upon receiving the image detection information transmitted from the terminal device, based on the image detection information, selects a control candidate device from the plurality of devices and generates operation information regarding the control candidate device, and generates the operation information for the terminal device. Operation information transmitting means for transmitting;
Device control means for determining whether or not control on the control candidate device has been permitted by the user, and, if permitted, controlling the control candidate device based on the operation information;
The control system, wherein the notifying unit notifies a user that an instruction to disallow control of the control candidate device has been issued.
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記機器制御手段は、前記操作情報送信手段により前記操作情報が送信された後、前記端末装置から、前記制御候補機器に対応する前記画像検出情報を予め定めた期間の間、継続して受信した場合、ユーザにより前記制御候補機器に対する制御が許可されたと判別する、制御システム。 A control device for controlling a plurality of devices, a control system including a terminal device,
The terminal device,
An image sensor,
A specific image detection unit that detects a specific image that matches a predetermined condition from an image captured by the image sensor,
Detection information transmission means for transmitting image detection information based on the specific image to the control device,
Notifying means for notifying a user of the content of the operation information when receiving the operation information transmitted from the control device,
The control device includes:
Upon receiving the image detection information transmitted from the terminal device, based on the image detection information, selects a control candidate device from the plurality of devices and generates operation information regarding the control candidate device, and generates the operation information for the terminal device. Operation information transmitting means for transmitting;
Device control means for determining whether or not control on the control candidate device has been permitted by the user, and, if permitted, controlling the control candidate device based on the operation information;
After the operation information is transmitted by the operation information transmitting unit, the device control unit continuously receives the image detection information corresponding to the control candidate device for a predetermined period from the terminal device. In a case, the control system determines that the user has permitted control of the control candidate device.
前記端末装置は、
イメージセンサと、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段により前記操作情報の内容が報知された後、前記検出情報送信手段は、前記画像検出情報に前記特定画像の位置に関する位置情報を格納し、
前記機器制御手段は、前記位置情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、制御システム。 A control device for controlling a plurality of devices, a control system including a terminal device,
The terminal device,
An image sensor,
A specific image detection unit that detects a specific image that matches a predetermined condition from an image captured by the image sensor,
Detection information transmission means for transmitting image detection information based on the specific image to the control device,
Notifying means for notifying a user of the content of the operation information when receiving the operation information transmitted from the control device,
The control device includes:
Upon receiving the image detection information transmitted from the terminal device, based on the image detection information, selects a control candidate device from the plurality of devices and generates operation information regarding the control candidate device, and generates the operation information for the terminal device. Operation information transmitting means for transmitting;
Device control means for determining whether or not control on the control candidate device has been permitted by the user, and, if permitted, controlling the control candidate device based on the operation information;
After the content of the operation information is notified by the notifying unit, the detection information transmitting unit stores position information regarding the position of the specific image in the image detection information,
The control system, wherein the device control means determines whether or not control of the control candidate device is permitted by a user based on the position information.
前記端末装置は、
イメージセンサと、
ユーザの視線を検出する視線検出手段と、
前記イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出する特定画像検出手段と、
前記特定画像に基づく画像検出情報を前記制御装置に送信する検出情報送信手段と、
前記制御装置から送信された操作情報を受信すると、前記操作情報の内容をユーザに報知する報知手段と、を備え、
前記制御装置は、
前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信する操作情報送信手段と、
ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する機器制御手段と、を備え、
前記報知手段により前記操作情報の内容が報知された後、前記検出情報送信手段は、前記画像検出情報に前記視線検出手段により検出された結果を示す視線情報を格納し、
前記機器制御手段は、前記視線情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、制御システム。 A control device for controlling a plurality of devices, a control system including a terminal device,
The terminal device,
An image sensor,
Gaze detection means for detecting the gaze of the user;
A specific image detection unit that detects a specific image that matches a predetermined condition from an image captured by the image sensor,
Detection information transmission means for transmitting image detection information based on the specific image to the control device,
Notifying means for notifying a user of the content of the operation information when receiving the operation information transmitted from the control device,
The control device includes:
Upon receiving the image detection information transmitted from the terminal device, based on the image detection information, selects a control candidate device from the plurality of devices and generates operation information regarding the control candidate device, and generates the operation information for the terminal device. Operation information transmitting means for transmitting;
Device control means for determining whether or not control on the control candidate device has been permitted by the user, and, if permitted, controlling the control candidate device based on the operation information;
After the content of the operation information is notified by the notifying unit, the detection information transmitting unit stores line-of-sight information indicating a result detected by the line-of-sight detection unit in the image detection information,
A control system, wherein the device control means determines whether or not control of the control candidate device is permitted by a user based on the line of sight information.
前記機器制御手段は、前記許可判別情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別する、請求項1に記載の制御システム。 The terminal device, after the content of the operation information is notified by the notifying unit, determines whether or not control of the control candidate device is permitted by a user, and sets permission determination information indicating a result of the determination to the control device. Further comprising permission determination means for transmitting to
The control system according to claim 1, wherein the device control unit determines whether or not control of the control candidate device is permitted by a user based on the permission determination information.
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、
前記制御装置が、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御し、
前記端末装置が、前記制御候補機器に対する制御の不許可の指示済みであることをユーザに報知する、機器制御方法。 A control device that controls a plurality of devices, and a method performed by a control system including a terminal device,
The terminal device detects a specific image that matches a predetermined condition from an image captured by an image sensor, and transmits image detection information based on the specific image to the control device,
When the control device receives the image detection information transmitted from the terminal device, based on the image detection information, selects control candidate devices from the plurality of devices and generates operation information regarding the control candidate devices, Transmitting to the terminal device,
When the terminal device receives the operation information transmitted from the control device, notifies the user of the content of the operation information,
The control device determines whether or not control on the control candidate device is permitted by a user, and when permitted, controls the control candidate device based on the operation information,
A device control method, wherein the terminal device notifies a user that an instruction to disallow control of the control candidate device has been issued.
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、
前記制御装置が、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御し、
前記制御装置は、前記操作情報を送信した後、前記端末装置から、前記制御候補機器に対応する前記画像検出情報を予め定めた期間の間、継続して受信した場合、ユーザにより前記制御候補機器に対する制御が許可されたと判別する、機器制御方法。 A control device that controls a plurality of devices, and a method performed by a control system including a terminal device,
The terminal device detects a specific image that matches a predetermined condition from an image captured by an image sensor, and transmits image detection information based on the specific image to the control device,
When the control device receives the image detection information transmitted from the terminal device, based on the image detection information, selects control candidate devices from the plurality of devices and generates operation information regarding the control candidate devices, Transmitting to the terminal device,
When the terminal device receives the operation information transmitted from the control device, notifies the user of the content of the operation information,
The control device determines whether or not control on the control candidate device is permitted by a user, and when permitted, controls the control candidate device based on the operation information,
The control device, after transmitting the operation information, from the terminal device, if the image detection information corresponding to the control candidate device is continuously received for a predetermined period, if the control candidate device by the user, A device control method for determining that control of the device has been permitted.
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、その後、前記制御装置に送信する前記画像検出情報に前記特定画像の位置に関する位置情報を格納し、
前記制御装置が、前記位置情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する、機器制御方法。 A control device that controls a plurality of devices, and a method performed by a control system including a terminal device,
The terminal device detects a specific image that matches a predetermined condition from an image captured by an image sensor, and transmits image detection information based on the specific image to the control device,
When the control device receives the image detection information transmitted from the terminal device, based on the image detection information, selects control candidate devices from the plurality of devices and generates operation information regarding the control candidate devices, Transmitting to the terminal device,
When the terminal device receives the operation information transmitted from the control device, the terminal device notifies the user of the content of the operation information, and then the image detection information transmitted to the control device includes a position related to the position of the specific image. Store information,
The control device determines, based on the position information, whether or not control of the control candidate device has been permitted by a user, and if permitted, controls the control candidate device based on the operation information. , Equipment control method.
端末装置が、イメージセンサにより撮像された画像から予め定めた条件に合致する特定画像を検出し、前記特定画像に基づく画像検出情報を前記制御装置に送信し、
制御装置が、前記端末装置から送信された前記画像検出情報を受信すると、前記画像検出情報に基づいて、前記複数の機器から制御候補機器を選択すると共に前記制御候補機器に関する操作情報を生成し、前記端末装置に送信し、
前記端末装置が、前記制御装置から送信された前記操作情報を受信すると、前記操作情報の内容をユーザに報知し、その後、ユーザの視線を検出し、検出した結果を示す視線情報を前記制御装置に送信する前記画像検出情報に格納し、
前記制御装置が、前記視線情報に基づいて、ユーザにより前記制御候補機器に対する制御が許可されたか否かを判別し、許可された場合には、前記制御候補機器を前記操作情報に基づいて制御する、機器制御方法。 A control device that controls a plurality of devices, and a method performed by a control system including a terminal device,
The terminal device detects a specific image that matches a predetermined condition from an image captured by an image sensor, and transmits image detection information based on the specific image to the control device,
When the control device receives the image detection information transmitted from the terminal device, based on the image detection information, selects control candidate devices from the plurality of devices and generates operation information regarding the control candidate devices, Transmitting to the terminal device,
When the terminal device receives the operation information transmitted from the control device, the terminal device notifies the user of the content of the operation information, thereafter, detects the user's line of sight, and transmits the line of sight information indicating the detection result to the control device. Stored in the image detection information to be transmitted to,
The control device determines, based on the line-of-sight information, whether or not control of the control candidate device is permitted by a user, and when permitted, controls the control candidate device based on the operation information. , Equipment control method.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/070566 WO2018011890A1 (en) | 2016-07-12 | 2016-07-12 | Control system and apparatus control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018011890A1 JPWO2018011890A1 (en) | 2018-09-20 |
JP6641482B2 true JP6641482B2 (en) | 2020-02-05 |
Family
ID=60952424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018527290A Active JP6641482B2 (en) | 2016-07-12 | 2016-07-12 | Control system and device control method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6641482B2 (en) |
WO (1) | WO2018011890A1 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2377147A (en) * | 2001-06-27 | 2002-12-31 | Nokia Corp | A virtual reality user interface |
JP2011209805A (en) * | 2010-03-29 | 2011-10-20 | Konica Minolta Opto Inc | Video display device |
JP5257437B2 (en) * | 2010-10-20 | 2013-08-07 | コニカミノルタビジネステクノロジーズ株式会社 | Method for operating portable terminal and processing device |
JP5686690B2 (en) * | 2011-07-22 | 2015-03-18 | 京セラドキュメントソリューションズ株式会社 | Image forming system, portable terminal device, and program |
CN106462231A (en) * | 2014-03-17 | 2017-02-22 | Itu 商业发展公司 | Computer-implemented gaze interaction method and apparatus |
-
2016
- 2016-07-12 WO PCT/JP2016/070566 patent/WO2018011890A1/en active Application Filing
- 2016-07-12 JP JP2018527290A patent/JP6641482B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018011890A1 (en) | 2018-01-18 |
JPWO2018011890A1 (en) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5620287B2 (en) | Portable terminal, method and program for changing user interface | |
US10987804B2 (en) | Robot device and non-transitory computer readable medium | |
US11445026B2 (en) | Methods, systems, and media for indicating a security status of an internet of things device | |
JP6195628B2 (en) | Terminal apparatus, control apparatus, installation position confirmation support system, installation position setting support system, installation position confirmation support method, installation position setting support method, and program | |
EP3474517B1 (en) | Electronic device for controlling iot device to correspond to state of external electronic device and operation method thereof | |
US10754161B2 (en) | Apparatus control system | |
CN112526892B (en) | Method and device for controlling intelligent household equipment and electronic equipment | |
US20160004231A1 (en) | Method of managing electrical device, managing system, electrical device, operation terminal, and program | |
EP2822264B1 (en) | Communication system, communication device, and communication method | |
US10769509B2 (en) | Determining an action associated with an apparatus using a combined bar code image | |
US20150039104A1 (en) | Remote controlling method, communication device, and computer-readable storage medium recorded with computer program for performing remote control | |
JP2017146760A (en) | Network system, electric apparatus, communication terminal, and program for communication terminal | |
JPWO2017017791A1 (en) | Determination support apparatus, determination support method, and program | |
JP2009206774A (en) | System and device for transmitting image, and control method | |
WO2017061081A1 (en) | Communication apparatus and control method for the same | |
KR20150086807A (en) | Method and apparatus of universal remocon based on object recognition | |
CN104904191A (en) | Mobile device and method for establishing a wireless link | |
JP6641482B2 (en) | Control system and device control method | |
JP2018195895A (en) | Control device, air conditioner, terminal device, control method, and control program | |
JP2005033682A (en) | Video display system | |
US10810867B2 (en) | Remote control system, remote control method, and program | |
JP6157588B2 (en) | Remote control system, terminal device, remote control method and program | |
TW201435656A (en) | Information technology device input systems and associated methods | |
JP2011175360A (en) | Arbitration server, arbitration method and arbitration program | |
JP2020087354A (en) | Asset management device, asset management system, asset management method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180509 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180509 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6641482 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |