WO2011145709A1 - Device cooperation system, operation instructing device, device user interface configuring means, method for providing cooperation of devices and program - Google Patents

Device cooperation system, operation instructing device, device user interface configuring means, method for providing cooperation of devices and program Download PDF

Info

Publication number
WO2011145709A1
WO2011145709A1 PCT/JP2011/061596 JP2011061596W WO2011145709A1 WO 2011145709 A1 WO2011145709 A1 WO 2011145709A1 JP 2011061596 W JP2011061596 W JP 2011061596W WO 2011145709 A1 WO2011145709 A1 WO 2011145709A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
operation target
target device
area
specifying
Prior art date
Application number
PCT/JP2011/061596
Other languages
French (fr)
Japanese (ja)
Inventor
好則 才田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Publication of WO2011145709A1 publication Critical patent/WO2011145709A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface

Abstract

Man-hours are required for the design and development for each device to be operated. A device cooperation system is provided with a device to be operated and an operation instructing device. The operation instructing device is provided with a device UI configuring means while the device UI configuring means is provided with an operation device region identifying means for identifying the operation device region which is included in the device image of the device to be operated; an on-selection operation identifying means for identifying the operation corresponding to the operation device region; and a UI generating means for generating an operation UI for operating the device to be operated on the basis of the device image, the operation device region and the operation corresponding to the operation device region.

Description

機器連携システム、操作指示機器、機器ＵＩ構成手段、機器連携方法及びプログラムDevice linkage system, operation instruction device, device UI configuration means, device linkage method and program
　本発明は、各種機器を別の機器により操作する用途に関する機器連携システム、操作指示機器、機器ＵＩ構成手段、機器連携方法及びプログラムに関する。 The present invention relates to a device cooperation system, an operation instructing device, a device UI configuration means, a device cooperation method and a program related to an application in which various devices are operated by another device.
　テレビ，ビデオレコーダ，ビデオカメラ及びプリンタ等の各種機器を遠隔操作する機器（以下「操作指示機器」と称する）は、大きく分けて以下の２つに分類される。
　１つ目は、操作される機器（以下「操作対象機器」と称する）専用に作成された操作指示機器である。１つ目の分類の操作指示機器は、対応する操作対象機器専用のリモコン機器としてハードウェア及びソフトウェアが設計，開発される。このため、１つ目の分類の操作指示機器は、対応する操作対象機器の他の機器を操作することができない
　２つ目は、操作対象機器の公開された遠隔操作インタフェースを利用するものである。遠隔操作インタフェースの例として、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ　Ｄａｔａ　Ａｓｓｏｃｉａｔｉｏｎ）（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＬＮＡ（Ｄｉｇｉｔａｌ　Ｌｉｖｉｎｇ　Ｎｅｔｗｏｒｋ　Ａｌｌｉａｎｃｅ）（登録商標）等が挙げられる。２つ目の分類の操作指示機器は、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）や携帯電話等の情報処理端末が、操作対象機器の遠隔操作インタフェースを利用する機能を備えたものである。この機能は、ユーザが操作を指示するＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）と、指示に基づいて遠隔操作インタフェースを利用するソフトウェアモジュールを含む。この機能を備えることにより、ＰＣや携帯電話等の情報処理端末は、２つ目の分類の操作指示機器として各種機器を遠隔操作することができる。２つ目の分類の操作指示機器は、複数の操作対象機器に対応するように設計，開発することにより、複数の機器を操作することができる。
　上記２つ目の分類の操作指示機器の一例が特許文献１に記載されている。特許文献１のリモートコントロールシステムにおいては、携帯電話等の制御機器がＢｌｕｅｔｏｏｔｈインタフェースを利用してオーディオコンポーネント機器等の被制御機器を遠隔操作する。また、制御機器の入力操作機能の情報に基づいて被制御機器がリモコン化データを作成し、これに基づいて制御装置がＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を作成する。
　また、上記２つ目の分類の操作指示機器の他の一例が特許文献２に記載されている。特許文献２の機器制御システムにおいては、携帯電話等の端末装置は、機器が備える無線タグの情報や機器を撮影した画像に基づいて機器を特定する。そして端末装置は、機器毎に登録された、ＵＩ及び機器の制御情報を規定するスクリプトに基づいてＵＩを構築する。
特開２００３−１４３６７０ 特開２００７−１１６２７０ Devices that remotely control various devices such as a television, a video recorder, a video camera, and a printer (hereinafter referred to as "operation instructing device") are roughly classified into the following two.
The first is an operation instructing device created exclusively for the device to be operated (hereinafter referred to as “operation target device”). Hardware and software are designed and developed as a remote control device dedicated to the corresponding operation target device in the first category of operation instruction devices. For this reason, the operation instruction device of the first class can not operate other devices of the corresponding operation target device. The second one is to use the disclosed remote control interface of the operation target device. . Examples of the remote control interface include IrDA (Infrared Data Association) (registered trademark), Bluetooth (registered trademark), DLNA (Digital Living Network Alliance (registered trademark)), and the like. The second class of operation instructing devices is provided with a function in which an information processing terminal such as a PC (Personal Computer) or a mobile phone uses the remote control interface of the operation target device. This function includes a UI (User Interface) that the user instructs an operation, and a software module that uses a remote control interface based on the instruction. By providing this function, an information processing terminal such as a PC or a mobile phone can remotely operate various devices as an operation instructing device of the second classification. The second class of operation instructing devices can operate a plurality of devices by designing and developing them to correspond to a plurality of operation target devices.
Patent Document 1 describes an example of the second type of operation instructing device. In the remote control system of Patent Document 1, a control device such as a mobile phone remotely operates a controlled device such as an audio component device using a Bluetooth interface. Further, the controlled device creates remote control data based on the information of the input operation function of the control device, and based on the data, the control device creates a GUI (Graphical User Interface).
Further, another example of the operation instructing device of the second classification is described in Patent Document 2. In the device control system of Patent Document 2, a terminal device such as a mobile phone specifies the device based on information of a wireless tag included in the device and an image obtained by photographing the device. Then, the terminal device constructs a UI based on a script registered for each device and defining the control information of the UI and the device.
Japanese Patent Application Publication No. 2003-143670 Japanese Patent Application Publication No. 2007-116270
　上述した２つ目の分類の操作指示機器は、対応する操作対象機器毎にＵＩ及びソフトウェアモジュールを設計，開発する必要があるため、操作対象機器毎に設計，開発の工数が掛かるという問題点がある。
　特許文献１のリモートコントロールシステムは、操作対象機器が、ＧＵＩの元となるＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）やＨＴＭＬ（Ｈｙｐｅｒ　Ｔｅｘｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ），Ｊａｖａ（登録商標）Ａｐｐｌｅｔ等で記載されたリモコン化データを作成する。このため、これらのリモコン化データの元となる情報を事前に作成する工数が掛かるという問題点がある。また、操作対象機器に、リモコン化データの作成機能等の機器連携のための機能が必要になるという問題点がある。
　上述した特許文献２の機器制御システムは、操作対象機器のＵＩ及び制御情報を記述するスクリプトを用いることにより、操作対象機器を制御するためのＵＩを構築する。このため、操作対象機器毎にスクリプトを事前に作成する工数が掛かるという問題点がある。
　本発明の目的は、上述した課題を解決する機器連携システム、操作指示機器、機器ＵＩ構成手段、機器連携方法及びプログラムを提供することにある。 The operation instruction device of the second category described above needs to design and develop a UI and a software module for each corresponding operation target device, so the problem of requiring man-hours for design and development for each operation target device is there.
In the remote control system of Patent Document 1, the operation target device creates remote control data described in XML (Extensible Markup Language), HTML (Hyper Text Markup Language), Java (registered trademark) Applet, etc., which is the source of a GUI. Do. For this reason, there is a problem that it takes a lot of man-hours to create in advance information that is the source of these remote control data. In addition, there is a problem that the operation target device needs a function for device cooperation such as a function of creating remote control data.
The device control system of Patent Document 2 described above constructs a UI for controlling the operation target device by using a script that describes the UI and control information of the operation target device. Therefore, there is a problem that it takes a lot of man-hours to create a script in advance for each operation target device.
An object of the present invention is to provide a device cooperation system, an operation instructing device, a device UI configuration means, a device cooperation method and a program which solve the above-mentioned problems.
　本発明に係る機器連携システムは、
操作対象機器と、操作指示機器とを備え、
操作指示機器が、
機器ＵＩ構成手段を備え、
機器ＵＩ構成手段が、
操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
機器画像，操作デバイス領域，及び操作デバイス領域と対応する操作に基づいて、操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える。
　本発明に係る操作指示機器は、
機器ＵＩ構成手段を備え、
機器ＵＩ構成手段が、
操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
機器画像，操作デバイス領域，及び操作デバイス領域と対応する操作に基づいて、操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える。
　本発明に係る機器ＵＩ構成手段は、
操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
機器画像，操作デバイス領域，及び操作デバイス領域と対応する操作に基づいて、操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える。
　本発明に係る機器連携方法は、
操作対象機器の機器画像を取得し、
機器画像に含まれる操作デバイス領域を特定し、
操作デバイス領域と対応する操作を特定し、
機器画像，操作デバイス領域，及び操作デバイス領域と対応する操作に基づいて、操作対象機器を操作するための操作ＵＩを生成する。
　本発明に係るプログラムは、
操作対象機器の機器画像を取得し、
機器画像に含まれる操作デバイス領域を特定し、
操作デバイス領域と対応する操作を特定し、
機器画像，操作デバイス領域，及び操作デバイス領域と対応する操作に基づいて、操作対象機器を操作するための操作ＵＩを生成する処理をコンピュータに実行させる。
　なお、本発明の目的は、上記プログラムが格納されている、コンピュータ読み取り可能な記録媒体によっても達成される。 The device linkage system according to the present invention is
Operation target device and operation instruction device,
The operation instruction device is
Device UI configuration means,
Device UI configuration means
Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
Selection operation specifying means for specifying an operation corresponding to the operation device area;
And a UI generation unit configured to generate an operation UI for operating the operation target device based on the operation corresponding to the device image, the operation device region, and the operation device region.
The operation instructing device according to the present invention is
Device UI configuration means,
Device UI configuration means
Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
Selection operation specifying means for specifying an operation corresponding to the operation device area;
And a UI generation unit configured to generate an operation UI for operating the operation target device based on the operation corresponding to the device image, the operation device region, and the operation device region.
The device UI configuration means according to the present invention is
Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
Selection operation specifying means for specifying an operation corresponding to the operation device area;
And a UI generation unit configured to generate an operation UI for operating the operation target device based on the operation corresponding to the device image, the operation device region, and the operation device region.
The device cooperation method according to the present invention is
Acquire the device image of the operation target device,
Identify the operation device area included in the device image,
Identify the operation device area and the corresponding operation,
An operation UI for operating the operation target device is generated based on the operation corresponding to the device image, the operation device region, and the operation device region.
The program according to the present invention is
Acquire the device image of the operation target device,
Identify the operation device area included in the device image,
Identify the operation device area and the corresponding operation,
A computer executes processing for generating an operation UI for operating the operation target device based on the operation corresponding to the device image, the operation device region, and the operation device region.
The object of the present invention is also achieved by a computer readable recording medium in which the above program is stored.
　本発明に係る機器連携システム、操作指示機器、機器ＵＩ構成手段、機器連携方法及びプログラムは、操作指示機器の設計，開発の工数を削減する。 The device cooperation system, the operation instruction device, the device UI configuration means, the device cooperation method, and the program according to the present invention reduce the number of steps of design and development of the operation instruction device.
本発明の第１の実施形態に係る機器連携システムを構成する要素の機能概要を表すブロック構成図である。It is a block block diagram showing the functional outline of the element which constitutes the device cooperation system concerning a 1st embodiment of the present invention. 本発明の第１の実施形態に係る機器連携システムの処理動作の概要を説明するフローチャートである。It is a flowchart explaining the outline of processing operation of the device linkage system concerning a 1st embodiment of the present invention. 本発明の第１の実施形態に係る機器連携システムを構成する要素の処理動作を説明するシーケンス図である。It is a sequence diagram explaining the processing operation of the element which comprises the apparatus cooperation system which concerns on the 1st Embodiment of this invention. 本発明の第２の実施形態に係る機器連携システムを構成する要素の機能概要を表すブロック構成図である。It is a block block diagram showing the functional outline of the element which constitutes the device cooperation system concerning a 2nd embodiment of the present invention. 機器ＵＩ構成部２５０の機能構成を表すブロック構成図である。FIG. 6 is a block diagram showing a functional configuration of a device UI configuration unit 250. 機器ＵＩ構成部２５０の処理動作の概要を説明するフローチャートである。FIG. 18 is a flowchart illustrating an outline of processing operation of the device UI configuration unit 250. FIG. 機器ＵＩ構成部２５０を構成する要素及び関連する要素の処理動作を説明するシーケンス図である。FIG. 16 is a sequence diagram for explaining processing operations of elements constituting the device UI configuration unit 250 and related elements. 本発明の第３の実施形態に係る機器連携システムを構成する要素の機能概要を表すブロック構成図である。It is a block block diagram showing the functional outline of the element which constitutes the device cooperation system concerning a 3rd embodiment of the present invention. コンピュータ９００を構成する要素の例を表すブロック構成図である。FIG. 16 is a block diagram representing an example of elements constituting a computer 900.
次に、本発明の実施形態について図面を参照して詳細に説明する。
　［第１の実施形態］
　図１は、本発明の第１の実施形態に係る機器連携システムを構成する要素の機能概要を表すブロック構成図である。第１の実施形態に係る機器連携システムは、操作対象機器１００と、操作指示機器２００を含む。操作対象機器１００及び操作指示機器２００は複数存在してもよい。操作対象機器１００は、自身の機能を遠隔操作させるための遠隔操作インタフェースを備えている。
　操作指示機器２００は、機器認識部２１０と、機器情報取得部２２０と、機器情報データベース２３０と、機器映像表示部２４０と、機器ＵＩ構成部２５０と、操作情報取得部２６０と、機器操作指示部２７０と、画面２８０を備えている。機器認識部２１０は、操作の対象となる操作対象機器１００を認識する。機器情報データベース２３０は、各種機器の情報を格納している。機器情報取得部２２０は、認識した操作対象機器１００の情報を機器情報データベース２３０から取得する。機器映像表示部２４０は、認識した操作対象機器１００の画像を画面２８０上に表示する。機器ＵＩ構成部２５０は、機器を操作するための操作ＵＩを生成し、生成した操作ＵＩを画面２８０上に表示する。操作情報取得部２６０は、ユーザが画面２８０上の操作ＵＩを用いて行った操作対象機器１００に対する操作指示を取得する。機器操作指示部２７０は、取得された操作指示に基づいて、操作対象機器１００が備える遠隔操作インタフェースを用いて遠隔操作を実施する。
　また、操作指示機器２００は、カメラ２９０を備えていてもよい。カメラ２９０は、撮影した画像を取得する。
　これらの構成要素は、専用のハードウェアで構成されていてもよいし、通信インタフェース機器等の汎用ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。
　図２は、本発明の第１の実施形態に係る機器連携システムの処理動作の概要を説明するフローチャートである。また、図３は、本発明の第１の実施形態に係る機器連携システムを構成する要素の処理動作を説明するシーケンス図である。以下、第１の実施形態に係る機器連携システムの全体の処理動作について図１~図３を参照して説明する。
　最初に、機器認識部２１０は、操作対象となる操作対象機器１００を認識する（図２及び図３のステップＡ１）。具体的には、例えば、機器認識部２１０は、カメラ２９０を用いて操作対象機器１００の画像を撮影してもよい。あるいは、機器認識部２１０は操作指示機器２００が備えるＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）リーダを用いて操作対象機器１００が備えるＲＦＩＤタグの認識情報を読み取ってもよい。あるいは、操作対象機器１００はＢｌｕｅｔｏｏｔｈや無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の無線通信を用いて機器識別信号を送信し、機器認識部２１０はその機器識別信号を受信してもよい。あるいは、操作対象機器１００は可視光通信や赤外線通信を用いて機器識別信号を送信し、機器認識部２１０はその機器識別信号を受信してもよい。
　次に、機器情報取得部２２０は、ステップＡ１で認識された操作対象機器１００に関する情報を機器情報データベース２３０から取得する（図２及び図３のステップＡ２）。具体的には、例えば、ステップＡ１において機器認識部２１０がカメラ２９０を用いて操作対象機器１００の画像を撮影した場合、以下のような処理を行ってもよい。まず、機器情報取得部２２０は、撮影した画像と、機器情報データベース２３０に格納された各種機器の画像情報との比較を行う。そして、画像が一致した場合、機器情報取得部２２０は、一致した画像を含む機器の情報を、ステップＡ１で認識した操作対象機器１００の情報であると特定し、特定した情報を取得する。この場合、機器情報データベース２３０に格納された各種機器の情報は、機器の画像情報を含む。
　あるいは、ステップＡ１において機器認識部２１０がＲＦＩＤタグ及びリーダ，可視光通信，赤外線通信，Ｂｌｕｅｔｏｏｔｈまたは無線ＬＡＮ等を用いて機器識別信号を取得した場合、以下のような処理を行ってもよい。まず、機器情報取得部２２０は、取得した機器識別信号を用いて、機器情報データベース２３０に格納された各種機器の情報を検索する。そして、機器情報取得部２２０は、取得した機器識別信号が示す機器と一致する機器の情報を取得する。この場合、機器情報データベース２３０に格納された各種機器の情報は、型番や製品名等の機器を識別する情報を含む。また、機器情報データベース２３０は、取得した機器識別信号から各種機器を特定するための対応表を含んでいてもよい。この対応表は、例えば、機器識別信号と、機器の型番や製品名等の対応表でもよい。
　次に、機器映像表示部２４０は、ステップＡ１で認識された操作対象機器１００の画像を画面２８０上に表示する（図２及び図３のステップＡ３）。表示される画像は、カメラ２９０によって撮影された静止画像でもよいし、動画像でもよい。あるいは、表示される画像は、機器情報データベース２３０内に格納されている機器の画像でもよい。また、表示される画像は、ステップＡ１で用いた認識方法と無関係に選択されてもよい。例えば、無線ＬＡＮを用いて送信された機器識別信号によって操作対象機器１００を認識した場合に、機器映像表示部２４０は、カメラ２９０を用いて撮影された画像を画面２８０上に表示してもよい。また、カメラ２９０を用いて撮影された画像によって操作対象機器１００を認識した場合に、機器映像表示部２４０は、機器情報データベース２３０内に格納されている機器の画像を画面２８０上に表示してもよい。
　次に、機器ＵＩ構成部２５０は、認識された操作対象機器１００を操作するための操作ＵＩを生成し、生成した操作ＵＩを画面２８０上に表示する（図２及び図３のステップＡ４）。操作ＵＩの生成処理については、その詳細を後述する。
　認識された機器の画像と生成された操作ＵＩは、画面２８０上に、例えば異なるＷｉｎｄｏｗで別々に表示されてもよい。あるいは、操作ＵＩが機器の画像上にオーバーラップして表示されてもよい。また、操作指示機器２２０は複数の画面２８０を備えていてもよい。その場合、機器の画像と操作ＵＩが、それぞれ異なる画面に表示されてもよい。
　その後、ユーザが画面２８０上に表示された操作ＵＩを用いて操作対象機器１００に対する操作指示を行った場合、操作情報取得部２６０は、その操作指示を取得する（図２及び図３のステップＡ５）。
　次に、機器操作指示部２７０は、取得された操作指示に基づいて、操作対象機器１００が備える遠隔操作インタフェースを用いて遠隔操作を実施する（図２及び図３のステップＡ６）。遠隔操作インタフェースは、例えば一般家電製品で用いられている、赤外線を用いたリモート制御インタフェースでもよい。あるいは、ＩｒＤＡ規格による赤外線通信を用いたインタフェースでもよい。あるいは、Ｂｌｕｅｔｏｏｔｈの各種プロファイルや、ＤＬＮＡ等の標準化された機器連携インタフェースでもよい。あるいは、その他の独自規格を用いたインタフェースでもよい。
　機器操作指示部２７０は、これら各種インタフェースが規定しているコマンド表を備えている。そして、機器操作指示部２７０は、ステップＡ５で記憶した操作指示に基づいて、今回操作対象となる機器が備える遠隔操作インタフェース向けの制御コマンド群を生成し、生成した制御コマンド郡を操作対象機器１００に送信する。なお、機器が備える遠隔操作インタフェースの種類は、機器情報データベース２３０が格納する機器の情報の中に含まれていてもよい。
　例えば、ユーザが操作ＵＩを用いて電源ボタンをＯＮにする操作指示を行った場合、機器操作指示部２７０は、上述のコマンド表から操作対象機器１００が備える遠隔操作インタフェースの電源ＯＮコマンドを取得する。そして、機器操作指示部２７０は、取得した電源ＯＮコマンドを操作対象機器１００に送信する。
　機器情報データベース２３０は、各種機器のコマンド表をあらかじめ格納していてもよい。また、上述のコマンド表は、ステップＡ２で機器情報データベース２３０より取得されてもよい。
　最後に、制御コマンド群を受け取った操作対象機器１００は、ユーザが指示した操作を実行する（図２及び図３のステップＡ７）。
　カメラ２９０が撮影した動画像を画面２８０上に表示している場合、機器映像表示部２４０は、操作対象機器１００が操作を実行している様子を画面２８０上に表示してもよい。この場合、ユーザは、画面２８０上を参照することにより、操作対象機器１００が操作指示を実行したことを確認できる。また、カメラ２９０が撮影した静止画像を表示している場合、ステップＡ６で遠隔操作を実施した後に、カメラ２９０が再度操作対象機器１００を撮影し、撮影した画像を機器映像表示部２４０が画面２８０上に置き換えて表示してもよい。この場合、ユーザは、同様に画面２８０上を参照することにより、操作対象機器１００が操作指示を実行したことを確認することができる。また、ステップＡ６で遠隔操作を実施した後に機器ＵＩ構成部２５０が再度操作ＵＩを生成し、生成した操作ＵＩを機器映像表示部２４０が画面２８０上に置き換えて表示してもよい。
　図５は機器ＵＩ構成部２５０の機能構成を表すブロック構成図である。機器ＵＩ構成部２５０は、機器画像取得部２５１と、操作デバイス領域特定部２５２と、選択時操作特定部２５３と、ＵＩ生成部２５４を備えている。
　図６は、機器ＵＩ構成部２５０の処理動作の概要を説明するフローチャートである。また、図７は、機器ＵＩ構成部２５０を構成する要素及び関連する要素の処理動作を説明するシーケンス図である。以下、操作ＵＩの生成処理について、図５~図７を参照して説明する。
　最初に、機器画像取得部２５１は、画面２８０に表示する操作ＵＩの元となる機器画像を取得する（図６及び図７のステップＢ１）。機器画像取得部２５１は、カメラ２９０によって撮影された、操作対象機器１００の画像を取得してもよい。あるいは、機器画像取得部２５１は、機器情報データベース２３０から、あらかじめ格納されている操作対象機器１００の画像データを取得してもよい。機器情報データベース２３０に格納されている画像データは、操作対象機器１００を実際に撮影した写真データでもよいし、操作対象機器１００を描写したＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）画像でもよい。また、画像データの個数は、１個だけではなく、機器の前面，側面及び背面の画像等、複数個でもよい。
　次に、操作デバイス領域特定部２５２は、機器画像取得部２５１が取得した機器画像に対して画像解析処理を実施する。そして、画像解析処理の結果に基づいて、操作デバイス領域特定部２５２は、機器画像から、操作デバイス（ボタン、レバー、スイッチ類）群の領域特定を行う（図６及び図７のステップＢ２）。すなわち、操作デバイス領域特定部２５２は、画像解析処理を行うことにより、機器画像に含まれる操作デバイス領域の情報を出力する。操作デバイス領域の情報は、機器画像における操作デバイス領域の座標を含んでいてもよい。この画像解析処理において、操作デバイス領域特定部２５２は、輪郭認識技術を用いてもよい。あるいは、操作デバイス領域特定部２５２は、あらかじめ保存された既存のボタン，レバー，スイッチ類の画像情報との画像比較を行ってもよい。この画像解析処理においては、機器画像内に配置された１個または複数個の操作デバイスが、１個または複数個の操作デバイス領域として特定される。
　次に、選択時操作特定部２５３は、操作デバイス領域特定部２５２が特定した各操作デバイス領域について、対応する操作の特定を行う（図６及び図７のステップＢ３）。すなわち、選択時操作特定部２５３は、各操作デバイス領域について、該当領域が選択された際に実施する操作の特定を行う。具体的には、例えば、電源ボタン領域が選択されたら電源ボタンをＯＮにする操作を実施する、と特定する。上述のステップＢ３の処理の詳細について、以下に説明する。
　まず、選択時操作特定部２５３は、操作デバイス領域特定部２５２によって特定された各操作デバイス領域のひとつひとつに対して、操作デバイス領域の画像に含まれる操作の種類を表す単語や図形等を抽出する。例えばビデオレコーダにおいて、操作の種類を表す単語とは、「ＰＯＷＥＲ」，「ＰＬＡＹ」，「ＳＴＯＰ」，「ＲＥＣ」，「ＲＥＷ」，「電源」，「再生」，「停止」，「録画」，「巻戻し」といった単語である。また同様に、操作の種類を表す図形とは、横向きの三角形（再生を意味する），正方形（停止を意味する），赤い丸（録画を意味する）といった図形である。そして、選択時操作特定部２５３は、抽出した単語や図形等が表す操作を、該当領域が選択された際に実施する操作と特定する。例えば、ある操作デバイス領域より「ＰＯＷＥＲ」が抽出された場合、選択時操作特定部２５３は、この操作デバイス領域が選択されたら電源ボタンをＯＮにする操作を実施する、と特定する。
　あるいは、各操作デバイスの画像情報と対応する操作をあらかじめ保存しておき、選択時操作特定部２５３が、保存された操作デバイスの画像情報と操作デバイス領域特定部２５２が特定した操作デバイス領域の画像を比較してもよい。そして、画像が一致した場合、選択時操作特定部２５３は、画像情報と対応する操作を、該当領域が選択された際に実施する操作と特定してもよい。また、各操作デバイスの画像情報と対応する操作は、機器情報データベース２３０内に格納されていてもよい。
　以上の処理により、選択時操作特定部２５３は、画面２８０の該当領域がユーザによって選択された際の、機器操作の特定を行う。
　最後に、ＵＩ生成部２５４は、操作対象機器１００を操作するための操作ＵＩを生成し、画面２８０上に表示する（図６及び図７のステップＢ４）。具体的には、まず、操作対象機器１００の画像を画面２８０上に表示する。そして、表示した操作対象機器１００の画像上の操作デバイス領域がユーザによって選択された場合、該当操作デバイス領域に対応する操作情報を操作情報取得部２６０に通知するソフトウェアモジュールを生成する。操作デバイス領域が選択される、とは、操作指示機器２００が備えるキー等や画面２８０に表示されたカーソル等が操作され、操作デバイス領域を選択する操作が行われることを表す。操作デバイス領域は、容易に識別できるように、輪郭が付加されたり、色を変更して表示されたりしてもよい。ＵＩ生成部２５４は、例えば、ＨＴＭＬやＦｌａｓｈ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）といったプログラミング言語やスクリプト言語を用いてＵＩを生成してもよい。
　このように、第１の実施形態に係る機器連携システムは、各種機器を別の機器により遠隔操作する機器連携システムを少ない工数で実現することができる。なぜならば、操作指示機器２００の機器ＵＩ構成部２５０が、操作対象機器１００の機器画像から操作デバイス領域を特定し、その操作デバイス領域を用いて操作ＵＩを生成するからである。このことにより、第１の実施形態に係る機器連携システムは、複数の操作対象機器を操作する場合においても、機器毎にＵＩ及びソフトウェアモジュールを設計，開発する必要がない。
　また、第１の実施形態に係る機器連携システムにおいては、ユーザは、操作中の機器の種類を容易かつ明確に把握することができる。なぜならば、操作指示機器２００の機器ＵＩ構成部２５０が、操作対象機器１００の画像に基づいて操作ＵＩを生成するからである。
　［第２の実施形態］
　次に、本発明の第２の実施形態を説明する。本発明の第２の実施形態に係る機器連携システムは、第１の実施形態における操作指示機器２００に備えられていた機能要素が、中継機器と遠隔地操作指示機器に分けて備えられている。
　図４は、本発明の第２の実施形態に係る機器連携システムを構成する要素の機能概要を表すブロック構成図である。第２の実施形態に係る機器連携システムは、操作対象機器１００と、中継機器３００と、遠隔地操作指示機器４００を含む。遠隔地操作指示機器４００は単に操作指示機器と呼ばれることもある。操作対象機器１００，中継機器３００及び遠隔地操作指示機器４００は複数存在してもよい。操作対象機器１００は、自身の機能を遠隔操作させるための遠隔操作インタフェースを備えている。中継機器３００と遠隔地操作指示機器４００は通信手段５００で接続されている。通信手段５００は、ＬＡＮケーブルのような有線の通信手段でもよいし、無線通信局等を利用した無線の通信手段でもよい。あるいは、通信手段５００は、インターネットや公衆交換電話網等のネットワークでもよい。
　中継機器３００は、機器認識部３１０と、機器情報取得部３２０と、機器情報データベース３３０と、機器操作指示部３４０を備えている。また、中継機器３００は、カメラ３５０を備えていてもよい。
　遠隔地操作指示機器４００は、機器映像表示部４１０と、機器ＵＩ構成部４２０と、操作情報取得部４３０と、画面４４０を備えている。
　これらの構成要素は、専用のハードウェアで構成されていてもよいし、通信インタフェース機器等の汎用ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。
　操作対象機器１００の構成及び処理動作は、実施形態１と同様である。
　カメラ３５０等の、操作対象機器１００を認識する手段は、中継機器３００が備えている。
　第２の実施形態に係る機器連携システムの全体の処理動作と、操作ＵＩの生成処理は、第１の実施形態と同様である。ただし、中継機器３００に備えられた要素と遠隔地操作指示機器４００に備えられた要素の間においては、通信手段５００を介した通信が発生する。例えば、中継機器３００の機器認識部３１０や機器情報取得部３２０が取得する操作対象機器１００の画像や機器情報は、通信手段５００を介して遠隔地操作指示機器４００の機器ＵＩ構成部４２０や画面４４０へ送信される。また、遠隔地操作指示機器４００上の操作ＵＩを用いて行われた操作指示は、操作情報取得部４３０から通信手段５００を介して中継機器３００に送信される。そして、中継機器３００の機器操作指示部３４０は、受信した操作指示を操作対象機器１００の遠隔操作インタフェース向けの制御コマンド群に変換し、操作対象機器１００へ送信する。
　機器ＵＩ構成部４２０の機能構成及び処理動作は、実施形態１の機器ＵＩ構成部２５０と同様である。
　このように、第２の実施形態に係る機器連携システムは、第１の実施形態の効果を有しながら、操作指示機器のユーザが、遠隔地，別室あるいは屋外にいる場合等、操作対象機器を直接視認できない状況においても使用できる。なぜならば、中継機器３００を操作対象機器１００の近傍に配置し、遠隔地操作指示機器４００を中継機器３００と別の地点に配置することができるからである。
　［第３の実施形態］
　次に、本発明の第３の実施形態を説明する。
　図８は、本発明の第３の実施形態に係る機器連携システムを構成する要素の機能概要を表すブロック構成図である。第３の実施形態に係る機器連携システムは、操作対象機器１００と、操作指示機器２００を含む。操作対象機器１００及び操作指示機器２００は複数存在してもよい。操作対象機器１００は、自身の機能を遠隔操作させるための遠隔操作インタフェースを備えている。
　操作指示機器２００は、機器ＵＩ構成部２５０を備えている。また、機器ＵＩ構成部２５０は、操作デバイス領域特定部２５２と、選択時操作特定部２５３と、ＵＩ生成部２５４を備えている。操作デバイス領域特定部２５２は、操作対象機器１００の機器画像から、操作デバイス領域を特定する。選択時操作特定部２５３は、操作デバイス領域と対応する操作を特定する。ＵＩ生成部２５４は、操作デバイス領域特定部２５２が特定した操作デバイス領域と、選択時操作特定部２５３が特定した操作デバイス領域と対応する操作に基づいて、操作対象機器を操作する操作ＵＩを生成する。
　これらの構成要素は、専用のハードウェアで構成されていてもよいし、通信インタフェース機器等の汎用ハードウェアとソフトウェアとの組み合わせで構成されていてもよい。
　このように、第３の実施形態に係る機器連携システムは、各種機器を別の機器により遠隔操作する機器連携システムを少ない工数で実現することができる。なぜならば、操作指示機器２００の機器ＵＩ構成部２５０が、操作対象機器１００の機器画像から操作デバイス領域を特定し、その操作デバイス領域を用いて操作ＵＩを生成するからである。
　上記の第１~第３の実施形態における操作対象機器１００，操作指示機器２００，中継機器３００及び遠隔地操作指示機器４００は、コンピュータ９００を備えていてもよい。図９は、コンピュータ９００を構成する要素の例を表すブロック構成図である。図９のコンピュータ９００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９１０と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　ｍｅｍｏｒｙ）９２０と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９３０と、ストレージ媒体９４０と、通信インタフェース９５０を備えている。操作対象機器１００，操作指示機器２００，中継機器３００及び遠隔地操作指示機器４００の構成要素は、プログラムがコンピュータ９００において実行されることにより実現されてもよい。具体的には、これらの構成要素は、ＣＰＵ９１０がＲＯＭ９３０あるいはストレージ媒体９４０からプログラムを読み込んで実行することにより実現されてもよい。そのプログラムは、実行される時に一時的に存在してもよい。例えば、そのプログラムはＲＡＭ９２０に格納され、実行後に削除されてもよい。あるいは、そのプログラムは、一時的にではなく恒久的に存在してもよい。例えば、そのプログラムはＲＯＭ９３０あるいはストレージ媒体９４０に格納され、実行後もそのまま格納され続けてもよい。ストレージ媒体９４０は、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ）−ＲＯＭ等の光学ディスクや、ハードディスクやフレキシブルディスク等の磁気ディスク等の各種の記憶デバイスでもよい。
　上記の第１，第２の実施形態においては、操作指示機器２００あるいは中継機器３００が機器情報データベースを備えていた。しかしながら、機器情報データベースは、これらとは別の機器、例えばサーバ上に備えられていてもよい。そして、機器情報データベースを備えたサーバと、操作指示機器あるいは中継機器が、ネットワーク等の通信手段で接続されてもよい。この場合、機器情報データベースを備えないことにより、操作指示機器あるいは中継機器を小型化することができる。
　上記の第１，第２の実施形態における機器操作指示部は、操作対象機器１００に備えられていてもよい。この場合、操作情報取得部は、ユーザが操作ＵＩを用いて行った操作指示を操作対象機器１００に送信する。そして、操作対象機器１００の機器操作指示部は、受信した操作指示に基づいて、操作対象機器１００に操作を実行させる。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１０年５月２１日に出願された日本特許出願特願２０１０−１１７５０１を基礎とする優先権を主張し、その開示の全てを盛り込む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　操作対象機器と、操作指示機器とを備え、
　前記操作指示機器が、
　機器ＵＩ構成手段を備え、
　前記機器ＵＩ構成手段が、
　前記操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
　前記操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える
機器連携システム。
　（付記２）
　前記操作指示機器が、
　前記操作対象機器を認識する機器認識手段と、
　認識した前記操作対象機器の情報を取得する機器情報取得手段と、
　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信する機器操作指示手段とをさらに備え、
　前記操作対象機器が、受信した制御コマンドに基づいて操作を実行する
付記１記載の機器連携システム。
　（付記３）
　中継機器をさらに備え、前記操作指示機器と前記中継機器が通信手段で接続されている
付記１記載の機器連携システム。
　（付記４）
　前記中継機器が、
　前記操作対象機器を認識する機器認識手段と、
　認識した前記操作対象機器の情報を取得する機器情報取得手段と、
　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信する機器操作指示手段とを備え、
　前記操作対象機器が、受信した制御コマンドに基づいて操作を実行する
付記３記載の機器連携システム。
　（付記５）
　機器ＵＩ構成手段を備え、
　前記機器ＵＩ構成手段が、
　操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
　前記操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える
操作指示機器。
　（付記６）
　前記操作対象機器を認識する機器認識手段と、
　認識した前記操作対象機器の情報を取得する機器情報取得手段と、
　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信する機器操作指示手段とをさらに備え、
　前記機器ＵＩ構成手段が、
　操作対象機器の機器画像を取得する機器画像取得手段をさらに備える
付記５記載の操作指示機器。
　（付記７）
　操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
　前記操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える
機器ＵＩ構成手段。
　（付記８）
　操作対象機器の機器画像を取得し、
　前記機器画像に含まれる操作デバイス領域を特定し、
　前記操作デバイス領域と対応する操作を特定し、
　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成する
機器連携方法。
　（付記９）
　さらに、
　前記操作対象機器を認識し、
　認識した前記操作対象機器の情報を取得し、
　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信し、
　前記操作対象機器が、受信した制御コマンドに基づいて操作を実行する
付記８記載の機器連携方法。
　（付記１０）
　操作指示機器が、
　操作対象機器の機器画像を取得し、
　前記機器画像に含まれる操作デバイス領域を特定し、
　前記操作デバイス領域と対応する操作を特定し、
　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成し、
　中継機器が、
　前記操作対象機器を認識し、
　認識した前記操作対象機器の情報を取得し、
　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信し、
　前記操作対象機器が、
　受信した操作指示を実行する
機器連携方法。
　（付記１１）
　操作対象機器の機器画像を取得し、
　前記機器画像に含まれる操作デバイス領域を特定し、
　前記操作デバイス領域と対応する操作を特定し、
　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成する
処理をコンピュータに実行させるプログラム。
　（付記１２）
　さらに、
　前記操作対象機器を認識し、
　認識した前記操作対象機器の情報を取得し、
　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信する
処理をコンピュータに実行させる付記１１記載のプログラム。 Next, embodiments of the present invention will be described in detail with reference to the drawings.
First Embodiment
FIG. 1 is a block diagram showing the functional outline of the elements constituting the device linkage system according to the first embodiment of the present invention. The device linkage system according to the first embodiment includes an operation target device 100 and an operation instruction device 200. A plurality of operation target devices 100 and a plurality of operation instruction devices 200 may exist. The operation target device 100 includes a remote control interface for remotely controlling its own function.
The operation instructing device 200 includes a device recognition unit 210, a device information acquisition unit 220, a device information database 230, a device video display unit 240, a device UI configuration unit 250, an operation information acquisition unit 260, and a device operation instruction unit. 270 and a screen 280. The device recognition unit 210 recognizes the operation target device 100 to be operated. The device information database 230 stores information of various devices. The device information acquisition unit 220 acquires information of the recognized operation target device 100 from the device information database 230. The device video display unit 240 displays the image of the recognized operation target device 100 on the screen 280. The device UI configuration unit 250 generates an operation UI for operating the device, and displays the generated operation UI on the screen 280. The operation information acquisition unit 260 acquires an operation instruction for the operation target device 100 performed by the user using the operation UI on the screen 280. The device operation instruction unit 270 implements remote control using the remote control interface provided in the operation target device 100 based on the acquired operation instruction.
In addition, the operation instructing device 200 may include the camera 290. The camera 290 acquires a captured image.
These components may be configured by dedicated hardware, or may be configured by combining general-purpose hardware such as a communication interface device and software.
FIG. 2 is a flowchart illustrating an outline of processing operation of the device linkage system according to the first embodiment of the present invention. Moreover, FIG. 3 is a sequence diagram explaining the processing operation of the element which comprises the apparatus cooperation system which concerns on the 1st Embodiment of this invention. The overall processing operation of the device linkage system according to the first embodiment will be described below with reference to FIGS. 1 to 3.
First, the device recognition unit 210 recognizes the operation target device 100 to be operated (step A1 in FIGS. 2 and 3). Specifically, for example, the device recognition unit 210 may capture an image of the operation target device 100 using the camera 290. Alternatively, the device recognition unit 210 may read the recognition information of the RFID tag provided in the operation target device 100 using an RFID (Radio Frequency IDentification) reader provided in the operation instructing device 200. Alternatively, the operation target device 100 may transmit a device identification signal using wireless communication such as Bluetooth or wireless LAN (Local Area Network), and the device recognition unit 210 may receive the device identification signal. Alternatively, the operation target device 100 may transmit the device identification signal using visible light communication or infrared communication, and the device recognition unit 210 may receive the device identification signal.
Next, the device information acquisition unit 220 acquires information on the operation target device 100 recognized in step A1 from the device information database 230 (step A2 in FIGS. 2 and 3). Specifically, for example, when the device recognition unit 210 captures an image of the operation target device 100 using the camera 290 in step A1, the following process may be performed. First, the device information acquisition unit 220 compares the captured image with the image information of various devices stored in the device information database 230. Then, when the images match, the device information acquisition unit 220 identifies the information of the device including the matched image as the information of the operation target device 100 recognized in step A1, and acquires the identified information. In this case, the information of various devices stored in the device information database 230 includes image information of the devices.
Alternatively, when the device recognition unit 210 acquires a device identification signal using an RFID tag and reader, visible light communication, infrared communication, Bluetooth, wireless LAN or the like in step A1, the following process may be performed. First, the device information acquisition unit 220 searches for information on various devices stored in the device information database 230 using the acquired device identification signal. Then, the device information acquisition unit 220 acquires information of a device that matches the device indicated by the acquired device identification signal. In this case, the information of the various devices stored in the device information database 230 includes information identifying the device such as the model number and the product name. Further, the device information database 230 may include a correspondence table for specifying various devices from the acquired device identification signal. The correspondence table may be, for example, a correspondence table such as a device identification signal and a model number or product name of the device.
Next, the device video display unit 240 displays the image of the operation target device 100 recognized in step A1 on the screen 280 (step A3 in FIGS. 2 and 3). The displayed image may be a still image captured by the camera 290 or a moving image. Alternatively, the displayed image may be an image of a device stored in the device information database 230. Also, the displayed image may be selected regardless of the recognition method used in step A1. For example, when the operation target device 100 is recognized by the device identification signal transmitted using the wireless LAN, the device video display unit 240 may display an image captured using the camera 290 on the screen 280. . When the operation target device 100 is recognized by the image captured using the camera 290, the device video display unit 240 displays the image of the device stored in the device information database 230 on the screen 280. It is also good.
Next, the device UI configuration unit 250 generates an operation UI for operating the recognized operation target device 100, and displays the generated operation UI on the screen 280 (step A4 in FIGS. 2 and 3). The details of the process of generating the operation UI will be described later.
The recognized device image and the generated operation UI may be separately displayed on the screen 280, for example, in different windows. Alternatively, the operation UI may be displayed overlapping on the image of the device. In addition, the operation instructing device 220 may have a plurality of screens 280. In that case, the image of the device and the operation UI may be displayed on different screens.
Thereafter, when the user issues an operation instruction to the operation target device 100 using the operation UI displayed on the screen 280, the operation information acquisition unit 260 acquires the operation instruction (step A5 in FIGS. 2 and 3). ).
Next, the device operation instruction unit 270 performs remote control using the remote control interface provided in the operation target device 100 based on the acquired operation instruction (step A6 in FIGS. 2 and 3). The remote control interface may be, for example, a remote control interface using infrared light, which is used in general home appliances. Alternatively, an interface using infrared communication according to the IrDA standard may be used. Alternatively, various profiles of Bluetooth and standardized device cooperation interfaces such as DLNA may be used. Alternatively, it may be an interface using another proprietary standard.
The device operation instruction unit 270 includes a command table defined by these various interfaces. Then, based on the operation instruction stored in step A5, the device operation instruction unit 270 generates a control command group for the remote control interface included in the device to be operated this time, and generates the control command group thus generated. Send to The type of remote control interface provided in the device may be included in the information of the device stored in the device information database 230.
For example, when the user issues an operation instruction to turn on the power button using the operation UI, the device operation instruction unit 270 acquires the power on command of the remote control interface included in the operation target device 100 from the command table described above. . Then, the device operation instruction unit 270 transmits the acquired power ON command to the operation target device 100.
The device information database 230 may store command tables of various devices in advance. Also, the above-mentioned command table may be acquired from the device information database 230 in step A2.
Finally, the operation target device 100 having received the control command group executes the operation instructed by the user (step A7 in FIGS. 2 and 3).
When the moving image captured by the camera 290 is displayed on the screen 280, the device video display unit 240 may display on the screen 280 the situation where the operation target device 100 is performing an operation. In this case, the user can confirm that the operation target device 100 has executed the operation instruction by referring to the screen 280. When the still image captured by the camera 290 is displayed, after the remote control is performed in step A6, the camera 290 captures the operation target device 100 again, and the device image display unit 240 displays the captured image on the screen 280. You may replace and display above. In this case, the user can confirm that the operation target device 100 has executed the operation instruction by referring to the screen 280 in the same manner. Alternatively, after performing the remote control in step A6, the device UI configuration unit 250 may generate the operation UI again, and the device video display unit 240 may replace the generated operation UI on the screen 280 and display it.
FIG. 5 is a block diagram showing the functional configuration of the device UI configuration unit 250. As shown in FIG. The device UI configuration unit 250 includes a device image acquisition unit 251, an operation device area specification unit 252, a selection operation specification unit 253, and a UI generation unit 254.
FIG. 6 is a flowchart illustrating an outline of processing operation of the device UI configuration unit 250. Further, FIG. 7 is a sequence diagram for explaining processing operations of elements constituting the device UI configuration unit 250 and related elements. Hereinafter, the process of generating the operation UI will be described with reference to FIGS. 5 to 7.
First, the device image acquisition unit 251 acquires a device image as a source of the operation UI displayed on the screen 280 (step B1 in FIGS. 6 and 7). The device image acquisition unit 251 may acquire an image of the operation target device 100 captured by the camera 290. Alternatively, the device image acquisition unit 251 may acquire, from the device information database 230, image data of the operation target device 100 stored in advance. The image data stored in the device information database 230 may be photo data obtained by actually photographing the operation target device 100 or may be a CG (Computer Graphics) image depicting the operation target device 100. The number of pieces of image data is not limited to one, and may be plural, such as images of the front, the side, and the back of the device.
Next, the operation device area specifying unit 252 performs an image analysis process on the device image acquired by the device image acquisition unit 251. Then, based on the result of the image analysis process, the operating device area specifying unit 252 specifies an area of the operating device (button, lever, switch, etc.) group from the device image (step B2 in FIGS. 6 and 7). That is, the operation device area specifying unit 252 outputs the information of the operation device area included in the device image by performing the image analysis process. The information of the operation device area may include the coordinates of the operation device area in the device image. In the image analysis process, the operation device area specifying unit 252 may use an outline recognition technique. Alternatively, the operation device area specifying unit 252 may perform image comparison with image information of existing buttons, levers, and switches stored in advance. In this image analysis process, one or more operation devices arranged in the device image are specified as one or more operation device areas.
Next, the selection-time operation specifying unit 253 specifies a corresponding operation for each operation device area specified by the operation device area specifying unit 252 (step B3 in FIGS. 6 and 7). That is, the selection-time operation specifying unit 253 specifies an operation to be performed when the corresponding area is selected for each operation device area. Specifically, for example, when the power button area is selected, an operation of turning on the power button is specified. Details of the process of step B3 described above will be described below.
First, for each one of the operation device areas specified by the operation device area specifying unit 252, the selection operation specifying unit 253 extracts a word, a figure, or the like representing the type of operation included in the image of the operation device area. . For example, in a video recorder, the word indicating the type of operation is "POWER", "PLAY", "STOP", "REC", "REW", "power", "play", "stop", "record", It is a word such as "rewind". Similarly, a figure representing the type of operation is a figure such as a horizontally oriented triangle (meaning reproduction), a square (meaning stop), or a red circle (meaning recording). Then, the selection operation specification unit 253 specifies an operation represented by the extracted word or figure as the operation to be performed when the corresponding area is selected. For example, when “POWER” is extracted from a certain operation device area, the operation specification unit for selection 253 specifies that an operation of turning on the power button is performed when the operation device area is selected.
Alternatively, the operation corresponding to the image information of each operation device is stored in advance, and the operation specifying unit 253 at selection selects the stored image information of the operation device and the image of the operation device area specified by the operation device area specifying unit 252 You may compare Then, when the images match, the selection-time operation identification unit 253 may identify the operation corresponding to the image information as the operation to be performed when the corresponding area is selected. In addition, the operation corresponding to the image information of each operation device may be stored in the device information database 230.
By the above processing, the selection operation specifying unit 253 specifies the device operation when the corresponding area of the screen 280 is selected by the user.
Finally, the UI generation unit 254 generates an operation UI for operating the operation target device 100, and displays the operation UI on the screen 280 (step B4 in FIG. 6 and FIG. 7). Specifically, first, the image of the operation target device 100 is displayed on the screen 280. Then, when the operation device area on the displayed image of the operation target device 100 is selected by the user, a software module is generated to notify the operation information acquisition unit 260 of operation information corresponding to the corresponding operation device area. “The operation device area is selected” means that a key or the like included in the operation instructing device 200 or a cursor displayed on the screen 280 is operated to perform an operation of selecting the operation device area. The operating device area may be contoured or displayed in different colors for easy identification. The UI generation unit 254 may generate a UI using, for example, a programming language such as HTML, Flash (registered trademark), or JavaScript (registered trademark) or a script language.
Thus, the device linkage system according to the first embodiment can realize a device linkage system in which various devices are remotely controlled by another device with a small number of man-hours. This is because the device UI configuration unit 250 of the operation instructing device 200 specifies the operation device area from the device image of the operation target device 100, and generates the operation UI using the operation device area. Thus, the device linkage system according to the first embodiment does not need to design and develop a UI and a software module for each device even when operating a plurality of operation target devices.
Further, in the device linkage system according to the first embodiment, the user can easily and clearly understand the type of device under operation. This is because the device UI configuration unit 250 of the operation instructing device 200 generates the operation UI based on the image of the operation target device 100.
Second Embodiment
Next, a second embodiment of the present invention will be described. In the device linkage system according to the second embodiment of the present invention, the functional elements included in the operation instructing device 200 in the first embodiment are separately provided in the relay device and the remote area operation instructing device.
FIG. 4 is a block diagram showing the functional outline of the elements constituting the device linkage system according to the second embodiment of the present invention. The device linkage system according to the second embodiment includes an operation target device 100, a relay device 300, and a remote area operation instruction device 400. The remote control instruction device 400 may be simply referred to as the operation instruction device. There may be a plurality of operation target devices 100, relay devices 300, and remote control instructions devices 400. The operation target device 100 includes a remote control interface for remotely controlling its own function. The relay device 300 and the remote control instruction device 400 are connected by the communication means 500. The communication unit 500 may be a wired communication unit such as a LAN cable or a wireless communication unit using a wireless communication station or the like. Alternatively, the communication means 500 may be a network such as the Internet or a public switched telephone network.
The relay device 300 includes a device recognition unit 310, a device information acquisition unit 320, a device information database 330, and a device operation instruction unit 340. The relay device 300 may also include the camera 350.
The remote location operation instructing apparatus 400 includes an apparatus video display unit 410, an apparatus UI configuration unit 420, an operation information acquisition unit 430, and a screen 440.
These components may be configured by dedicated hardware, or may be configured by combining general-purpose hardware such as a communication interface device and software.
The configuration and processing operation of the operation target device 100 are the same as in the first embodiment.
The relay device 300 includes means for recognizing the operation target device 100 such as the camera 350.
The entire processing operation of the device linkage system according to the second embodiment and the generation processing of the operation UI are the same as those in the first embodiment. However, communication via the communication means 500 occurs between the elements included in the relay device 300 and the elements included in the remote control instruction device 400. For example, the image or device information of the operation target device 100 acquired by the device recognition unit 310 of the relay device 300 or the device information acquisition unit 320 may be the device UI configuration unit 420 or screen of the remote control device 400 via the communication unit 500. It is sent to 440. In addition, the operation instruction performed using the operation UI on the remote area operation instruction device 400 is transmitted from the operation information acquisition unit 430 to the relay device 300 via the communication unit 500. Then, the device operation instruction unit 340 of the relay device 300 converts the received operation instruction into a control command group for the remote control interface of the operation target device 100, and transmits the control command group to the operation target device 100.
The functional configuration and processing operation of the device UI configuration unit 420 are the same as those of the device UI configuration unit 250 of the first embodiment.
As described above, the device linkage system according to the second embodiment has the effect of the first embodiment, and the operation target device can be operated, for example, when the user of the operation instructing device is in a remote place, another room or outside. It can also be used in situations where direct visibility is not possible. The reason is that the relay device 300 can be disposed in the vicinity of the operation target device 100, and the remote control instruction device 400 can be disposed at a point different from the relay device 300.
Third Embodiment
Next, a third embodiment of the present invention will be described.
FIG. 8 is a block diagram showing the functional outline of the elements constituting the device linkage system according to the third embodiment of the present invention. The device linkage system according to the third embodiment includes an operation target device 100 and an operation instruction device 200. A plurality of operation target devices 100 and a plurality of operation instruction devices 200 may exist. The operation target device 100 includes a remote control interface for remotely controlling its own function.
The operation instruction apparatus 200 includes an apparatus UI configuration unit 250. The device UI configuration unit 250 further includes an operation device area specification unit 252, a selection operation specification unit 253, and a UI generation unit 254. The operation device area specifying unit 252 specifies an operation device area from the device image of the operation target device 100. The selection-time operation specifying unit 253 specifies an operation corresponding to the operation device area. The UI generation unit 254 generates an operation UI for operating the operation target device based on the operation corresponding to the operation device area specified by the operation device area specification unit 252 and the operation device area specified by the operation time specification unit 253 for selection. Do.
These components may be configured by dedicated hardware, or may be configured by combining general-purpose hardware such as a communication interface device and software.
Thus, the device linkage system according to the third embodiment can realize a device linkage system in which various devices are remotely controlled by another device with a small number of man-hours. This is because the device UI configuration unit 250 of the operation instructing device 200 specifies the operation device area from the device image of the operation target device 100, and generates the operation UI using the operation device area.
The operation target device 100, the operation instructing device 200, the relay device 300, and the remote area operation instructing device 400 in the first to third embodiments may be provided with the computer 900. FIG. 9 is a block diagram showing an example of the elements constituting the computer 900. As shown in FIG. The computer 900 in FIG. 9 includes a central processing unit (CPU) 910, a random access memory (RAM) 920, a read only memory (ROM) 930, a storage medium 940, and a communication interface 950. The components of the operation target device 100, the operation instructing device 200, the relay device 300, and the remote area operation instructing device 400 may be realized by a program being executed by the computer 900. Specifically, these components may be realized by the CPU 910 reading and executing a program from the ROM 930 or the storage medium 940. The program may be present temporarily when it is run. For example, the program may be stored in the RAM 920 and deleted after execution. Alternatively, the program may exist permanently rather than temporarily. For example, the program may be stored in the ROM 930 or the storage medium 940 and may be stored as it is after execution. The storage medium 940 may be various storage devices such as an optical disk such as a CD (Compact Disk) -ROM, and a magnetic disk such as a hard disk or a flexible disk.
In the first and second embodiments described above, the operation instructing device 200 or the relay device 300 includes the device information database. However, the device information database may be provided on another device such as a server. Then, the server having the device information database and the operation instructing device or the relay device may be connected by communication means such as a network. In this case, the operation instruction device or the relay device can be miniaturized by not providing the device information database.
The device operation instruction unit in the first and second embodiments may be provided in the operation target device 100. In this case, the operation information acquisition unit transmits, to the operation target device 100, an operation instruction that the user has performed using the operation UI. Then, the device operation instruction unit of the operation target device 100 causes the operation target device 100 to execute an operation based on the received operation instruction.
Although the present invention has been described above with reference to the embodiments, the present invention is not limited to the above embodiments. The configurations and details of the present invention can be modified in various ways that can be understood by those skilled in the art within the scope of the present invention.
This application claims priority based on Japanese Patent Application No. 2010-117501 filed May 21, 2010, and incorporates all of its disclosure.
Some or all of the above embodiments may be described as in the following appendices, but is not limited to the following.
(Supplementary Note 1)
Operation target device and operation instruction device,
The operation instructing device is
Device UI configuration means,
The device UI configuration means
Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
Selection operation specifying means for specifying an operation corresponding to the operation device area;
A device linkage system including UI generation means for generating an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device region, and the operation device region.
(Supplementary Note 2)
The operation instructing device is
Device recognition means for recognizing the operation target device;
Device information acquisition means for acquiring information of the recognized operation target device;
The apparatus further comprises: a device operation instruction unit that generates a control command based on the operation instruction performed using the operation UI and information of the operation target device, and transmits the control command to the operation target device.
The device linkage system according to claim 1, wherein the operation target device executes an operation based on the received control command.
(Supplementary Note 3)
The device linkage system according to claim 1, further comprising a relay device, wherein the operation instructing device and the relay device are connected by communication means.
(Supplementary Note 4)
The relay device is
Device recognition means for recognizing the operation target device;
Device information acquisition means for acquiring information of the recognized operation target device;
And a device operation instruction unit that generates a control command based on the operation instruction performed using the operation UI and information of the operation target device, and transmits the control command to the operation target device.
The device linkage system according to claim 3, wherein the operation target device executes an operation based on the received control command.
(Supplementary Note 5)
Device UI configuration means,
The device UI configuration means
Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
Selection operation specifying means for specifying an operation corresponding to the operation device area;
An operation instruction device including a UI generation unit configured to generate an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device region, and the operation device region.
(Supplementary Note 6)
Device recognition means for recognizing the operation target device;
Device information acquisition means for acquiring information of the recognized operation target device;
The apparatus further comprises: a device operation instruction unit that generates a control command based on the operation instruction performed using the operation UI and information of the operation target device, and transmits the control command to the operation target device.
The device UI configuration means
The operation instruction device according to claim 5, further comprising an apparatus image acquisition unit for acquiring an apparatus image of the operation target apparatus.
(Appendix 7)
Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
Selection operation specifying means for specifying an operation corresponding to the operation device area;
An apparatus UI configuration unit including a UI generation unit configured to generate an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device area, and the operation device area.
(Supplementary Note 8)
Acquire the device image of the operation target device,
Identifying an operation device area included in the device image;
Identifying an operation corresponding to the operation device area;
An apparatus cooperation method of generating an operation UI for operating the operation target apparatus based on an operation corresponding to the apparatus image, the operation device area, and the operation device area.
(Appendix 9)
further,
Recognize the operation target device,
Acquire information on the recognized operation target device;
A control command is generated based on the operation instruction performed using the operation UI and information of the operation target device, and the control command is transmitted to the operation target device.
The device cooperation method according to claim 8, wherein the operation target device executes an operation based on the received control command.
(Supplementary Note 10)
The operation instruction device is
Acquire the device image of the operation target device,
Identifying an operation device area included in the device image;
Identifying an operation corresponding to the operation device area;
An operation UI for operating the operation target device is generated based on an operation corresponding to the device image, the operation device region, and the operation device region.
The relay device is
Recognize the operation target device,
Acquire information on the recognized operation target device;
A control command is generated based on the operation instruction performed using the operation UI and information of the operation target device, and the control command is transmitted to the operation target device.
The operation target device is
Device linkage method for executing the received operation instruction.
(Supplementary Note 11)
Acquire the device image of the operation target device,
Identifying an operation device area included in the device image;
Identifying an operation corresponding to the operation device area;
A program that causes a computer to execute a process of generating an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device region, and the operation device region.
(Supplementary Note 12)
further,
Recognize the operation target device,
Acquire information on the recognized operation target device;
The program according to Appendix 11, causing the computer to execute a process of generating a control command based on the operation instruction performed using the operation UI and the information of the operation target device, and transmitting the control command to the operation target device.
　本発明は、ある操作対象機器を、別の操作指示機器を用いて操作する機器連携システムに関し、操作対象機器を自動で認識し、対応する操作ＵＩを操作指示機器上に表示し、遠隔操作する用途に適用できる。 The present invention relates to a device linkage system that operates an operation target device using another operation instructing device, automatically recognizes the operation target device, displays a corresponding operation UI on the operation instructing device, and remotely controls Applicable to applications.
　１００　　操作対象機器
　２００　　操作指示機器
　３００　　中継機器
　４００　　遠隔地操作指示機器
　５００　　通信手段
　２１０，３１０　　機器認識部
　２２０，３２０　　機器情報取得部
　２３０，３３０　　機器情報データベース
　２４０，４１０　　機器映像表示部
　２５０，４２０　　機器ＵＩ構成部
　２６０，４３０　　操作情報取得部
　２７０，３４０　　機器操作指示部
　２８０，４４０　　画面
　２９０，３５０　　カメラ
　２５１　　機器画像取得部
　２５２　　操作デバイス領域特定部
　２５３　　選択時操作特定部
　２５４　　ＵＩ生成部
　９００　　コンピュータ
　９１０　　ＣＰＵ
　９２０　　ＲＡＭ
　９３０　　ＲＯＭ
　９４０　　ストレージ媒体
　９５０　　通信インタフェース 100 operation target device 200 operation instructing device 300 relay device 400 remote location operation instructing device 500 communication means 210, 310 device recognition unit 220, 320 device information acquisition unit 230, 330 device information database 240, 410 device video display unit 250, 420 device UI configuration unit 260, 430 operation information acquisition unit 270, 340 device operation instruction unit 280, 440 screen 290, 350 camera 251 device image acquisition unit 252 operation device area specification unit 253 selection operation specification unit 254 UI generation unit 900 computer 910 CPU
920 RAM
930 ROM
940 storage medium 950 communication interface

Claims (10)

  1. 　操作対象機器と、操作指示機器とを備え、
    　前記操作指示機器が、
    　機器ＵＩ構成手段を備え、
    　前記機器ＵＩ構成手段が、
    　前記操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
    　前記操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
    　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える
    機器連携システム。     Operation target device and operation instruction device,
    The operation instructing device is
    Device UI configuration means,
    The device UI configuration means
    Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
    Selection operation specifying means for specifying an operation corresponding to the operation device area;
    A device linkage system including UI generation means for generating an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device region, and the operation device region.
  2. 　前記操作指示機器が、
    　前記操作対象機器を認識する機器認識手段と、
    　認識した前記操作対象機器の情報を取得する機器情報取得手段と、
    　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信する機器操作指示手段とをさらに備え、
    　前記機器ＵＩ構成手段が、
    　前記操作対象機器の機器画像を取得する機器画像取得手段をさらに備え、
    　前記操作対象機器が、受信した制御コマンドに基づいて操作を実行する
    請求項１記載の機器連携システム。     The operation instructing device is
    Device recognition means for recognizing the operation target device;
    Device information acquisition means for acquiring information of the recognized operation target device;
    The apparatus further comprises: a device operation instruction unit that generates a control command based on the operation instruction performed using the operation UI and information of the operation target device, and transmits the control command to the operation target device.
    The device UI configuration means
    The apparatus further includes an apparatus image acquisition unit that acquires an apparatus image of the operation target apparatus.
    The device cooperation system according to claim 1, wherein the operation target device executes an operation based on the received control command.
  3. 　中継機器をさらに備え、前記操作指示機器と前記中継機器が通信手段で接続されている
    請求項１記載の機器連携システム。     The device linkage system according to claim 1, further comprising a relay device, wherein the operation instructing device and the relay device are connected by communication means.
  4. 　前記中継機器が、
    　前記操作対象機器を認識する機器認識手段と、
    　認識した前記操作対象機器の情報を取得する機器情報取得手段と、
    　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信する機器操作指示手段とを備え、
    　前記機器ＵＩ構成手段が、
    　前記操作対象機器の機器画像を取得する機器画像取得手段をさらに備え、
    　前記操作対象機器が、受信した制御コマンドに基づいて操作を実行する
    請求項３記載の機器連携システム。     The relay device is
    Device recognition means for recognizing the operation target device;
    Device information acquisition means for acquiring information of the recognized operation target device;
    And a device operation instruction unit that generates a control command based on the operation instruction performed using the operation UI and information of the operation target device, and transmits the control command to the operation target device.
    The device UI configuration means
    The apparatus further includes an apparatus image acquisition unit that acquires an apparatus image of the operation target apparatus.
    The device cooperation system according to claim 3, wherein the operation target device executes an operation based on the received control command.
  5. 　機器ＵＩ構成手段を備え、
    　前記機器ＵＩ構成手段が、
    　前記操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
    　前記操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
    　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える
    操作指示機器。     Device UI configuration means,
    The device UI configuration means
    Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
    Selection operation specifying means for specifying an operation corresponding to the operation device area;
    An operation instruction device including a UI generation unit configured to generate an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device region, and the operation device region.
  6. 　前記操作対象機器を認識する機器認識手段と、
    　認識した前記操作対象機器の情報を取得する機器情報取得手段と、
    　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信する機器操作指示手段とをさらに備え、
    　前記機器ＵＩ構成手段が、
    　前記操作対象機器の機器画像を取得する機器画像取得手段をさらに備える
    請求項５記載の操作指示機器。     Device recognition means for recognizing the operation target device;
    Device information acquisition means for acquiring information of the recognized operation target device;
    The apparatus further comprises: a device operation instruction unit that generates a control command based on the operation instruction performed using the operation UI and information of the operation target device, and transmits the control command to the operation target device.
    The device UI configuration means
    The operation instruction apparatus according to claim 5, further comprising an apparatus image acquisition unit configured to acquire an apparatus image of the operation target apparatus.
  7. 　操作対象機器の機器画像に含まれる操作デバイス領域を特定する操作デバイス領域特定手段と、
    　前記操作デバイス領域と対応する操作を特定する選択時操作特定手段と、
    　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成するＵＩ生成手段とを備える
    機器ＵＩ構成手段。     Operation device area specifying means for specifying an operation device area included in the device image of the operation target device;
    Selection operation specifying means for specifying an operation corresponding to the operation device area;
    An apparatus UI configuration unit including a UI generation unit configured to generate an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device area, and the operation device area.
  8. 　操作対象機器の機器画像を取得し、
    　前記機器画像に含まれる操作デバイス領域を特定し、
    　前記操作デバイス領域と対応する操作を特定し、
    　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成する
    機器連携方法。     Acquire the device image of the operation target device,
    Identifying an operation device area included in the device image;
    Identifying an operation corresponding to the operation device area;
    An apparatus cooperation method of generating an operation UI for operating the operation target apparatus based on an operation corresponding to the apparatus image, the operation device area, and the operation device area.
  9. 　さらに、
    　前記操作対象機器を認識し、
    　認識した前記操作対象機器の情報を取得し、
    　前記操作ＵＩを用いて行った操作指示及び前記操作対象機器の情報に基づいて制御コマンドを生成し、当該制御コマンドを前記操作対象機器に送信し、
    　前記操作対象機器が、受信した制御コマンドに基づいて操作を実行する
    請求項８記載の機器連携方法。     further,
    Recognize the operation target device,
    Acquire information on the recognized operation target device;
    A control command is generated based on the operation instruction performed using the operation UI and information of the operation target device, and the control command is transmitted to the operation target device.
    The device cooperation method according to claim 8, wherein the operation target device executes an operation based on the received control command.
  10. 　操作対象機器の機器画像を取得し、
    　前記機器画像に含まれる操作デバイス領域を特定し、
    　前記操作デバイス領域と対応する操作を特定し、
    　前記機器画像，前記操作デバイス領域，及び前記操作デバイス領域と対応する操作に基づいて、前記操作対象機器を操作するための操作ＵＩを生成する
    処理をコンピュータに実行させるプログラム。     Acquire the device image of the operation target device,
    Identifying an operation device area included in the device image;
    Identifying an operation corresponding to the operation device area;
    A program that causes a computer to execute a process of generating an operation UI for operating the operation target device based on an operation corresponding to the device image, the operation device region, and the operation device region.
PCT/JP2011/061596 2010-05-21 2011-05-13 Device cooperation system, operation instructing device, device user interface configuring means, method for providing cooperation of devices and program WO2011145709A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010117501 2010-05-21
JP2010-117501 2010-05-21

Publications (1)

Publication Number Publication Date
WO2011145709A1 true WO2011145709A1 (en) 2011-11-24

Family

ID=44991797

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061596 WO2011145709A1 (en) 2010-05-21 2011-05-13 Device cooperation system, operation instructing device, device user interface configuring means, method for providing cooperation of devices and program

Country Status (1)

Country Link
WO (1) WO2011145709A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168287A1 (en) * 2012-05-11 2013-11-14 パイオニアデジタルデザインアンドマニュファクチャリング株式会社 Relay device
JP2017111781A (en) * 2015-12-14 2017-06-22 ▲れい▼達科技股▲ふん▼有限公司Ｌｅａｄｏｔ Ｉｎｎｏｖａｔｉｏｎ， Ｉｎｃ． Method to control action of smart device registered to catalog
CN109218145A (en) * 2018-08-24 2019-01-15 英华达（上海）科技有限公司 Display methods, system, equipment and the storage medium of IOT appliance control interface

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329005A (en) * 1995-03-25 1996-12-13 Ricoh Co Ltd Decentralized processing system and its control method
JP2000184475A (en) * 1998-12-16 2000-06-30 Sony Corp Device and method for remote control and device and method for processing information
JP2002268783A (en) * 2001-03-13 2002-09-20 Ricoh Co Ltd Picture preparing system
JP2005109746A (en) * 2003-09-29 2005-04-21 Toshiba Consumer Marketing Corp Household appliance remote control system, service providing server, home server, household apparatus, household appliance remote control support method of service providing server and household appliance service providing and support method of service providing server

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329005A (en) * 1995-03-25 1996-12-13 Ricoh Co Ltd Decentralized processing system and its control method
JP2000184475A (en) * 1998-12-16 2000-06-30 Sony Corp Device and method for remote control and device and method for processing information
JP2002268783A (en) * 2001-03-13 2002-09-20 Ricoh Co Ltd Picture preparing system
JP2005109746A (en) * 2003-09-29 2005-04-21 Toshiba Consumer Marketing Corp Household appliance remote control system, service providing server, home server, household apparatus, household appliance remote control support method of service providing server and household appliance service providing and support method of service providing server

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013168287A1 (en) * 2012-05-11 2013-11-14 パイオニアデジタルデザインアンドマニュファクチャリング株式会社 Relay device
JPWO2013168287A1 (en) * 2012-05-11 2015-12-24 パイオニアデジタルデザインアンドマニュファクチャリング株式会社 Relay device
JP2017111781A (en) * 2015-12-14 2017-06-22 ▲れい▼達科技股▲ふん▼有限公司Ｌｅａｄｏｔ Ｉｎｎｏｖａｔｉｏｎ， Ｉｎｃ． Method to control action of smart device registered to catalog
US9881191B2 (en) 2015-12-14 2018-01-30 Leadot Innovation, Inc. Method of controlling operation of cataloged smart devices
CN109218145A (en) * 2018-08-24 2019-01-15 英华达（上海）科技有限公司 Display methods, system, equipment and the storage medium of IOT appliance control interface
CN109218145B (en) * 2018-08-24 2021-10-08 英华达（上海）科技有限公司 IOT equipment control interface display method, system, equipment and storage medium

Similar Documents

Publication Publication Date Title
JP4812841B2 (en) Video playback device for AV equipment
US10616636B2 (en) Setting integrated remote controller of display device
KR101472912B1 (en) Universal remote controller apparatus, universal remote controller system, and method thereof
WO2011086956A1 (en) Information terminal device, control method using an information terminal device, and program
CN104853250A (en) Remote controller and method for controlling screen thereof
CN112306442B (en) Cross-device content screen projection method, device, equipment and storage medium
US9196154B2 (en) Method and electronic device for controlling display device using watermark
JP2012105131A (en) Server device, display operation terminal and remote operation system
JP2002064725A (en) Electronic presentation method and system
CN112399212A (en) Display device, file sharing method and server
CN111897478A (en) Page display method and display equipment
US9451311B2 (en) Generic remote controller
CN109937576A (en) Display device
CN112565740A (en) Fault diagnosis method, terminal device and display device
WO2011145709A1 (en) Device cooperation system, operation instructing device, device user interface configuring means, method for providing cooperation of devices and program
CN112188249A (en) Electronic specification-based playing method and display device
JP4127053B2 (en) Electronic device control system and electronic device control method
CN112073770A (en) Display device and video communication data processing method
US20140223349A1 (en) Method and apparatus for controlling electronic device
EP3416347A1 (en) Data setting method for body information analysis apparatus
CN107801074A (en) The control method of display device and display device
CN112527170A (en) Equipment visualization control method and device and computer readable storage medium
WO2018033953A1 (en) IoT DEVICE USER INTERFACE DISPLAY SYSTEM, IoT DEVICE USER INTERFACE DISPLAY METHOD, AND PROGRAM
JP5281324B2 (en) Screen output converter, display device, and screen display method
KR20170043944A (en) Display apparatus and method of controlling thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11783643

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11783643

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP