JP6668519B1 - Remote control function setting program, remote control server, remote control function setting method, mobile terminal - Google Patents

Remote control function setting program, remote control server, remote control function setting method, mobile terminal Download PDF

Info

Publication number
JP6668519B1
JP6668519B1 JP2019018043A JP2019018043A JP6668519B1 JP 6668519 B1 JP6668519 B1 JP 6668519B1 JP 2019018043 A JP2019018043 A JP 2019018043A JP 2019018043 A JP2019018043 A JP 2019018043A JP 6668519 B1 JP6668519 B1 JP 6668519B1
Authority
JP
Japan
Prior art keywords
remote control
image
imaging
unit
remote controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019018043A
Other languages
Japanese (ja)
Other versions
JP2020127118A (en
Inventor
芳正 庄子
芳正 庄子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2019018043A priority Critical patent/JP6668519B1/en
Application granted granted Critical
Publication of JP6668519B1 publication Critical patent/JP6668519B1/en
Publication of JP2020127118A publication Critical patent/JP2020127118A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Selective Calling Equipment (AREA)

Abstract

【課題】ユーザは簡便な操作でマルチリモコンに各種機器のリモコン機能を設定することができるとともに、マルチリモコンの製造メーカーも容易にユーザに設定方法を案内することができる。【解決手段】携帯端末の画面に、リモコン信号により操作される各種機器のリモコンを撮像する旨のガイダンスを出力する出力部と、撮像部によりリモコンを撮像する撮像処理部と、撮像部により撮像されたリモコンの画像に基づいて当該リモコンに対応する機器を認識し、認識結果に基づいて機器の識別情報を取得する認識処理部と、機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信部と、機器の識別情報により識別される機器を制御するためのインターフェースを画面上に設定する設定部と、を備える。【選択図】図２PROBLEM TO BE SOLVED: A user can set a remote control function of various devices to a multi remote control by a simple operation, and a manufacturer of the multi remote control can easily guide the user to a setting method. SOLUTION: An output unit that outputs a guidance for capturing an image of a remote control of various devices operated by a remote control signal on a screen of a mobile terminal, an image processing unit that captures an image of the remote control by the image capturing unit, and an image captured by the image capturing unit. The recognition processing unit that recognizes the device corresponding to the remote control based on the image of the remote control and acquires the identification information of the device based on the recognition result, the identification information of the device, and the remote control signals of the plurality of devices to the remote control. A transmission unit that transmits to the multi-remote control device that can be transmitted instead, and a setting unit that sets an interface for controlling the device identified by the identification information of the device on the screen are provided. [Selection diagram] FIG.

Description

この発明は、リモコン機能設定プログラム、リモコンサーバ、リモコン機能設定方法、携帯端末に関する。   The present invention relates to a remote control function setting program, a remote control server, a remote control function setting method, and a mobile terminal.

従来、エアコンやテレビなどを含む家電に代表される複数の各種機器のリモートコントロール機能（以下、リモコン機能という。）を一つの装置に集約するマルチリモコン装置（以下、マルチリモコンという。）が開発されている。マルチリモコンによれば、ユーザは各種機器の台数分のリモコン装置（以下、リモコンという。）を使い分けたり、管理したりする必要がなくなるため、ユーザにとって簡便なリモコン機能の操作を提供することが目的とされている。   2. Description of the Related Art Conventionally, a multi-remote control device (hereinafter, referred to as a multi-remote control) that integrates remote control functions (hereinafter, referred to as a remote control function) of a plurality of various devices represented by home appliances including an air conditioner and a television into one device has been developed. ing. According to the multi remote controller, it is not necessary for the user to use and manage remote controllers (hereinafter, referred to as remote controllers) corresponding to the number of various devices. It has been.

一般的に、マルチリモコンに各種機器のリモコン機能を設定する既存の方法としては、ユーザにより機器の型番をマルチリモコンに入力するプリセット型や、電源を含む各機能をマルチリモコンに記憶させる学習型などがある。   In general, existing methods for setting the remote control function of various devices in the multi remote control include a preset type in which a user inputs a device model number to the multi remote control, and a learning type in which various functions including power supply are stored in the multi remote control. There is.

しかし、既存のプリセット型マルチリモコンでは、ユーザが機器の型番を把握していない場合に、ユーザが機器の型番を確認する作業が煩雑となりマルチリモコンを迅速に使用できないケースがある。例えば、機器本体やリモコン装置に機器の型番が記載されていてもユーザが記載されている箇所を発見できない場合や、機器の購入時に同梱されている機器の取扱説明書や保証書をユーザが紛失しているような場合などが想定される。また、学習型マルチリモコンの場合、電源を含むリモコンの各機能を一つ一つマルチリモコンに記憶させる作業が必要となるため、ユーザによる設定のための作業労力が多大となるケースが多い。   However, in the case of the existing preset-type multi remote controller, when the user does not know the model number of the device, the operation of checking the model number of the device is complicated by the user, and there are cases where the multi remote controller cannot be used quickly. For example, even if the model number of the device is described on the device itself or the remote control device, the user cannot find the location where the device is described, or the user loses the instruction manual or warranty of the packaged device when purchasing the device. Is assumed. Further, in the case of the learning type multi remote controller, it is necessary to store each function of the remote controller including the power supply one by one in the multi remote controller, so that the work for setting by the user is often large.

そこで、このようなプリセット型リモコンや学習型リモコンの問題点を解決すべくリモコンからではなく機器本体の情報を基にマルチリモコンにリモコン機能を設定する方法が提案されている（例えば、特許文献１参照）。   Therefore, in order to solve such problems of the preset type remote controller and the learning type remote controller, there has been proposed a method of setting a remote controller function in a multi remote controller not based on the remote controller but on the basis of information of a device main body (for example, Patent Document 1). reference).

具体的には、特許文献１によれば、機器を撮像した後、撮像した機器の画像から機器の認識処理を行い、機器をリモコン操作するためのリモコン処理を行うリモコン装置が開示されている。   Specifically, Patent Literature 1 discloses a remote control device that performs a remote control process for performing remote control operation of a device after performing a process of recognizing the device from an image of the captured device after capturing the image of the device.

特開２０１２−１５６８３５号公報JP 2012-156835 A

しかしながら、特許文献１による方法では、機器の種類によっては大型であったり、部屋の高い位置に設置されたりしているような場合には、機器を移動することができず機器全体の画像を撮像することが困難である場合がある。また、機器全体の画像を撮像することができる場合であっても、撮像する位置や角度、照度などを調整することは困難である場合もある。   However, in the method according to Patent Document 1, when the device is large or installed in a high position in a room depending on the type of the device, the device cannot be moved and an image of the entire device is captured. Can be difficult to do. Further, even when an image of the entire device can be captured, it may be difficult to adjust the capturing position, angle, illuminance, and the like.

また、機器の種類によっては、機器を識別可能な特徴部分が機器の正面でない部分にあるケースも想定され、この場合には機器本体の画像から機器を認識することができないこととなる。あるいは、近年、機器の外観はシンプルな形状が需要者に好まれる傾向が高く、外見的な特徴が少ないケースも多く、このようなケースにおいては機器自体の画像から画像の特徴量を用いて機器を識別することが困難である。さらに、ユーザ操作による設定では正常に機器の認識処理がされないような場合に、マルチリモコンの製造メーカーにマルチリモコンの設定方法について問い合わせがなされても、機器本体の画像を撮像する方法では、機器の大きさや設置場所によってはオペレーターがユーザに適切に案内することが困難となるケースも想定される。   In addition, depending on the type of device, a case where a characteristic portion capable of identifying the device is not located in front of the device may be assumed. In this case, the device cannot be recognized from the image of the device body. Alternatively, in recent years, the appearance of a device has a high tendency to be favored by consumers for a simple shape, and in many cases there are few external features. In such a case, the device is obtained by using the image feature amount from the image of the device itself. Is difficult to identify. Furthermore, in the case where the device recognition processing is not normally performed by the setting by the user operation, even if the manufacturer of the multi remote controller is inquired about the setting method of the multi remote controller, the method of capturing the image of the device main body does not allow the device to be imaged. Depending on the size and the installation location, it may be difficult for the operator to appropriately guide the user.

そこで、本発明は、ユーザは簡便な操作でマルチリモコンに各種機器のリモコン機能を設定することができるとともに、マルチリモコンの製造メーカーも容易にユーザに設定方法を案内することが可能な携帯端末、リモコンサーバ、リモコン機能設定方法、リモコン機能設定プログラムを提供することを目的とする。   Therefore, the present invention provides a portable terminal that allows a user to set the remote control function of various devices to the multi remote controller with a simple operation, and also enables the manufacturer of the multi remote controller to easily guide the user to the setting method. A remote control server, a remote control function setting method, and a remote control function setting program are provided.

上記課題を解決するため、本発明に係るリモコン機能設定プログラムは、撮像部を備えた携帯端末に、前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力機能と、撮像部によりリモコンの操作入力面を撮像させる撮像処理機能と、撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて機器の識別情報を取得する認識処理機能と、認識処理機能によりリモコンに対応する機器が認識されたか否かを判定する判定機能と、認識処理機能により取得された機器の識別情報を、複数の機器のリモコン信号をリモコンに代替して発信可能なマルチリモコン装置に送信する送信機能と、認識処理機能により取得された機器の識別情報により識別される機器を制御するためのインターフェースを画面上に設定する設定機能と、を実現し、出力機能は、判定機能によりリモコンに対応する機器が認識されたと判定されなかった場合に、リモコンの操作入力面の裏面を撮像する旨のガイダンスを画面に表示し、撮像処理機能は、リモコンの操作入力面の裏面を撮像し、認識処理機能は、撮像処理機能により撮像されたリモコンの操作入力面の裏面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することによりリモコンに対応する機器を認識すること、を特徴とする。
また、本発明に係るリモコン機能設定プログラムは、撮像部を備えた携帯端末に、携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力機能と、撮像部によりリモコンの操作入力面を撮像させる撮像処理機能と、撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて機器の識別情報を取得する認識処理機能と、認識処理機能によりリモコンに対応する機器が認識されたか否かを判定する判定機能と、認識処理機能により取得された機器の識別情報を、複数の機器のリモコン信号をリモコンに代替して発信可能なマルチリモコン装置に送信する送信機能と、認識処理機能により取得された機器の識別情報により識別される機器を制御するためのインターフェースを画面上に設定する設定機能と、を実現し、出力機能は、判定機能によりリモコンに対応する機器が認識されたと判定されなかった場合に、リモコンに備えられた操作入力面または電池挿入口を被覆するカバー機能により被覆されている面を撮像する旨のガイダンスを画面に表示し、認識処理機能は、撮像処理機能により撮像されたカバー機能により被覆されている面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンのカバー機能により被覆されている面の画像と比較することによりリモコンに対応する機器を認識すること、を特徴とするものであってもよい。 In order to solve the above problem, a remote control function setting program according to the present invention captures an image of an operation input surface of a remote control of various devices operated by a remote control signal on a screen of the mobile terminal, the portable terminal having an imaging unit. an output function of outputting the fact guidance, an imaging processing function to image the operation input surface of the remote control by the imaging unit, a feature amount included in the image of the operation input surface of the imaged remote control by the imaging unit, a database in advance in the storage a recognition processing function to recognize the device corresponding to the remote control acquires the identification information of the device based on the recognition result by comparing the image of the operation input surfaces of the various devices of the remote control, the remote control by the recognition processing function corresponding a determining function whether device is recognized, the identification information of the acquired device by the recognition processing function, a plurality of devices remote Setting to set on the screen an interface to control the device identified by the identification information of the device obtained by the recognition processing function and the transmission function to send the remote control signal to the multi-remote control device capable of transmitting in place of the remote control The output function displays guidance on the screen to image the back side of the operation input surface of the remote controller when the determination function does not determine that the device corresponding to the remote controller has been recognized. The processing function captures an image of the back side of the operation input surface of the remote controller, and the recognition processing function stores the feature amounts included in the image of the back surface of the operation input surface of the remote controller imaged by the imaging processing function in various forms stored in a database in advance. The device corresponding to the remote control is recognized by comparing the image with the image of the operation input surface of the remote control of the device .
Further, the remote control function setting program according to the present invention outputs, to a portable terminal equipped with an imaging unit, guidance on a screen of the portable terminal to image an operation input surface of a remote control of various devices operated by a remote control signal. An output function, an imaging processing function of causing the imaging unit to capture an image of the operation input surface of the remote controller, and a feature amount included in the image of the operation input surface of the remote controller captured by the imaging unit, which is stored in a database in advance. The device corresponding to the remote controller is recognized by comparing the image with the operation input surface of the remote controller, and the device corresponding to the remote controller is recognized by the recognition processing function. And the identification information of the device obtained by the recognition processing function, and the remote control signals of multiple devices are substituted for the remote control. And a setting function of setting an interface on the screen for controlling an apparatus identified by the identification information of the apparatus acquired by the recognition processing function on the screen. When the output function determines that the device corresponding to the remote controller has not been recognized by the determination function, an image of the surface covered by the cover function that covers the operation input surface or the battery insertion port provided in the remote controller is taken. Is displayed on the screen, and the recognition processing function includes a feature amount included in the image of the surface covered by the cover function captured by the imaging processing function, the cover of the remote controller of various devices stored in a database in advance. Recognizing a device corresponding to the remote controller by comparing with an image of a surface covered by a function. It may be.

本発明によれば、携帯端末により機器のリモコンが撮像され、撮像されたリモコンの画像に基づいて機器が認識され、認識結果に応じたリモコン設定情報がマルチリモコンに設定されるので、ユーザは簡便な操作でマルチリモコンに各種機器のリモコン機能を設定することができるとともに、マルチリモコンの製造メーカーも容易にユーザにマルチリモコン装置の設定方法を案内することができる。   According to the present invention, the remote control of the device is imaged by the portable terminal, the device is recognized based on the captured image of the remote control, and the remote control setting information according to the recognition result is set in the multi remote control, so that the user can easily The remote control function of various devices can be set to the multi remote controller by simple operation, and the manufacturer of the multi remote controller can easily guide the user to the setting method of the multi remote controller.

本発明の実施の形態に係るリモコン機能設定システムの構成を示すシステム図である。1 is a system diagram showing a configuration of a remote control function setting system according to an embodiment of the present invention. 本発明の一実施態様における携帯端末の機能構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration example of a mobile terminal according to an embodiment of the present invention. 本実施形態における機器情報の一例を示す図である。FIG. 4 is a diagram illustrating an example of device information according to the embodiment. 図４（ａ）は、本実施形態におけるリモコンの正面の一例を示す図であり、図４（ｂ）は、本実施形態におけるリモコンの裏面の一例を示す図である。FIG. 4A is a diagram illustrating an example of the front surface of the remote controller according to the present embodiment, and FIG. 4B is a diagram illustrating an example of the back surface of the remote controller according to the embodiment. 図５（ａ）は、本実施形態におけるリモコンの裏面の他の例を示す図であり、図５（ｂ）は、本実施形態におけるリモコンの裏面に備えられたカバー部５１１により被覆されている面の一例を示す図である。FIG. 5A is a diagram illustrating another example of the back surface of the remote controller according to the present embodiment, and FIG. 5B is covered by a cover portion 511 provided on the back surface of the remote controller according to the embodiment. It is a figure showing an example of a field. 図６（ａ）は、本実施形態における正面にカバー部が備えられたリモコンの一例を示す図であり、図６（ｂ）は、本実施形態におけるリモコンのカバー部５１１により被覆されている面の一例を示す図である。FIG. 6A is a diagram illustrating an example of a remote control in which a cover portion is provided on a front surface according to the present embodiment. FIG. 6B is a diagram illustrating a surface covered by a cover portion 511 of the remote control according to the present embodiment. It is a figure showing an example of. 本実施形態における携帯端末にインストールされたアプリケーション一覧の画面例を示す図である。It is a figure showing the example of a screen of the application list installed in the personal digital assistant in this embodiment. 本実施形態における携帯端末の入出力部に出力されたリモコンを撮像する旨のガイダンスの出力表示例を示す図である。FIG. 9 is a diagram illustrating an output display example of guidance for capturing an image of a remote controller output to the input / output unit of the mobile terminal according to the embodiment. 本実施形態におけるマルチリモコンの機能構成の一例を示すブロック図である。FIG. 3 is a block diagram illustrating an example of a functional configuration of the multi remote controller according to the embodiment. 本実施形態における携帯端末とマルチリモコンによるリモコン機能設定処理の流れの一例を示すシーケンス図である。FIG. 7 is a sequence diagram illustrating an example of a flow of a remote control function setting process performed by the mobile terminal and the multi remote controller according to the embodiment. 本実施形態におけるリモコンサーバの機能構成の一例を示すブロック図である。It is a block diagram showing an example of the functional composition of the remote control server in this embodiment. 他の実施形態における携帯端末とマルチリモコンによるリモコン機能設定処理の流れの一例を示すシーケンス図である。It is a sequence diagram showing an example of a flow of remote control function setting processing by a portable terminal and a multi remote control in another embodiment. 本実施形態における携帯端末を実現可能なコンピュータの一例を示すハードウェア構成図である。FIG. 2 is a hardware configuration diagram illustrating an example of a computer capable of realizing the mobile terminal according to the embodiment.

図１は、本発明の実施の形態に係るリモコン機能設定システムの構成を示すシステム図である。図１に示すように、リモコン機能設定システム１は、携帯端末１００と、リモコンサーバ２００と、マルチリモコン３００とを含み、これらがネットワーク１０を介して相互に通信可能となっている。ネットワーク１０は、携帯端末１００と、リモコンサーバ２００と、マルチリモコン３００の各々を相互に接続する役割を担う。例えば、有線ネットワークや無線ネットワークであってもよい。なお、携帯端末１００とマルチリモコン３００とは、赤外線通信などの近距離通信を用いて少なくとも携帯端末１００からマルチリモコン３００に片方向通信可能である構成としてもよい。また、携帯端末１００は、図１において１台を図示するが、複数台であってもよい。   FIG. 1 is a system diagram showing a configuration of a remote control function setting system according to an embodiment of the present invention. As shown in FIG. 1, the remote control function setting system 1 includes a mobile terminal 100, a remote control server 200, and a multi remote control 300, which can communicate with each other via a network 10. The network 10 has a role of mutually connecting the mobile terminal 100, the remote control server 200, and the multi remote control 300 to each other. For example, a wired network or a wireless network may be used. Note that the mobile terminal 100 and the multi remote controller 300 may be configured to be capable of at least one-way communication from the mobile terminal 100 to the multi remote controller 300 using short-range communication such as infrared communication. Although one portable terminal 100 is shown in FIG. 1, a plurality of portable terminals may be used.

リモコンサーバ２００は、家電などの家庭やオフィスなどで使用される各種機器に関する情報と、当該機器にリモコン信号を発信するリモコンに関する情報とを管理する。リモコンサーバ２００は、携帯端末１００からの要求により、機器に関する情報を携帯端末１００に送信する。各種機器に関する情報には、各種機器の製造メーカーおよび機器の識別情報が含まれる。また、リモコンに関する情報には、リモコンの画像およびリモコンによる操作対象となる機器の識別情報が含まれる。   The remote control server 200 manages information on various devices used in homes and offices, such as home appliances, and information on a remote control that transmits a remote control signal to the devices. Remote control server 200 transmits information on the device to mobile terminal 100 in response to a request from mobile terminal 100. The information on the various devices includes manufacturers of the various devices and identification information of the devices. The information on the remote control includes an image of the remote control and identification information of a device to be operated by the remote control.

携帯端末１００は、カメラなどの撮像部を備えた端末であり、リモコンサーバ２００およびマルチリモコン３００と通信可能な端末である。なお、携帯端末１００とマルチリモコン３００は、赤外線通信を含む近距離通信により少なくとも携帯端末１００からマルチリモコン３００に片方向通信可能であればよい。なお、図１において、携帯端末１００はスマートフォンなどの携帯電話を図示するが、他の機器と通信可能な端末であればよく、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの情報処理装置も含まれる。また、他の例として、リモコンサーバ２００およびマルチリモコン３００は、携帯端末１００に内蔵する構成としてもよい。   The mobile terminal 100 is a terminal provided with an imaging unit such as a camera, and is a terminal that can communicate with the remote control server 200 and the multi remote control 300. The mobile terminal 100 and the multi remote controller 300 only need to be capable of at least one-way communication from the mobile terminal 100 to the multi remote controller 300 by short-range communication including infrared communication. In FIG. 1, the mobile terminal 100 is a mobile phone such as a smartphone, but may be any terminal that can communicate with other devices, and includes an information processing apparatus such as a PC (Personal Computer). As another example, the remote control server 200 and the multi remote control 300 may be configured to be built in the mobile terminal 100.

マルチリモコン３００は、一台で複数の異なる種類の機器のリモート信号を識別し、複数の機器を操作できる操作端末である。本実施形態において、マルチリモコン３００は、携帯端末１００から受信した操作情報や、マルチリモコン３００に入力された音声情報に従って家電４００にリモート信号を発信してもよい。例えば、リモート信号としては、赤外線や電波による信号が用いられるが、この他リモート送信可能な信号であればいずれであってもよい。   The multi remote controller 300 is an operation terminal that can identify remote signals of a plurality of different types of devices and operate a plurality of devices. In the present embodiment, the multi remote controller 300 may transmit a remote signal to the home appliance 400 according to the operation information received from the mobile terminal 100 or the voice information input to the multi remote controller 300. For example, as the remote signal, a signal using infrared rays or radio waves is used, but any other signal that can be remotely transmitted may be used.

家電４００は、本発明における機器に相当する。また、家電４００は、家庭用電気製品であり、エアコン、冷蔵庫、テレビ、ビデオデッキ、ＤＶＤプレーヤー、ＣＤプレーヤー、コンポなどが含まれるがこれらに限定されるものではない。なお、本実施形態においては、マルチリモコン３００により操作される機器として家電４００を例示するが、マルチリモコン３００による操作対象となる機器は家電に限定されず、オフィスなどにおいて業務上使用される機器であってもよい。   Home appliance 400 corresponds to the device in the present invention. The home appliance 400 is a household electric appliance, and includes, but is not limited to, an air conditioner, a refrigerator, a television, a VCR, a DVD player, a CD player, a component player, and the like. In the present embodiment, the home appliance 400 is exemplified as a device operated by the multi remote controller 300. However, a device to be operated by the multi remote controller 300 is not limited to a home appliance, and may be a device used for business in an office or the like. There may be.

図２は、本発明の一実施態様における携帯端末１００の機能構成例を示すブロック図である。図２に示すように、携帯端末１００は、制御部１１０と、通信制御部１２０と、入出力部１３０と、撮像部１４０と、記憶部１５０とを備える。   FIG. 2 is a block diagram illustrating a functional configuration example of the mobile terminal 100 according to an embodiment of the present invention. As illustrated in FIG. 2, the mobile terminal 100 includes a control unit 110, a communication control unit 120, an input / output unit 130, an imaging unit 140, and a storage unit 150.

入出力部１３０は、情報の入出力を行うための入力部（図示せず）や表示部（図示せず）などである。例えば、入力部、表示部ともに、液晶画面などから構成されるディスプレイ、モニタ、または、タッチパネル等の情報を出力する画面等である。   The input / output unit 130 is an input unit (not shown) for inputting and outputting information, a display unit (not shown), and the like. For example, each of the input unit and the display unit is a display configured with a liquid crystal screen or the like, a monitor, or a screen for outputting information such as a touch panel.

記憶部１５０は、機器情報データベース１４１を記憶する。機器情報データベース１４１には、機器情報とリモコン画像とが格納されている。ここで、機器情報とは、家電４００の機器に関する情報であって、家電４００の機器の製造メーカーの識別情報、機器の識別情報、リモコンの画像およびリモコンによる操作対象となる機器の識別情報が含まれる。図３は、本実施形態における機器情報の一例を示す図である。図３では、機器情報として、製造メーカーの識別情報を示す製造メーカーＩＤ「ＡＢＣ００１」に、機器の識別情報である機器ＩＤ「ＲＣ−２９１０」、リモコンの正面画像の識別情報を示すリモコン画像（正面）ＩＤ「ｐｃｔ９６３８５２」、リモコンの裏面画像の識別情報を示すリモコン画像（裏面）ＩＤ「ｐｃｔ９６３８５４」、リモコンのカバー内面画像の識別情報を示すリモコン画像（カバー内面）ＩＤ「ｐｃｔ９６３８５５」が対応付けられている。ここで、リモコンの正面とは、リモコンの電源ボタンなどの各種入力部が備えられた操作入力面のことをいい、リモコンの裏面画像とは、リモコンの正面に対する裏面のことをいい、リモコンのカバー内面とは、リモコンの一部を被覆するために設置されたカバーの内側の面のことをいう。なお、リモコンの一部は、リモコンの正面の一部であってもよいしリモコンの裏面の一部であってもよい。また、リモコン画像とは、機器情報データベース１４１に保存されている機器情報に含まれるリモコン画像ＩＤにより識別されるリモコンの画像のことである。なお、機器情報データベース１４１は、リモコンサーバ２００から所定の期間毎または任意のタイミングで、機器情報とリモコン画像とを受信し、更新される。   The storage unit 150 stores a device information database 141. The device information database 141 stores device information and remote control images. Here, the device information is information on the device of the home appliance 400, and includes identification information of a manufacturer of the device of the home appliance 400, identification information of the device, an image of the remote controller, and identification information of the device to be operated by the remote controller. It is. FIG. 3 is a diagram illustrating an example of the device information according to the present embodiment. In FIG. 3, as device information, a manufacturer ID “ABC001” indicating the manufacturer's identification information, a device ID “RC-2910” as the device identification information, and a remote control image (front view) indicating the identification information of the front image of the remote controller. ) The ID “pct963852”, the remote control image (rear surface) ID “pct963844” indicating the identification information of the rear surface image of the remote controller, and the remote control image (cover inner surface) ID “pct963855” indicating the identification information of the cover inner surface image of the remote controller are associated with each other. I have. Here, the front of the remote control refers to an operation input surface provided with various input units such as a power button of the remote control, and the back image of the remote control refers to a back surface with respect to the front of the remote control. The inner surface refers to an inner surface of a cover installed to cover a part of the remote controller. A part of the remote control may be a part of the front of the remote control or a part of the back of the remote control. The remote control image is an image of a remote control identified by a remote control image ID included in the device information stored in the device information database 141. The device information database 141 receives the device information and the remote control image from the remote control server 200 at predetermined time intervals or at an arbitrary timing, and is updated.

図４（ａ）は、本実施形態におけるリモコン５００ａの正面５０１ａの一例を示す図であり、図４（ｂ）は、本実施形態におけるリモコン５００ａの裏面５１０ａの一例を示す図である。図４（ａ）に示すように、リモコン５００ａの正面５０１ａには、電源ボタン５０２や、操作ボタン５０３が備えられており、その下部に機器の識別情報である「ＲＣ−２９１０」および製造メーカーＩＤ「ＡＢＣ００１」が記載されている。また、図４（ｂ）に示すように、リモコン５００ａの裏面５１０ａの下部には、電源ボタン５０２や、操作ボタン５０３が備えられており、その下部に機器の識別情報である「ＲＣ−２９１０」および製造メーカー名「ＡＢＣｍａｎｕｆａｃｔ」が記載されている。   FIG. 4A is a diagram illustrating an example of the front surface 501a of the remote controller 500a according to the present embodiment, and FIG. 4B is a diagram illustrating an example of the back surface 510a of the remote controller 500a according to the embodiment. As shown in FIG. 4A, a power button 502 and an operation button 503 are provided on a front surface 501a of the remote controller 500a, and "RC-2910" as device identification information and a manufacturer ID are provided below the power button 502 and the operation button 503. "ABC001" is described. As shown in FIG. 4B, a power button 502 and an operation button 503 are provided below the rear surface 510a of the remote controller 500a, and "RC-2910" as device identification information is provided below the power button 502 and the operation button 503. And a manufacturer name "ABCmanufact".

図５（ａ）は、本実施形態におけるリモコン５００ｂの裏面５１０ｂの他の例を示す図であり、図５（ｂ）は、本実施形態におけるリモコンの裏面５１０ｂに備えられたカバー部５１１の内面５１２を示す図である。図５（ａ）では、リモコン５００ｂの裏面５１０ｂは、操作面（不図示）に対する裏面を示す。また、裏面５１０ｂには、カバー部５１１が備えられており、図５（ａ）は、カバー部５１１は、リモコン５００ｂに装着された状態を示す。カバー部５１１はリモコン５００ｂの電池挿入口を被覆する。図５（ｂ）は、リモコン５００ｂの裏面５１０ｂに備えられたカバー部５１１が取り外され、カバー部５１１により被覆されている面５１２が露出している状態を示す。カバー部５１１の内面５１２には、電池挿入口５１２ａ〜５１２ｄが備えられており、下部に機器の識別情報である「ＲＣ−２９１０」および製造メーカー名「ＡＢＣｍａｎｕｆａｃｔ」が記載されている。   FIG. 5A is a diagram illustrating another example of the back surface 510b of the remote controller 500b according to the present embodiment. FIG. 5B is a diagram illustrating the inner surface of the cover portion 511 provided on the back surface 510b of the remote controller according to the embodiment. FIG. In FIG. 5A, a back surface 510b of the remote controller 500b indicates a back surface with respect to an operation surface (not shown). Also, a cover 511 is provided on the back surface 510b, and FIG. 5A shows a state in which the cover 511 is attached to the remote controller 500b. The cover 511 covers the battery insertion slot of the remote controller 500b. FIG. 5B shows a state in which the cover portion 511 provided on the back surface 510b of the remote controller 500b is removed, and the surface 512 covered by the cover portion 511 is exposed. On the inner surface 512 of the cover portion 511, battery insertion holes 512a to 512d are provided, and "RC-2910" as device identification information and a manufacturer name "ABCmanufact" are described below.

図６（ａ）は、正面５０１ｂにカバー部５２１が備えられたリモコン５００ｃの一例を示す図であり、図６（ｂ）は、本実施形態におけるリモコン５００ｃのカバー部５３２の内面５３３を示す図である。カバー部５３２は、リモコン５００ｃの操作面を被覆する。図６（ａ）では、リモコン５００ｃの操作面となる正面５０１ｂには、電源ボタン５３１とカバー部５３２が備えられており、カバー部５３２は着脱可能、またはヒンジ部などで開閉可能にリモコン５００ｃに装着されている。また、図６（ｂ）では、リモコン５００ｃのカバー部５３２が取り外された、または、開かれた状態で、カバー部５１１により被覆されている面５３３が露出している状態を示している。そして、カバー部５３２の内面５３３の下部に機器の識別情報である「ＲＣ−２９１０」および製造メーカー名「ＡＢＣｍａｎｕｆａｃｔ」が記載されている。なお、図４〜図６において、リモコン５００ａ〜５００ｃを例示したが、特に明示する場合を除き、以下、リモコン５００と総称する。   FIG. 6A is a diagram illustrating an example of a remote controller 500c in which a cover portion 521 is provided on a front surface 501b, and FIG. 6B is a diagram illustrating an inner surface 533 of a cover portion 532 of the remote controller 500c according to the present embodiment. It is. The cover 532 covers the operation surface of the remote controller 500c. In FIG. 6A, a power button 531 and a cover portion 532 are provided on a front surface 501b serving as an operation surface of the remote control 500c. The cover portion 532 is detachable, or can be opened and closed by a hinge or the like. It is installed. FIG. 6B shows a state where the cover 532 of the remote controller 500c is removed or opened, and the surface 533 covered by the cover 511 is exposed. Then, “RC-2910” which is identification information of the device and a manufacturer name “ABCmanufact” are described below the inner surface 533 of the cover portion 532. 4 to 6, remote controllers 500a to 500c are illustrated, but are generally referred to as remote controllers 500 unless otherwise specified.

図２に示すように、制御部１１０は、入出力制御部１１１と、撮像処理部１１２と、認識処理部１１３と、判定部１１４と、設定部１１５と、送受信部１６とを備える。ここで、入出力制御部１１１は、本発明における出力部に相当し、送受信部１１８は、送信部に相当する。   As shown in FIG. 2, the control unit 110 includes an input / output control unit 111, an imaging processing unit 112, a recognition processing unit 113, a determination unit 114, a setting unit 115, and a transmission / reception unit 16. Here, the input / output control unit 111 corresponds to an output unit in the present invention, and the transmission / reception unit 118 corresponds to a transmission unit.

入出力制御部１１１は、入出力部１３０への制御を行う。入出力部１３０は、一例として、画像（画面）を出力し、ユーザからの入力を受け付けるタッチパネルにより実現される。具体的には、入出力制御部１１１は、入出力部１３０から情報入力された場合、または入出力部１３０に情報出力する際に、入出力部１３０と制御部１１０との間で入出力可能なデータに変換し入出力する。例えば、入出力制御部１１１は、入出力部１３０からリモコン機能設定指示の入力を受け付けた場合、リモコン機能設定を実行するアプリケーションを起動する。ここで、リモコン機能設定指示とは、リモコン５００の機能を携帯端末１００およびマルチリモコン３００に設定する指示のことである。   The input / output control unit 111 controls the input / output unit 130. The input / output unit 130 is realized by, for example, a touch panel that outputs an image (screen) and receives input from a user. Specifically, the input / output control unit 111 can perform input / output between the input / output unit 130 and the control unit 110 when information is input from the input / output unit 130 or when information is output to the input / output unit 130. Converts the data into input and output. For example, when receiving an input of a remote control function setting instruction from the input / output unit 130, the input / output control unit 111 activates an application for executing the remote control function setting. Here, the remote control function setting instruction is an instruction to set the function of the remote controller 500 to the mobile terminal 100 and the multi remote controller 300.

図７は、本実施形態における携帯端末１００にインストールされたアプリケーション一覧の画面例を示す図である。図７において、携帯端末１００の入出力部１３０上に、携帯端末１００にインストールされたアプリケーションの一覧として、リモコン機能設定用のアプリケーションを示す「リモコン設定」、画像閲覧用のアプリケーションを示す「ピクチャー閲覧」、ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｙｓｔｅｍにおけるメッセージ交換用アプリケーションを示す「ＳＮＳメッセージ」、画像編集用のアプリケーションを示す「画像編集」、音楽再生用のアプリケーションを示す「音楽再生」、文書作成用アプリケーションを示す「文書作成」が表示されている。各アプリケーション名の先頭に選択可能な四角のアイコンが表示されており、図７においては、「リモコン設定」が選択されている。   FIG. 7 is a diagram illustrating an example of a screen of a list of applications installed in the mobile terminal 100 according to the present embodiment. In FIG. 7, on the input / output unit 130 of the mobile terminal 100, as a list of applications installed in the mobile terminal 100, "remote control setting" indicating an application for setting a remote control function, and "picture viewing" indicating an application for image viewing. "," SNS message "indicating an application for exchanging messages in SNS (Social Networking System)," image editing "indicating an application for image editing," music playback "indicating an application for music playback," A selectable square icon is displayed at the beginning of each application name, and “remote control setting” is selected in FIG.

図８は、本実施形態における携帯端末１００の入出力部１３０に出力されたリモコン５００を撮像する旨のガイダンスの出力表示例を示す図である。図８において、上にリモコン５００を撮像する旨のガイダンスを示す「リモコンの正面画像を撮像してください」というメッセージが表示されており、その下に撮像対象となるリモコン５００の画像が収まる領域を示すガイド枠１３１が表示されている。   FIG. 8 is a diagram illustrating an output display example of guidance for capturing an image of the remote controller 500 output to the input / output unit 130 of the mobile terminal 100 according to the present embodiment. In FIG. 8, a message “Please take a front image of the remote control” is displayed above the guidance indicating that the remote control 500 is to be imaged, and an area where the image of the remote control 500 to be imaged fits is displayed below the message. The illustrated guide frame 131 is displayed.

なお、図８においては、入出力制御部１１１により、リモコン５００の操作入力面（正面）を撮像する旨のガイダンスの表示情報が入出力部１３０に出力された例を図示するが、後述する判定部１１４の判定結果により、リモコン５００の裏面画像やカバー部５２２により被覆されている面５１２、カバー部５３２により被覆されている面５３３を撮像する旨のガイダンスの表示情報が出力されることとなる。また、本実施形態においては、カバー部５２２、５３２により被覆されている面に機器の識別情報が記載されている例を示したが、これに限定されず、カバー部５２２、５３２自体の裏面に機器の識別情報が記載されている場合には、カバー部５２２、５３２自体の裏面を撮像する旨のガイダンスの表示情報を出力することとしてもよい。また、入出力制御部１１１によるリモコン５００の操作入力面（正面）を撮像する旨のガイダンスは、表示情報に限定されず音声情報であってもよい。この場合、スピーカー（不図示）から当該ガイダンスの音声情報が出力されることとなる。   Note that FIG. 8 illustrates an example in which the input / output control unit 111 outputs, to the input / output unit 130, display information of guidance for capturing an image of the operation input surface (front) of the remote controller 500. Based on the determination result of the unit 114, the display information of the guidance to the effect that the back surface image of the remote controller 500 and the surface 512 covered by the cover unit 522 and the surface 533 covered by the cover unit 532 are captured are output. . Further, in the present embodiment, an example in which the identification information of the device is described on the surface covered with the cover portions 522 and 532 is shown. However, the present invention is not limited to this. When the identification information of the device is described, the display information of the guidance to image the back surface of the cover units 522 and 532 may be output. Further, the guidance for capturing an image of the operation input surface (front) of the remote controller 500 by the input / output control unit 111 is not limited to display information, and may be audio information. In this case, audio information of the guidance is output from a speaker (not shown).

また、入出力制御部１１１は、リモコン機能設定指示の入力を受け付けた場合、入出力部１３０に、リモコン５００の撮像指示に関するガイダンスを出力する。例えば、入出力制御部１１１は、リモコン５００の撮像面につき、リモコン５００の正面画像、リモコン５００の裏面画像、リモコン５００のカバー部５１１、５３２の内面５１２、５３３のいずれかを撮像する旨のガイダンスを入出力部１３０に出力する。または、入出力制御部１１１は、後述する認識処理部１１３および判定部１１４による処理結果によりリモコン５００の正面画像、リモコン５００の裏面画像、リモコン５００のカバー部５１１、５３２の内面５１２、５３３の順に撮像する旨のガイダンスを出力する。   In addition, when receiving input of a remote control function setting instruction, input / output control section 111 outputs guidance relating to an imaging instruction of remote control 500 to input / output section 130. For example, the input / output control unit 111 provides guidance for capturing any one of the front image of the remote controller 500, the rear image of the remote controller 500, and the inner surfaces 512 and 533 of the cover units 511 and 532 of the remote controller 500 for the imaging surface of the remote controller 500. Is output to the input / output unit 130. Alternatively, the input / output control unit 111 determines the order of the front image of the remote controller 500, the rear image of the remote controller 500, and the inner surfaces 512 and 533 of the cover units 511 and 532 of the remote controller 500 according to the processing results of the recognition processing unit 113 and the determination unit 114 described later. The guidance for taking an image is output.

また、入出力制御部１１１は、入出力部１３０に撮像対象となるリモコン５００の画像が収まる領域を示すガイド枠１３１を出力する。また、入出力制御部１１１は、入出力部１３０に撮影対象であるリモコン５００を撮像する方向、撮像時における照度、撮像場所の背景模様などに関する撮影条件を指定する旨のガイダンスを出力する。撮像条件としては、例えば、リモコン５００を正面から撮像すること、撮像時における照明が所定の照度以上とすること、反射光を避けること、リモコン５００を載置する背景模様を無地とすること、または、リモコン５００と同系色でない背景とすることなどがあり、これらのいずれかだけでもよいし、複数であってもよい。   Further, the input / output control unit 111 outputs a guide frame 131 indicating an area in which the image of the remote controller 500 to be imaged fits into the input / output unit 130. In addition, the input / output control unit 111 outputs guidance to the input / output unit 130 for designating a shooting condition of the remote controller 500 as a shooting target, illuminance at the time of shooting, a background pattern of the shooting location, and the like. As the imaging conditions, for example, imaging the remote controller 500 from the front, lighting at the time of imaging is equal to or higher than a predetermined illuminance, avoiding reflected light, setting the background pattern on which the remote controller 500 is placed to be plain, or The background may not be the same as the color of the remote controller 500, and either one of them may be used or a plurality of them may be used.

撮像処理部１１２は、撮像部１４０により撮像対象を撮像したり、撮像した画像を処理したりする。例えば、撮像処理部１１２は、入出力部１３０に表示されたアプリケーション一覧から「リモコン設定」が選択され、入出力制御部１１１によりアプリケーションが起動された場合、撮像部１４０をオンにする。また、撮像処理部１１２は、入出力部１３０から操作入力されたシャッター指示に応じて、リモコン５００の正面画像、リモコン５００の裏面画像、リモコン５００のカバー部の内面画像などを撮像する。   The imaging processing unit 112 captures an image of an imaging target by the imaging unit 140 and processes the captured image. For example, when “remote control setting” is selected from the application list displayed on the input / output unit 130 and the application is activated by the input / output control unit 111, the imaging processing unit 112 turns on the imaging unit 140. In addition, the imaging processing unit 112 captures a front image of the remote controller 500, a rear image of the remote controller 500, an inner image of the cover of the remote controller 500, and the like according to a shutter instruction input from the input / output unit 130.

認識処理部１１３は、撮像処理部１１２により撮像されたリモコン５００の画像に基づいてリモコン５００に対応する家電４００を認識し、認識結果に基づいて家電４００の識別情報を取得する。具体的には、認識処理部１１３は、撮像処理部１１２により撮像されたリモコン５００の画像を、機器情報データベース１４１に保存されているリモコン画像と照合し、一致する画像がある場合に、当該リモコン画像ＩＤに対応付けられている機器ＩＤを取得する。ここで、リモコン５００の画像と機器情報に含まれるリモコン画像との照合により、一致するリモコン画像があるか否かの判定は、撮像処理部１１２により撮像されたリモコン５００の画像と、機器情報データベース１４１に保存されているリモコン画像に含まれる画像の特徴量の比較により行われる。具体的には、認識処理部１１３は、撮像処理部１１２により撮像されたリモコン５００の画像に含まれる画像の形状、色、文字などの特徴量が、機器情報データベース１４１に保存されているリモコン画像に含まれるそれらの特徴量と所定値以上一致するか否かを判定し、一致すると判定した場合に、両画像は一致すると判定する。認識処理部１１３は、撮像処理部１１２により撮像されたリモコン５００の画像に含まれる画像が機器情報データベース１４１に保存されているリモコン画像と一致すると判定した場合に、機器情報データベース１４１を参照し、一致すると判定したリモコン画像のリモコン画像ＩＤに対応する機器ＩＤを取得する。また、認識処理部１１３は、リモコン５００の正面画像に対しては、機器情報データベース１４１に保存されているリモコン画像（正面）ＩＤに対応付けられているリモコン５００の正面画像とリモコン５００の裏面画像に対しては、機器情報データベース１４１に保存されているリモコン画像（裏面）ＩＤに対応付けられているリモコン５００の裏面画像と、リモコン５００のカバー部５１１、５３２の内面画像に対しては、機器情報データベース１４１に保存されているリモコン画像（裏面）ＩＤに対応付けられているリモコン５００のカバー部内面画像とそれぞれ照合する。   The recognition processing unit 113 recognizes the home appliance 400 corresponding to the remote controller 500 based on the image of the remote controller 500 captured by the imaging processing unit 112, and acquires the identification information of the home appliance 400 based on the recognition result. Specifically, the recognition processing unit 113 compares the image of the remote controller 500 captured by the imaging processing unit 112 with the remote control image stored in the device information database 141, and when there is a matching image, The device ID associated with the image ID is obtained. Here, by comparing the image of the remote controller 500 with the remote control image included in the device information, it is determined whether or not there is a matching remote control image, based on the image of the remote controller 500 captured by the image capturing processing unit 112 and the device information database. The comparison is performed by comparing feature amounts of images included in the remote control image stored in the remote controller 141. Specifically, the recognition processing unit 113 stores the feature amounts such as the shape, color, and characters of the image included in the image of the remote controller 500 captured by the imaging processing unit 112 in the remote control image stored in the device information database 141. Are determined to be equal to or more than a predetermined value from those feature amounts included in the image. If the two images are determined to match, it is determined that both images match. When the recognition processing unit 113 determines that the image included in the image of the remote controller 500 captured by the imaging processing unit 112 matches the remote control image stored in the device information database 141, the recognition processing unit 113 refers to the device information database 141, The device ID corresponding to the remote control image ID of the remote control image determined to match is acquired. In addition, the recognition processing unit 113 generates a front image of the remote controller 500 and a rear image of the remote controller 500 associated with the remote controller image (front) ID stored in the device information database 141 for the front image of the remote controller 500. , The back side image of the remote controller 500 associated with the remote controller image (back side) ID stored in the device information database 141 and the inner surface image of the cover portions 511 and 532 of the remote controller 500 The image is compared with the inner image of the cover of the remote controller 500 associated with the remote controller image (back side) ID stored in the information database 141.

なお、本実施形態においては携帯端末１００が認識処理部１１３によりリモコン５００に対応する家電４００の認識処理および家電４００の機器ＩＤを取得する構成とするが、他の例として、認識処理部１１３による処理をリモコンサーバ２００により行わせる構成としてもよい。   In the present embodiment, the mobile terminal 100 has a configuration in which the recognition processing unit 113 recognizes the home appliance 400 corresponding to the remote controller 500 and acquires the device ID of the home appliance 400. The processing may be performed by the remote control server 200.

判定部１１４は、認識処理部１１３によりリモコン５００に対応する家電４００が認識されたか否かを判定する。具体的には、判定部１１４は、認識処理部１１３により撮像処理部１１２により撮像されたリモコン５００の画像に含まれる画像が機器情報データベース１４１に保存されているリモコン画像と一致すると判定され、一致すると判定されたリモコン画像のリモコン画像ＩＤに対応する機器ＩＤが取得されたか否かを判定する。   The determination unit 114 determines whether the home appliance 400 corresponding to the remote controller 500 has been recognized by the recognition processing unit 113. Specifically, the determination unit 114 determines that the image included in the image of the remote controller 500 imaged by the imaging processing unit 112 by the recognition processing unit 113 matches the remote control image stored in the device information database 141. Then, it is determined whether a device ID corresponding to the remote control image ID of the determined remote control image has been acquired.

設定部１１５は、認識処理部１１３により取得された機器ＩＤにより識別される家電４００を制御するためのリモコン機能を操作するためのインターフェースを入出力部１３０上に設定する。例えば、リモコン機能を操作するためのインターフェースは、入出力部１３０へのアイコン押下操作による場合には、リモコン５００の形状や色を模したアイコン画像であってもよいし、入出力部１３０が備えるマイク（不図示）への音声情報の入力による場合には、リモコン機能の操作指示を示す音声情報の入力を受け付けるためのマイクの画像をしたアイコン画像などであってもよい。   The setting unit 115 sets an interface for operating a remote control function for controlling the home appliance 400 identified by the device ID acquired by the recognition processing unit 113 on the input / output unit 130. For example, the interface for operating the remote control function may be an icon image imitating the shape or color of the remote control 500 when the icon is pressed on the input / output unit 130, or provided in the input / output unit 130. In the case of inputting voice information to a microphone (not shown), an icon image of a microphone image for receiving input of voice information indicating an operation instruction of a remote control function may be used.

送受信部１１６は、通信制御部１２０を介してリモコンサーバ２００や、マルチリモコン３００、家電４００などの外部装置と各種データを送受信する。例えば、送受信部１１８は、認識処理部１１３により取得された機器ＩＤをマルチリモコン３００に送信する。また、送受信部１１６は、マルチリモコン３００にモコン機能を操作するためのインターフェースから家電４００を操作するための操作情報を送信する。ここで、操作情報とは、家電４００の機能を操作するための情報であり、電源オンやオフなどの操作に関する情報を含む。   The transmission / reception unit 116 transmits / receives various data to / from external devices such as the remote control server 200, the multi remote control 300, and the home appliance 400 via the communication control unit 120. For example, the transmission / reception unit 118 transmits the device ID acquired by the recognition processing unit 113 to the multi remote controller 300. Further, transmitting / receiving section 116 transmits operation information for operating home appliance 400 to multi remote controller 300 from an interface for operating the remote controller function. Here, the operation information is information for operating a function of the home appliance 400, and includes information related to operations such as turning on and off the power.

通信制御部１２０は、通信回線や電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続されるインターフェースである。すなわち、通信制御部１２０は、リモコンサーバ２００等のような外部装置と通信回線を介してデータを通信する機能を有している。   The communication control unit 120 is an interface connected to a communication device (not shown) such as an antenna or a router connected to a communication line or a telephone line. That is, the communication control unit 120 has a function of communicating data with an external device such as the remote control server 200 via a communication line.

次に、マルチリモコン３００の機能構成について説明する。図９は、本実施形態におけるマルチリモコン３００の機能構成の一例を示すブロック図である。図９に示すように、マルチリモコン３００は、制御部３１０と、記憶部３２０と、通信制御部３３０とを備える。   Next, a functional configuration of the multi remote controller 300 will be described. FIG. 9 is a block diagram illustrating an example of a functional configuration of the multi remote controller 300 according to the present embodiment. As shown in FIG. 9, the multi remote controller 300 includes a control unit 310, a storage unit 320, and a communication control unit 330.

記憶部３２０は、リモコン設定情報を記憶する。ここで、リモコン設定情報とは、マルチリモコン３００にリモコン５００が有する家電４００に対するリモコン機能を設定するための情報であり、家電４００の機器ＩＤに、リモコン５００の機能情報などを含む。リモコン５００の機能情報とは、リモコン５００の各ボタンに対応して出力すべきリモコン信号を示す情報のことである。   Storage section 320 stores remote control setting information. Here, the remote control setting information is information for setting a remote control function for the home appliance 400 included in the remote controller 500 in the multi remote controller 300, and the device ID of the home appliance 400 includes function information of the remote controller 500 and the like. The function information of the remote controller 500 is information indicating a remote control signal to be output corresponding to each button of the remote controller 500.

制御部３１０は、設定処理部３１１と、受付部３１２と、入出力制御部３１３と、送受信部３１４を備える。   The control unit 310 includes a setting processing unit 311, a reception unit 312, an input / output control unit 313, and a transmission / reception unit 314.

設定処理部３１１は、送受信部３１４を介して携帯端末１００から受信した機器ＩＤに対応付けられているリモコンの機能情報を記憶部３２０から取得し、取得した機能情報を設定する。なお、本実施形態においては、リモコンの機能情報はあらかじめマルチリモコン３００の記憶部３２０に保存されている構成としたが、他の例として、マルチリモコン３００は、送受信部３１４を介してリモコンサーバ２００からリモコンの機能情報を受信した上で設定する構成としてもよい。   The setting processing unit 311 acquires from the storage unit 320 function information of the remote controller associated with the device ID received from the mobile terminal 100 via the transmission / reception unit 314, and sets the acquired function information. In the present embodiment, the function information of the remote controller is stored in advance in the storage unit 320 of the multi remote controller 300. However, as another example, the multi remote controller 300 transmits the remote control server 200 via the transmission / reception unit 314. The setting may be made after receiving the function information of the remote controller from.

受付部３１２は、送受信部３１４を介して、携帯端末１００から家電４００に対する操作指示、マルチリモコン３００に備えられた操作キー（不図示）を使った直接的な操作指示、またはマルチリモコン３００に備えられたマイク（不図示）から音声入力などを受け付け、受け付けた操作指示をマルチリモコンに送信する。例えば、受付部３１２は、携帯端末１００から電源オンの操作指示を受け付ける。   The reception unit 312 is provided with an operation instruction for the home appliance 400 from the portable terminal 100 via the transmission / reception unit 314, a direct operation instruction using an operation key (not shown) provided on the multi remote controller 300, or the multi remote controller 300. A voice input or the like is received from a received microphone (not shown), and the received operation instruction is transmitted to the multi remote controller. For example, the receiving unit 312 receives a power-on operation instruction from the mobile terminal 100.

入出力制御部３１３は、受付部３１２により受け付けた操作指示を家電４００が受信可能なリモコン信号に変換し、送受信部３１４を介して赤外線送信などにより家電４００に出力する。   The input / output control unit 313 converts the operation instruction received by the reception unit 312 into a remote control signal receivable by the home appliance 400, and outputs the remote control signal to the home appliance 400 by infrared transmission or the like via the transmission / reception unit 314.

送受信部３１４は、通信制御部３３０を介して携帯端末１００などの外部装置と各種データを送受信する。例えば、送受信部３１４は、リモコンサーバ２００から設定情報を受信したり、家電４００にリモコン信号を送信したりする。   The transmission / reception unit 314 transmits / receives various data to / from an external device such as the mobile terminal 100 via the communication control unit 330. For example, transmitting / receiving section 314 receives setting information from remote control server 200 or transmits a remote control signal to home appliance 400.

通信制御部３３０は、通信回線や電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続されるインターフェースである。すなわち、通信制御部３３０は、携帯端末１００や、家電４００等のような外部装置と通信回線を介してデータを通信する機能を有している。   The communication control unit 330 is an interface connected to a communication device (not shown) such as an antenna or a router connected to a communication line or a telephone line. That is, the communication control unit 330 has a function of communicating data with an external device such as the portable terminal 100 or the home appliance 400 via the communication line.

次に、携帯端末１００とマルチリモコン３００によるリモコン機能設定処理について説明する。図１０は、本実施形態における携帯端末１００とマルチリモコン３００によるリモコン機能設定処理の流れの一例を示すシーケンス図である。   Next, a remote control function setting process performed by the mobile terminal 100 and the multi remote controller 300 will be described. FIG. 10 is a sequence diagram illustrating an example of a flow of a remote control function setting process performed by the mobile terminal 100 and the multi remote controller 300 according to the present embodiment.

携帯端末１００の入出力制御部１１１は、リモコン機能設定用のアプリケーションを起動する（ステップＳ１）。携帯端末１００の撮像処理部１１２は、カメラを起動する（ステップＳ２）。携帯端末１００の入出力制御部１１１は、リモコン５００の撮像に関するガイダンスを出力する（ステップＳ３）。携帯端末１００の撮像処理部１１２は、リモコン５００を撮像する（ステップＳ４）。携帯端末１００の認識処理部１１３は、ステップＳ４において撮像されたリモコン５００の画像から、当該リモコン５００の画像に対応する家電４００の認識処理を行う（ステップＳ５）。携帯端末１００の設定部１１５は、リモコン設定情報をマルチリモコン３００に送信する（ステップＳ６）。携帯端末１００は、画面である入出力部１３０上にインターフェースを表示する(ステップＳ７)。マルチリモコン３００の設定処理部３１１は、ステップＳ６において携帯端末１００から受信したリモコン設定情報に基づいてリモコン５００の機能情報を設定する（ステップＳ８）。   The input / output control unit 111 of the mobile terminal 100 activates an application for setting a remote control function (step S1). The imaging processing unit 112 of the mobile terminal 100 activates the camera (Step S2). The input / output control unit 111 of the mobile terminal 100 outputs guidance regarding imaging of the remote controller 500 (Step S3). The imaging processing unit 112 of the mobile terminal 100 captures an image of the remote controller 500 (Step S4). The recognition processing unit 113 of the mobile terminal 100 performs recognition processing of the home appliance 400 corresponding to the image of the remote controller 500 from the image of the remote controller 500 captured in step S4 (step S5). The setting unit 115 of the mobile terminal 100 transmits the remote control setting information to the multi remote control 300 (Step S6). The mobile terminal 100 displays the interface on the input / output unit 130, which is a screen (Step S7). The setting processing unit 311 of the multi remote controller 300 sets the function information of the remote controller 500 based on the remote control setting information received from the mobile terminal 100 in Step S6 (Step S8).

このように、本実施形態におけるリモコン機能設定システム１によれば、携帯端末１００により撮像されたリモコンの画像を基に家電４００を認識するので、家電４００の大きさや設置場所に影響されることなくユーザは簡便な操作でマルチリモコンに各種機器のリモコン機能を設定することができるとともに、マルチリモコンの製造メーカーも容易にユーザに設定方法を案内することができる。   As described above, according to the remote control function setting system 1 according to the present embodiment, the home appliance 400 is recognized based on the image of the remote control captured by the mobile terminal 100, so that the home appliance 400 is not affected by the size or the installation location of the home appliance 400. The user can set the remote control function of various devices to the multi remote controller with a simple operation, and the manufacturer of the multi remote controller can easily guide the user to the setting method.

（他の実施形態）
上記の実施形態においては、携帯端末１００の認識処理部１１３によりリモコン５００の画像から家電４００を認識し、家電４００の機器ＩＤを取得する構成を説明したが、以下に他の実施形態として、リモコンサーバ２００により家電４００を認識する処理とする構成を示す。 (Other embodiments)
In the above embodiment, the configuration in which the recognition processing unit 113 of the portable terminal 100 recognizes the home appliance 400 from the image of the remote controller 500 and obtains the device ID of the home appliance 400 has been described. A configuration in which the server 200 recognizes the home appliance 400 will be described.

リモコンサーバ２００の機能構成について説明する。図１１は、本実施形態におけるリモコンサーバ２００の機能構成の一例を示すブロック図である。図１１に示すように、リモコンサーバ２００は、制御部２１０と、通信制御部２２０と、記憶部２３０とを備える。なお、第一の実施形態において説明した各部の構成および機能と同一のものについては同一の符号を付して説明を省略する。   The functional configuration of remote control server 200 will be described. FIG. 11 is a block diagram illustrating an example of a functional configuration of the remote control server 200 according to the present embodiment. As shown in FIG. 11, remote control server 200 includes control unit 210, communication control unit 220, and storage unit 230. The same components and configurations as those described in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.

制御部２１０は、入出力制御部２１１と、認識処理部１１３と、判定部１１４と、設定部１１５と、送受信部２１６とを備える。   The control unit 210 includes an input / output control unit 211, a recognition processing unit 113, a determination unit 114, a setting unit 115, and a transmission / reception unit 216.

入出力制御部２１１は、携帯端末１００や、マルチリモコン３００などの外部装置に情報を入出力する。例えば、入出力制御部２１１は、送受信部２１６を介して携帯端末１００からリモコン機能設定指示の入力を受け付けた場合、リモコン５００を撮像する旨のガイダンスを出力する。また、入出力制御部２１１は、リモコン５００の撮像面につき、リモコン５００の正面画像、リモコン５００の裏面画像、リモコン５００のカバー部５１１、５３２の内面５１２、５３３のいずれかを撮像する旨のガイダンスを入出力部１３０に出力する。または、入出力制御部１１１は、後述する認識処理部１１３および判定部１１４による処理結果によりリモコン５００の正面画像、リモコン５００の裏面画像、リモコン５００のカバー部５１１、５３２の内面５１２、５３３の順に撮像する旨のガイダンスを出力する。また、入出力制御部２１１は、リモコン５００の正面画像、裏面画像、カバー部５１１、５３２の内面画像の各画像がそれぞれ家電４００により認識されなかった場合に、順次ガイダンスを出力することとしてもよい。これにより、リモコン５００の正面画像だけで家電４００が認識された場合には、操作工数を省略できるし、正面画像だけで家電４００が認識されなかった場合には、認識精度が向上する撮像箇所を効率的にユーザに提示することができる。   The input / output control unit 211 inputs and outputs information to and from external devices such as the mobile terminal 100 and the multi remote controller 300. For example, when the input / output control unit 211 receives an input of a remote control function setting instruction from the mobile terminal 100 via the transmission / reception unit 216, the input / output control unit 211 outputs guidance for capturing an image of the remote control 500. Further, the input / output control unit 211 provides guidance for capturing any one of the front image of the remote controller 500, the rear image of the remote controller 500, and the inner surfaces 512 and 533 of the cover units 511 and 532 of the remote controller 500 for the imaging surface of the remote controller 500. Is output to the input / output unit 130. Alternatively, the input / output control unit 111 determines the order of the front image of the remote controller 500, the rear image of the remote controller 500, and the inner surfaces 512 and 533 of the cover units 511 and 532 of the remote controller 500 according to the processing results of the recognition processing unit 113 and the determination unit 114 described later. The guidance for taking an image is output. In addition, the input / output control unit 211 may sequentially output guidance when each of the front image, the rear image of the remote controller 500, and the inner images of the cover units 511 and 532 is not recognized by the home appliance 400. . Accordingly, when the home appliance 400 is recognized only by the front image of the remote controller 500, the number of operation steps can be omitted, and when the home appliance 400 is not recognized only by the front image, the imaging location where the recognition accuracy is improved can be determined. It can be efficiently presented to the user.

送受信部２１６は、通信制御部２２０を介して携帯端末１００やマルチリモコン３００などの外部装置と各種データを送受信する。例えば、送受信部２１６は、携帯端末１００からリモコン機能設定指示を受信したり、マルチリモコン３００にリモコン５００の設定情報を送信したりする。   The transmission / reception unit 216 transmits / receives various data to / from external devices such as the mobile terminal 100 and the multi remote controller 300 via the communication control unit 220. For example, the transmission / reception unit 216 receives a remote control function setting instruction from the mobile terminal 100 or transmits setting information of the remote control 500 to the multi remote control 300.

通信制御部２２０は、通信回線や電話回線等に接続されるアンテナやルータ等の通信装置（図示せず）に接続されるインターフェースである。すなわち、通信制御部２２０は、携帯端末１００等のような外部装置と通信回線を介してデータを通信する機能を有している。   The communication control unit 220 is an interface connected to a communication device (not shown) such as an antenna or a router connected to a communication line or a telephone line. That is, the communication control unit 220 has a function of communicating data with an external device such as the mobile terminal 100 via a communication line.

次に、他の実施形態における携帯端末１００と、リモコンサーバ２００と、マルチリモコン３００とによるリモコン機能設定処理について説明する。図１２は、他の実施形態における携帯端末１００とマルチリモコン３００によるリモコン機能設定処理の流れの一例を示すシーケンス図である。   Next, remote control function setting processing by the mobile terminal 100, the remote control server 200, and the multi remote control 300 in another embodiment will be described. FIG. 12 is a sequence diagram illustrating an example of a flow of a remote control function setting process performed by the mobile terminal 100 and the multi remote controller 300 according to another embodiment.

携帯端末１００の送受信部１１６は、リモコンサーバ２００にリモコン機能設定指示を送信する（ステップＳ１１）。ここで、リモコン機能設定指示には、マルチリモコン３００のネットワーク上のアドレス（例えば、ＩＰアドレス）が含まれる。リモコンサーバ２００の送受信部２１６は、携帯端末１００にリモコン５００の画像を送信する旨の要求を送信する（ステップＳ１２）。携帯端末１００の撮像処理部１１２は、リモコン５００の画像を撮像する（ステップＳ１３）。携帯端末の入出力制御部２１１は、リモコン５００の画像をリモコンサーバ２００に送信する(ステップＳ１４)。リモコンサーバ２００の認識処理部１１３は、ステップＳ１４において携帯端末１００から受信したリモコン５００の画像をもとに、家電４００の認識処理を実行する（ステップＳ１５）。リモコンサーバ２００の入出力制御部２１１は、携帯端末１００に携帯端末１００の入出力部１３０に表示するインターフェースの表示情報およびリモコン５００の設定情報を送信する（ステップＳ１６）。携帯端末１００の送受信部１１６は、マルチリモコン３００にリモコン５００の設定情報を送信する（ステップＳ１７）。携帯端末１００の入出力制御部１１１は、携帯端末１００の入出力部１３０に家電４００のリモコン機能を操作するためのインターフェースの表示情報を出力する(ステップＳ１８)。マルチリモコン３００は、ステップＳ１７において受信した設定情報によりリモコン機能情報を設定する（ステップＳ１９）。   The transmission / reception unit 116 of the mobile terminal 100 transmits a remote control function setting instruction to the remote control server 200 (Step S11). Here, the remote control function setting instruction includes an address (for example, an IP address) of the multi remote control 300 on the network. The transmission / reception unit 216 of the remote control server 200 transmits a request to transmit an image of the remote control 500 to the mobile terminal 100 (Step S12). The imaging processing unit 112 of the mobile terminal 100 captures an image of the remote controller 500 (Step S13). The input / output control unit 211 of the mobile terminal transmits the image of the remote controller 500 to the remote control server 200 (Step S14). The recognition processing unit 113 of the remote control server 200 executes recognition processing of the home appliance 400 based on the image of the remote control 500 received from the mobile terminal 100 in step S14 (step S15). The input / output control unit 211 of the remote control server 200 transmits the display information of the interface displayed on the input / output unit 130 of the mobile terminal 100 and the setting information of the remote control 500 to the mobile terminal 100 (Step S16). The transmitting / receiving unit 116 of the mobile terminal 100 transmits the setting information of the remote controller 500 to the multi remote controller 300 (Step S17). The input / output control unit 111 of the mobile terminal 100 outputs display information of an interface for operating the remote control function of the home appliance 400 to the input / output unit 130 of the mobile terminal 100 (Step S18). The multi remote controller 300 sets remote control function information based on the setting information received in step S17 (step S19).

図１３は、本実施形態における携帯端末１００を実現可能なコンピュータ２０の一例を示すハードウェア構成図である。図１３に示すように、コンピュータ２０は、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、ＨＤＤ（Hard Disk Drive）２４、通信インターフェース（Ｉ／Ｆ）２５、入出力インターフェース（Ｉ／Ｆ）２６、およびメディアインターフェース（Ｉ／Ｆ）２７を備える。   FIG. 13 is a hardware configuration diagram illustrating an example of a computer 20 capable of realizing the mobile terminal 100 according to the present embodiment. As shown in FIG. 13, the computer 20 includes a CPU (Central Processing Unit) 21, a RAM (Random Access Memory) 22, a ROM (Read Only Memory) 23, a HDD (Hard Disk Drive) 24, and a communication interface (I / F). 25, an input / output interface (I / F) 26, and a media interface (I / F) 27.

ＣＰＵ２１は、ＲＯＭ２３またはＨＤＤ２４に格納されたプログラムにより動作し、各部の制御を行う。ＲＯＭ２３は、コンピュータ２０の起動時にＣＰＵ２１によって実行されるブートプログラムや、コンピュータ２０のハードウェアに依存するプログラム等を格納する。   The CPU 21 operates according to a program stored in the ROM 23 or the HDD 24 and controls each unit. The ROM 23 stores a boot program executed by the CPU 21 when the computer 20 is started, a program depending on hardware of the computer 20, and the like.

ＨＤＤ２４は、ＣＰＵ２１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェース２５は、通信回線を介して外部機器から受信したデータをＣＰＵ２１に送り、ＣＰＵ２１が生成したデータを、通信回線を介して外部機器に送信する。   The HDD 24 stores a program executed by the CPU 21, data used by the program, and the like. The communication interface 25 sends data received from an external device via the communication line to the CPU 21 and transmits data generated by the CPU 21 to the external device via the communication line.

ＣＰＵ２１は、入出力インターフェース２６を介して、ディスプレイやプリンタ等の出力装置、および、キーボードやマウス等の入力装置を制御する。ＣＰＵ２１は、入出力インターフェース２６を介して、入力装置からデータを取得する。また、ＣＰＵ２１は、生成したデータを、入出力インターフェース２６を介して出力装置へ出力する。   The CPU 21 controls output devices such as a display and a printer and input devices such as a keyboard and a mouse via the input / output interface 26. The CPU 21 acquires data from an input device via the input / output interface 26. Further, the CPU 21 outputs the generated data to an output device via the input / output interface 26.

メディアインターフェース２７は、記憶媒体２８に格納されたプログラムまたはデータを読み取り、ＲＡＭ２２を介してＣＰＵ２１に提供する。ＣＰＵ２１は、当該プログラムを、メディアインターフェース２７を介して記憶媒体２８からＲＡＭ２２上にロードし、ロードしたプログラムを実行する。記憶媒体２８は、例えばＤＶＤ（Digital Versatile Disc）等の光学記憶媒体、磁気記憶媒体、または半導体メモリ等である。   The media interface 27 reads a program or data stored in a storage medium 28 and provides the program or data to the CPU 21 via the RAM 22. The CPU 21 loads the program from the storage medium 28 onto the RAM 22 via the media interface 27, and executes the loaded program. The storage medium 28 is, for example, an optical storage medium such as a DVD (Digital Versatile Disc), a magnetic storage medium, or a semiconductor memory.

コンピュータ２０が本実施形態における携帯端末１００として機能する場合、コンピュータ２０のＣＰＵ２１は、ＲＡＭ２２上にロードされたプログラムを実行することにより、入出力制御部１１１、撮像処理部１１２、認識処理部１１３、判定部１１４、設定部１１５、送受信部１１６の各機能を実現する。また、ＨＤＤ２４には、機器情報データベース１４１内のデータが格納される。   When the computer 20 functions as the mobile terminal 100 according to the present embodiment, the CPU 21 of the computer 20 executes the program loaded on the RAM 22 so that the input / output control unit 111, the imaging processing unit 112, the recognition processing unit 113, The functions of the determination unit 114, the setting unit 115, and the transmission / reception unit 116 are realized. The HDD 24 stores data in the device information database 141.

リモコン機能設定プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。コンピュータ２０のＣＰＵ２１は、これらのプログラムを、メディアインターフェース２７を介して上記の記憶媒体から読み取って実行するが、他の例として、外部装置から、通信回線を介してこれらのプログラムを取得してもよい。   The remote control function setting program is a computer-readable storage medium such as a CD-ROM, a CD-R, a memory card, a DVD (Digital Versatile Disk), and a flexible disk (FD) in an installable or executable file. Stored and provided. The CPU 21 of the computer 20 reads these programs from the above-described storage medium via the media interface 27 and executes them. As another example, even if these programs are acquired from an external device via a communication line, Good.

なお、リモコン機能設定プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Swift、Java（登録商標）などのコンパイラ言語などを用いて実装できる。   The remote control function setting program is, for example, a script language such as ActionScript, JavaScript (registered trademark), Python, Ruby, or a compiler language such as C language, C ++, C #, Objective-C, Swift, or Java (registered trademark). Can be implemented using

このように、本実施形態におけるリモコン機能設定システム１によれば、携帯端末１００により撮像されたリモコンの画像を基に家電４００を認識するので、家電４００の大きさや設置場所に影響されることなくユーザは簡便な操作でマルチリモコンに各種機器のリモコン機能を設定することができるとともに、マルチリモコンの製造メーカーも容易にユーザに設定方法を案内することができる。   As described above, according to the remote control function setting system 1 according to the present embodiment, the home appliance 400 is recognized based on the image of the remote control captured by the mobile terminal 100, so that the home appliance 400 is not affected by the size or the installation location of the home appliance 400. The user can set the remote control function of various devices to the multi remote controller with a simple operation, and the manufacturer of the multi remote controller can easily guide the user to the setting method.

１ リモコン機能設定システム
１００ リモコン機能設定装置
１１０ 制御部
１１１ 入出力制御部
１１２ 撮像処理部
１１３ 認識処理部
１１４ 判定部
１１５ 設定部
１１６ 送受信部
１２０ 通信制御部
１３０ 入出力部
１４０ 撮像部
１５０ 記憶部
１４１ 機器情報データベース
２００ リモコンサーバ
３００ マルチリモコン
４００ 家電 REFERENCE SIGNS LIST 1 remote control function setting system 100 remote control function setting device 110 control unit 111 input / output control unit 112 imaging processing unit 113 recognition processing unit 114 determination unit 115 setting unit 116 transmission / reception unit 120 communication control unit 130 input / output unit 140 imaging unit 150 storage unit 141 Device information database 200 Remote control server 300 Multi remote control 400 Home appliances

Claims (16)

撮像部を備えた携帯端末に、
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力機能と、
前記撮像部により前記リモコンの操作入力面を撮像させる撮像処理機能と、
前記撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理機能と、
前記認識処理機能により前記リモコンに対応する機器が認識されたか否かを判定する判定機能と、
前記認識処理機能により取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信機能と、
前記認識処理機能により取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記画面上に設定する設定機能と、
を実現し、
前記出力機能は、前記判定機能により前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンの操作入力面の裏面を撮像する旨のガイダンスを前記画面に表示し、
前記撮像処理機能は、前記リモコンの操作入力面の裏面を撮像し、
前記認識処理機能は、前記撮像処理機能により撮像された前記リモコンの操作入力面の裏面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより前記リモコンに対応する機器を認識すること、
を特徴とするリモコン機能設定プログラム。 In a mobile terminal equipped with an imaging unit,
On the screen of the portable terminal, an output function of outputting guidance for capturing an image of an operation input surface of a remote controller of various devices operated by a remote controller signal,
An imaging processing function for imaging the operation input surface of the remote controller by the imaging unit;
The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller captured by the imaging unit with the image of the operation input surface of the remote controller of various devices stored in the database in advance. And a recognition processing function of acquiring identification information of the device based on a recognition result,
A determination function of determining whether or not a device corresponding to the remote controller has been recognized by the recognition processing function;
A transmission function of transmitting the device identification information obtained by the recognition processing function to a multi-remote control device capable of transmitting remote control signals of a plurality of devices in place of the remote control,
A setting function of setting an interface on the screen to control a device identified by the device identification information acquired by the recognition processing function,
To achieve
The output function, when it is not determined that the device corresponding to the remote control has been recognized by the determination function, to display guidance on the screen to image the back of the operation input surface of the remote control on the screen,
The imaging processing function captures an image of the back surface of the operation input surface of the remote controller,
The recognition processing function compares a feature amount included in an image on the back surface of the operation input surface of the remote controller imaged by the imaging processing function with an image of an operation input surface of a remote controller of various devices stored in a database in advance. By recognizing the device corresponding to the remote control,
Remote control function setting program characterized by the following. 前記出力機能は、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output function, the direction of imaging the remote control, the illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項１に記載のリモコン機能設定プログラム。The remote control function setting program according to claim 1, wherein: 撮像部を備えた携帯端末に、  In a mobile terminal equipped with an imaging unit,
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力機能と、  On the screen of the portable terminal, an output function of outputting guidance for capturing an operation input surface of a remote controller of various devices operated by a remote controller signal,
前記撮像部により前記リモコンの操作入力面を撮像させる撮像処理機能と、  An imaging processing function for imaging the operation input surface of the remote controller by the imaging unit;
前記撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理機能と、  The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller captured by the imaging unit with the image of the operation input surface of the remote controller of various devices stored in the database in advance. And a recognition processing function of acquiring identification information of the device based on a recognition result,
前記認識処理機能により前記リモコンに対応する機器が認識されたか否かを判定する判定機能と、  A determination function of determining whether or not a device corresponding to the remote controller has been recognized by the recognition processing function;
前記認識処理機能により取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信機能と、  A transmission function of transmitting the device identification information obtained by the recognition processing function to a multi-remote control device capable of transmitting remote control signals of a plurality of devices in place of the remote control,
前記認識処理機能により取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記画面上に設定する設定機能と、  A setting function of setting an interface on the screen to control a device identified by the device identification information acquired by the recognition processing function,
を実現し、To achieve
前記出力機能は、前記判定機能により前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンに備えられた操作入力面または電池挿入口を被覆するカバー機能により被覆されている面を撮像する旨のガイダンスを前記画面に表示し、  The output function is a surface covered by a cover function that covers an operation input surface or a battery insertion port provided in the remote control when the determination function does not determine that a device corresponding to the remote control is recognized. The guidance to image is displayed on the screen,
前記認識処理機能は、前記撮像処理機能により撮像された前記カバー機能により被覆されている面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの前記カバー機能により被覆されている面の画像と比較することにより前記リモコンに対応する機器を認識すること、  The recognition processing function includes a feature amount included in an image of a surface covered by the cover function captured by the imaging processing function, covered by the cover function of a remote controller of various devices stored in a database in advance. Recognizing the device corresponding to the remote control by comparing with the image of the surface,
を特徴とするリモコン機能設定プログラム。Remote control function setting program characterized by the following. 前記出力機能は、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output function, the direction of imaging the remote control, the illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項３に記載のリモコン機能設定プログラム。The remote control function setting program according to claim 3, characterized in that: 撮像部を備えた携帯端末とネットワークを介して接続された、各種機器のリモコン機能に関する情報を管理するリモコンサーバであって、  A remote control server that manages information on a remote control function of various devices, which is connected to a mobile terminal including an imaging unit via a network,
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力部と、  On the screen of the mobile terminal, an output unit that outputs guidance for capturing an image of an operation input surface of a remote control of various devices operated by a remote control signal,
前記携帯端末から、前記撮像部により撮像された前記機器に対応するリモコンの操作入力面の画像を受信する受信部と、  A receiving unit that receives, from the mobile terminal, an image of an operation input surface of a remote controller corresponding to the device captured by the imaging unit,
前記受信部により受信したリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理部と、  The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller received by the receiver with the image of the operation input surface of the remote controller of each device stored in the database in advance. A recognition processing unit that acquires identification information of the device based on a recognition result,
前記認識処理部により前記リモコンに対応する機器が認識されたか否かを判定する判定部と、  A determining unit that determines whether the device corresponding to the remote controller has been recognized by the recognition processing unit,
前記認識処理部により取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信部と、  A transmitting unit that transmits identification information of the device obtained by the recognition processing unit to a multi-remote control device capable of transmitting remote control signals of a plurality of devices in place of the remote control,
前記認識処理部により取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記携帯端末の画面上に設定する設定部と、  A setting unit that sets an interface for controlling a device identified by the device identification information acquired by the recognition processing unit on a screen of the mobile terminal;
を備え、With
前記出力部は、前記判定部により前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンの操作入力面の裏面を撮像する旨のガイダンスを前記画面に出力し、  The output unit, when it is not determined that the device corresponding to the remote control is recognized by the determination unit, outputs guidance to the effect that the back surface of the operation input surface of the remote control is imaged on the screen,
前記受信部は、前記携帯端末から前記リモコンの操作入力面の裏面の画像を受信し、  The receiving unit receives an image of the back surface of the operation input surface of the remote controller from the mobile terminal,
前記認識処理部は、前記受信部により受信した前記リモコンの操作入力面の裏面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより前記リモコンに対応する機器を認識すること、  The recognition processing unit, by comparing the feature amount included in the image of the back of the operation input surface of the remote control received by the receiving unit with the image of the operation input surface of the remote control of various devices stored in the database in advance Recognizing a device corresponding to the remote control,
を特徴とするリモコンサーバ。A remote control server characterized by the above. 前記出力部は、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output unit, the direction of imaging the remote control, the illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項５に記載のリモコンサーバ。The remote control server according to claim 5, wherein 撮像部を備えた携帯端末とネットワークを介して接続された、各種機器のリモコン機能に関する情報を管理するリモコンサーバであって、  A remote control server that manages information on a remote control function of various devices, which is connected to a mobile terminal including an imaging unit via a network,
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力部と、  On the screen of the mobile terminal, an output unit that outputs guidance for capturing an image of an operation input surface of a remote control of various devices operated by a remote control signal,
前記携帯端末から、前記撮像部により撮像された前記機器に対応するリモコンの操作入力面の画像を受信する受信部と、  A receiving unit that receives, from the mobile terminal, an image of an operation input surface of a remote controller corresponding to the device captured by the imaging unit,
前記受信部により受信したリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理部と、  The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller received by the receiver with the image of the operation input surface of the remote controller of each device stored in the database in advance. A recognition processing unit that acquires identification information of the device based on a recognition result,
前記認識処理部により前記リモコンに対応する機器が認識されたか否かを判定する判定部と、  A determining unit that determines whether the device corresponding to the remote controller has been recognized by the recognition processing unit,
前記認識処理部により取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信部と、  A transmitting unit that transmits identification information of the device obtained by the recognition processing unit to a multi-remote control device capable of transmitting remote control signals of a plurality of devices in place of the remote control,
前記認識処理部により取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記携帯端末の画面上に設定する設定部と、  A setting unit that sets an interface for controlling a device identified by the device identification information acquired by the recognition processing unit on a screen of the mobile terminal;
を備え、With
前記出力部は、前記判定部により前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンに備えられた操作入力面または電池挿入口を被覆するカバー機能により被覆されている面を撮像する旨のガイダンスを前記画面に出力し、  The output unit is a surface that is covered by a cover function that covers an operation input surface or a battery insertion port provided in the remote control when the determination unit does not determine that a device corresponding to the remote control is recognized. Guidance to the effect of imaging is output on the screen,
前記受信部は、前記カバー機能により被覆されている面の画像を受信し、  The receiving unit receives an image of a surface covered by the cover function,
前記認識処理部は、前記撮像部により撮像された前記カバー機能により被覆されている面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの前記カバー機能により被覆されている面の画像と比較することにより前記リモコンに対応する機器を認識すること、  The recognition processing unit includes a feature amount included in an image of a surface covered by the cover function captured by the imaging unit and covered by the cover function of a remote controller of various devices stored in a database in advance. Recognizing a device corresponding to the remote controller by comparing the image with the surface,
を特徴とするリモコンサーバ。A remote control server characterized by the above. 前記出力部は、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output unit, the direction of imaging the remote control, illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項７に記載のリモコンサーバ。The remote control server according to claim 7, wherein: 撮像部を備えた携帯端末において実行されるリモコン機能設定方法であって、  A remote control function setting method executed in a mobile terminal having an imaging unit,
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力ステップと、  On the screen of the mobile terminal, an output step of outputting guidance for capturing an operation input surface of a remote controller of various devices operated by a remote controller signal,
前記撮像部により前記リモコンの操作入力面を撮像する撮像処理ステップと、  An imaging processing step of imaging the operation input surface of the remote controller by the imaging unit;
前記撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理ステップと、  The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller captured by the imaging unit with the image of the operation input surface of the remote controller of various devices stored in the database in advance. And a recognition processing step of acquiring the identification information of the device based on the recognition result,
前記認識処理ステップにより前記リモコンに対応する機器が認識されたか否かを判定する判定ステップと、  A determining step of determining whether or not a device corresponding to the remote controller has been recognized by the recognition processing step;
前記認識処理ステップにより取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信ステップと、  Transmitting the identification information of the device obtained by the recognition processing step to a multi-remote control device capable of transmitting a remote control signal of a plurality of devices instead of the remote control;
前記認識処理ステップにより取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記画面上に設定する設定ステップと、  A setting step of setting an interface for controlling a device identified by the device identification information acquired by the recognition processing step on the screen;
を含み、Including
前記出力ステップは、前記判定ステップにより前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンの操作入力面の裏面を撮像する旨のガイダンスを前記画面に表示し、  The output step, when it is not determined that the device corresponding to the remote control has been recognized by the determination step, to display guidance on the screen to image the back surface of the operation input surface of the remote control,
前記撮像処理ステップは、前記リモコンの操作入力面の裏面を撮像し、  The imaging processing step images the back surface of the operation input surface of the remote controller,
前記認識処理ステップは、前記撮像処理ステップにより撮像された前記リモコンの操作入力面の裏面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより前記リモコンに対応する機器を認識すること、  In the recognition processing step, a feature amount included in an image of the back surface of the operation input surface of the remote controller imaged in the imaging processing step is compared with an image of the operation input surface of the remote controller of various devices stored in a database in advance. By recognizing the device corresponding to the remote control,
を特徴とするリモコン機能設定方法。Remote control function setting method characterized by the above-mentioned. 前記出力ステップは、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output step, the direction of imaging the remote control, the illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項９に記載のリモコン機能設定方法。10. The remote control function setting method according to claim 9, wherein: 撮像部を備えた携帯端末において実行されるリモコン機能設定方法であって、  A remote control function setting method executed in a mobile terminal having an imaging unit,
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力ステップと、  On the screen of the mobile terminal, an output step of outputting guidance for capturing an operation input surface of a remote controller of various devices operated by a remote controller signal,
前記撮像部により前記リモコンの操作入力面を撮像する撮像処理ステップと、  An imaging processing step of imaging the operation input surface of the remote controller by the imaging unit;
前記撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理ステップと、  The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller captured by the imaging unit with the image of the operation input surface of the remote controller of various devices stored in the database in advance. And a recognition processing step of acquiring the identification information of the device based on the recognition result,
前記認識処理ステップにより前記リモコンに対応する機器が認識されたか否かを判定する判定ステップと、  A determining step of determining whether or not a device corresponding to the remote controller has been recognized by the recognition processing step;
前記認識処理ステップにより取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信ステップと、  Transmitting the identification information of the device obtained by the recognition processing step to a multi-remote control device capable of transmitting a remote control signal of a plurality of devices instead of the remote control;
前記認識処理ステップにより取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記画面上に設定する設定ステップと、  A setting step of setting an interface for controlling a device identified by the device identification information acquired by the recognition processing step on the screen;
を含み、Including
前記出力ステップは、前記判定ステップにより前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンに備えられた操作入力面または電池挿入口を被覆するカバー機能により被覆されている面を撮像する旨のガイダンスを前記画面に表示し、  The output step includes, when the device corresponding to the remote controller is not determined to be recognized by the determination step, a surface covered by a cover function that covers an operation input surface or a battery insertion port provided in the remote controller. The guidance to image is displayed on the screen,
前記撮像処理ステップは、前記カバー機能により被覆されている面を撮像し、  The imaging processing step captures an image of a surface covered by the cover function,
前記認識処理ステップは、前記撮像処理ステップにより撮像された前記カバー機能により被覆されている面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの前記カバー機能により被覆されている面の画像と比較することにより前記リモコンに対応する機器を認識すること、  In the recognition processing step, the feature amount included in the image of the surface covered by the cover function captured in the imaging processing step is covered by the cover function of a remote controller of various devices stored in a database in advance. Recognizing the device corresponding to the remote control by comparing with the image of the surface,
を特徴とするリモコン機能設定方法。Remote control function setting method characterized by the above-mentioned. 前記出力ステップは、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output step, the direction of imaging the remote control, the illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項１１に記載のリモコン機能設定方法。The remote control function setting method according to claim 11, wherein: 撮像部を備えた携帯端末であって、  A mobile terminal having an imaging unit,
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力部と、  On the screen of the mobile terminal, an output unit that outputs guidance for capturing an image of an operation input surface of a remote control of various devices operated by a remote control signal,
前記撮像部により前記リモコンの操作入力面を撮像させる撮像処理部と、  An imaging processing unit that causes the imaging unit to image the operation input surface of the remote controller;
前記撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理部と、  The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller captured by the imaging unit with the image of the operation input surface of the remote controller of various devices stored in the database in advance. And, a recognition processing unit that acquires the identification information of the device based on the recognition result,
前記認識処理部により前記リモコンに対応する機器が認識されたか否かを判定する判定部と、  A determining unit that determines whether the device corresponding to the remote controller has been recognized by the recognition processing unit,
前記認識処理部により取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信部と、  A transmitting unit that transmits identification information of the device obtained by the recognition processing unit to a multi-remote control device capable of transmitting remote control signals of a plurality of devices in place of the remote control,
前記認識処理部により取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記画面上に設定する設定部と、  A setting unit that sets an interface on the screen to control a device identified by the device identification information obtained by the recognition processing unit,
を備え、With
前記出力部は、前記判定部により前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンの操作入力面の裏面を撮像する旨のガイダンスを前記画面に表示し、  The output unit, when it is not determined that the device corresponding to the remote control has been recognized by the determination unit, displays guidance on the screen to image the back surface of the operation input surface of the remote control on the screen,
前記撮像処理部は、前記リモコンの操作入力面の裏面を撮像し、  The imaging processing unit captures an image of a back surface of the operation input surface of the remote controller,
前記認識処理部は、前記撮像処理部により撮像された前記リモコンの操作入力面の裏面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより前記リモコンに対応する機器を認識すること、  The recognition processing unit compares a feature amount included in an image on the back surface of the operation input surface of the remote controller imaged by the imaging processing unit with an image of an operation input surface of a remote control of various devices stored in a database in advance. By recognizing the device corresponding to the remote control,
を特徴とする携帯端末。A mobile terminal characterized by the following. 前記出力部は、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output unit, the direction of imaging the remote control, illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項１３に記載の携帯端末。The mobile terminal according to claim 13, wherein: 撮像部を備えた携帯端末であって、  A mobile terminal having an imaging unit,
前記携帯端末の画面に、リモコン信号により操作される各種機器のリモコンの操作入力面を撮像する旨のガイダンスを出力する出力部と、  On the screen of the mobile terminal, an output unit that outputs guidance for capturing an image of an operation input surface of a remote control of various devices operated by a remote control signal,
前記撮像部により前記リモコンの操作入力面を撮像させる撮像処理部と、  An imaging processing unit that causes the imaging unit to image the operation input surface of the remote controller;
前記撮像部により撮像されたリモコンの操作入力面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの操作入力面の画像と比較することにより当該リモコンに対応する機器を認識し、認識結果に基づいて前記機器の識別情報を取得する認識処理部と、  The device corresponding to the remote control is recognized by comparing the feature amount included in the image of the operation input surface of the remote controller captured by the imaging unit with the image of the operation input surface of the remote controller of various devices stored in the database in advance. And, a recognition processing unit that acquires the identification information of the device based on the recognition result,
前記認識処理部により前記リモコンに対応する機器が認識されたか否かを判定する判定部と、  A determining unit that determines whether the device corresponding to the remote controller has been recognized by the recognition processing unit,
前記認識処理部により取得された機器の識別情報を、複数の機器のリモコン信号を前記リモコンに代替して発信可能なマルチリモコン装置に送信する送信部と、  A transmitting unit that transmits identification information of the device obtained by the recognition processing unit to a multi-remote control device capable of transmitting remote control signals of a plurality of devices in place of the remote control,
前記認識処理部により取得された前記機器の識別情報により識別される機器を制御するためのインターフェースを前記画面上に設定する設定部と、  A setting unit that sets an interface on the screen to control a device identified by the device identification information obtained by the recognition processing unit,
を実現し、To achieve
前記出力部は、前記判定部により前記リモコンに対応する機器が認識されたと判定されなかった場合に、前記リモコンに備えられた操作入力面または電池挿入口を被覆するカバー機能により被覆されている面を撮像する旨のガイダンスを前記画面に表示し、  The output unit is a surface that is covered by a cover function that covers an operation input surface or a battery insertion port provided in the remote control when the determination unit does not determine that a device corresponding to the remote control is recognized. The guidance to image is displayed on the screen,
前記認識処理部は、前記撮像処理部により撮像された前記カバー機能により被覆されている面の画像に含まれる特徴量を、予めデータベースに記憶された各種機器のリモコンの前記カバー機能により被覆されている面の画像と比較することにより前記リモコンに対応する機器を認識すること、  The recognition processing unit includes a feature amount included in an image of a surface covered by the cover function captured by the imaging processing unit, covered by the cover function of a remote controller of various devices stored in a database in advance. Recognizing the device corresponding to the remote control by comparing with the image of the surface,
を特徴とする携帯端末。A mobile terminal characterized by the following. 前記出力部は、前記リモコンを撮像する方向、撮像時における照度、撮像場所の背景模様のうち少なくともいずれか１つに関する撮影条件を指定する旨のガイダンスを前記画面に出力すること、  The output unit, the direction of imaging the remote control, illuminance at the time of imaging, outputting a guidance to specify the imaging conditions for at least one of the background pattern of the imaging location on the screen,
を特徴とする請求項１５に記載の携帯端末。The mobile terminal according to claim 15, wherein:
JP2019018043A 2019-02-04 2019-02-04 Remote control function setting program, remote control server, remote control function setting method, mobile terminal Active JP6668519B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019018043A JP6668519B1 (en) 2019-02-04 2019-02-04 Remote control function setting program, remote control server, remote control function setting method, mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019018043A JP6668519B1 (en) 2019-02-04 2019-02-04 Remote control function setting program, remote control server, remote control function setting method, mobile terminal

Publications (2)

Publication Number Publication Date
JP6668519B1 true JP6668519B1 (en) 2020-03-18
JP2020127118A JP2020127118A (en) 2020-08-20

Family

ID=70000668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019018043A Active JP6668519B1 (en) 2019-02-04 2019-02-04 Remote control function setting program, remote control server, remote control function setting method, mobile terminal

Country Status (1)

Country Link
JP (1) JP6668519B1 (en)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3860552B2 (en) * 2003-03-25 2006-12-20 富士通株式会社 Imaging device
JP5734810B2 (en) * 2011-11-14 2015-06-17 株式会社東芝 Device control apparatus, method thereof, and program thereof
US9082292B2 (en) * 2013-05-02 2015-07-14 pita4 mobile LLC Display apparatus, hardware remote controller, and remote control system
KR20150086807A (en) * 2014-01-20 2015-07-29 한국전자통신연구원 Method and apparatus of universal remocon based on object recognition
JP2016086221A (en) * 2014-10-23 2016-05-19 アイシン精機株式会社 Remote control device
JP6439566B2 (en) * 2015-04-23 2018-12-19 大日本印刷株式会社 Multilingual display device, multilingual display system, multilingual display method, and multilingual display program
KR20170030753A (en) * 2015-09-10 2017-03-20 (주)한경아이넷 Control method of electric home appliance and terminal thereof, system thereof
KR20170057487A (en) * 2015-11-16 2017-05-25 (주)지산웨어 Tate recognition method of control apparatus using mobile remocon system
JP6486575B1 (en) * 2018-06-21 2019-03-20 三菱電機株式会社 Device control signal registration device, device control signal registration system, device control signal registration method, and device control signal registration program

Also Published As

Publication number Publication date
JP2020127118A (en) 2020-08-20

Similar Documents

Publication Publication Date Title
JP6503557B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP6445173B2 (en) Device control method and apparatus
JP6130968B2 (en) Smart terminal control method, apparatus, program, and storage medium
JP6254718B2 (en) Method for adjusting operating state of smart home equipment, apparatus, program, and recording medium
US20180295405A1 (en) Portable Set Top Box and Internet of Things Controller with Laser Projection System
KR102515769B1 (en) Method and apparatus for identifying type of electronic device on smart socket
WO2018040063A1 (en) Device control method and apparatus
KR102147329B1 (en) Video display device and operating method thereof
CN106603350B (en) Information display method and device
CN104506847A (en) Method and device for detecting display fault
CN104967888A (en) Remote control method and device and remote control equipment
CN104052917A (en) Notification control device, notification control method and storage medium
CN106453032B (en) Information-pushing method and device, system
CN105491292A (en) Method and device for shooting fill-in light
US10043381B2 (en) Employing AR element on preview screen to control lamp or curtain
WO2019237552A1 (en) Method for presenting remote controller interface in mobile device
CN105549572A (en) Control method and device for intelligent home equipment and equipment
CN105263043A (en) Control method and device of smart home equipment, and terminal
JP6159576B2 (en) Control device and program
CN105430469B (en) Playback method, device, terminal and the server of audio, video data
US20190052745A1 (en) Method For Presenting An Interface Of A Remote Controller In A Mobile Device
KR102028944B1 (en) Methods, devices, systems, programs and storage media for accessing a plurality of servers of smart home appliances
JP6668519B1 (en) Remote control function setting program, remote control server, remote control function setting method, mobile terminal
EP2941023A1 (en) Proximity detection of candidate companion display device in same room as primary display using camera
EP3096572B1 (en) Method and device for positioning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200226

R150 Certificate of patent or registration of utility model

Ref document number: 6668519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250