WO2011086956A1 - 情報端末機器、情報端末機器による操作方法及びプログラム - Google Patents

情報端末機器、情報端末機器による操作方法及びプログラム Download PDF

Info

Publication number
WO2011086956A1
WO2011086956A1 PCT/JP2011/050050 JP2011050050W WO2011086956A1 WO 2011086956 A1 WO2011086956 A1 WO 2011086956A1 JP 2011050050 W JP2011050050 W JP 2011050050W WO 2011086956 A1 WO2011086956 A1 WO 2011086956A1
Authority
WO
WIPO (PCT)
Prior art keywords
target device
target
menu information
menu
storage unit
Prior art date
Application number
PCT/JP2011/050050
Other languages
English (en)
French (fr)
Inventor
内田　薫
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP11732826.0A priority Critical patent/EP2528351A4/en
Priority to JP2011549955A priority patent/JPWO2011086956A1/ja
Priority to US13/522,028 priority patent/US20120290981A1/en
Priority to CN2011800063325A priority patent/CN102714767A/zh
Publication of WO2011086956A1 publication Critical patent/WO2011086956A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/20—Binding and programming of remote control devices
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Definitions

  • the present invention relates to an information terminal device such as a mobile phone terminal, and more particularly to an information terminal device capable of remotely operating a device such as a home appliance, an operation method thereof, and a program.
  • Some information terminal devices such as mobile phone terminals are provided with an infrared communication function that can be used as a remote control for devices such as home appliances and a wireless communication function (for example, Bluetooth or WiFi) that can be used for data exchange.
  • an infrared communication function that can be used as a remote control for devices such as home appliances
  • a wireless communication function for example, Bluetooth or WiFi
  • Patent Document 1 discloses related technology related to a controller that enables remote control of a plurality of devices. Even if the technology described in Patent Document 1 is applied to a mobile phone terminal, the mobile phone terminal Remote control of multiple devices becomes possible.
  • the accessory ⁇ remote control operation ⁇ Proceed to select partner device, display the partner device selection submenu, select the communication partner's home appliance from the menu, select the operation screen, and operate and communicate from that operation screen.
  • An object of the present invention is to provide an information terminal device, an operation menu setting method, and a program that can solve the above-described problems and intuitively perform an operation suitable for the target device.
  • An information terminal device presents target recognition means for recognizing a target device from an image taken by a built-in camera, and operation menu information stored in advance according to the target device based on a recognition result by the target recognition means.
  • An operation method by an information terminal device is an operation method of operating a target device by an information terminal device having a built-in camera, the step of recognizing the target device from an image taken by the built-in camera, and a target recognition result And a step of presenting operation menu information stored in advance according to the target device, and a step of issuing an operation instruction according to the operation content selected in the operation menu information.
  • the program according to the present invention includes a process for recognizing a target device from an image captured by the built-in camera in an information terminal device incorporating the camera, and operation menu information stored in advance according to the target device based on the target recognition result.
  • a process of presenting and a process of giving an operation instruction according to the operation content selected in the operation menu information are executed.
  • the operation menu corresponding to the target device is presented only by photographing the target device with the built-in camera, an operation suitable for the target device can be performed intuitively.
  • FIG. 1 is a block diagram showing a configuration of a mobile phone terminal 10 according to the first embodiment of the present invention.
  • a mobile phone terminal 10 according to the present embodiment includes a built-in camera 11, an input / output interface unit 12, an object recognition unit 13, a device menu information storage unit 14, a menu management unit 15, and a UI. (User Interface)
  • the screen generation part 16, the process part 17, the communication control part 18, the display part 19, and the operation key 20 are included.
  • FIG. 1 only the components necessary for the present invention are shown, and other components included in the general mobile phone terminal 10 are not shown.
  • a mobile phone terminal is used as an information terminal device is shown.
  • other information terminal devices including a smartphone, a PDA, a notebook PC, and the like that are portable and have a camera function and a communication function can be used. Can also be applied.
  • the built-in camera 11 has a function of taking a target still image or moving image and storing the image, similar to the camera provided in the normal mobile phone terminal 10.
  • a display unit 19 for performing character information and image information
  • an operation key 20 for a user to perform character input and operation input.
  • the target recognition unit 13 has a function of extracting a feature pattern such as a feature point of the target device from the image of the target device captured by the built-in camera 11. Further, in the initial setting of the operation menu, it has a function of registering the extracted feature pattern in the device menu information storage unit 14, and in actual operation, the extracted feature pattern and the feature pattern registered in the device menu information storage unit 14 The function of recognizing a target device by photographing is verified.
  • the device menu information storage unit 14 stores a device operation menu table to be described later, and stores feature patterns such as feature points of the target device extracted by the target recognition unit 13 and operation menu information generated by the menu management unit 15. .
  • the menu management unit 15 has a function of generating an operation menu corresponding to the registered target device in the initial setting, and a function of reading the operation menu information of the recognized target device from the device menu information storage unit 14 in operation. .
  • the UI screen generation unit 16 has a function of generating an operation menu screen that can be operated by the user based on the operation menu information read by the menu management unit 15 and displaying the operation menu screen on the display unit 19.
  • the processing unit 17 has a function of transmitting an operation instruction for the target device from the communication control unit 18 according to the operation content selected by the user from the operation menu screen displayed on the display unit 19. In addition, it has a function of transmitting and receiving information such as still images and moving images to and from the target device via the communication control unit 18.
  • the communication control unit 18 has a function of performing wired or wireless communication with the target device.
  • communication means it is possible to use communication by infrared rays, wireless LAN (Local Area Network), Bluetooth, Bluetooth (Power Line Communications: High-speed power line communication), or the like.
  • a communication protocol in communication with the target device a DLNA (Digital Living Network Alliance) protocol, a RACP (Remote Application Control Protocol) protocol, or the like is used.
  • the user operates the mobile phone terminal 10 so that the lens of the built-in camera 11 is directed to a target device (for example, a home appliance such as a digital camera, a personal computer, a TV, or an HD recorder), and the input / output interface unit 12
  • a target device for example, a home appliance such as a digital camera, a personal computer, a TV, or an HD recorder
  • the target device placed in front of the lens of the built-in camera 11 is photographed by pressing the photographing button from the operation key connected to the.
  • the captured image is sent to the object recognition unit 13.
  • the target recognizing unit 13 extracts the feature point of the target device from the photographed image, determines the similarity by comparing the feature point with a matching feature pattern stored in advance in the device menu information storage unit 14, It recognizes which of the pre-registered devices it is.
  • the menu management unit 15 reads the operation menu information about the device recognized by the target recognition unit 13 from the device menu information storage unit 14 and sends it to the UI screen generation unit 16.
  • the UI screen generation unit 16 generates an operation menu screen based on the operation menu information and presents it to the user by displaying it on the display unit 19 via the input / output user interface unit. Thereby, the user can select necessary operation contents from the operation menu screen displayed on the display unit 19.
  • the processing unit 17 transmits the operation instruction based on the operation content selected from the operation menu screen to the device that has recognized the operation instruction via the communication control unit 18. As a result, the recognized target device can be remotely controlled.
  • FIGS. 1-10 a configuration example of the device operation menu table 100 stored in the device menu information storage unit 14 is shown in FIGS.
  • the device operation menu table 100 registers device identification information (ID), feature pattern link destination, and operation menu information link destination for each device to be operated.
  • a feature pattern composed of feature points extracted from images of various devices used in the home, and operation menu information that is information about the operation menu and operation contents are stored in the device operation menu table. It is stored in the link destination indicated by 100.
  • the feature pattern is composed of one or more pieces of feature point information.
  • a device such as a home TV, a PC, or a digital camera is photographed (if necessary, a plurality of pieces). It is prepared by extracting feature point information for recognition from there.
  • a communication signal ID for identifying a remote control signal for operating the target device and a configuration of the operation menu for the target device are pressed.
  • Data relating to the operation menu information is stored in the link destination indicated in the device operation menu table 100.
  • the operation menu information is prepared by being downloaded from the manufacturer's Web server via the Internet based on the manufacturer name of the target device and the device model number information at the time of initial setting.
  • device identification information (ID) of a target device to be operated is registered in the device operation menu table 100 of the device menu information storage unit 14 (step S401).
  • the device identification information (ID) can be input by reading the QR code or barcode of the target device with the built-in camera 11 or can be directly read from the internal information of the target device by communicating with the target device. Is possible. Further, the user may manually input from the operation key 20.
  • a communication method (communication means and communication protocol) between the mobile phone terminal 10 and the target device is set (step S402).
  • the communication method which can communicate with an object apparatus is selected and set among the communication methods which can be performed with the mobile telephone terminal 10.
  • a DLNA protocol or the like is selected as a communication protocol.
  • a communication protocol there may be a case where infrared is selected as the communication means and IrDA or IrSimple protocol is selected as the communication protocol.
  • IrDA or IrSimple protocol is selected as the communication protocol.
  • other available communication methods can be selected.
  • the communication signal ID for performing communication with the target device according to the communication protocol of the set communication method is registered in the operation menu information corresponding to the target device in the device operation menu table 100 (step S403).
  • the target device is photographed with the built-in camera 11 (step S404).
  • the shooting of the target device one or a plurality of front portions and the like on which the characteristics of the target device appear are shot, and the shot images are sent to the target recognition unit 13.
  • the target recognition unit 13 analyzes a captured image of the device using an ER search technique or the like, and characterizes a characteristic portion of the target device (feature point: for example, shape or color of the front portion of the device) from the image.
  • feature point for example, shape or color of the front portion of the device
  • the extracted feature pattern is stored in the device menu information storage unit 14 and the link destination of the feature pattern is registered in association with the target device in the device operation menu table 100 (step S405). S406).
  • operation information necessary for operating the target device is acquired (step S407).
  • the operation information can be acquired by directly communicating with the target device to read and acquire the operation information embedded in the target device, or by accessing the Web server of the target device manufacturer to obtain the operation information. You may download and obtain it via the Internet.
  • the operation information cannot be acquired from the target device or server, the user inputs the operation information manually by referring to the manual of the target device.
  • the remote control code described in the manual can be used as operation information.
  • the operation content necessary for operation of the target device is selected from the acquired operation information (step S408).
  • the selection of the operation content is executed by presenting the operation content included in the operation information acquired by the menu management unit 15 to the user via the display unit 19 and making an inquiry.
  • the user selects an operation content that he / she thinks necessary from the operation content displayed on the display unit 19.
  • the target device is an HD recorder
  • operation contents such as power on / off
  • selection of reproduction contents, reproduction, stop, forward feed, reverse feed, etc. are selected from the operation contents.
  • the target device is compatible with the DLNA protocol, it is also possible to select an operation content such as transmitting content recorded in the target device to the mobile phone terminal 10.
  • the menu management unit 15 generates an operation menu based on the operation content selected by the user (step S409), stores the generated operation menu data in the device menu information storage unit 14, and the operation menu. Is registered in the operation menu information column of the device operation menu table 100 (step S410).
  • step S401 For the plurality of target devices operated by the mobile phone terminal 10, the above-described procedure is repeated from step S401 to perform operation menu setting processing for each target device.
  • the user activates the built-in camera 11 of the mobile phone terminal 10 (step S501), and shoots toward the target device (for example, a television in the living room) (step S502).
  • the image is shot by pressing a normal shooting button or by operating a button (for example, a menu button) different from a normal button prepared for this purpose.
  • the captured image is passed to the target recognition unit 11.
  • the target recognition unit 11 extracts a feature pattern from the acquired image, and collates the extracted feature pattern with the feature pattern read from the device menu information storage unit 14, so that the captured target device is in the device operation menu table 100.
  • a recognition process is performed to determine whether the device is registered in (step S503). As a result of this recognition processing, if the target device is not registered in the device operation menu table 100 of the device menu information storage unit 14 (NO in step S504), the user is asked to save the image as normal camera shooting processing. Then, processing such as saving is executed (step S505, step S506).
  • the target device is displayed in a state where the image of the target device is displayed on the display unit 19 with the built-in camera 11 facing the target device without performing an operation of shooting the image of the target device by operating the shooting button or the menu button. It is also possible to perform the recognition process.
  • the menu management unit 15 selects the corresponding target device from the device operation menu table 100.
  • Operation menu information for example, a television set in a living room
  • the communication signal ID indicated in the operation menu information is sent to the processing unit 17, and operation menu data is sent to the UI screen generation unit 16.
  • the UI screen generation unit 16 generates an operation menu screen that can be operated by the user based on the operation menu data, and displays the operation menu screen on the display unit 19 (step S508).
  • FIG. 6 shows an example of the operation menu screen displayed on the display unit 19 in step S508.
  • FIG. 6A shows an example of an operation menu screen when the target device is a television
  • FIG. 6B is displayed when an operation content for displaying the video of the mobile phone terminal 10 on the television is selected on the operation menu screen.
  • the example of the submenu screen for performing the data selection and data communication setting which are performed is shown.
  • an operation instruction according to the selected operation content is transmitted from the communication control unit 18 to the target device (step S510).
  • the remote operation of the target device is executed.
  • a Hawaiian video is selected in the data selection on the menu screen of FIG. 6B
  • the selected video in the mobile phone terminal 10 uses a preset communication method, for example, WiFi for WiFi. It is sent to the television by a protocol such as DLNA, and is displayed there.
  • FIG. 6B shows up to folder designation, a menu to be selected by displaying thumbnails is also presented for individual image / moving image files below the folder designation.
  • FIG. 6C shows an example of an operation menu screen in a case where when the target device is a digital camera, a list of data in the digital camera is displayed and transferred to the mobile phone terminal 10 for viewing.
  • the mobile phone terminal 10 it is possible to perform a remote control operation by the mobile phone terminal 10 simply by photographing a target device such as a home appliance that exists in the home with the built-in camera 11.
  • a target device such as a home appliance that exists in the home with the built-in camera 11.
  • an operation menu corresponding to the target device is presented, so that remote control operation becomes very simple.
  • the operation by the mobile phone terminal 10 has been a procedure subject, whereas according to the present embodiment, the recognized subject subject can select an operation (method) related thereto.
  • a directional operation system can be realized.
  • the target device is photographed and recognized by the built-in camera 11, an operation menu set in advance for each device is presented to the mobile phone terminal 10, and the target device can be remotely operated from the operation menu. I have to.
  • the second embodiment it is possible to recognize the target device and its current operation state and present an appropriate operation menu according to the operation state.
  • the configuration of the mobile phone terminal 10 according to the second embodiment is the same as that of the first embodiment shown in FIG.
  • each operation state of the target device for example, in the case of an HD recorder, a power-off state, a power-on state, a video playback state, a video recording state) State
  • feature patterns are extracted from these images for each operation state and registered in the device menu information storage unit 14.
  • a desired operation content is selected and registered in the device operation menu table 100 as operation menu information.
  • the power on / off state can be recognized by the color and position of the pilot lamp, the screen state, etc., by registering the feature pattern according to those states, The current operating state can be recognized.
  • Steps S701 to S703, Step S707, Step S709, and Step S710 in FIG. 7 are the same as Steps S401 to S403, Step S407, Steps S409, and S410 shown in FIG.
  • the processing content of step S704 to step S706 and step S708, which is different from the embodiment, will be described.
  • step S704 When the target device is photographed by the built-in camera 11 in step S704, in the present embodiment, one or a plurality of images are photographed in a state where the operation state can be identified for each operation state of the target device, and the photographed image is recognized. Send to part 13.
  • step S705 the target recognition unit 13 analyzes a captured image of the device using an ER search technique or the like, and uses the ER search technology or the like to determine a characteristic portion of the target device (a feature point: And the like are extracted as feature patterns, and the feature patterns extracted for each operation state are stored in the device menu information storage unit 14.
  • step S706 the link destination of the feature pattern is registered in association with the operation state of the target device in the device operation menu table 100 as shown in FIG. In the example of the device operation menu table 100 shown in FIG. 8, feature patterns corresponding to the operation state (power off state, power on state, reproduction state) of the target device are registered.
  • step S708 the operation content necessary for the operation of the target device is selected from the acquired operation information.
  • the user selects the operation content that he / she thinks necessary for each operation state of the target device. To do. For example, for the power-off state of the HD recorder, the power-on operation is selected from among the operation details, and the operation content to be performed thereafter is selected. In the power-on state, an operation for selecting a playback content is first selected, and further operation details (playback, stop, etc.) to be performed thereafter are selected.
  • the operation content for performing the power-on operation directly with respect to the power-off state of the HD recorder.
  • a menu for inquiring activation of the HD recorder as shown in FIG. 9A when the HD recorder is photographed by the built-in camera 11 and it is recognized that the HD recorder is in the power-off state.
  • the screen presents first, and then, the operation contents to be performed thereafter as shown in FIG. 9B are presented as a menu screen. This eliminates the need for the user to perform an operation after confirming the state of the HD recorder, and makes it possible to quickly perform an appropriate operation according to the state.
  • steps S901, S902, S904 to S906, and steps S908 to S911 in FIG. 9 are the same as the processes of steps S501, S502, S504 to S506, and steps S508 to S511 shown in FIG.
  • the processing contents of steps S903 and S907 that are different from those of the embodiment will be described.
  • the target recognition unit 11 extracts a feature pattern from the acquired image, and collates the extracted feature pattern with the feature pattern read from the device menu information storage unit 14. Thus, it is recognized whether the photographed target device is registered in the device operation menu table 100 and whether the operation state of the target device is one of the operation states registered in the device operation menu table 100.
  • step S907 the menu management unit 15 reads an operation menu corresponding to the recognized operation state from the device operation menu table 100, and sends operation menu data to the UI screen generation unit 16.
  • the operation content is selected for each operation state.
  • the operation content for directly operating the device can be selected.
  • a power-on operation instruction is transmitted to the target device without displaying a menu screen for inquiring power-on, and then the target device is operated.
  • a menu screen may be displayed.
  • the target is a home appliance, but in the present embodiment, a case where the target is a person will be described.
  • the configuration of the mobile phone terminal 10 according to the third embodiment is also the same as that of the first embodiment shown in FIG.
  • the target device of the above-described embodiment is simply replaced with the target person. Therefore, in the initial setting, a feature pattern is registered for each target person, and the necessary operation content is used as a menu in the menu table.
  • the point of registration is the same as in the first embodiment. Further, the point that the target person is recognized from the image obtained by photographing the target person with the built-in camera 11 and the corresponding operation menu is presented is the same as in the first embodiment. However, the partner who selects the operation content from the operation menu and gives an operation instruction is not the target device but the mobile phone terminal 10 itself.
  • FIG. 11A shows an example of a menu presented when a friend A is photographed and recognized.
  • FIG. 11B shows an example of a submenu presented when “Friend A's related information” is selected from the menu of FIG.
  • the data of friend A is read from the telephone directory data, and the corresponding process is executed.
  • the related data of the friend A is extracted and displayed from the data stored inside, and the URL registered in advance is connected to the personal page and blog of the friend A.
  • the present invention can be applied to general portable information terminal devices having a camera function and a communication function, such as a smartphone, a PDA, and a notebook PC, including a mobile phone terminal.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)

Abstract

　対象機器を内蔵カメラで撮影するだけで、対象機器に応じた操作メニューを提示するため、対象機器に適した操作を直感的に行うことができる情報端末機器を提供する。　情報端末機器は、内蔵するカメラによって撮影した画像から対象機器を認識する対象認識手段１３と、対象認識手段による認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示するメニュー管理手段１５と、操作メニュー情報で選択された操作内容に応じた動作指示を行う処理手段１７とを含む。

Description

情報端末機器、情報端末機器による操作方法及びプログラム
　本発明は、携帯電話端末などの情報端末機器に関し、特に、家電等の機器の遠隔操作が可能な情報端末機器、その操作方法及びプログラムに関する。
　携帯電話端末など一部の情報端末機器には、家電等の機器に対してリモコンとして利用できる赤外線通信機能やデータ交換に利用できる無線通信機能（例えば、ＢｌｕｅｔｏｏｔｈやＷｉＦｉ）が備えられている。
　このような機能を有する携帯電話端末を利用して、家電機器（例えば、テレビやＨＤレコーダ等）をリモコン操作する場合、例えば、端末からリモコン操作を行うためのアプリケーションを起動し、そのアプリケーションに用意されている操作画面（メニュー）に従って対象となる機器を操作する。
　また、複数の機器をリモートコントロールすることを可能にしたコントローラに関する関連技術が例えば特許文献１に記載されており、この特許文献１記載の技術を携帯電話端末に適用しても、携帯電話端末で複数の機器のリモコン操作が可能になる。
　この特許文献１記載の技術は、異なるパターンのバーコードや点滅パターンが異なる発光装置を複数の機器に設け、そのバーコードのパターンや発光装置の点滅パターンをコントローラで読み取り、読み取ったパターンに応じて機器毎に異なるメニュー情報を読み出すことで、複数の機器をリモートコントロールすることを可能する。
特開２００１－８２７９号公報
　しかし、携帯電話端末にインストールされているリモコン機能によって、当該赤外線機能や当該無線通信機能を利用して家庭内に複数存在する家電機器のリモコン操作を行う場合、例えば、まずメニューからアクセサリ→リモコン操作→相手機器選択と進み、相手機器選択サブメニューを表示して通信相手の家電機器をメニューで選択してから操作画面を選び、その操作画面から操作して通信する、という煩雑な操作が必要であった。
　また、携帯電話端末と周りの家電機器との間でデータ交換などを行う場合、例えば、まずメニューからサービス→データ交換→家電連携→相手機器選択と進み、相手機器を選択した後に、携帯電話端末内に保存された、内蔵カメラで撮影した動画をテレビで鑑賞するような場合には、まずデータの格納場所を探して対象データを指定し、それに関する操作をメニューから探して起動するというように煩雑な操作が必要であった。
　また、特許文献１に記載の技術を利用して複数の機器をリモコン操作することも可能であるが、特許文献１の技術では、対象となる機器にバーコードや点滅する発光装置を設ける必要があり、現在既に提供されている家電機器のリモコン操作には適用できないという問題ある。さらに、専用のコントローラと異なり、携帯電話端末で機器を操作する場合には、依然として既に述べたような問題が残る。
（発明の目的）
　本発明の目的は、上述した課題を解決し、対象機器に適した操作を直感的に行うことを可能にする情報端末機器、操作メニュー設定方法及びプログラムを提供することにある。
　本発明による情報端末機器は、内蔵するカメラによって撮影した画像から対象機器を認識する対象認識手段と、対象認識手段による認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示するメニュー提示手段と、操作メニュー情報で選択された操作内容に応じた動作指示を行う処理手段とを含む。
　本発明による情報端末機器による操作方法は、カメラを内蔵する情報端末機器によって対象機器の操作を行う操作方法であって、内蔵カメラによって撮影した画像から対象機器を認識するステップと、対象の認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示するステップと、操作メニュー情報で選択された操作内容に応じた動作指示を行うステップとを含む。
　本発明によるプログラムは、カメラを内蔵する情報端末機器に、内蔵カメラによって撮影した画像から対象機器を認識する処理と、対象の認識結果に基づいて、対象機器に応じて予め保存した操作メニュー情報を提示する処理と、操作メニュー情報で選択された操作内容に応じた動作指示を行う処理とを実行させる。
　本発明によれば、対象機器を内蔵カメラで撮影するだけで、対象機器に応じた操作メニューを提示するため、対象機器に適した操作を直感的に行うことができる。
本発明の第１の実施の形態による携帯電話端末の構成を示すブロック図である。 第１の実施の形態による機器メニュー情報記憶部の機器操作メニューテーブルの構成例を示す図である。 機器メニュー情報記憶部の機器操作メニューテーブルに登録する特徴パターンと操作メニュー情報の構成例を示す図である。 第１の実施の形態による携帯電話端末の操作メニュー生成処理の内容を説明するフローチャートである。 第１の実施の形態による携帯電話端末の対象機器の操作処理の内容を説明するフローチャートである。 第１の実施の形態による携帯電話端末の動作例を示す図である。 第２の実施の形態による携帯電話端末の操作メニュー生成処理の内容を説明するフローチャートである。 第２の実施の形態による機器メニュー情報記憶部の機器操作メニューテーブルの構成例を示す図である。 第２の実施の形態による携帯電話端末の対象機器の操作処理の内容を説明するフローチャートである。 第２の実施の形態による携帯電話端末の動作例を示す図である。 第３の実施の形態による携帯電話端末の動作例を示す図である。
　次に、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１の実施の形態）
　まず、本発明の第１の実施の形態について図面を参照して詳細に説明する。
　図１は、本発明の第１の実施の形態による携帯電話端末１０の構成を示すブロック図である。図１を参照すると、本実施の形態の携帯電話端末１０は、内蔵カメラ１１と、入出力インタフェース部１２と、対象認識部１３と、機器メニュー情報記憶部１４と、メニュー管理部１５と、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面生成部１６と、処理部１７と、通信制御部１８と、表示部１９と、操作キー２０を含む。
　図１では、本発明に必要な構成要素のみを示し、一般的な携帯電話端末１０が備える他の構成要素については図示を省略している。また、本実施の形態においては、情報端末機器として携帯電話端末を用いる例を示しているが、スマートフォン、ＰＤＡ、ノートＰＣ等を含む携帯可能でカメラ機能と通信機能を備える他の情報端末機器にも適用することが可能である。
　内蔵カメラ１１は、通常の携帯電話端末１０に備えられているカメラと同様、対象の静止画や動画を撮影し、その画像を保存する機能を有する。入出力インタフェース部１２には、文字情報や画像情報を行う表示部１９と、ユーザが文字入力や操作入力を行うための操作キー２０が接続されている。
　対象認識部１３は、内蔵カメラ１１で撮影した対象機器の画像からその対象機器の特徴点等の特徴パターンを抽出する機能を有する。また、操作メニューの初期設定において、抽出した特徴パターンを機器メニュー情報記憶部１４に登録する機能を有すると共に、実際の運用においては、抽出した特徴パターンと機器メニュー情報記憶部１４に登録した特徴パターンを照合することにより、撮影した対象機器を認識する機能を有する。
　機器メニュー情報記憶部１４は、後述する機器操作メニューテーブルを格納すると共に、対象認識部１３で抽出した対象機器の特徴点等の特徴パターンや、メニュー管理部１５で生成した操作メニュー情報を格納する。
　メニュー管理部１５は、初期設定において、登録した対象機器に応じた操作メニューを生成する機能を有すると共に、運用において、認識した対象機器の操作メニュー情報を機器メニュー情報記憶部１４から読み出す機能を有する。
　ＵＩ画面生成部１６は、メニュー管理部１５で読み出した操作メニュー情報に基づいてユーザが操作可能な操作メニュー画面を生成して表示部１９に表示させる機能を有する。
　処理部１７は、表示部１９に表示した操作メニュー画面からユーザが選択した操作内容に従って対象機器に対する動作指示を通信制御部１８から送信する機能を有する。その他、対象機器との間で静止画や動画等の情報を通信制御部１８を介して送受信する機能を有する。
　通信制御部１８は、対象機器と有線や無線による通信を行う機能を有する。通信手段としては、赤外線、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）、ＰＬＣ（Ｐｏｗｅｒ　Ｌｉｎｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ：高速電力線通信）等による通信を利用することが可能である。また、対象機器との通信における通信プロトコルとしては、ＤＬＮＡ（Ｄｉｇｉｔａｌ　Ｌｉｖｉｎｇ　Ｎｅｔｗｏｒｋ　Ａｌｌｉａｎｃｅ）プロトコルや、ＲＡＣＰ（Ｒｅｍｏｔｅ　Ａｐｐｌｉａｎｃｅ　Ｃｏｎｔｒｏｌ　Ｐｒｏｔｏｃｏｌ）プロトコル等が使用される。
　上記のような構成により、ユーザが携帯電話端末１０を操作して対象機器（例えば、デジタルカメラ、パソコン、テレビ、ＨＤレコーダ等の家電機器）に内蔵カメラ１１のレンズを向け、入出力インタフェース部１２と接続される操作キーから撮影ボタンを押すことで、内蔵カメラ１１のレンズ前方の置かれた対象機器を撮影する。撮影した画像は対象認識部１３に送られる。
　対象認識部１３は、撮影画像から対象機器の特徴点を抽出し、その特徴点を機器メニュー情報記憶部１４に予め格納している照合用の特徴パターンと照合することにより類似度を判定し、予め登録された機器のうちのどの機器であるかを認識する。
　また、メニュー管理部１５は、対象認識部１３において認識した機器についての操作メニュー情報を機器メニュー情報記憶部１４から読み出してＵＩ画面生成部１６に送る。ＵＩ画面生成部１６は、操作メニュー情報に基づいて操作メニュー画面を生成して入出力ユーザインタフェース部を介して表示部１９に表示することでユーザに提示する。これにより、ユーザは、表示部１９に表示された操作メニュー画面から必要な操作内容を選択することが可能なる。そして、処理部１７は、操作メニュー画面から選択した操作内容に基づく動作指示を認識した機器に通信制御部１８を介して送信する。これにより、認識した対象機器の遠隔操作が可能となる。
　ここで、機器メニュー情報記憶部１４に格納する機器操作メニューテーブル１００の構成例を図２と図３に示す。
　機器操作メニューテーブル１００は、操作の対象となる機器毎に、機器識別情報（ＩＤ）と、特徴パターンのリンク先と、操作メニュー情報のリンク先を登録している。
　機器メニュー情報記憶部１４には、家庭内で使用される各種機器の画像から抽出した特徴点からなる特徴パターンと、またその操作メニューと操作内容に関する情報である操作メニュー情報が、機器操作メニューテーブル１００に示されるリンク先に保存される。
　特徴パターンは、図３の（ａ）に示すように、１又は複数の特徴点情報からなり、例えば、家庭内のテレビやＰＣ、デジタルカメラ等の機器を（必要であれば複数枚）撮影してそこから認識用の特徴点情報を抽出することで用意されている。
　また、操作メニュー情報には、図３の（ｂ）に示すように、その対象機器を操作するためのリモコン信号を識別する通信信号ＩＤ、その対象機器に対する操作メニューの構成とそれぞれが押下されたときの動作制御情報、必要ならその下のサブメニューの構成とその動作制御情報、データ交換を行う際の通信プロトコル情報、メニュー操作によって交換されたデータの双方での保存位置、仕様などに関する情報が含まれる。この操作メニュー情報に関するデータは、機器操作メニューテーブル１００に示されるリンク先に保存される。
　操作メニュー情報は、初期設定時に、対象機器のメーカー名や機器の型番情報に基づいてメーカーのＷｅｂサーバからインターネット経由でダウンロードされることで用意される。
（第１の実施の形態の動作の説明）
　本実施の形態による携帯電話端末１０の動作について詳細に説明する。
　まず、初期設定として対象機器の操作メニューを設定する処理動作について図４のフローチャートを参照して説明する。
　まず、操作を行う対象機器（例えば、リビングルームにあるテレビ）の機器識別情報（ＩＤ）を機器メニュー情報記憶部１４の機器操作メニューテーブル１００に登録する（ステップＳ４０１）。この機器識別情報（ＩＤ）については、対象機器のＱＲコードやバーコードを内蔵カメラ１１で読み取って入力することもできるし、対象機器と通信することにより、対象機器の内部情報から直接読み取ることが可能である。また、ユーザが操作キー２０から手作業で入力してもよい。
　次に、携帯電話端末１０と対象機器間の通信方式（通信手段と通信プロトコル）を設定する（ステップＳ４０２）。この通信方式については、携帯電話端末１０で実行可能な通信方式のうち、対象機器と通信できる通信方式を選択して設定することになる。
　例えば、通信手段として無線ＬＡＮを利用する場合には、通信プロトコルとしてＤＬＮＡプロトコル等を選択する。その他の通信方式として、通信手段に赤外線、通信プロトコルにＩｒＤＡやＩｒＳｉｍｐｌｅプロトコルを選択する場合が考えられる。ただし、通信方式については、利用可能な他の通信方式を選択することも可能である。
　設定した通信方式の通信プロトコルに応じて対象機器と通信を行うための通信信号ＩＤを、機器操作メニューテーブル１００の対象機器に対応する操作メニュー情報に登録する（ステップＳ４０３）。
　次に、内蔵カメラ１１で対象機器を撮影する（ステップＳ４０４）。この対象機器の撮影においては、対象機器の特徴が現れている前面部等を１又は複数枚撮影し、撮影した画像を対象認識部１３に送る。
　対象認識部１３では、機器の撮影画像をＥＲサーチ技術等を利用して解析し、画像から対象機器の特徴的な部分（特徴点：例えば、機器の前面部の形状や色合い等）等を特徴パターンとして抽出し（ステップＳ４０５）、その抽出した特徴パターンを機器メニュー情報記憶部１４内に格納すると共に、その特徴パターンのリンク先を機器操作メニューテーブル１００の対象機器に対応付けて登録する（ステップＳ４０６）。
　次に、対象機器を操作するために必要となる操作情報を取得する（ステップＳ４０７）。
　この操作情報の取得については、対象機器と直接通信を行って、対象機器に内蔵されている操作情報を読み込んで取得してもよいし、対象機器のメーカーのＷｅｂサーバにアクセスし、操作情報をインターネット経由でダウンロードして取得してもよい。
　対象機器やサーバから操作情報を取得できない場合には、対象機器のマニュアル等を参照してユーザが手作業によって操作情報を入力する。この場合、マニュアルに記載されているリモコンコードを操作情報として利用することができる。
　取得した操作情報から対象機器の操作に必要な操作内容を選択する（ステップＳ４０８）。この操作内容の選択は、メニュー管理部１５が取得した操作情報に含まれる操作内容を表示部１９を介してユーザに提示し、問い合わせを行うことで実行される。
　ユーザは、表示部１９に表示された操作内容から自分が必要と思われる操作内容を選択する。例えば、対象機器がＨＤレコーダであれば、操作内容のうち、電源のオン／オフ、再生コンテンツの選択、再生、停止、順送り、逆送り等の操作内容を選択する。また、対象機器がＤＬＮＡプロトコルに対応していれば、対象機器に録画済みのコンテンツを携帯電話端末１０に送信するといった操作内容を選択することも可能である。
　次に、メニュー管理部１５で、ユーザが選択した操作内容に基づいて操作メニューを生成し（ステップＳ４０９）、生成した操作メニューのデータを機器メニュー情報記憶部１４内に格納すると共に、その操作メニューのデータのリンク先を機器操作メニューテーブル１００の操作メニュー情報の欄に登録する（ステップＳ４１０）。
　携帯電話端末１０で操作する複数の対象機器について、上述した手順をステップＳ４０１から繰り返すことにより、対象機器毎に操作メニューの設定処理を行う。
　次に、図５のフローチャートを参照して、携帯電話端末１０によって対象機器の操作を行う場合の動作について詳細に説明する。
　ユーザは携帯電話端末１０の内蔵カメラ１１を起動して（ステップＳ５０１）、対象機器（例えば、リビングルームにあるテレビ）に向けて撮影する（ステップＳ５０２）。この際、通常の撮影ボタンを押下して撮影するか、あるいはこの用途のために用意された通常と違うボタン（例えば、メニューボタン）を操作して撮影する。撮影した画像は対象認識部１１に渡される。
　次いで、対象認識部１１は、取得した画像から特徴パターンを抽出し、抽出した特徴パターンを機器メニュー情報記憶部１４から読み出した特徴パターンと照合することにより、撮影した対象機器が機器操作メニューテーブル１００に登録されている機器であるかどうかの認識処理を行う（ステップＳ５０３）。
　この認識処理の結果、対象機器が機器メニュー情報記憶部１４の機器操作メニューテーブル１００に登録されていない場合には（ステップＳ５０４でＮＯ）、通常のカメラ撮影処理として、画像の保存をユーザに確認して保存するなどの処理が実行される（ステップＳ５０５、ステップＳ５０６）。
　なお、撮影ボタンやメニューボタンを操作して対象機器の画像を撮影する操作を行うことなく、内蔵カメラ１１を対象機器に向けて表示部１９に対象機器の映像を表示させた状態で、対象機器の認識処理を行うことも可能である。
　認識処理の結果、対象機器が機器メニュー情報記憶部１４の機器操作メニューテーブル１００に登録されている場合は（ステップＳ５０４でＹＥＳ）、メニュー管理部１５は、機器操作メニューテーブル１００から対応する対象機器（例えばリビングルームにあるテレビ）の操作メニュー情報を読み出し（ステップＳ５０７）、操作メニュー情報に示される通信信号ＩＤを処理部１７に送り、操作メニューのデータをＵＩ画面生成部１６に送る。
　ＵＩ画面生成部１６は、操作メニューのデータに基づいてユーザが操作可能な操作メニュー画面を生成し表示部１９に表示させる（ステップＳ５０８）。
　図６に、ステップＳ５０８において表示部１９に表示した操作メニュー画面の例を示す。図６（ａ）は対象機器がテレビである場合の操作メニュー画面の例を示し、図６（ｂ）は操作メニュー画面で携帯電話端末１０の動画をテレビに映す操作内容を選択した場合に表示されるデータ選択やデータ通信設定を行うためのサブメニュー画面の例を示している。
　ここで、ユーザが操作メニュー画面から操作内容を選択すると（ステップＳ５０９）、選択した操作内容に従った動作指示が通信制御部１８から対象機器に送信される（ステップＳ５１０）。これにより、対象機器の遠隔操作が実行される。
　例えば、図６（ｂ）のメニュー画面のデータ選択でハワイの動画が選択されると、携帯電話端末１０内にある選択された動画が、予め設定された通信方式、例えば、無線ＬＡＮのＷｉＦｉを介したＤＬＮＡ等のプロトコルによってテレビに送られ、そこに映し出される。図６（ｂ）ではフォルダー指定まで示しているが、その下の個々の画像・動画ファイルについても、サムネールを表示するなどで選択するメニューが提示されることになる。
　同様の方法により、パソコンやデジタルカメラ、ＨＤレコーダーの遠隔操作やデータ交換（パソコンやデジカメ側のデータを携帯電話端末１０に送り携帯で視聴することも含む）、インタフォンの応答なども遠隔操作で行えるようになる。図６（ｃ）に、対象機器がデジタルカメラである場合に、デジタルカメラ内のデータを一覧表示し、そこから携帯電話端末１０へ転送して鑑賞する場合の操作メニュー画面の例を示す。
（第１の実施の形態による効果）
　次に、第１の実施の形態の効果について説明する。
　本実施の形態によれば、家庭内に複数存在する家電等の対象機器を内蔵カメラ１１で撮影するだけで、携帯電話端末１０によるリモコン操作を行うことが可能となる。これまで携帯電話端末１０で家電等をリモコン操作する場合には、携帯電話端末１０に用意されているメニューからリモコン機能を探し、その機能を起動させてからリモコン操作を行うという煩わしさがあった。本実施の形態では、対象機器に内蔵カメラを向けるだけで、対象機器に応じた操作メニューが提示されるので、リモコン操作が非常に簡単となる。
　また、各種対象機器毎に、ユーザが必要とする操作内容を選択して操作メニューとして登録しておくことにより、直感的で分かり易い操作が可能となる。例えば、周りの家電とデータ交換などを行う際にも、データ交換に関する操作内容を優先的に選択して操作メニューとして登録しておけば、機器の操作が非常に簡単となる。
　このように、これまでの携帯電話端末１０による操作は手続き主体であったのに対し、本実施の形態によれば、認識した対象主体でこれに関連する操作（メソッド）を選択できるという、オブジェクト指向の操作系を実現できる。
（第２の実施の形態）
　本発明の第２の実施の形態について図面を参照して詳細に説明する。
　第１の実施の形態においては、対象機器を内蔵カメラ１１で撮影して認識し、機器毎に予め設定した操作メニューを携帯電話端末１０に提示し、その操作メニューから対象機器の遠隔操作を可能にしている。この第２の実施の形態では、対象機器とその現在の動作状態を認識し、その動作状態に応じて適切な操作メニューを提示することを可能にする。
　第２の実施の形態による携帯電話端末１０の構成については、図１に示す第１の実施の形態と同様であるので、その説明は省略する。
　第２の実施の形態では、初期設定で操作メニューを設定する際に、対象機器の各動作状態（例えば、ＨＤレコーダーの場合であれば、電源オフ状態、電源オン状態、映像再生状態、映像録画状態等）を内蔵カメラ１１で撮影を行い、それらの画像から各動作状態毎に、特徴パターンを抽出して機器メニュー情報記憶部１４に登録する。また、各動作状態毎に、所望の操作内容を選択して操作メニュー情報として機器操作メニューテーブル１００に登録する。
　例えば、電源オン、オフの状態は、パイロットランプの色や位置、画面の状態等で認識することが可能であるので、それらの状態に応じた特徴パターンを登録しておくことにより、対象機器の現在の動作状態を認識することができる。
　まず、初期設定として対象機器の操作メニューを設定する処理動作について図７のフローチャートを参照して説明する。
　図７のステップＳ７０１からＳ７０３、ステップＳ７０７、ステップＳ７０９及びステップＳ７１０については、図４に示したステップＳ４０１からＳ４０３、ステップＳ４０７、ステップＳ４０９及びＳ４１０の処理と同様であるので、以下では、第１の実施の形態と相違するステップＳ７０４からステップＳ７０６、ステップＳ７０８の処理内容について説明する。
　ステップＳ７０４で、内蔵カメラ１１で対象機器を撮影する場合、本実施の形態では、対象機器の動作状態毎に、その動作状態を識別できる状態で１又は複数枚撮影し、撮影した画像を対象認識部１３に送る。
　また、ステップＳ７０５では、対象認識部１３が、機器の撮影画像をＥＲサーチ技術等を利用して解析し、画像から対象機器の特徴的な部分（特徴点：例えば、機器の前面部の形状や色合い等）等を特徴パターンとして抽出し、動作状態毎に抽出した特徴パターンを機器メニュー情報記憶部１４内に格納する。そして、ステップＳ７０６で、その特徴パターンのリンク先を機器操作メニューテーブル１００の対象機器の動作状態に対応付けて図８に示すように登録する。
　図８に示す機器操作メニューテーブル１００の例では、対象機器の動作状態（電源オフ状態、電源オン状態、再生状態）に応じた特徴パターンが登録されている。
　ステップＳ７０８では、取得した操作情報から対象機器の操作に必要な操作内容を選択するが、本実施の形態の場合、ユーザは、対象機器の動作状態毎に自分が必要と思われる操作内容を選択する。例えば、ＨＤレコーダの電源オフ状態に対しては、操作内容のうち、電源のオンの操作を選択し、さらにその後に行う操作内容を選択する。また、電源オン状態については、最初に再生コンテンツの選択を行う操作を選択し、さらにその後に行う操作内容（再生、停止等）を選択する。
　例えば、ＨＤレコーダの電源オフ状態に対して、ダイレクトに電源オン動作を行う操作内容を設定することも可能である。このような操作メニューを設定すれば、ＨＤレコーダを内蔵カメラ１１で撮影し、ＨＤレコーダが電源オフ状態であることを認識すると、図９（ａ）に示すように、ＨＤレコーダの起動を問い合わせるメニュー画面が初めに提示し、その後に、図９（ｂ）に示すような、その後に行う操作内容をメニュー画面として提示する。これにより、ユーザは、ＨＤレコーダの状態を確認してから操作を行う必要がなくなり、状態に応じた適切な操作を迅速に行うことが可能となる。
　図９のフローチャートを参照して、携帯電話端末１０によって対象機器の操作を行う場合の動作について詳細に説明する。
　図９のステップＳ９０１、Ｓ９０２、Ｓ９０４からＳ９０６、ステップＳ９０８からＳ９１１については、図５に示したステップＳ５０１、Ｓ５０２、Ｓ５０４からＳ５０６、ステップＳ５０８からＳ５１１の処理と同様であるので、以下では、第１の実施の形態と相違するステップＳ９０３、Ｓ９０７の処理内容について説明する。
　図９のステップＳ９０３の対象機器の認識処理においては、対象認識部１１は、取得した画像から特徴パターンを抽出し、抽出した特徴パターンを機器メニュー情報記憶部１４から読み出した特徴パターンと照合することにより、撮影した対象機器が機器操作メニューテーブル１００に登録されているかどうか、かつ対象機器の動作状態が機器操作メニューテーブル１００に登録されている動作状態のうちの何れであるかを認識する。
　また、ステップＳ９０７では、メニュー管理部１５が、認識した動作状態に応じた操作メニューを機器操作メニューテーブル１００から読み出し、操作メニューのデータをＵＩ画面生成部１６に送る。
　なお、初期設定において、動作状態毎に操作内容を選択するが、その場合、ダイレクトに機器を操作する操作内容を選択することも可能である。例えば、対象機器が電源オフ状態であった場合、電源起動を問い合わせるメニュー画面を表示せずに、対象機器に電源オンの動作指示を送信して電源オン状態にし、次いで、対象機器の操作を行うためのメニュー画面を表示するようにしてもよい。
（第２の実施の形態による効果）
　次に、第２の実施の形態の効果について説明する。
　本実施の形態よれば、第１の実施の形態による効果に加えて、対象機器を認識して当該機器を操作するための操作メニューをユーザに提示する場合に、対象機器の動作状態に応じた適切な操作メニューを提示する構成としたので、携帯電話端末１０を用いて対象機器の操作を行う場合により快適な操作が可能となる。
（第３の実施の形態）
　第１の実施の形態においては、対象を家電機器としたが、本実施の形態では、対象を人物とした場合について説明する。この第３の実施の形態による携帯電話端末１０の構成についても、図１に示す第１の実施の形態と同様であるので、その説明は省略する。
　例えば、街角で会った友人のＡさん自身や友人Ａさんの写真を撮影して、予め登録しておいた友人Ａさんであることを認識し、友人Ａさんに関連する操作ができるメニューを呼び出して設定し、それの操作に従って処理を行うことを可能にする。
　この実施の形態では、上述した実施の形態の対象機器が対象人物に置き換わっただけであるので、初期設定において、対象人物毎に、特徴パターンを登録し、さらに必要な操作内容をメニューとしてメニューテーブルに登録する点は第１の実施の形態と同じである。
　また、内蔵カメラ１１で対象人物を撮影した画像から対象人物を認識し、対応する操作メニューを提示する点についても第１の実施の形態と同じである。ただし、操作メニューから操作内容を選択して動作指示を行う相手が対象機器ではなく携帯電話端末１０自身となる。
　動作例を図１１示す。図１１（ａ）は友人Ａさんを撮影して認識した場合に提示されるメニューの例を示している。図１１（ｂ）は、（ａ）のメニューから「友人Ａさん関連情報」を選択した場合に提示されるサブメニューの例を示している。
　例えば、（ａ）のメニューからメールや電話が選択されると、電話帳データから友人Ａさんのデータを読み出して、対応する処理が実行される。また（ｂ）のメニューからは、内部に保存されたデータから友人Ａさんの関連データが抽出されて表示され、また予め登録しておいたＵＲＬから友人Ａさんの個人ページやブログへ接続する。
　同様の方法により、テレビに気になる有名人Ｂさんが映った場合に、テレビの画面を撮影すると、撮影画像から有名人Ｂさんを認識し、図１１（ｃ）に示すような有名人Ｂさんについて予め登録した操作メニューを提示する。この操作メニューから操作内容を選択することで、有名人Ｂさんについての情報をインターネットで検索して関連する情報収集することができる。
　このように人物に関しても、オブジェクト指向で、直感的でわかりやすい操作が可能となる。
　以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。
　この出願は、２０１０年１月１８日に出願された日本出願特願２０１０－００８３９１を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、携帯電話端末を含め、スマートフォン、ＰＤＡ、ノートＰＣ等のカメラ機能と通信機能を有する携帯型の情報端末機器一般に適用することができる。

Claims (11)

  1. 　内蔵するカメラによって撮影した画像から対象機器を認識する対象認識手段と、
    　前記対象認識手段による認識結果に基づいて、前記対象機器に応じて予め保存した操作メニュー情報を提示するメニュー管理手段と、
    　前記操作メニュー情報で選択された操作内容に応じた動作指示を行う処理手段と
    　を備えることを特徴とする情報端末機器。
  2. 　前記対象機器毎に、前記対象機器の画像上の特徴パターンと、対象機器に応じて予め選択した操作内容を含む操作メニュー情報を登録した対象メニュー情報記憶部を備え、
    　前記対象認識手段は、
    　前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器を認識し、
    　前記メニュー管理手段は、
    　前記対象メニュー情報記憶部から、認識した前記対象機器に対応する操作メニュー情報を読み出して提示することを特徴とする請求項１に記載の情報端末機器。
  3. 　前記対象メニュー情報記憶部に、前記対象機器を識別する情報と、前記対象機器の特徴パターンのリンク先と、前記対象機器に応じた操作メニュー情報のリンク先を、前記対象機器毎に登録したテーブルを格納し、
    　前記対象認識手段は、撮影した画像から抽出したパターンと前記テーブルに登録されている特徴パターンを照合して、前記対象機器がテーブルに登録されているかどうかを判定し、
    　前記メニュー管理手段は、前記対象機器がテーブルに登録されている場合に、前記テーブルの対象機器に対応付けて登録されている操作メニュー情報を前記対象メニュー情報記憶部から読み出して提示することを特徴とする請求項２に記載の情報端末機器。
  4. 　前記対象メニュー情報記憶部に、前記対象機器の動作状態毎の特徴パターンと、動作状態に適した操作内容を含む操作メニュー情報を格納し、
    　前記対象認識手段は、
    　前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器の動作状態を認識し、
    　前記メニュー管理手段は、
    　前記対象メニュー情報記憶部から、認識した前記対象機器の動作状態に応じて対応する操作メニュー情報を読み出して提示することを特徴とする請求項２又は請求項３に記載の情報端末機器。
  5. 　前記操作メニュー情報として、前記対象機器と通信を行うためのプロトコル情報を含むことを特徴とする請求項１から請求項４の何れかに記載の情報端末機器。
  6. 　カメラを内蔵する情報端末機器によって対象機器の操作を行う操作方法であって、
    　内蔵カメラによって撮影した画像から対象機器を認識するステップと、
    　対象の認識結果に基づいて、前記対象機器に応じて予め保存した操作メニュー情報を提示するステップと、
    　前記操作メニュー情報で選択された操作内容に応じた動作指示を行うステップと
    　を含むことを特徴とする情報端末機器による操作方法。
  7. 　対象メニュー情報記憶部に、前記対象機器毎に、前記対象機器の画像上の特徴パターンと、対象機器に応じて予め選択した操作内容を含む操作メニュー情報を登録し、
    　前記対象認識のステップで、
    　前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器を認識し、
    　前記メニュー提示ステップで、
    　前記対象メニュー情報記憶部から、認識した前記対象機器に対応する操作メニュー情報を読み出して提示することを特徴とする請求項６に記載の情報端末機器による操作方法。
  8. 　前記対象メニュー情報記憶部に、前記対象機器を識別する情報と、前記対象機器の特徴パターンのリンク先と、前記対象機器に応じた操作メニュー情報のリンク先を、前記対象機器毎に登録したテーブルを格納し、
    　前記対象認識のステップで、撮影した画像から抽出したパターンと前記テーブルに登録されている特徴パターンを照合して、前記対象機器がテーブルに登録されているかどうかを判定し、
    　前記メニュー提示ステップで、前記対象機器がテーブルに登録されている場合に、前記テーブルの対象機器に対応付けて登録されている操作メニュー情報を前記対象メニュー情報記憶部から読み出して提示することを特徴とする請求項７に記載の情報端末機器による操作方法。
  9. 　前記対象メニュー情報記憶部に、前記対象機器の動作状態毎の特徴パターンと、動作状態に適した操作内容を含む操作メニュー情報を格納し、
    　前記対象認識のステップで、
    　前記撮影した画像から抽出した特徴パターンと前記対象メニュー情報記憶部の特徴パターンとを照合して前記対象機器の動作状態を認識し、
    　前記メニュー提示ステップで、
    　前記対象メニュー情報記憶部から、認識した前記対象機器の動作状態に応じて対応する操作メニュー情報を読み出して提示することを特徴とする請求項７又は請求項８に記載の情報端末機器による操作方法。
  10. 　前記操作内容として、前記対象機器と通信を行うためのプロトコル情報を含むことを特徴とする請求項６から請求項９の何れかに記載の情報端末機器による操作方法。
  11. 　カメラを内蔵する情報端末機器に、
    　内蔵カメラによって撮影した画像から対象機器を認識する処理と、
    　対象の認識結果に基づいて、前記対象機器に応じて予め保存した操作メニュー情報を提示する処理と、
    　前記操作メニュー情報で選択された操作内容に応じた動作指示を行う処理とを、実行させることを特徴とするプログラム。
PCT/JP2011/050050 2010-01-18 2011-01-05 情報端末機器、情報端末機器による操作方法及びプログラム WO2011086956A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP11732826.0A EP2528351A4 (en) 2010-01-18 2011-01-05 INFORMATION TERMINAL DEVICE, CONTROL METHOD USING THE METHOD AND PROGRAM
JP2011549955A JPWO2011086956A1 (ja) 2010-01-18 2011-01-05 情報端末機器、情報端末機器による操作方法及びプログラム
US13/522,028 US20120290981A1 (en) 2010-01-18 2011-01-05 Information terminal apparatus, operation method by information terminal apparatus and program thereof
CN2011800063325A CN102714767A (zh) 2010-01-18 2011-01-05 信息终端装置、信息终端装置的操作方法及其程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010008391 2010-01-18
JP2010-008391 2010-01-18

Publications (1)

Publication Number Publication Date
WO2011086956A1 true WO2011086956A1 (ja) 2011-07-21

Family

ID=44304229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/050050 WO2011086956A1 (ja) 2010-01-18 2011-01-05 情報端末機器、情報端末機器による操作方法及びプログラム

Country Status (5)

Country Link
US (1) US20120290981A1 (ja)
EP (1) EP2528351A4 (ja)
JP (1) JPWO2011086956A1 (ja)
CN (1) CN102714767A (ja)
WO (1) WO2011086956A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012001583A1 (de) * 2012-01-27 2013-01-24 Daimler Ag Verfahren und System zur Steuerung, Überwachung und/oder Konfiguration einer netzwerkfähigen Anordnung
JP2013106198A (ja) * 2011-11-14 2013-05-30 Toshiba Corp 機器制御装置、その方法、及び、そのプログラム
JP2013114466A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
WO2014002323A1 (ja) * 2012-06-26 2014-01-03 日本電気株式会社 携帯端末、電子機器制御システム、及び電子機器制御方法
WO2014002322A1 (ja) * 2012-06-26 2014-01-03 日本電気株式会社 携帯端末、電子機器制御システム、及び電子機器制御方法
JP2015029355A (ja) * 2014-10-17 2015-02-12 株式会社東芝 機器制御装置、その方法、及び、そのプログラム
JP2015154253A (ja) * 2014-02-14 2015-08-24 京セラ株式会社 操作端末、プログラム、及び方法
JP2016194935A (ja) * 2011-01-20 2016-11-17 サムスン エレクトロニクス カンパニー リミテッド 機器制御方法及びその装置
JP2017531929A (ja) * 2015-09-16 2017-10-26 シャオミ・インコーポレイテッド 設備の制御方法、設備制御装置、コンピュータプログラム、及びコンピュータ読み取り可能記憶媒体
WO2018033953A1 (ja) * 2016-08-15 2018-02-22 株式会社オプティム ＩｏＴ機器ユーザーインターフェース表示システム、ＩｏＴ機器ユーザーインターフェース表示方法及びプログラム
JP2018198455A (ja) * 2018-08-23 2018-12-13 京セラ株式会社 操作端末、プログラム、及び方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8918719B2 (en) * 2011-02-14 2014-12-23 Universal Electronics Inc. Graphical user interface and data transfer methods in a controlling device
CN103873959B (zh) * 2012-12-13 2019-02-05 联想(北京)有限公司 一种控制方法和电子设备
US20140250397A1 (en) * 2013-03-04 2014-09-04 Honeywell International Inc. User interface and method
CN105653248A (zh) * 2014-11-14 2016-06-08 索尼公司 控制装置、方法以及电子设备
CN105138123B (zh) * 2015-08-24 2018-10-26 小米科技有限责任公司 设备控制方法及装置
KR102465643B1 (ko) * 2015-09-30 2022-11-09 엘지전자 주식회사 복수의 디바이스에 대한 원격제어를 수행할 수 있는 원격제어장치
CN108369584B (zh) * 2015-11-25 2022-07-08 圆点数据公司 信息处理系统、描述符创建方法和描述符创建程序
US11853635B2 (en) * 2016-03-09 2023-12-26 Samsung Electronics Co., Ltd. Configuration and operation of display devices including content curation
WO2018180970A1 (ja) 2017-03-30 2018-10-04 日本電気株式会社 情報処理システム、特徴量説明方法および特徴量説明プログラム
JPWO2019069507A1 (ja) 2017-10-05 2020-11-05 ドットデータ インコーポレイテッド 特徴量生成装置、特徴量生成方法および特徴量生成プログラム
US11188066B2 (en) * 2017-10-12 2021-11-30 Mitsubishi Power, Ltd. Service menu presentation system, operation pattern display system, service menu presentation method, and program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008279A (ja) 1999-06-18 2001-01-12 Sony Corp リモートコントローラおよびリモートコントロール方法、並びに媒体、機器および表示方法、並びに媒体
JP2002171580A (ja) * 2000-11-30 2002-06-14 Matsushita Electric Ind Co Ltd 機器制御システム
JP2005065118A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd リモコン機能付き携帯端末及びリモコンサーバ
JP2005513941A (ja) * 2001-12-28 2005-05-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 自動器具識別及びプログラミングを有するユニバーサル・リモコン装置
JP2005268941A (ja) * 2004-03-16 2005-09-29 Sony Corp 遠隔制御装置、遠隔制御方法及びそのプログラム
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
JP2010008391A (ja) 2008-05-27 2010-01-14 Toray Ind Inc 分析用チップ

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1744290B1 (en) * 2005-07-15 2018-05-30 Samsung Electronics Co., Ltd. Integrated remote controller and method of selecting device controlled thereby
JP4676303B2 (ja) * 2005-10-18 2011-04-27 株式会社日立製作所 端末装置
US7558950B2 (en) * 2005-10-27 2009-07-07 Sony Ericsson Mobile Communications Ab Methods of configuring an electronic device to be operable with an electronic apparatus based on automatic identification thereof and related devices
KR101472912B1 (ko) * 2007-09-03 2014-12-15 삼성전자주식회사 통합 리모트 컨트롤러 장치, 통합 리모콘 제어 시스템, 및그 제어 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001008279A (ja) 1999-06-18 2001-01-12 Sony Corp リモートコントローラおよびリモートコントロール方法、並びに媒体、機器および表示方法、並びに媒体
JP2002171580A (ja) * 2000-11-30 2002-06-14 Matsushita Electric Ind Co Ltd 機器制御システム
JP2005513941A (ja) * 2001-12-28 2005-05-12 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 自動器具識別及びプログラミングを有するユニバーサル・リモコン装置
JP2005065118A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd リモコン機能付き携帯端末及びリモコンサーバ
JP2005268941A (ja) * 2004-03-16 2005-09-29 Sony Corp 遠隔制御装置、遠隔制御方法及びそのプログラム
JP2007259329A (ja) * 2006-03-24 2007-10-04 Fujifilm Corp 遠隔制御装置、システムおよび方法
JP2010008391A (ja) 2008-05-27 2010-01-14 Toray Ind Inc 分析用チップ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2528351A4 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194935A (ja) * 2011-01-20 2016-11-17 サムスン エレクトロニクス カンパニー リミテッド 機器制御方法及びその装置
US10855899B2 (en) 2011-01-20 2020-12-01 Samsung Electronics Co., Ltd. Method and apparatus for identifying a device from a camera input
US10362208B2 (en) 2011-01-20 2019-07-23 Samsung Electronics Co., Ltd Method and apparatus for controlling a device identified from a screen input by a camera
US9871958B2 (en) 2011-01-20 2018-01-16 Samsung Electronics Co., Ltd Method and apparatus for controlling a device identified from a screen input by a camera
JP2013106198A (ja) * 2011-11-14 2013-05-30 Toshiba Corp 機器制御装置、その方法、及び、そのプログラム
US9014484B2 (en) 2011-11-14 2015-04-21 Kabushiki Kaisha Toshiba Appliance control apparatus, method thereof and program therefor
JP2013114466A (ja) * 2011-11-29 2013-06-10 Nikon Corp 表示システム、表示方法およびプログラム
DE102012001583A1 (de) * 2012-01-27 2013-01-24 Daimler Ag Verfahren und System zur Steuerung, Überwachung und/oder Konfiguration einer netzwerkfähigen Anordnung
WO2014002322A1 (ja) * 2012-06-26 2014-01-03 日本電気株式会社 携帯端末、電子機器制御システム、及び電子機器制御方法
WO2014002323A1 (ja) * 2012-06-26 2014-01-03 日本電気株式会社 携帯端末、電子機器制御システム、及び電子機器制御方法
JP2015154253A (ja) * 2014-02-14 2015-08-24 京セラ株式会社 操作端末、プログラム、及び方法
JP2015029355A (ja) * 2014-10-17 2015-02-12 株式会社東芝 機器制御装置、その方法、及び、そのプログラム
JP2017531929A (ja) * 2015-09-16 2017-10-26 シャオミ・インコーポレイテッド 設備の制御方法、設備制御装置、コンピュータプログラム、及びコンピュータ読み取り可能記憶媒体
KR20180003569A (ko) * 2015-09-16 2018-01-09 시아오미 아이엔씨. 디바이스를 제어하는 방법 및 장치, 및 단말 디바이스
KR102036977B1 (ko) * 2015-09-16 2019-10-25 시아오미 아이엔씨. 디바이스를 제어하는 방법 및 장치, 및 단말 디바이스
US10613498B2 (en) 2015-09-16 2020-04-07 Xiaomi Inc. Method for controlling device by remote control device
WO2018033953A1 (ja) * 2016-08-15 2018-02-22 株式会社オプティム ＩｏＴ機器ユーザーインターフェース表示システム、ＩｏＴ機器ユーザーインターフェース表示方法及びプログラム
JP2018198455A (ja) * 2018-08-23 2018-12-13 京セラ株式会社 操作端末、プログラム、及び方法

Also Published As

Publication number Publication date
JPWO2011086956A1 (ja) 2013-05-20
EP2528351A4 (en) 2013-05-22
EP2528351A1 (en) 2012-11-28
CN102714767A (zh) 2012-10-03
US20120290981A1 (en) 2012-11-15

Similar Documents

Publication Publication Date Title
WO2011086956A1 (ja) 情報端末機器、情報端末機器による操作方法及びプログラム
JP6259368B2 (ja) 携帯端末の制御方法
JP5791605B2 (ja) メタデータのタグ付けシステム、イメージ検索方法、デバイス及びそれに適用されるジェスチャーのタグ付け方法
JP4676303B2 (ja) 端末装置
KR101862358B1 (ko) 연계 사용 정보를 생성 또는 이용하는 방법 및 그 장치
JP5666530B2 (ja) 制御装置、制御装置の制御方法、サーバ、被制御装置、制御システム、制御プログラム、および記録媒体
US20140337697A1 (en) System and method for providing content to an apparatus based on location of the apparatus
JP2005065118A (ja) リモコン機能付き携帯端末及びリモコンサーバ
US10133903B2 (en) Remote control device and operating method thereof
US20210397150A1 (en) System and method of iot device control using augmented reality
TWI611718B (zh) 操作行動運算裝置以控制智慧裝置的方法
JP2011044148A (ja) 連繋使用情報を生成または利用する方法及びその装置
US9196154B2 (en) Method and electronic device for controlling display device using watermark
CN104111720A (zh) 电子设备控制方法、装置及电子设备
CN108803371B (zh) 一种电器设备的控制方法以及装置
WO2013179654A1 (ja) 画像閲覧システム、受信側携帯端末、画像サーバ、および画像閲覧方法
JP2014053667A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN108829481A (zh) 基于控制电子设备的遥控器界面的呈现方法
CN104935613A (zh) 场景同步方法、终端、服务器及系统
CN106101990B (zh) 蓝牙设备搜索方法及装置
JP6460322B2 (ja) 制御端末装置
Yoon et al. Design and implementation of a universal appliance controller based on selective interaction modes
JP2015046736A (ja) リモコン信号提供システム、リモコン信号提供装置、端末装置、リモコン信号提供方法、リモコン信号要求方法、リモコン信号提供プログラム及び端末装置用プログラム
JP2014036382A (ja) 遠隔制御装置及び遠隔制御方法
KR102137738B1 (ko) 워터마크를 이용하여 디스플레이 장치를 제어하는 방법 및 전자장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180006332.5

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 2011549955

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2011732826

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13522028

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 6273/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE