WO2014061257A1 - 認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ - Google Patents

認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ Download PDF

Info

Publication number
WO2014061257A1
WO2014061257A1 PCT/JP2013/006112 JP2013006112W WO2014061257A1 WO 2014061257 A1 WO2014061257 A1 WO 2014061257A1 JP 2013006112 W JP2013006112 W JP 2013006112W WO 2014061257 A1 WO2014061257 A1 WO 2014061257A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
unit
recognition
command
instruction
Prior art date
Application number
PCT/JP2013/006112
Other languages
English (en)
French (fr)
Inventor
秀紀 青山
山岡　勝
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2014061257A1 publication Critical patent/WO2014061257A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the present invention relates to a technique for recognizing an electronic device.
  • Non-Patent Document 1 in order to facilitate object recognition, a marker that is easily recognized by a computer is attached in advance to an object to be recognized, and the object is selected from the captured image of the object using the marker as a mark. Recognition is disclosed.
  • Patent Document 1 device specific information such as an IP address and a barcode / password is displayed on a display unit of an information device that wants to perform wireless communication, the unique information is captured, and the unique image is processed by image processing from the captured image.
  • a digital still camera that recognizes information and wirelessly communicates with information equipment using the recognized unique information is disclosed.
  • Non-Patent Document 1 has a problem that the aesthetics of the object is impaired because a marker that is easy to recognize for the computer is attached in advance to the object to be recognized. Also, if there are many objects with similar markers around the object to be recognized, or if the background of the object contains a pattern similar to the marker, the recognition accuracy of the object is reduced. There is.
  • An object of the present invention is to provide a technique for recognizing an electronic device with high accuracy without impairing the beauty of the electronic device to be recognized.
  • a recognition apparatus includes an identifier of an electronic device that is a recognition candidate, a change command that changes the appearance of the electronic device, and an appearance feature that indicates an appearance feature of the electronic device when the change command is executed.
  • a storage unit that associates and stores information, a command selection unit that selects a change command from the storage unit, a communication unit that transmits a change command selected by the command selection unit to the electronic device, and the electronic device Collation for recognizing the electronic device by collating an image capturing unit that captures images, image feature information indicating characteristics of a captured image captured by the image capturing unit, and appearance feature information corresponding to a change command transmitted by the communication unit A part.
  • This configuration can recognize an electronic device at high speed and with high accuracy.
  • FIG. 1 is a block diagram of a recognition device in Embodiment 1.
  • 4 is a flowchart showing recognition processing of the recognition device in the first embodiment.
  • 6 is a schematic diagram illustrating a recognition operation of the recognition device according to Embodiment 1.
  • FIG. 10 is a block diagram of a recognition device according to Embodiment 2. 10 is a flowchart illustrating processing when the recognition apparatus according to the second embodiment assigns a command to an electronic device.
  • FIG. 10 is a flowchart illustrating a command transmission process by the recognition apparatus according to the second embodiment.
  • FIG. 10 is a schematic diagram illustrating a recognition operation in the recognition device according to the second embodiment.
  • FIG. 10 is a schematic diagram illustrating a recognition operation in the recognition device according to the second embodiment. It is a figure which shows an example when it is recognized that a some electronic device exists in a captured image. It is the figure which showed an example of the display screen when a recognition apparatus performs the application which displays the operation menu of the electronic device recognized by the recognition apparatus.
  • FIG. 10 is a block diagram of a recognition device according to Embodiment 3.
  • 10 is a flowchart illustrating recognition processing of the recognition device according to Embodiment 3.
  • FIG. 10 is a flowchart illustrating recognition processing of the recognition device according to Embodiment 3.
  • FIG. 10 is a schematic diagram illustrating a recognition operation of a recognition device according to Embodiment 3.
  • FIG. 10 is a block diagram of a recognition device in a fourth embodiment. 10 is a flowchart showing recognition processing of the recognition device in the fourth embodiment.
  • FIG. 10 is a block diagram of a recognition device in a fifth embodiment. 10 is a flowchart illustrating a recognition process of a recognition device in a fifth embodiment. 22 is a flowchart illustrating another example of recognition processing of the recognition device in the fifth embodiment. It is the figure which showed an example of the display screen when a recognition apparatus performs the application which displays the operation menu of the electronic device recognized by the recognition apparatus.
  • FIG. 20 is a block diagram of a remote control device in a sixth embodiment.
  • FIG. 10 is a block diagram of a recognition device in a seventh embodiment.
  • FIG. 19 is a diagram illustrating an example of a data configuration of a table stored in a storage unit in the seventh embodiment.
  • 18 is a flowchart illustrating a recognition process of a recognition device in a seventh embodiment.
  • FIG. 20 is a block diagram of a recognition device in an eighth embodiment.
  • FIG. 19 is a diagram illustrating an example of a data configuration of a table stored in a storage unit in the eighth embodiment.
  • 20 is a flowchart showing recognition processing of the recognition device in the eighth embodiment.
  • FIG. 20 is a configuration diagram of a server according to Embodiment 9.
  • FIG. 1 is a block configuration diagram showing an overall configuration of a recognition system to which a recognition apparatus A according to an embodiment is applied.
  • the recognition system includes a recognition device A and electronic devices B00 to B03.
  • the recognition device A is a device that recognizes the electronic devices B00 to B03.
  • the recognition device A is configured by a mobile terminal such as a smartphone, a tablet terminal, a PDA, or a button-type mobile phone.
  • the recognition device A may be a stationary device other than the mobile terminal.
  • the stationary apparatus for example, a home server or a personal computer is adopted.
  • an electronic device B00, an electronic device B01, an electronic device B02, and an electronic device B03 are illustrated as electronic devices that are recognition candidates.
  • one electronic device may be a recognition candidate, or a plurality of electronic devices other than four may be recognition candidates.
  • the electronic devices B01 to B03 are denoted by a symbol “B”.
  • the electronic device B is connected to the recognition device A via the communication path C and can transmit and receive data to and from each other.
  • digital home appliances such as a TV and a Blu-ray coder, and home appliances such as a washing machine, a rice cooker, and a refrigerator are employed.
  • a communication path such as a wireless LAN or a wired LAN is adopted.
  • various data are transmitted and received using a communication protocol such as DLNA (Digital Living Network Alliance) or UPnP (Universal Plug and Play).
  • DLNA Digital Living Network Alliance
  • UPnP Universal Plug and Play
  • FIG. 2 is a block diagram of a recognition device A00 that is the recognition device A in the first embodiment.
  • the recognition device A00 includes a storage unit 100, an instruction selection unit 200, a communication unit 300, an imaging unit 400, and a verification unit 500.
  • the storage unit 100 is configured by a rewritable nonvolatile memory such as FERAM, for example. Then, the storage unit 100 controls the electronic device B and the appearance of the electronic device B by controlling the ID of the electronic device B that is a recognition candidate (an example of an identifier of the electronic device, hereinafter simply referred to as “ID”).
  • ID an example of an identifier of the electronic device, hereinafter simply referred to as “ID”.
  • ID an example of an identifier of the electronic device, hereinafter simply referred to as “ID”.
  • ID an example of an identifier of the electronic device, hereinafter simply referred to as “ID”.
  • ID an example of an identifier of the electronic device, hereinafter simply referred to as “ID”.
  • ID an example of an identifier of the electronic device, hereinafter simply referred to as “ID”.
  • FIG. 3 is a diagram illustrating an example of a data configuration of the table T300 stored in the storage unit 100 in the first embodiment.
  • the table T300 includes fields for storing IDs, commands, and appearance feature information.
  • the ID includes, for example, a symbol string indicating the type of the electronic device B, a symbol string indicating the product number of the electronic device B, and a symbol string indicating the individual number of the electronic device B. Taking the ID “AC-01-B00” that is the ID of the electronic device B00 as an example, the ID will be described. “AC” indicates the type, “01” indicates the product number, and “B00” indicates the individual number.
  • the type indicates the type of the electronic device B such as a washing machine, a refrigerator, a television, or a Blu-ray recorder.
  • the product number is a symbol string assigned to distinguish the model, color, and the like in the same electronic device B in terms of product management.
  • the individual number is a symbol string for distinguishing electronic devices B having the same type and product number for each individual.
  • the ID is “AC-01-B01”.
  • the electronic device B02 is the same type as the electronic device B00 but has a different product number, so the ID is “AC-02-B02”. Since the electronic device B03 is different in type from the electronic device B00, the ID is “OVN-01-B03”.
  • a command for displaying appearance features similar to the command for the electronic device B00 is registered in the table T300.
  • the LED on blue for lighting the LED in blue.
  • the LED is lit in blue and a blue luminescent spot is displayed on the surface of the housing.
  • the commands for the electronic device B03 there is a command “Oven light on” for turning on the illumination of the oven.
  • the lighting in the cooking space is turned on with the lid of the cooking space closed, and the illumination light is transmitted through a rectangular window provided in almost the entire area of the lid. An orange rectangular area is displayed on almost the entire surface of the housing.
  • the instruction selection unit 200 selects an instruction to be executed by the electronic device B from the instructions stored in the storage unit 100.
  • the instruction selection unit 200 may select one or more instructions at random from, for example, two instructions other than “LED off” for the electronic device B00.
  • the instruction selection unit 200 uses, as an instruction, an instruction set that combines one or more instructions randomly selected from two instructions other than “LED off” and “LED off” for the electronic device B00. You may choose.
  • the instruction selection unit 200 may select an instruction for the electronic devices B01 to B03 in the same manner as the electronic device B00.
  • the command selection unit 200 may select the command so that the electronic devices B00 to B03 have different appearances. By doing so, it is possible to display a unique appearance on the electronic devices B00 to B03 and to improve the recognition accuracy.
  • the communication unit 300 transmits the command selected by the command selection unit 200 to the corresponding electronic device B.
  • the command transmitted by the communication unit 300 is transmitted to the corresponding electronic device B via the communication path C. For example, if the command selection unit 200 selects the “LED on red” command for the electronic device B00, the communication unit 300 transmits this command to the electronic device B00.
  • the imaging unit 400 includes a camera and photographs a subject such as the electronic device B existing in the front visual field range.
  • a camera a digital camera capable of capturing a moving image or a still image may be employed.
  • the collation unit 500 collates the image feature information indicating the characteristics of the captured image captured by the imaging unit 400 with the appearance feature information corresponding to the command transmitted by the communication unit 300 to recognize the electronic device B.
  • the appearance feature information the image data of the captured image obtained by imaging the electronic device B when the command is executed, the image feature amount extracted from the captured image of the electronic device B, the modeling data of the electronic device B, It is possible to employ physical quantities such as the hue and brightness of the illumination attached to the electronic device B.
  • the image feature amount for example, a feature vector that represents the feature of the electronic device B appearing in the captured image as a vector can be employed.
  • the modeling data for example, data obtained by modeling an image of an object to be recognized by a neural network can be used.
  • the appearance feature information is represented by characters such as “red bright spot on the device surface” for convenience of explanation, but in actuality, image data, image feature amount, modeling data, or Stores physical quantities.
  • the collation unit 500 may extract information of the same type as the appearance feature information corresponding to the command transmitted to the electronic device B as the image feature information. Therefore, when the appearance feature information is image data, the matching unit 500 may use the captured image itself as the image feature information. When the appearance feature information is an image feature amount, the matching unit 500 may calculate an image feature amount extracted from the captured image as image feature information using the same calculation method as the appearance feature information. When the appearance feature information is modeling data, the collation unit 500 may extract data input to the modeling data from the captured image as image feature information. When the image feature information is a physical quantity of illumination hue or luminance, the collation unit 500 may extract the illumination hue or physical quantity of luminance from the captured image as image feature information.
  • the matching unit 500 calculates the similarity between the image feature information and the appearance feature information. If the similarity is equal to or greater than a predetermined threshold value, the collation unit 500 determines that the electronic device B in the captured image can be recognized, and the similarity. If the degree is less than a predetermined threshold, it may be determined that the electronic device B in the captured image could not be recognized.
  • the matching unit 500 may calculate a correlation value calculated using, for example, template matching as the similarity. Further, when the appearance feature information is an image feature amount, the collation unit 500 may calculate, for example, the distance of the image feature amount as the similarity.
  • the collation unit 500 may calculate an output value from the modeling data as the similarity, for example.
  • the appearance feature information is a physical quantity of the hue or luminance of the illumination
  • an illumination part may be extracted from the captured image, and the physical quantity of the hue or luminance of the part may be calculated as the similarity.
  • the storage unit 100 is configured by a rewritable nonvolatile memory such as FERAM (Ferroelectric Random Access Memory).
  • the instruction selection unit 200 and the collation unit 500 are configured by, for example, a computer-readable program, and are realized by being executed by the CPU.
  • the communication unit 300 includes, for example, a communication module that complies with a communication protocol applied to the communication path C and a program that controls the communication module, and is executed by the CPU.
  • the imaging unit 400 includes a camera and a program that controls the camera, and is executed by the CPU. These programs are stored in an unillustrated storage device such as a hard disk as a recognition program that causes the computer to function as a recognition device.
  • This recognition program is recorded on a computer-readable recording medium and provided to the user, for example. The user may cause the computer to function as a recognition device by causing the reading device to read the recording medium and installing a recognition program in the computer.
  • Each block shown in FIG. 2 may be configured by a dedicated hardware circuit. In this case, all the blocks and some of the blocks shown in FIG. 2 may be integrated into one integrated circuit.
  • the instruction selection unit 200 may select a single instruction from the instructions shown in FIG. 3, or may select an instruction set in which a plurality of instructions shown in FIG. 3 are combined as instructions.
  • FIG. 4 is a diagram illustrating an example of an instruction set.
  • instruction sets F201 and F202 are shown as an example.
  • the instruction set F201 is an instruction set composed of five instructions for turning off the LED after changing the color of the LED to red, green, red, and green.
  • the instruction set F202 is an instruction set composed of five instructions for turning off the LED after changing the color of the LED to blue, green, blue, and green. Note that the instruction set shown in FIG. 4 is merely an example, and an instruction set including instructions other than five may be adopted.
  • the instruction set shown in FIG. 4 is an instruction set in which a single instruction is executed in order, but is not limited to this, and an instruction set that executes a plurality of instructions simultaneously may be adopted.
  • the command selected by the command selection unit 200 causes the electronic device B to display an appearance that is generally not often seen.
  • the instruction is adopted. For example, since the lighting of a red luminescent spot is often used as an interface of the electronic device B, it is preferable to adopt an instruction set that changes the color or displays a plurality of luminescent spots in a certain time. .
  • the instruction execution time is short.
  • Examples of the instruction having a short execution time include an instruction for causing the LED mounted on the electronic device B to blink at a specific time interval.
  • an unillustrated sensor for measuring the current surrounding environment (brightness, background color, object movement, display, etc.) is provided in the recognition apparatus A, and the command selection unit 200 is an electronic device in the environment measured by the sensor. You may make it select the command which displays the appearance which is easy to recognize to the apparatus B.
  • FIG. 1 an unillustrated sensor for measuring the current surrounding environment (brightness, background color, object movement, display, etc.) is provided in the recognition apparatus A, and the command selection unit 200 is an electronic device in the environment measured by the sensor. You may make it select the command which displays the appearance which is easy to recognize to the apparatus B.
  • a command for turning on a plurality of LEDs simultaneously or in order may be adopted so that the recognition device A can recognize the electronic device B from many directions.
  • FIG. 5 is a flowchart showing the recognition process of the recognition apparatus A00 in the first embodiment.
  • the operation of the recognition apparatus A00 will be described with reference to FIG.
  • a case where a command is transmitted to the electronic device B00 will be described as an example.
  • the command selection unit 200 refers to the storage unit 100 and selects a command to be transmitted to the electronic device B00 (S501).
  • the communication unit 300 transmits the command selected by the command selection unit 200 to the electronic device B00 (S502).
  • the imaging unit 400 images a front subject (S503).
  • the collation unit 500 extracts image feature information from the captured image captured by the imaging unit 400 (S504).
  • the matching unit 500 calculates the similarity between the image feature information and the appearance feature information corresponding to the command transmitted by the communication unit 300, and recognizes the electronic device B00 if the calculated similarity is equal to or greater than a threshold value. (S505).
  • the false negative error means that it is determined that the recognition target electronic device B is not present even though the electronic device B to be recognized is present in the image.
  • the false positive error means that it is determined that the electronic device B to be recognized does not exist in the image but exists.
  • the collation unit 500 includes the electronic device B in the captured image, compared to the case where the recognition device A00 automatically performs the recognition process. Then, the collation method may be changed so as to be easily determined.
  • a method of changing the collation method for example, a method of adjusting a threshold value can be mentioned. That is, when it is easy to determine that the electronic device B exists in the captured image, the collation unit 500 sets the threshold value low, and when it is difficult to determine that the electronic device B exists in the captured image, the verification unit 500 sets the threshold value. Set it high. Therefore, when the recognition process is explicitly started by the user, the collation unit 500 may set the threshold value lower than that when the recognition process is automatically started.
  • a mode in which the recognition device A00 automatically starts the recognition process for example, a mode in which the recognition process is periodically executed when the power of the recognition device A00 is turned on or after the power of the recognition device A00 is turned on. Is mentioned.
  • an acceleration sensor (not shown) is provided in the recognition device A00.
  • the collation part 500 determines with the recognition apparatus A00 moving largely from the sensor value measured by the acceleration sensor, you may stop the imaging by the imaging part 400.
  • the verification unit 500 changes the verification method so that it is difficult to determine that the electronic device B00 is present in the captured image. It may be prevented.
  • the collation unit 500 may change the collation method so that it is difficult to determine that the electronic device B00 is present in the captured image.
  • the matching unit 500 may change the matching method so that it is easier to determine that the electronic device B00 is present in the captured image.
  • the process may be returned to S300 or S100, and the recognition apparatus A00 may continue the recognition process.
  • the recognition device A00 may request the electronic device B00 to return the current state before transmitting the command. Then, when there is no reply from the electronic device B00 or when the reply indicates that the electronic device B00 cannot execute the command, the recognition device A00 may stop the recognition process or send a command to the electronic device B00. You may judge not to transmit. When the reply indicates that the electronic device B00 cannot execute some commands, the recognition device A00 may select an executable command.
  • the recognition apparatus A00 may receive appearance information indicating the appearance from the electronic device B00, and may select an instruction that facilitates recognition of the electronic device B00 in the appearance indicated by the appearance information.
  • the microwave oven lights up the cooking space during operation
  • the appearance differs between when stopped and during operation.
  • a display device such as a television displays an image on a display panel during operation
  • the appearance differs between when stopped and during operation.
  • a command for turning on the illumination in the cooking space or a command for displaying an image on the display panel may be employed as the command. By doing so, it is not necessary to provide the electronic device B00 with an LED or the like for executing a command.
  • the recognition device A00 acquires information indicating that the video is displayed on the display panel not from the electronic device B00 but from another electronic device B or a broadcast wave. Also good. Then, when the image is displayed on the display panel, the recognition device A00 may not transmit a command to the electronic device B00 so as not to hinder the user's viewing.
  • the recognition device A00 may transmit an execution status return request to the electronic device B00 in order to return the execution status of the command from the electronic device B00 after the command transmission shown in S502. Then, when there is a reply from the electronic device B00 indicating that the command cannot be executed, a different command may be selected and the command transmitted to the electronic device B00.
  • the collation unit 500 may compare the appearance feature of the electronic device B00 according to the execution status of the command returned from the electronic device B00 with the image feature information.
  • the collation unit 500 uses the image feature information obtained from the captured image captured at time T1.
  • the electronic device B00 may be recognized by collating with the appearance feature information when the command is executed 50%.
  • an asymmetric shape as the shape of the mark or the lighting pattern.
  • Asymmetric shapes include shapes that are not point-symmetric and line-symmetric.
  • the lighting pattern when displaying an asymmetric lighting pattern on the electronic device B00, it is preferable to display the lighting pattern in as wide a range as possible, such as displaying the lighting pattern in a portion near the edge of the electronic device B00. In this way, recognition accuracy can be increased.
  • the command for displaying the mark or the lighting pattern may be transmitted to the electronic device B00 as a command different from the command for changing the appearance of the electronic device B00.
  • the recognition device A00 may transmit a command for displaying a mark or a lighting pattern to the electronic device B00 after the recognition of the electronic device B00.
  • FIG. 6 is a schematic diagram showing the recognition operation of the recognition apparatus A00 in the first embodiment.
  • a portable terminal is employed as the recognition device A00, and an air conditioner is employed as the electronic device B00.
  • the recognition apparatus A00 selects an instruction for the electronic device B00 from the storage unit 100, and transmits the selected instruction to the electronic device B00.
  • the electronic device B00 executes the received command to change the appearance.
  • the electronic device B00 displays, for example, a circular mark on the left end of the front surface of the housing.
  • the recognition device A00 images the electronic device B00. Thereby, the electronic device B00 acquires a captured image.
  • the recognition device A00 extracts image feature information from the captured image, and compares the extracted image feature information with appearance feature information corresponding to the transmitted command to recognize the electronic device B00.
  • the recognition accuracy and the recognition speed of the electronic device B by image recognition are changed. Can be improved.
  • the recognition device A00 transmits a command for causing the electronic device B to emit light. Therefore, the recognition device A00 can easily recognize the electronic device B even in a dark situation.
  • the recognition device A00 includes an electronic device B whose appearance changes depending on an operation state such as opening / closing a lid or raising / lowering an arm.
  • the recognition device must collate all possible appearance feature information with image feature information extracted from the captured image. I must.
  • the recognition device A00 since the recognition device A00 changes the appearance of the electronic device B to a predetermined appearance, it is possible to perform a collation process assuming a predetermined appearance, and to improve recognition accuracy and processing speed. be able to.
  • FIG. 7 is a block diagram of a recognition device A01 which is the recognition device A in the second embodiment.
  • the same elements as those in the first embodiment will not be described, and only differences will be described.
  • the instruction selection unit 200 sequentially assigns different instructions to each electronic device B from the instructions stored in the storage unit 100. If the instruction selection unit 200 cannot assign different instructions to all the electronic devices B, the instruction selecting unit 200 assigns the electronic devices B that cannot assign different instructions to other electronic devices B. Assign the same instruction as
  • the communication unit 300 transmits an instruction at the same timing for the electronic device B to which a different instruction is assigned, and transmits an instruction at a different timing for the electronic device B to which the same instruction is assigned.
  • FIG. 8 is a flowchart showing processing when the recognition apparatus A01 in Embodiment 2 assigns a command to the electronic device B.
  • instruction sets F201 and F202 shown in FIG. 4 are registered in the storage unit 100 as instructions that can be selected by the electronic devices B00 to B03.
  • the instruction selection unit 200 includes these instruction sets F201, Assume that F202 is assigned to the electronic devices B00 to B03.
  • the instruction selection unit 200 identifies one electronic device B to be recognized, and assigns it to another electronic device B among the instruction sets F201 and F202 that are instructions that can be assigned to the identified electronic device B. It is determined whether there is an unallocated instruction that has not been assigned (S801).
  • the order of specifying the electronic device B by the instruction selection unit 200 is not particularly limited, but in the following description, the ID is specified in ascending order of the IDs, that is, in the order of the electronic devices B00, B01, B02, and B03.
  • the instruction selection unit 200 is an instruction that can be selected for the corresponding electronic device B and is not assigned to another electronic device B. Is selected (S803).
  • the instruction selection unit 200 is an instruction already assigned to another electronic device B and can be selected for the corresponding electronic device B. An instruction is selected (S802).
  • the instruction selection unit 200 ends the process and does not complete the assignment of the instructions to all the electronic devices B. (NO in S804), the process returns to S801.
  • the instruction set F201 is randomly selected from the instruction sets F201 and F202 for the electronic device B00, the instruction set F202 exists as an assignable instruction set for the electronic device B01. Is selected.
  • the instruction selection unit 200 assigns an instruction set to each electronic device B so that the number of electronic devices B to which the same instruction set is assigned decreases.
  • the instruction set F201 is assigned to the electronic devices B00, B02, and B03, and the instruction set F202 is assigned to the electronic device B01.
  • the instruction sets F201 and F202 are simultaneously transmitted to the electronic devices B00 and B01 in the first transmission, and the instruction set F201 is transmitted to the electronic device B02 in the second transmission.
  • the instruction set F201 is transmitted to the electronic device B03 in the third transmission, and the transmission process is executed three times.
  • the instruction selection unit 200 assigns an instruction set to each electronic device B so that the number of electronic devices B to which the same instruction set is assigned is reduced.
  • FIG. 9 is a flowchart showing a command transmission process performed by the recognition apparatus A01 according to the second embodiment.
  • the communication unit 300 transmits different command sets at the same timing among the command sets assigned to each electronic device B by the command selection unit 200 (S901).
  • the processing in S902 to S904 is the same as S503 to S505 in FIG.
  • the communication unit 300 transmits a different command to the electronic device B which has not been transmitted at the same timing (S901). As a result, the same instruction set is transmitted to the corresponding electronic device B with the timing shifted. On the other hand, if there is no electronic device B whose command has not been transmitted (NO in S905), the process is terminated.
  • the communication unit 300 may first transmit the instruction sets F201 and F202 to the electronic devices B00 and B01, and then transmit the instruction sets F201 and F202 to the electronic devices B02 and B03. In this case, the process of S901 is performed twice.
  • the communication unit 300 first transmits the instruction sets F201 and F202 to the electronic devices B00 and B01, then transmits the instruction set F201 to the electronic device B02, and then transmits to the electronic device B03.
  • the instruction set F202 may be transmitted.
  • the process of S901 is performed three times.
  • the transmission order of the same instruction set to a plurality of electronic devices B is not particularly limited, but as an example, the order of younger IDs can be given.
  • the communication unit 300 first transmits the instruction sets F201 and F202 to the electronic devices B00 and B01, then transmits the instruction set F201 to the electronic device B02, and then transmits the instruction set F202 to the electronic device B03. Just send it.
  • the process of S901 is performed three times.
  • the instruction set is configured so that each electronic device B changes its appearance at a different timing instead of shifting the instruction transmission timing. May be adopted in which is assigned to each of the electronic devices B00 to B03.
  • a mode in which a command that is executed in a shorter time may be selected for an electronic device B that is used or recognized more frequently.
  • the recognition apparatus A01 can recognize the electronic device B in a shorter time on average.
  • the electronic device B having a higher usage frequency or recognized frequency may change the verification method so that the verification unit 500 can easily determine that the electronic device B is present in the captured image.
  • the method for adjusting the threshold described in the first embodiment may be employed.
  • information such as the frequency of use of the electronic device B and the frequency of recognition may be stored in the recognition device A01, or may be stored in an external server or the electronic device B.
  • a mode in which the information stored in the external server or the electronic device B can be used by an individual recognition device A01 different from the recognition device A01 that stores the information may be adopted.
  • the recognition device A01 may be another electronic device.
  • a mode may be adopted in which a command is sent to the device B first, and after confirming that none of the electronic devices B has been verified, the command is transmitted to the television. Thereby, it is possible to prevent the instruction execution from interfering with the user's viewing of the television.
  • FIG. 10 is a schematic diagram showing a recognition operation in the recognition apparatus A01 of the second embodiment, and shows a case where different commands are transmitted simultaneously to a plurality of electronic devices B00 and B01.
  • FIG. 11 is a schematic diagram illustrating a recognition operation in the recognition apparatus A01 according to the second embodiment, and illustrates a case where the same command is transmitted to a plurality of electronic devices B00 and B01 at different timings.
  • a portable terminal is adopted as the recognition device A01
  • an air conditioner is adopted as the electronic devices B00 and B01.
  • the recognition apparatus A01 selects the instruction X from the instructions of the electronic device B00 registered in the storage unit 100, and selects the instruction Y from the instructions of the electronic device B01 registered in the storage unit 100. . Then, the recognition device A01 transmits the command X to the electronic device B00 in the same room, and at the same time transmits the command Y to the electronic device B01 in another room. As a result, the electronic device B00 displays a circular mark, and the electronic device B01 displays a triangular mark.
  • the recognition device A01 takes an image.
  • the recognition device A01 images the electronic device B00 that has executed the command X.
  • the recognition device A01 collates the image feature information of the captured image with the appearance feature information corresponding to the command X transmitted to the electronic device B00. In this case, since the electronic device B00 that executed the command X exists in the captured image, the electronic device B00 is recognized by the recognition device A01.
  • the recognition apparatus A01 selects the instruction X from the instructions of the electronic device B00 registered in the storage unit 100, and among the instructions of the electronic device B01 registered in the storage unit 100. Instruction X is selected from That is, the recognition device A01 selects the same instruction X for the electronic devices B00 and B01.
  • the recognition device A01 transmits a command X to the electronic device B00. Thereby, the electronic device B00 executes the instruction X and displays a circular mark on the front surface. Next, the recognition device A01 takes an image. In this case, since the electronic device B00 is in another room, the recognition device A01 images the electronic device B01.
  • the recognition device A01 collates the image feature information of the captured image with the appearance feature information corresponding to the command X. In this case, although the electronic device B01 exists in the captured image, the recognition device A01 cannot recognize the electronic device B00 because the electronic device B01 does not execute the instruction X.
  • the recognition device A01 transmits a command X to the electronic device B01.
  • the electronic device B01 displays a circular mark on the front surface.
  • the recognition device A01 takes an image. In this case, since the electronic device B01 is in the same room, the recognition device A01 images the electronic device B01 that has executed the instruction X.
  • the recognition device A01 collates the image feature information of the captured image with the appearance feature information corresponding to the command X. In this case, since the electronic device B01 that has executed the instruction X exists in the captured image, the recognition apparatus A01 recognizes the electronic device B01.
  • FIG. 12 is a diagram illustrating an example when a plurality of electronic devices B are recognized to exist in the captured image.
  • a television F1301 and a recorder F1302 exist as the electronic device B in the captured image.
  • the mobile phone F1300 is the recognition device A01 and displays the recognition result on the display F1304.
  • a method of allowing the user to select which electronic device B was intended to be recognized by the mobile phone F1300 can be considered.
  • the mobile phone F1300 may determine the electronic device B displayed near the position specified by the user by touch or click on the display F1304 as the electronic device B to be recognized.
  • the mobile phone F1300 determines that the television F1301 is the electronic device B to be recognized, and is within the dotted area surrounding the recorder F1302.
  • the mobile phone F1300 may determine that the recorder F1302 is the electronic device B to be recognized.
  • FIG. 13 is a diagram showing an example of a display screen when the recognition device A01 executes an application that displays the operation menu of the electronic device B recognized by the recognition device A01.
  • the mobile phone F1400 is the recognition device A01, and the recognized electronic device B, the television F1401, is displayed on the display F1404. With this application, the operation menu F1402 of the television F1401 is displayed on the display F1404.
  • the recorder Since the recorder is often installed near the TV, it is often recognized at the same time as the TV. As described above, for an electronic device group that is often recognized at the same time, when one electronic device B is recognized, in addition to the recognized operation menu of the electronic device B, the operation menu of the other electronic device B is displayed. May also be displayed. In the example of FIG. 13, only the television F1401 is recognized, but the recorder is registered in advance as an electronic device B that is often recognized simultaneously with the television. Therefore, in addition to the operation menu F1402 of the television F1401, the operation of the recorder A menu F1403 is also displayed on the display F1404.
  • the operation menu of the electronic device B01 may be displayed when the electronic device B00 is recognized. Good.
  • the electronic device B00 and the electronic device B01 are installed in the vicinity, and the user has taken an image of the electronic device B00 with the intention of causing the recognition device A01 to recognize the electronic device B01. This often occurs when the appearances of the device B00 and the electronic device B01 are similar.
  • FIG. 14 is a block diagram of a recognition device A02 that is the recognition device A in the third embodiment.
  • the same elements as those in the first and second embodiments are not described, and only differences are described.
  • the recognition device A02 further includes an imaging information storage unit 1401 and a sensor unit 1402 with respect to the recognition device A00.
  • the sensor unit 1402 is composed of, for example, a gyro sensor or a GPS sensor, and measures the position and imaging direction of the imaging unit 400.
  • a position of the imaging unit 400 for example, three-dimensional coordinates composed of latitude, longitude, and height measured by a GPS sensor, and two-dimensional coordinates composed of latitude and longitude are employed.
  • the imaging direction of the imaging unit 400 for example, the normal pitch angle and yaw angle with respect to the imaging surface of the imaging unit 400 measured by a gyro sensor can be employed.
  • the imaging information storage unit 1401 is configured by, for example, a rewritable nonvolatile memory, and stores a captured image captured by the imaging unit 400 and a camera parameter indicating an imaging condition when capturing the captured image in association with each other.
  • the camera parameters include the focal length of the lens of the imaging unit 400, the principal point position of the lens of the imaging unit 400, the distortion of the lens of the imaging unit 400, the position of the imaging unit 400, the imaging direction of the imaging unit 400, and the like. .
  • the imaging information storage unit 1401 determines the focal length, principal point position, and skewness set by the imaging unit 400 during imaging. What is necessary is just to acquire as a camera parameter. Further, since the position and imaging direction of the imaging unit 400 are measured by the sensor unit 1402, the imaging information storage unit 1401 captures the position and imaging of the imaging unit 400 measured by the sensor unit 1402 during imaging. The direction may be acquired as a camera parameter.
  • the imaging information storage unit 1401 does not have to store camera parameters that are invariant for reasons such as the structure and operation mode of the recognition device A02. For example, when the imaging unit 400 is a fixed point camera, the position and the imaging direction of the imaging unit 400 are not changed, and thus the imaging information storage unit 1401 may omit these information from the camera parameters.
  • the collation unit 500 selects a plurality of images from the captured images stored in the imaging information storage unit 1401 to form a set.
  • the collation unit 500 may select two captured images that are adjacent in the imaging order as a set, or a captured image when one command is executed and a command when the next command is executed. Two captured images with the captured image may be selected as a set, or two captured images of the captured image when the command is executed and the captured image when the command is completed are selected as a set. May be.
  • the collation unit 500 maps the same set of captured images as if they were captured with the same camera parameters to obtain a mapped image.
  • the collation unit 500 may substitute the camera parameters into a predetermined mapping matrix and calculate a mapped image of the captured image using the mapping matrix.
  • the collation unit 500 obtains a difference image by taking the difference between the same set of mapped images.
  • a portion that does not change according to the command is removed, a differential image in which only a portion that has changed according to the command is extracted is obtained, and an image in which only the appearance change of the electronic device B appears is obtained.
  • the matching unit 500 recognizes the electronic device B by matching the image feature information extracted from the difference image with the appearance feature information corresponding to the transmitted command.
  • FIG. 15 is a flowchart showing the recognition process of the recognition apparatus A02 according to the third embodiment.
  • a case where a command is transmitted to the electronic device B00 will be described as an example.
  • step S1501 to S1503 are the same as S501 to S503 in FIG.
  • the imaging information storage unit 1401 acquires the focal length of the lens at the time of imaging, the principal point position of the lens, and the distortion degree of the lens from the imaging unit 400 as camera parameters, and the position of the imaging unit 400 at the time of imaging.
  • the imaging direction are acquired from the sensor unit 1701 as camera parameters, and the captured image captured by the imaging unit 400 and the camera parameters are stored in association with each other (S1504).
  • the imaging unit 400 determines whether or not to continue imaging (S1505), and when imaging is continued (NO in S1505), the process returns to S1503. On the other hand, when the imaging is finished (YES in S1505), the process proceeds to S1506.
  • the collation unit 500 selects, for example, two captured images that form a set from the captured images stored in the imaging information storage unit 1401, and maps the selected images as if they were captured with the same camera parameters.
  • the collation unit 500 calculates a difference image between two mapped images of the same set (S1507).
  • the difference image a portion that has changed between the time when one of the captured images is captured and the time when the other captured image is captured appears.
  • the collation unit 500 extracts image feature information from the difference image (S1508).
  • the matching unit 500 may extract data corresponding to appearance feature information stored in the storage unit 100 as image feature information.
  • the matching unit 500 extracts appearance feature information corresponding to the transmitted command from the storage unit 100 (S1509).
  • the collation unit 500 collates the appearance feature information with the image feature information (S1510) and recognizes the electronic device B00.
  • the determination of the end of imaging shown in S1505 may be performed after the processing in S1506 or S1507. Further, when returning the processing from S1505 to S1503, a certain waiting time may be provided. As this waiting time, an appropriate time may be adopted according to the transmitted command.
  • the instruction selection unit 200 selects an instruction for changing the brightness of the LED every 1000 ms.
  • the recognition device A02 can capture an image of the electronic device B00 without overlooking the luminance change of the LED by setting the standby time to 1000 ms or less.
  • the collation unit 500 may include a captured image included in one set in another set when selecting a captured image as a set.
  • the collation unit 500 sets a camera parameter associated with an arbitrary one of the captured images included in the set as a reference camera parameter, and sets other captured images included in the set as You may map as it imaged with the reference
  • the imaging unit 400 discards the captured image stored in the imaging information storage unit 1401 and captures an image again when the position of the imaging unit 400 and the magnitude of the change in the imaging direction exceed a certain range. It may be.
  • FIG. 16 is a schematic diagram showing the recognition operation of the recognition device A02 in the third embodiment.
  • a portable terminal is adopted as the recognition device A02
  • an air conditioner is adopted as the electronic device B00.
  • the recognition device A02 transmits a command to the electronic device B00 stored in the storage unit 100 as a recognition candidate. As a result, the electronic device B00 executes the command and displays a circular mark on the front surface. Next, the recognition apparatus A02 images the electronic device B00 that is executing the command, and obtains a captured image F1601. Then, the recognition device A02 stores the camera parameters at the time of imaging in association with the captured image F1601.
  • the recognizing device A02 images the electronic device B00 that has finished executing the command, and obtains a captured image F1602. Then, the recognition device A02 stores the camera parameters at the time of imaging in association with the captured image F1602.
  • the recognition device A02 selects the captured images F1601 and F1602 as a set.
  • the recognition apparatus A02 calculates a mapped image F1603 of the captured image F1601 so that the captured image F1601 is captured with the camera parameters of the captured image F1602.
  • the captured image F1602 is not mapped, but for convenience of explanation, the captured image F1602 will be described as the mapped image F1604.
  • the recognition apparatus A02 calculates a difference image F1605 between the mapped image F1603 and the mapped image F1604.
  • a change that occurs within the imaging range from when the captured image F1601 is captured to when the captured image F1602 is captured appears in the difference image F1605.
  • a circular mark appears in the mapped image F1603, but this mark does not appear in the mapped image F1604, and the other contents are the same. Therefore, only a circular mark appears in the difference image F1605.
  • the recognition apparatus A02 obtains a mapping image so that camera parameters are the same for a plurality of captured images, obtains a difference image from these mapping images, extracts image feature information from the difference image, It is collated with appearance feature information. Therefore, the recognition device A02 can recognize the electronic device B at a high speed and with high accuracy because the processing cost of the recognition process is lower than when the recognition process is performed without performing mapping and difference.
  • the imaging unit 400 obtains a difference image from a plurality of captured images after transmitting the command.
  • the imaging unit 400 is not limited to this, and the imaging unit 400 may be the electronic device B before transmitting the command.
  • a pre-captured image that is a captured image and a post-captured image that is a captured image after transmitting a command may be captured.
  • the matching unit 500 obtains each mapped image so that the pre-captured image and the post-captured image are captured with the same camera parameter, and obtains a difference image from the obtained mapped image. Good.
  • a process for causing the imaging unit 400 to image the electronic device B00 may be added between S1501 and S1502.
  • FIG. 17 is a block diagram of a recognition device A03 that is the recognition device A in the fourth embodiment.
  • the same elements as in the first to third embodiments are not described, and only the differences are described.
  • the recognition device A03 further includes a sensor unit 1701 with respect to the recognition device A00.
  • the sensor unit 1701 is configured by a GPS sensor, for example, and measures the position of the imaging unit 400.
  • the electronic device B when the collation unit 500 recognizes the electronic device B, the electronic device B is determined based on the position of the imaging unit 400 measured by the sensor unit 1701 and the state of the electronic device B appearing in the captured image. And the calculated position and the ID of the electronic device B are stored in the storage unit 100 in association with each other.
  • the collation unit 500 may calculate the position of the electronic device B as follows. First, the matching unit 500 specifies the position and size of the electronic device B in the captured image. Next, the matching unit 500 calculates the distance from the imaging unit 400 to the electronic device B from the specified size and the actual size of the electronic device B. Next, the collation unit 500 calculates the position of the electronic device B in the local coordinate system based on the imaging unit 400 from the position of the electronic device B in the captured image and the calculated distance. Next, the collation unit 500 converts the position of the electronic device B in the local coordinate system into the position of the global coordinate system using the position of the imaging unit 400 measured by the sensor unit 1701. Then, the matching unit 500 stores the obtained position of the global coordinate system in the storage unit 100 as the position of the electronic device B.
  • the command selection unit 200 calculates the distance between the imaging unit 400 and the electronic device B from the position of the imaging unit 400 measured by the sensor unit 1701 and the position of the electronic device B stored in the storage unit 100. Then, the instruction selection unit 200 determines that the electronic device B whose calculated distance is larger than the predetermined threshold is an electronic device B that is unlikely to be imaged, and excludes it from the recognition candidates. Then, the instruction selection unit 200 assigns an instruction to the electronic device B that is not excluded from the recognition candidates. In this case, the instruction selection unit 200 may assign an instruction using the method of the second embodiment. As the threshold, in consideration of the imaging performance of the imaging unit 400, a distance at which the electronic device B does not appear in the captured image may be employed.
  • FIG. 18 is a flowchart showing the recognition processing of the recognition apparatus A03 in the fourth embodiment.
  • the sensor unit 1701 measures the position of the imaging unit 400 (S1801).
  • the command selection unit 200 obtains the distance between the position of the imaging unit 400 measured by the sensor unit 1701 and the electronic device B whose ID is stored in the storage unit 100, and the distance is larger than the threshold value. B is excluded from the recognition candidates (S1802).
  • the instruction selection unit 200 identifies the electronic devices B whose IDs are stored in the storage unit 100 one by one in order. If the position of the specified electronic device B is not stored in the storage unit 100, the command selection unit 200 may include the electronic device B as a recognition candidate. On the other hand, when the position of the specified electronic device B is stored in the storage unit 100, the instruction selection unit 200 determines that the electronic device B if the electronic device B is located at a distance below the threshold from the imaging unit 400. If the electronic device B is located at a position away from the imaging unit 400 from the threshold, the electronic device B may be excluded from the recognition candidates.
  • the instruction selection unit 200 selects an instruction for the electronic device B that is not excluded from the recognition candidates among the electronic devices B whose IDs are stored in the storage unit 100 (S1803).
  • the communication unit 300 transmits a command to the electronic device B that is a recognition candidate (S1804).
  • the communication unit 300 may transmit a command using the method described in the second embodiment.
  • S1805 to S1807 are the same as S503 to 505 in FIG.
  • the collation unit 500 confirms whether or not it is recognized that the electronic device B exists in the captured image (S1808). If it is recognized that the electronic device B exists in the captured image (YES in S1808), the collation unit 500 calculates the position of the electronic device B and stores it in the storage unit 100 (S1809). On the other hand, when the collation unit 500 does not recognize that the electronic device B is present in the captured image (NO in S1808), the process is terminated.
  • the sensor unit 1402 may be configured with a gyro sensor and a GPS sensor, and the sensor unit 1402 may measure the imaging direction in addition to the position.
  • the command selection unit 200 may exclude electronic devices B that are not located within a certain angle of view from the imaging direction measured by the sensor unit 1402 from recognition candidates.
  • the storage unit 100 may store information indicating whether or not the electronic device B has the property of being moved in association with the ID of the electronic device B.
  • the instruction selection unit 200 may not exclude the electronic device B having the property to be moved from the recognition candidates.
  • the collation unit 500 may not calculate the position of the electronic device B having the property of being moved.
  • the matching unit 500 may set the electronic device B with a prior probability indicating the high possibility that the electronic device B is imaged by the imaging unit 400 based on the distance between the imaging unit 400 and the electronic device B. Good. In this case, the matching unit 500 may set a higher value of the prior probability as the electronic device B is closer to the imaging unit 400. If the value obtained by multiplying the similarity between the captured image information and the appearance feature information by the prior probability is equal to or greater than the threshold, the matching unit 500 may determine that the electronic device B is present in the captured image.
  • the storage unit 100 may store in advance a movement probability indicating the probability that the electronic device B is moved in association with the ID of the electronic device B.
  • the matching unit 500 may determine that the electronic device B is present in the captured image if the value obtained by multiplying the similarity by the movement probability is equal to or greater than the threshold value.
  • the collation unit 500 may store the position of the imaging unit 400 measured by the sensor unit 1701 in the storage unit 100 as the position of the electronic device B. In this case, the accuracy of the position of the electronic device B is reduced, but the position calculation burden is reduced.
  • the position of the electronic device B may be stored in an external server, the electronic device B, or the like.
  • the information stored in an external server or electronic device may be made available to an individual recognition device A03 different from the recognition device A03 that stores the information.
  • the electronic device B having a low possibility of being imaged is excluded from the recognition candidates.
  • the number of electronic devices B that are recognition candidates decreases, and different instructions can be easily assigned to the respective electronic devices B.
  • the number of electronic devices B that are recognition candidates decreases, even if a short command is adopted, a different command can be assigned to each electronic device B.
  • the recognition apparatus A03 excludes the electronic device B that is unlikely to be imaged from the recognition candidates, it is possible to eliminate the need to send an instruction to the electronic device B to operate the electronic device B. Further, if the position of the electronic device B stored in the storage unit 100 is accurate, the recognition accuracy can be further improved.
  • FIG. 19 is a block diagram of a recognition device A04 that is the recognition device A in the fifth embodiment.
  • the correctness determination unit 1902 newly added in FIG. 19 is realized by the CPU executing a program included in the recognition program.
  • the recognition device A04 further includes a result storage unit 1901 and a correctness determination unit 1902 with respect to the recognition device A00.
  • the correctness determination unit 1902 determines whether or not the electronic device B is correctly recognized by the verification unit 500, and calculates a correct or incorrect result.
  • the correctness determination unit 1902 displays, for example, the electronic device B recognized by the verification unit 500 on the display and notifies the user, and allows the user to input whether the recognition is correct, thereby allowing the correctness of the recognition. Can be determined. A specific example will be described later.
  • the result storage unit 1901 is composed of, for example, a rewritable nonvolatile memory, and stores the ID of the recognition candidate electronic device B, the command transmitted to the electronic device B, and the correct / wrong result for the command.
  • the correct / incorrect result for example, the number of times of being correctly recognized (the number of correct recognition times) and the number of times of being erroneously recognized (number of erroneous recognition times) may be employed.
  • the instruction selection unit 200 calculates the evaluation value of the corresponding instruction based on the correct / incorrect result for the instruction transmitted to the electronic device B, and the calculated evaluation value is stored in the storage unit 100. Write to the storage unit 100 in association with the corresponding instruction.
  • the instruction selection unit 200 may calculate, for example, the number of correct recognitions / (the number of correct recognitions + the number of erroneous recognitions) as an evaluation value.
  • the instruction selection unit 200 selects an instruction for the electronic device B, an instruction with a higher evaluation value is given priority among the instructions registered in the storage unit 100 for the corresponding electronic device B. Select an instruction.
  • the instruction selection unit 200 may select one or a plurality of instructions by setting an evaluation value as a lottery probability for each instruction of the corresponding electronic device B and performing a lottery process.
  • FIG. 20 is a flowchart showing the recognition processing of the recognition apparatus A04 in the fifth embodiment.
  • the instruction selection unit 200 reads an evaluation value of an instruction registered for the electronic device B00 from the result storage unit 1901, and the electronic device B00 is selected so that an instruction with a high evaluation value is preferentially selected.
  • One or more commands are selected from the registered commands (S2001).
  • the correctness determination unit 1902 calculates a correct / incorrect result indicating whether the recognition is correctly performed.
  • the calculated correct / incorrect result is stored in the result storage unit 1901 in association with the transmitted command (S2007).
  • the collation unit 500 calculates the evaluation value of the corresponding command from the correct / incorrect result, and stores it in the storage unit 100 in association with the corresponding command of the electronic device B00 (S2008). On the other hand, when the collation unit 500 cannot recognize that the electronic device B00 is present in the captured image (NO in S2006), it ends the process.
  • the information stored in the result storage unit 1901 may be stored in an external server or the electronic device B.
  • the information stored in the external server or electronic device B may be used by an individual recognition device A04 different from the recognition device A04 that stores the information.
  • the result storage unit 1901 may store appearance feature information obtained from a captured image when the electronic device B executes a command. Then, the collation unit 500 may collate the electronic device B using the appearance feature information stored in the result storage unit 1901 instead of the appearance feature information stored in the storage unit 100.
  • the appearance of the electronic device B may differ from the appearance feature information stored in the storage unit 100 due to individual differences, secular changes, remodeling, and the like. Therefore, recognition accuracy can be improved by using the appearance feature information stored in the result storage unit 1901.
  • FIG. 21 is a flowchart showing another example of the recognition process of the recognition apparatus A04 in the fifth embodiment.
  • the evaluation value is calculated at the time of recognition, but in FIG. 21, it is calculated at the time of transmitting the command.
  • the instruction selection unit 200 reads out the correct / incorrect result of each instruction registered for the electronic device B00 from the result storage unit 1901, calculates the evaluation value of each instruction from the correct / incorrect result (S2101), and stores it in the storage unit 100. Write.
  • the instruction selection unit 200 selects one or a plurality of instructions so that an instruction with a high evaluation value is preferentially selected from all the instructions of the electronic device B00 registered in the storage unit 100 ( S2102). Since the processing of S2103 to S2108 is the same as S2002 to S2007, the description thereof is omitted.
  • 22 and 23 are diagrams showing examples of display screens when the recognition device A04 executes an application for displaying the operation menu of the electronic device B recognized by the recognition device A04. 22 and 23, an air conditioner F4101 is adopted as the electronic device B.
  • FIG. 22 shows a case where the recognition result is correct
  • FIG. 23 shows a case where the recognition result is incorrect.
  • the recognition apparatus A04 recognizes the air conditioner F4101 present in the captured image
  • the captured image including the air conditioner F4101 is displayed in the image display field F4105 for displaying the captured image, and the lower side of the image display field F4105.
  • "Recognition result: air conditioner” is displayed in the correct / wrong result display field F4102. This notifies the user that the air conditioner has been recognized.
  • the recognition device A04 recognizes the television
  • the television operation menu F4203 is displayed.
  • An operation menu F4204 for operating another electronic device B is displayed below the operation menu F4203.
  • the correctness determination unit 1902 determines that the recognition result is correct when the operation menu 4103 is operated by the user.
  • the correctness determination unit 1902 determines that the recognition result is incorrect when the operation menu F4204 is operated, when a cancel operation is performed, or when the operation menu F4203 of the television is not operated.
  • the recognition device A04 may determine that the television operation menu F4203 has not been operated if the television operation menu F4203 has not been operated for a certain period of time after the operation menu F4203 is displayed.
  • the correctness determination unit 1902 may adopt the following method as a method of determining the correctness of the recognition result by the verification unit 500.
  • the correctness determination unit 1902 determines that the recognition result is correct when the user does not cancel the operation automatically performed by the recognition apparatus A04 based on the recognition result by the collation unit 500. On the other hand, the correctness determination unit 1902 determines that the recognition result is an error when the user cancels the operation automatically performed by the recognition apparatus A04 based on the recognition result by the matching unit 500.
  • the operation automatically performed by the recognition apparatus A04 corresponds to, for example, an operation of turning on the power of the recognized electronic device B.
  • the correctness determination unit 1902 may explicitly input the correctness / incorrectness of the recognition result to the user, and the user's input result may be the correctness / incorrectness determination result.
  • the correctness / incorrectness determination unit 1902 displays a button indicating whether the recognition is correct or not on the display, and when the user selects the button indicating that the recognition is correct, the recognition result is determined to be correct and the recognition is incorrect. If the user indicates that the button is selected, the recognition result may be determined as an error.
  • FIG. 24 is a block diagram of remote control device D00 in the sixth embodiment.
  • the remote control device D00 is configured by a mobile terminal such as a smartphone, a tablet terminal, a PDA, or a button-type mobile phone.
  • the remote control device D00 includes a recognition unit 2401 and a remote control unit 2402.
  • the recognition unit 2401 is configured by any of the recognition devices A00 to A05 shown in the first to fifth embodiments.
  • the remote control unit 2402 manages the function of the remote control of the electronic device B. Specifically, when electronic device B is recognized by collation unit 500 of recognition unit 2401, remote control unit 2402 activates an application for realizing the function of the remote control of recognized electronic device B.
  • the remote controller 2402 receives an operation command for operating the electronic device B from the user, and transmits the operation command to the electronic device B from the communication unit 300 included in the recognition unit 2401.
  • the remote control unit 2402 is realized by the CPU executing a program for causing the computer to function as the remote control unit.
  • the remote control unit 2402 stores an application for realizing a remote control function of the electronic device B that is a recognition candidate in advance in a not-shown memory, and when the recognition unit 2401 recognizes the electronic device B, The application of the electronic device B may be read from the memory and executed by the CPU or the like.
  • the remote control device D00 when the electronic device B is recognized by the recognition unit 2401, an application for realizing the remote control function of the electronic device B is executed. It can function as a general-purpose remote control.
  • FIG. 25 is a block diagram of a recognition device A05 that is the recognition device A in the seventh embodiment.
  • the recognition device A05 is characterized by recognizing the electronic device B by voice. Therefore, the recognition apparatus A05 includes a sound collection unit 2501 instead of the imaging unit 400.
  • the same elements as in the first to sixth embodiments are not described, and only the differences are described.
  • FIG. 26 is a diagram illustrating an example of a data configuration of the table T301 stored in the storage unit 100 according to the seventh embodiment.
  • the table T301 includes fields for storing IDs, commands (an example of audio output commands), and audio feature information.
  • the ID is the same as the table T300.
  • the command is a command for causing the electronic device B to output sound. For example, a command of “100 KHz” is a command for outputting a sound of 100 KHz from the electronic device B.
  • the “Song 1” command is a command for outputting predetermined music from the electronic device B.
  • the “OFF” command is a command for stopping the output of sound from the electronic device B.
  • the sound collection unit 2501 is configured by, for example, a microphone, and collects sound output from the electronic device B that has executed the command transmitted from the communication unit 300.
  • the collation unit 500 extracts sound collection feature information indicating the characteristics of the sound collected by the sound collection unit 2501, and extracts the extracted sound collection feature information and the sound feature information corresponding to the command transmitted by the communication unit 300. Collate and recognize electronic device B.
  • the sound collection feature information and the sound feature information for example, information indicating a sound frequency or information indicating a music title is employed.
  • the matching unit 500 determines that the electronic device B has been made when the frequency or song name indicated by the sound collection feature information matches the frequency or song name indicated by the voice feature information corresponding to the transmitted command.
  • FIG. 27 is a flowchart showing the recognition processing of the recognition apparatus A05 in the seventh embodiment.
  • the processing of S2601 and S2602 is the same as S501 and S502 of FIG.
  • the sound collection unit 2501 collects the sound output from the electronic device B.
  • the collation unit 500 extracts sound collection feature information from the collected sound (S2604).
  • the collation unit 500 collates the sound collection feature information with the voice feature information corresponding to the transmitted command, and recognizes the electronic device B (S2605).
  • the recognition device A05 since the instruction for outputting the sound to the electronic device B is transmitted and the sound is output to the electronic device B, the electronic device B can be recognized at high speed and with high accuracy. .
  • the instruction selection method shown in the second embodiment may be applied to the recognition device A05, or the instruction selection method for excluding the electronic device B located far from the recognition device A shown in the fourth embodiment.
  • the instruction selection method for preferentially selecting an instruction with a high evaluation value shown in the fifth embodiment may be applied.
  • a method of collating voice features obtained by comparing voices collected at different times before and after a command or after the command may be applied.
  • the recognition device A05 may be applied to the remote control device D00 shown in the sixth embodiment.
  • the instruction selection unit 200 may select an instruction set that combines a plurality of instructions stored in the table T301.
  • FIG. 28 is a block diagram of a recognition apparatus A06 that is the recognition apparatus A in the eighth embodiment.
  • the recognition device A06 is characterized by recognizing the electronic device B by radio waves. Therefore, the recognition device A06 includes a power receiving unit 2801 instead of the imaging unit 400.
  • the same components as in the first to seventh embodiments are not described, and only the differences are described.
  • FIG. 29 is a diagram illustrating an example of a data configuration of the table T302 stored in the storage unit 100 according to the eighth embodiment.
  • the table T302 includes fields for storing IDs, commands (an example of radio wave output commands), and radio wave characteristic information.
  • the ID is the same as the table T300.
  • the command is a command for causing the electronic device B to output radio waves.
  • an instruction “100 MHz” is an instruction for outputting a radio wave of 100 MHz from the electronic device B.
  • “Modulated signal 1” is, for example, a command to output from the electronic device B a modulated signal obtained by modulating a predetermined signal using a carrier wave having a predetermined frequency.
  • the “OFF” command is a command to stop the output of radio waves from the electronic device B.
  • the power receiving unit 2801 includes, for example, an antenna that receives radio waves, and receives the radio waves output from the electronic device B.
  • the collation unit 500 is configured by, for example, a communication circuit or a microcontroller that demodulates the radio wave received by the power reception unit 2801. Then, collation unit 500 extracts power reception feature information indicating the characteristics of the radio wave received by power reception unit 2801, collates the extracted feature information with the radio wave feature information associated with the transmitted command, and Recognize device B.
  • the power reception characteristic information and the radio wave characteristic information for example, information indicating the frequency of the radio wave and information indicating a signal included in the modulation signal are employed.
  • the matching unit 500 determines that the electronic device B that transmitted the command has been made.
  • FIG. 30 is a flowchart showing the recognition processing of the recognition apparatus A06 in the eighth embodiment.
  • the processing of S3001 and S3002 is the same as S501 and S502 of FIG.
  • step S3003 the power receiving unit 2801 receives the radio wave output from the electronic device B.
  • the collation unit 500 extracts received power characteristic information from the received radio wave (S3004).
  • the collation unit 500 collates the power reception characteristic information with the radio wave characteristic information corresponding to the transmitted command, and recognizes the electronic device B (S3005).
  • the recognition device A06 since the instruction to output the radio wave to the electronic device B is transmitted and the sound is output to the electronic device B, the electronic device B can be recognized at high speed and with high accuracy. .
  • the instruction selection method shown in the second embodiment may be applied to the recognition device A06, or the instruction selection method for excluding the electronic device B located far from the recognition device A shown in the fourth embodiment.
  • the instruction selection method for preferentially selecting an instruction with a high evaluation value shown in the fifth embodiment may be applied.
  • a method of comparing radio wave characteristics by comparing radio waves received at different times before and after the command or after the command may be applied.
  • the recognition device A06 may be applied to the remote control device D00 shown in the sixth embodiment.
  • the instruction selection unit 200 may select an instruction set obtained by combining a plurality of instructions stored in the table T302.
  • a portable camera may be used as the imaging unit 400 to recognize the electronic device B, or a fixed camera such as a surveillance camera may be used as the imaging unit 400. And you may recognize electronic equipment B, such as a self-propelled robot.
  • FIG. 31 is a configuration diagram of the server 3100 according to the ninth embodiment.
  • Server 3100 transmits a recognition program that causes computer 3200 to function as recognition apparatus A shown in the first to eighth embodiments.
  • the server 3100 is connected to a computer 3200 via a network and includes a control unit 3101, a transmission unit 3102, and a program storage unit 3103.
  • the control unit 3101 includes, for example, a CPU, a ROM, a RAM, and the like.
  • the transmission unit 3102 includes a communication module corresponding to a network communication standard.
  • the program storage unit 3103 is constituted by a storage device such as a hard disk drive, for example, and stores a recognition program.
  • the Internet is adopted, and various data are transmitted and received in accordance with the TCP / IP communication standard.
  • the control unit 3101 reads the recognition program from the program storage unit 3103 and passes it to the transmission unit 3102. Then, the transmission unit 3102 transmits the recognition program transferred from the control unit 3101 to the computer 3200 that made the download request.
  • the server 3100 may cause the computer 3200 to access a WEB page for providing a download service to the user, and transmit the recognition program to the computer 3200.
  • the computer 3200 When the computer 3200 receives the recognition program, the computer 3200 stores the recognition program in a storage device (not shown), and installs the recognition program according to an installation instruction from the user. As a result, the computer 3200 functions as the recognition device A.
  • the server 3100 since the server 3100 is provided, the user who owns the computer 3200 can easily obtain the recognition program.
  • the change in appearance of the electronic device is sufficient as long as it can be recognized by the recognition device, and the recognition device may cause the electronic device to change the appearance that cannot be recognized by a person.
  • changes in appearance that cannot be recognized by humans include a mode in which a light emitting element that emits ultraviolet light or infrared light is mounted on an electronic device, and the light emitting element is turned on or blinked.
  • a recognition apparatus includes an identifier of an electronic device that is a recognition candidate, a change command that changes the appearance of the electronic device, and an appearance characteristic of the electronic device when the change command is executed.
  • a storage unit that associates and stores appearance feature information to be displayed, an instruction selection unit that selects a change command from the storage unit, a communication unit that transmits the change command selected by the command selection unit to the electronic device, and
  • An image capturing unit that captures an image of the electronic device, image feature information indicating characteristics of a captured image captured by the image capturing unit, and appearance feature information corresponding to a change command transmitted by the communication unit are collated, and the electronic device is And a recognizing unit for recognizing.
  • the storage unit stores in advance an identifier of an electronic device that is a recognition candidate, a change command, and appearance feature information indicating an appearance feature of the electronic device that has executed the change command. Then, a change command is selected from the storage unit, transmitted to the corresponding electronic device, and the electronic device that has executed the change command is imaged. Then, image feature information is extracted from the captured image, the extracted image feature information and the appearance feature information corresponding to the transmitted command are collated, and the electronic device is recognized.
  • the storage unit stores the identifier, the change command, and the appearance feature information in association with each other for each of the plurality of electronic devices that are recognition candidates. It is preferable that a different change command is selected, and the communication unit transmits the change command selected by the command selection unit to each electronic device.
  • each electronic device can be recognized at high speed and with high accuracy even when there are a plurality of electronic devices as recognition candidates.
  • the communication unit transmits the change command of each electronic device selected by the command selection unit at a different timing.
  • the command selection unit cannot assign different change commands to all the electronic devices that are recognition candidates, the electronic device that cannot assign the different change commands to other electronic devices.
  • the same change command is assigned to the change command assigned to the electronic device, and the communication unit transmits the change command at the same timing for the electronic device to which the different change command is assigned, and the same change command is assigned. It is preferable that the change command is transmitted at different timings for the electronic device.
  • the imaging unit continuously captures the electronic device, and the collation unit calculates a difference between captured images continuously captured by the imaging unit, and extracts the image feature information.
  • the imaging unit includes a pre-captured image that is a captured image of the electronic device before transmitting the change command, and a post-captured image that is a captured image of the electronic device after transmitting the change command. It is preferable that the image capturing is performed and the collation unit calculates the difference between the pre-captured image and the post-captured image to extract the image feature information.
  • the recognition device may include a camera parameter including a sensor unit that measures a position and orientation of the imaging unit, a position and orientation measured by the sensor unit, and setting information of the imaging unit, as the captured image.
  • An image capturing information storage unit that stores the image information in association with each other, and the collation unit obtained by mapping a plurality of captured images stored in the image capturing information storage unit as if they were captured with the same camera parameters. It is preferable to extract the image feature information by calculating a difference between mapped images.
  • the size and orientation of the electronic device are the same.
  • Each picked-up image is mapped, and the change in appearance of the electronic device can be accurately extracted. Therefore, the recognition accuracy of the electronic device can be increased.
  • the recognition device further includes a sensor unit that measures the position of the imaging unit, and the storage unit stores an identifier of an electronic device that is a recognition candidate and a position of the electronic device in association with each other, and the command
  • the selection unit recognizes an electronic device that is unlikely to be imaged by the imaging unit based on the position of the imaging unit measured by the sensor unit and the position of the electronic device stored in the storage unit. Is preferably excluded.
  • an electronic device that is located away from the imaging unit and is unlikely to be imaged by the imaging unit is excluded from the recognition candidates, so that the electronic device can be recognized at high speed and with high accuracy.
  • the recognition device determines whether or not the electronic device is correctly recognized by the verification unit, calculates a correct / incorrect result, an identifier of the recognition candidate electronic device, and the electronic device. And a result storage unit that associates and stores the transmitted change command and the correct / incorrect result with respect to the change command, wherein the command selection unit evaluates the change command transmitted to the electronic device based on the correct / incorrect result. It is preferable to calculate a value and preferentially select a change instruction having a high evaluation value.
  • a remote control device is a remote control device that transmits an operation command selected by a user to an electronic device, and changes an identifier of the electronic device and an appearance of the electronic device.
  • a storage unit that associates and stores a change instruction to be performed, and appearance feature information indicating appearance features of the electronic device when the change instruction is executed, an instruction selection unit that selects a change instruction from the storage unit, and the instruction
  • a communication unit that transmits a change command selected by the selection unit to the electronic device; an imaging unit that images the electronic device; image feature information indicating characteristics of a captured image captured by the imaging unit; and the communication unit Is compared with appearance feature information corresponding to the change command transmitted, and includes a verification unit that recognizes the electronic device. When the electronic device is recognized by the verification unit, the operation unit Transmitting a decree to the electronic device.
  • the operation command selected by the user is transmitted to the electronic device, so that the user can remotely operate the electronic device.
  • the recognition apparatus includes an identifier of an electronic device that is a recognition candidate, a voice output command for outputting a voice from the electronic device, and the electronic device when the voice output command is executed.
  • a storage unit that associates and stores voice feature information indicating a feature of the voice output from, a command selection unit that selects a voice output command from the storage unit, and a voice output command selected by the command selection unit
  • a communication unit that transmits to an electronic device, a sound collection unit that collects sound output from the electronic device, sound collection feature information indicating characteristics of the sound collected by the sound collection unit, and the communication unit
  • a collation unit that collates voice feature information corresponding to the transmitted voice output command and recognizes the electronic device.
  • the storage unit stores in advance an identifier of an electronic device that is a recognition candidate, a voice output command, and voice feature information output from the electronic device that has executed the voice output command. Then, a voice output command is selected from the storage unit, transmitted to the corresponding electronic device, and voice output from the electronic device that executed the voice output command is collected. Then, sound collection feature information is extracted from the collected sound, the extracted sound collection feature information is compared with the sound feature information corresponding to the transmitted command, and the electronic device is recognized.
  • a voice output command is transmitted to the electronic device, and the voice is output from the electronic device so that the recognition is easy. Therefore, the electronic device can be recognized at high speed and with high accuracy.
  • the recognition apparatus includes an identifier of an electronic device that is a recognition candidate, a radio wave output command for outputting a radio wave from the electronic device, and the electronic device when the radio wave output command is executed.
  • a storage unit that correlates and stores radio wave feature information indicating a radio wave feature output from the command selection unit that selects a radio wave output command from the storage unit, and the radio wave output command selected by the command selection unit.
  • a communication unit that transmits to the electronic device; a power reception unit that receives a radio wave output from the electronic device; power reception feature information indicating characteristics of the radio wave received by the power reception unit; and a radio wave output command transmitted by the communication unit And a collating unit for recognizing the electronic device.
  • the storage unit stores in advance an identifier of an electronic device that is a recognition candidate, a radio wave output command, and radio wave feature information output from the electronic device that has executed the radio wave output command. Then, a radio wave output command is selected from the storage unit, transmitted to the corresponding electronic device, and a radio wave output from the electronic device that has executed the radio wave output command is received. Then, power reception feature information is extracted from the received radio wave, and the extracted power reception feature information and the radio wave feature information corresponding to the transmitted command are collated to recognize the electronic device.
  • a radio wave output command is transmitted to the electronic device, and the radio wave is output from the electronic device so as to facilitate recognition. Therefore, the electronic device can be recognized at high speed and with high accuracy.
  • the present invention is useful as a method for recognizing an electronic device that can communicate with a recognition device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)

Abstract

記憶部（１００）は、認識候補となる電子機器（Ｂ）のＩＤと、電子機器（Ｂ）を制御して電子機器（Ｂ）の外見を変化させる命令と、電子機器（Ｂ）が命令を実行した際の電子機器（Ｂ）の外見特徴を示す外見特徴情報とを関連付けて記憶する。命令選択部（２００）は、記憶部（１００）に記憶された命令の中から、電子機器（Ｂ）に実行させる命令を選択する。通信部（３００）は、命令選択部（２００）により選択された命令を、電子機器（Ｂ）に送信する。撮像部（４００）は、電子機器（Ｂ）を撮影する。照合部（５００）は、撮像部（４００）により撮像された撮像画像の特徴を示す画像特徴情報と、通信部（３００）が送信した命令に対応する外見特徴情報とを照合し、電子機器（Ｂ）を認識する。

Description

認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ
　本発明は、電子機器を認識する技術に関するものである。
　画像から物体を認識する処理は一般的に重いため、処理能力の低い演算装置では、即時に物体を認識することができない。また、一般的な環境で画像から物体を認識することは容易ではないため、認識率は低い。
　そこで、非特許文献１には、物体認識を容易にするために、認識対象となる物体に予めコンピュータが認識容易なマーカを付しておき、その物体の撮像画像からマーカを目印にして物体を認識することが開示されている。
　また、特許文献１には、無線通信を行いたい情報機器の表示部にＩＰアドレスやバーコード・パスワードといった機器の固有情報を表示させ、この固有情報を撮像し、撮像した画像から画像処理により固有情報を認識し、認識した固有情報を用いて情報機器と無線通信するデジタルスチルカメラが開示されている。
　しかしながら、非特許文献１の手法では、コンピュータにとって認識容易なマーカが認識対象となる物体に予め付されているため、物体の美観を損なうという課題がある。また、認識対象となる物体の周囲に類似したマーカが付された物体が多数存在する場合や、物体の背景にマーカと類似する模様が含まれている場合、物体の認識精度が低下するという課題がある。
　また、特許文献１の手法では、他の情報機器と通信するための情報が認識されているにすぎず、情報機器自体を認識するものではない。
特開２００３－１４３４５７号公報
HKato,M Billinghurst, "Marker Tracking and HMD Calibration for a video-based Augmented RealityConferencing System," In Proceedings of the 2nd International Workshop onAugmented Reality, San Francisco, USA, Oct. 1999
　本発明の目的は、認識対象となる電子機器の美観を損なわずに高精度で電子機器を認識する技術を提供することである。
　本発明の一態様による認識装置は、認識候補となる電子機器の識別子と、前記電子機器の外見を変化させる変化命令と、前記変化命令を実行した際の前記電子機器の外見特徴を示す外見特徴情報とを関連付けて記憶する記憶部と、前記記憶部から変化命令を選択する命令選択部と、前記命令選択部により選択された変化命令を前記電子機器に送信する通信部と、前記電子機器を撮像する撮像部と、前記撮像部により撮像された撮像画像の特徴を示す画像特徴情報と、前記通信部が送信した変化命令に対応する外見特徴情報とを照合し、前記電子機器を認識する照合部とを備える。
　本構成によれば、電子機器を高速且つ高精度に認識することができる。
実施の形態における認識装置が適用される認識システムの全体構成を示すブロック構成図である。 実施の形態１における認識装置のブロック図である。 実施の形態１において、記憶部が記憶するテーブルのデータ構成の一例を示す図である。 命令セットの一例を示す図である。 実施の形態１における認識装置の認識処理を示すフローチャートである。 実施の形態１における認識装置の認識動作を示す模式図である。 実施の形態２における認識装置のブロック図である。 実施の形態２における認識装置が電子機器に命令を割り当てる際の処理を示すフローチャートである。 実施の形態２における認識装置による命令の送信処理を示すフローチャートである。 実施の形態２の認識装置における認識動作を示す模式図である。 実施の形態２の認識装置における認識動作を示す模式図である。 複数の電子機器が、撮像画像中に存在していると認識された場合の一例を示す図である。 認識装置により認識された電子機器の操作メニューを表示するアプリケーションを、認識装置が実行した場合の表示画面の一例を示した図である。 実施の形態３における認識装置のブロック図である。 実施の形態３における認識装置の認識処理を示すフローチャートである。 実施の形態３における認識装置の認識動作を示す模式図である。 実施の形態４における認識装置のブロック図である。 実施の形態４における認識装置の認識処理を示すフローチャートである。 実施の形態５における認識装置のブロック図である。 実施の形態５における認識装置の認識処理を示すフローチャートである。 実施の形態５における認識装置の認識処理の他の一例を示すフローチャートである。 認識装置により認識された電子機器の操作メニューを表示するアプリケーションを認識装置が実行した場合の表示画面の一例を示した図である。 認識装置により認識された電子機器の操作メニューを表示するアプリケーションを認識装置が実行した場合の表示画面の一例を示した図である。 実施の形態６における遠隔制御装置のブロック図である。 実施の形態７における認識装置のブロック図である。 実施の形態７において記憶部が記憶するテーブルのデータ構成の一例を示す図である。 実施の形態７における認識装置の認識処理を示すフローチャートである。 実施の形態８における認識装置のブロック図である。 実施の形態８において記憶部が記憶するテーブルのデータ構成の一例を示す図である。 実施の形態８における認識装置の認識処理を示すフローチャートである。 実施の形態９によるサーバの構成図である。
　以下本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は、実施の形態における認識装置Ａが適用される認識システムの全体構成を示すブロック構成図である。認識システムは、認識装置Ａ、及び電子機器Ｂ００～Ｂ０３を含む。認識装置Ａは、電子機器Ｂ００～Ｂ０３を認識する装置である。本実施の形態では、認識装置Ａは、例えば、スマートフォン、タブレット端末、ＰＤＡ、或いはボタン式携帯電話等の携帯端末により構成されている。ただし、これは一例にすぎず、認識装置Ａとしては、携帯端末以外の据置型の装置で構成してもよい。据置型の装置としては、例えば、ホームサーバや、パーソナルコンピュータ等が採用される。
　図１の例では、認識候補となる電子機器として、電子機器Ｂ００、電子機器Ｂ０１、電子機器Ｂ０２、電子機器Ｂ０３の４つの電子機器が例示されている。ただし、これは一例にすぎず、１つの電子機器を認識候補としてもよいし、４つ以外の複数の電子機器を認識候補としてもよい。以下、電子機器を区別しない場合、電子機器Ｂ０１～Ｂ０３を「Ｂ」の符号を付して表す。電子機器Ｂは、通信路Ｃを介して認識装置Ａと接続され、相互にデータが送受可能である。電子機器Ｂとしては、テレビ、ブルーレイコーダ等のデジタル家電や、洗濯機、炊飯器、冷蔵庫等のホームアプライアンスが採用される。
　通信路Ｃとしては、無線ＬＡＮや、有線ＬＡＮ等の通信路が採用され、例えば、ＤＬＮＡ（Digital　Living　Network　Alliance）、ＵＰｎＰ（Universal　Plug　and　Play）等の通信プロトコルを用いて種々のデータが送受される。
　図２は、実施の形態１における認識装置Ａである認識装置Ａ００のブロック図である。認識装置Ａ００は、記憶部１００、命令選択部２００、通信部３００、撮像部４００、及び照合部５００を含む。
　記憶部１００は、例えば、ＦＥＲＡＭ等の書き換え可能な不揮発性メモリにより構成されている。そして、記憶部１００は、認識候補となる電子機器ＢのＩＤ（電子機器の識別子の一例、以下、単に「ＩＤ」と記述する。）と、電子機器Ｂを制御して電子機器Ｂの外見を変化させる命令（外見変化命令の一例）と、電子機器Ｂが命令を実行した際の電子機器Ｂの外見特徴を示す外見特徴情報とが関連付けられたテーブルを記憶する。ＩＤとしては、例えば、「ＡＣ－０１－Ｂ００」というような記号列が採用されるが、これは一例にすぎない。
　図３は、実施の形態１において、記憶部１００が記憶するテーブルＴ３００のデータ構成の一例を示す図である。テーブルＴ３００は、ＩＤ、命令、及び外見特徴情報をそれぞれ格納するフィールドを備えている。ＩＤは、例えば、電子機器Ｂの種類を示す記号列と、電子機器Ｂの品番を示す記号列と、電子機器Ｂの個体番号を示す記号列とを含む。電子機器Ｂ００のＩＤである「ＡＣ－０１－Ｂ００」を例に挙げて、ＩＤを説明すると、「ＡＣ」が種類を示し、「０１」が品番を示し、「Ｂ００」が個体番号を示す。ここで、種類とは、洗濯機、冷蔵庫、テレビ、ブルーレイレコーダというような電子機器Ｂの種類を示す。品番とは、商品管理上、種類が同じ電子機器Ｂにおいて、型式や色等を区別するために付与された記号列である。個体番号とは、種類及び品番が同じ電子機器Ｂを個体毎に区別するための記号列である。
　図３の例では、電子機器Ｂ０１は、電子機器Ｂ００と種類及び品番が同一であるため、ＩＤが「ＡＣ－０１－Ｂ０１」となっている。また、電子機器Ｂ０２は、電子機器Ｂ００と種類が同じであるが品番が異なるため、ＩＤが「ＡＣ－０２－Ｂ０２」となっている。電子機器Ｂ０３は、電子機器Ｂ００と種類が異なっているため、ＩＤが「ＯＶＮ－０１－Ｂ０３」となっている。
　電子機器Ｂ００に対する命令の１つとして、ＬＥＤを消灯させる命令「ＬＥＤ　ｏｆｆ」がある。電子機器Ｂ００は、この命令を実行した場合、ＬＥＤを消灯させる。
　また、電子機器Ｂ００に対する命令の１つとして、ＬＥＤを赤色に点灯させる命令「ＬＥＤ　ｏｎ　ｒｅｄ」がある。電子機器Ｂ００は、この命令を実行した場合、ＬＥＤを赤色に点灯させて筐体の表面に赤色の輝点を表示する。
　また、電子機器Ｂ００に対する命令の１つとして、ＬＥＤを緑色に点灯させる命令「ＬＥＤ　ｏｎ　ｇｒｅｅｎ」がある。電子機器Ｂ００は、この命令を実行した場合、ＬＥＤを緑色に点灯し、筐体の表面に緑色の輝点を表示する。
　また、電子機器Ｂ０１及び電子機器Ｂ０２も、電子機器Ｂ００に対する命令と同様の外見特徴を表示する命令がテーブルＴ３００に登録されている。
　例えば、電子機器Ｂ０２に対する命令の１つとして、ＬＥＤを青色に点灯させる命令「ＬＥＤ　ｏｎ　ｂｌｕｅ」がある。電子機器Ｂ０２は、この命令を実行した場合、ＬＥＤを青色に点灯させて、筐体の表面に青色の輝点を表示する。
　また、電子機器Ｂ０３に対する命令の１つとして、オーブンの照明を点灯させる命令「Ｏｖｅｎ　ｌｉｇｈｔ　ｏｎ」がある。電子機器Ｂ０３は、この命令を実行した場合、調理スペースの蓋を閉じた状態で調理スペース内の照明を点灯させて、その蓋のほぼ全域に設けられた矩形状の窓から照明の光を透過させ、筐体の表面のほぼ全域に橙色の矩形領域を表示する。
　また、電子機器Ｂ０３に対する命令の１つとして、調理スペースの蓋を閉じる命令「Ｄｏｏｒ　ｃｌｏｓｅ」がある。電子機器Ｂ０３は、この命令を実行した場合、調理スペースの蓋を閉じることで、電子機器Ｂ０３の外見が直方体となる。外見特徴情報については後述する。
　図２に戻り、命令選択部２００は、記憶部１００に記憶された命令の中から、電子機器Ｂに実行させる命令を選択する。図３の例では、テーブルＴ３００において、電子機器Ｂ００の命令として、「ＬＥＤ　ｏｆｆ」～「ＬＥＤ　ｏｎ　ｇｒｅｅｎ」の３つの命令が登録されている。ここで、テーブルＴ３００には、電子機器Ｂが実行可能な命令が予め登録されている。したがって、命令選択部２００は、電子機器Ｂ００について、「ＬＥＤ　ｏｆｆ」以外の２つの命令の中から、例えばランダムにより１又は複数の命令を選択すればよい。ここで、命令選択部２００は、電子機器Ｂ００について、「ＬＥＤ　ｏｆｆ」以外の２つの命令の中からランダムに選択した１又は複数の命令と、「ＬＥＤ　ｏｆｆ」とを組み合わせた命令セットを命令として選択してもよい。
　また、命令選択部２００は、電子機器Ｂ０１～Ｂ０３に対しても電子機器Ｂ００と同様にして、命令を選択すればよい。なお、電子機器Ｂ００～Ｂ０３の全てに命令を送信する場合、命令選択部２００は、電子機器Ｂ００～Ｂ０３がそれぞれ異なる外見を示すように命令を選択すればよい。こうすることで、電子機器Ｂ００～Ｂ０３にユニークな外見を表示させ、認識精度を高めることができる。
　通信部３００は、命令選択部２００により選択された命令を、該当する電子機器Ｂに送信する。通信部３００により送信された命令は、通信路Ｃを介して該当する電子機器Ｂへ伝送される。例えば、命令選択部２００が、電子機器Ｂ００に対して「ＬＥＤ　ｏｎ　ｒｅｄ」の命令を選択したとすると、通信部３００は、この命令を電子機器Ｂ００へ送信する。
　撮像部４００は、カメラを含み、前方の視野範囲内に存在する電子機器Ｂ等の被写体を撮影する。カメラとしては、動画像又は静止画像が撮像可能なデジタルカメラを採用すればよい。
　照合部５００は、撮像部４００により撮像された撮像画像の特徴を示す画像特徴情報と、通信部３００が送信した命令に対応する外見特徴情報とを照合し、電子機器Ｂを認識する。
　ここで、外見特徴情報としては、命令を実行した際の電子機器Ｂを撮像した撮像画像の画像データや、電子機器Ｂの撮像画像から抽出した画像特徴量や、電子機器Ｂのモデリングデータや、電子機器Ｂに附属する照明の色相や輝度等の物理量等を採用することができる。画像特徴量としては、例えば、撮像画像に現れる電子機器Ｂの特徴をベクトルで表す特徴ベクトルを採用することができる。モデリングデータとしては、例えば、ニューラルネットワークにより認識対象となる物体の画像をモデリングしたデータを採用することができる。
　なお、図３の例では、説明の便宜上、外見特徴情報を「機器表面に赤色の輝点」というような文字で表しているが、実際には、画像データ、画像特徴量、モデリングデータ、或いは物理量が格納されている。
　照合部５００は、電子機器Ｂに送信した命令に対応する外見特徴情報と同種の情報を画像特徴情報として抽出すればよい。したがって、外見特徴情報が画像データである場合、照合部５００は、撮像画像自体を画像特徴情報とすればよい。また、外見特徴情報が画像特徴量である場合、照合部５００は、外見特徴情報と同一の計算手法を用いて撮像画像から抽出した画像特徴量を画像特徴情報として算出すればよい。また、外見特徴情報がモデリングデータである場合、照合部５００は、当該モデリングデータに入力するデータを画像特徴情報として撮像画像から抽出すればよい。また、画像特徴情報が照明の色相や輝度の物理量である場合、照合部５００は、照明の色相や輝度の物理量を画像特徴情報として撮像画像から抽出すればよい。
　そして、照合部５００は、画像特徴情報と外見特徴情報との類似度を算出し、その類似度が所定の閾値以上であれば、撮像画像中の電子機器Ｂを認識できたと判定し、その類似度が所定の閾値未満であれば、撮像画像中の電子機器Ｂを認識できなかったと判定すればよい。外見特徴情報が画像データである場合、照合部５００は、例えばテンプレートマッチングを用いて算出した相関値を類似度として算出すればよい。また、外見特徴情報が画像特徴量である場合、照合部５００は、例えば、画像特徴量の距離を類似度として算出すればよい。また、外見特徴情報がモデリングデータである場合、照合部５００は、例えば、モデリングデータからの出力値を類似度として算出すればよい。また、外見特徴情報が照明の色相や輝度の物理量である場合、撮像画像から照明部分を抽出し、その部分の色相や輝度の物理量を類似度として算出すればよい。
　図２において、記憶部１００は、例えばＦＥＲＡＭ（Ferroelectric Random Access Memory）等の書き換え可能な不揮発性メモリにより構成されている。また、命令選択部２００及び照合部５００は、例えば、コンピュータ読み取り可能なプログラムにより構成され、ＣＰＵにより実行されて実現される。通信部３００は、例えば、通信路Ｃに適用される通信プロトコルに準拠した通信モジュール及び、その通信モジュールを制御するプログラムにより構成され、ＣＰＵにより実行されて実現される。また、撮像部４００は、カメラ及びそのカメラを制御するプログラムにより構成され、ＣＰＵにより実行されて実現される。これらのプログラムは、コンピュータを認識装置として機能させる認識プログラムとして、例えば、ハードディスク等の図略の記憶装置に記憶される。この認識プログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されてユーザに提供される。ユーザはこの記録媒体を図略の読取装置に読み取らせ、認識プログラムをコンピュータにインストールすることで、コンピュータを認識装置として機能させればよい。
 　また、図２に示す各ブロックは専用のハードウェア回路により構成してもよい。この場合、図２示す全ブロック及び一部のブロックをワンチップ化して１つの集積回路で構成してもよい。
　なお、命令選択部２００は、図３に示す命令のうち単一の命令を選択してもよいし、図３に示す命令が複数組み合わされた命令セットを命令として選択してもよい。
　図４は、命令セットの一例を示す図である。図４では命令セットＦ２０１、Ｆ２０２が一例として示されている。命令セットＦ２０１は、ＬＥＤの色を赤・緑・赤・緑と変化させた後、ＬＥＤを消灯させるという、５つの命令から構成される命令セットである。命令セットＦ２０２は、ＬＥＤの色を青・緑・青・緑と変化させた後、ＬＥＤを消灯させるという、５つの命令から構成される命令セットである。なお、図４に示す命令セットは一例にすぎず、５つ以外の個数からなる命令から構成される命令セットを採用してもよい。また、図４に示す命令セットは、単一の命令が順番に実行される命令セットを示したが、これに限定されず、複数の命令を同時に実行する命令セットを採用してもよい。
　ここで、命令を実行している電子機器Ｂとそれ以外の物体とを区別するために、命令選択部２００が選択する命令は、一般的にはあまり見られない外見を電子機器Ｂに表示させる命令を採用することが好ましい。例えば、赤色の輝点の点灯は、電子機器Ｂのインタフェースとして多く採用されているため、一定時間で色を変更する、或いは複数の輝点を表示するというような命令セットを採用することが好ましい。
　なお、認識処理の高速化の観点からは、命令の実行時間は短い方が好ましい。命令の実行時間が短い命令としては、例えば、電子機器Ｂに搭載されたＬＥＤを特定の時間間隔で点滅させる命令等が挙げられる。
　また、現在の周囲の環境（明るさや背景の色、物体の動きや表示等）を計測する図略のセンサを認識装置Ａに設け、命令選択部２００は、センサにより計測された環境において、電子機器Ｂに認識しやすい外見を表示させる命令を選択するようにしてもよい。
　また、認識装置Ａが電子機器Ｂを多数の方向から認識することができるように、例えば、複数のＬＥＤを同時に或いは順番に点灯させる命令を採用してもよい。
　図５は、実施の形態１における認識装置Ａ００の認識処理を示すフローチャートである。以下、図５を用いて認識装置Ａ００の動作について説明する。以下のフローチャートでは、電子機器Ｂ００に命令を送信する場合を例に挙げて説明する。
　まず、命令選択部２００は、記憶部１００を参照し、電子機器Ｂ００に送信するための命令を選択する（Ｓ５０１）。次に、通信部３００は、命令選択部２００により選択された命令を、電子機器Ｂ００に送信する（Ｓ５０２）。
　次に、撮像部４００は、前方の被写体を撮像する（Ｓ５０３）。次に、照合部５００は、撮像部４００により撮像された撮像画像から画像特徴情報を抽出する（Ｓ５０４）。
　次に、照合部５００は、画像特徴情報と、通信部３００が送信した命令に対応する外見特徴情報との類似度を算出し、算出した類似度が閾値以上であれば、電子機器Ｂ００を認識する（Ｓ５０５）。
　なお、ユーザが明示的に図５に示す認識処理を開始させる場合、ユーザは認識対象となる電子機器Ｂ００に撮像部４００を向けている可能性が高いため、偽陰性の誤りの可能性が高く、偽陽性の誤りの可能性は低くなると推測できる。ここで、偽陰性の誤りとは、画像中に認識対象の電子機器Ｂが存在しているにもかかわらず、存在していないと判定されることを指す。また、偽陽性の誤りとは、画像中に認識対象の電子機器Ｂが存在していないにもかかわらず、存在していると判定されることを指す。
　したがって、ユーザが認識装置Ａ００に対して明示的に認識処理を開始させた場合、認識装置Ａ００が自動的に認識処理を行う場合よりも、照合部５００は、撮像画像中に電子機器Ｂが存在すると判定されやすいように照合方法を変更してもよい。照合方法を変更する方法としては、例えば、閾値を調整する方法が挙げられる。つまり、撮像画像中に電子機器Ｂが存在すると判定されやすくする場合、照合部５００は閾値を低く設定し、撮像画像中に電子機器Ｂが存在すると判定されにくくする場合、照合部５００は閾値を高く設定すればよい。したがって、ユーザにより明示的に認識処理が開始された場合、自動的に認識処理が開始された場合に比べて、照合部５００は閾値を低く設定すればよい。
　認識装置Ａ００が自動的に認識処理を開始する態様としては、例えば、認識装置Ａ００の電源がオンされたときや、認識装置Ａ００の電源がオンされた後に定期的に認識処理が実行される態様が挙げられる。
　ユーザが認識装置Ａ００を大きく動かしている場合には、手ぶれやピンぼけ等の原因で撮像がうまく行えない可能性が高い。そこで、認識装置Ａ００に図略の加速度センサを設ける。そして、照合部５００は、加速度センサにより計測されたセンサ値から認識装置Ａ００が大きく動いていると判定した場合、撮像部４００による撮像を停止させてもよい。或いは、撮像部４００により認識装置Ａ００が大きく動いていると判定された場合、照合部５００は、撮像画像中に電子機器Ｂ００が存在すると判定されにくくなるように照合方法を変更し、誤認識の防止を図ってもよい。
　また、偽陰性の誤りよりも偽陽性の誤りの方が重大である場合、照合部５００は、撮像画像中に電子機器Ｂ００が存在すると判定されにくくなるように照合方法を変更してもよい。一方、偽陽性の誤りよりも偽陰性の誤りの方が重大である場合、照合部５００は、撮像画像中に電子機器Ｂ００が存在すると判定されやすくなるように照合方法を変更してもよい。
　また、Ｓ５０５の後に、Ｓ３００やＳ１００に処理を戻し、認識装置Ａ００に認識処理を継続させてもよい。
　認識処理が継続される条件としては、例えば、Ｓ５０１の照合によって電子機器Ｂ００を認識することができなかった場合や、認識処理を終了させるためのユーザからの操作が入力されない場合や、認識処理が開始されてから一定時間が経過していない場合が挙げられる。
　また、認識装置Ａ００は、命令を送信する前に、現在の状態を返信するように電子機器Ｂ００に要求してもよい。そして、電子機器Ｂ００から返信がない場合や、返信が、電子機器Ｂ００が命令を実行できないことを示す場合、認識装置Ａ００は、認識処理を中止してもよいし、電子機器Ｂ００には命令を送信しないと判断してもよい。また、返信が、電子機器Ｂ００が一部の命令を実行できないことを示す場合、認識装置Ａ００は、実行可能な命令を選択してもよい。
　また、電子機器Ｂ００によっては、停止中と運転中とで外見が異なっている機器もある。この場合、認識装置Ａ００は、その外見を示す外見情報を電子機器Ｂ００から受け取り、外見情報が示す外見において、電子機器Ｂ００の認識が容易となる命令を選択してもよい。
　例えば、電子レンジは、運転中、調理スペース内の照明を点灯させるため、停止中と運転中とで外見が異なっている。また、テレビ等の表示装置は、運転中、表示パネルに映像を映すため、停止中と運転中とで外見が異なっている。
　このような機器を電子機器Ｂ００として採用する場合、例えば、命令として、調理スペース内の照明を点灯させる命令や、表示パネルに映像を表示させるといった命令を採用すればよい。こうすることで、電子機器Ｂ００に命令を実行するためのＬＥＤ等を設ける必要がなくなる。
　表示装置を電子機器Ｂ００として採用した場合、認識装置Ａ００は、表示パネルに映像が映っていることを示す情報を、電子機器Ｂ００からではなく、他の電子機器Ｂや、放送波から取得してもよい。そして、認識装置Ａ００は、表示パネルに映像が映っている場合には、ユーザの視聴の妨げとならないように、電子機器Ｂ００に命令を送信しないようにしてもよい。
　なお、Ｓ５０２に示す命令送信の後に、電子機器Ｂ００から命令の実行状況を返信させるために、認識装置Ａ００は電子機器Ｂ００に実行状況の返信要求を送信してもよい。そして、電子機器Ｂ００から命令を実行できないことを示す返信があった場合、異なる命令を選択し、その命令を電子機器Ｂ００へ送信するとしてもよい。
　また、Ｓ５０５に示す照合において、照合部５００は、電子機器Ｂ００から返信された命令の実行状況に応じた電子機器Ｂ００の外見特徴と、画像特徴情報とを比較するようにしてもよい。
　例えば、電子機器Ｂ００からの返信が、時刻Ｔ１に命令は５０％まで実行されていたという内容を示すのであれば、照合部５００は、時刻Ｔ１に撮像された撮像画像から求めた画像特徴情報と、命令を５０％実行したときの外見特徴情報とを照合し、電子機器Ｂ００を認識してもよい。
　なお、電子機器Ｂ００にマークや複数のＬＥＤを同時点灯させる点灯パターン等を表示させる命令を採用した場合、マークや点灯パターンの形状としては非対称の形状を持つものを採用することが好ましい。非対称な形状としては、点対称及び線対称でない形状が該当する。こうすることで、電子機器Ｂ００の向きに応じてマークや点灯パターンの向きが変わるため、認識装置Ａ００は撮像画像中に含まれるマークや点灯パターンの向きから、認識装置Ａ００に対する電子機器Ｂ００の向きを容易に認識することができる。また、撮像画像中に含まれるマークや点灯パターンのサイズから、認識装置Ａ００は、電子機器Ｂ００までの距離を算出してもよい。
　また、電子機器Ｂ００に非対称の点灯パターンを表示させる場合、電子機器Ｂ００の縁に近い部分に点灯パターンを表示させるというように、なるべく広い範囲に点灯パターンを表示させることが好ましい。こうすることで、認識の精度を高めることができる。
　なお、上記のマークや点灯パターンを表示させる命令は、電子機器Ｂ００の外見を変化させる命令とは別の命令として電子機器Ｂ００に送信してもよい。この場合、認識装置Ａ００は、電子機器Ｂ００の認識後にマークや点灯パターンを表示させる命令を電子機器Ｂ００に送信すればよい。
　図６は、実施の形態１における認識装置Ａ００の認識動作を示す模式図である。図６の例では、認識装置Ａ００としては、携帯端末が採用され、電子機器Ｂ００としてエアコンが採用されている。
　まず、認識装置Ａ００は、電子機器Ｂ００の命令を記憶部１００から選択し、選択した命令を電子機器Ｂ００に送信する。次に、電子機器Ｂ００は受信した命令を実行して外見を変化させる。図６の例では、電子機器Ｂ００は例えば円形のマークを筐体前面の左端に表示させている。次に、認識装置Ａ００は電子機器Ｂ００を撮像する。これにより、電子機器Ｂ００は撮像画像を取得する。次に、認識装置Ａ００は撮像画像から画像特徴情報を抽出し、抽出した画像特徴情報と、送信した命令に対応する外見特徴情報とを照合し、電子機器Ｂ００を認識する。
　このように、実施の形態１では、電子機器Ｂに命令を送信し、電子機器Ｂの外見が容易に認識されるように変化させているため、画像認識による電子機器Ｂの認識精度及び認識速度を向上させることができる。
　また、暗い状況では、物体の画像認識は一般に困難である。そこで、認識装置Ａ００は、電子機器Ｂに発光させる命令を送信している。そのため、認識装置Ａ００は暗い状況下でも、電子機器Ｂを容易に認識することができる。
　また、認識装置Ａ００は、蓋を開閉させたりアームを上下させたりといった運転状態によって外見が変化するような電子機器Ｂも存在する。このような電子機器Ｂを認識する場合において、本実施の形態の手法を採用しない場合、認識装置は、可能性のある全ての外見特徴情報と撮像画像から抽出した画像特徴情報とを照合しなければならない。一方、本実施の形態では、認識装置Ａ００は、電子機器Ｂの外見を所定の外見に変化させているため、所定の外見を想定した照合処理が可能となり、認識精度や処理速度の向上を図ることができる。
　（実施の形態２）
　図７は、実施の形態２における認識装置Ａである認識装置Ａ０１のブロック図である。なお、本実施の形態において実施の形態１と同一のものは説明を省略し、相違点のみ説明する。
　本実施の形態において、命令選択部２００は、記憶部１００に記憶されている命令の中から、各電子機器Ｂに対して異なる命令を順次に割り当ていく。そして、命令選択部２００は、全ての電子機器Ｂに対して異なる命令を割り当てることができなかった場合、異なる命令を割り当てることができなかった電子機器Ｂに対して、他の電子機器Ｂに割り当てられている命令と同じ命令を割り当てる。
　通信部３００は、異なる命令が割り当てられている電子機器Ｂについては、同一タイミングで命令を送信し、同一の命令が割り当てられている電子機器Ｂについてはタイミングをずらして命令を送信する。
　図８は、実施の形態２における認識装置Ａ０１が電子機器Ｂに命令を割り当てる際の処理を示すフローチャートである。以下の説明では、記憶部１００には、電子機器Ｂ００～Ｂ０３が選択可能な命令として、図４に示す命令セットＦ２０１、Ｆ２０２が登録されており、命令選択部２００は、これらの命令セットＦ２０１、Ｆ２０２を電子機器Ｂ００～Ｂ０３に割り当てるものとする。
　まず、命令選択部２００は、認識対象となる１つの電子機器Ｂを特定し、特定した電子機器Ｂに対して割り当て可能な命令である命令セットＦ２０１、Ｆ２０２のうち、他の電子機器Ｂに割り当てられていない未割り当て命令が存在するか否かを判定する（Ｓ８０１）。ここで、命令選択部２００による電子機器Ｂの特定順序は特に問わないが、以下の説明では、ＩＤが若い順、すなわち、電子機器Ｂ００、Ｂ０１、Ｂ０２、Ｂ０３の順で特定するものとする。
　次に、命令選択部２００は、未割り当ての命令が存在すれば（Ｓ８０１でＹＥＳ）、該当する電子機器Ｂに対して選択可能な命令であって、他の電子機器Ｂに割り当てられていない命令を選択する（Ｓ８０３）。一方、命令選択部２００は、未割り当ての命令が存在しなければ（Ｓ８０１でＮＯ）、他の電子機器Ｂに対して割り当て済みの命令であって、該当する電子機器Ｂに対して選択可能な命令を選択する（Ｓ８０２）。次に、命令選択部２００は、全ての電子機器Ｂへの命令の割り当てが完了した場合（Ｓ８０４でＹＥＳ）、処理を終了し、全ての電子機器Ｂへの命令の割り当てが完了していない場合（Ｓ８０４でＮＯ）、処理をＳ８０１に戻す。
　以下、図８のフローチャートの具体例について説明する。まず、電子機器Ｂ００に対して命令セットＦ２０１、Ｆ２０２の中からランダムにより命令セットＦ２０１が選択されたとすると、電子機器Ｂ０１については、割り当て可能な命令セットとして命令セットＦ２０２が存在するため、命令セットＦ２０２が選択される。
　次に、電子機器Ｂ０２については、未割り当ての命令セットが存在しないため、割り当て済みの命令セットＦ２０１、Ｆ２０２のうち、いずれかの命令セットが割り当てられる。この場合、電子機器Ｂ０２について、例えばランダムにより命令セットＦ２０１が割り当てられたとする。
　次に、電子機器Ｂ０３については、未割り当ての命令セットが存在しないため、命令セットＦ２０１、Ｆ２０２のいずれかの命令セットが割り当てられる。この場合、命令選択部２００は、同一の命令セットが割り当てられる電子機器Ｂの個数が少なくなるように各電子機器Ｂに命令セットを割り当てることが好ましい。
　例えば、電子機器Ｂ００、Ｂ０２、Ｂ０３に命令セットＦ２０１が割り当てられ、電子機器Ｂ０１に命令セットＦ２０２が割り当てられた場合を考察する。この場合、命令セットＦ２０１はタイミングをずらして送信されるため、１回目の送信において命令セットＦ２０１、Ｆ２０２が電子機器Ｂ００、Ｂ０１に同時に送信され、２回目の送信において命令セットＦ２０１が電子機器Ｂ０２に送信され、３回目の送信において命令セットＦ２０１が電子機器Ｂ０３に送信され、送信処理は３回実行される。
　一方、電子機器Ｂ００、Ｂ０２に命令セットＦ２０１、電子機器Ｂ０１、Ｂ０３に命令セットＦ２０２が割り当てられた場合、１回目の送信処理において、命令セットＦ２０１、Ｆ２０２が電子機器Ｂ００、Ｂ０１に同時に送信され、２回目の送信処理において、命令セットＦ２０１、Ｆ２０２が電子機器Ｂ０２、Ｂ０３に同時に送信されるというように、送信処理は２回で済む。したがって、命令選択部２００は、同一の命令セットが割り当てられる電子機器Ｂの個数が少なくなるように各電子機器Ｂに命令セットを割り当てることが好ましい。
　図９は、実施の形態２における認識装置Ａ０１による命令の送信処理を示すフローチャートである。まず、通信部３００は、命令選択部２００により各電子機器Ｂに割り当てられた命令セットのうち、異なる命令セットを同一タイミングで送信する（Ｓ９０１）。Ｓ９０２～Ｓ９０４の処理は、図５のＳ５０３～Ｓ５０５と同じであるため、説明を省略する。
　次に、命令が未送信の電子機器Ｂがあれば（Ｓ９０５でＹＥＳ）、通信部３００は未送信の電子機器Ｂに対して異なる命令を同一タイミングで送信する（Ｓ９０１）。これにより、同一の命令セットはタイミングがずらされて該当する電子機器Ｂに送信されることになる。一方、命令が未送信の電子機器Ｂがなければ（Ｓ９０５でＮＯ）、処理が終了される。
　次に、命令選択部２００が、電子機器Ｂ００、Ｂ０１、Ｂ０２、Ｂ０３について、それぞれ、命令セットＦ２０１、Ｆ２０２、Ｆ２０１、Ｆ２０２を割り当てた場合の図９のフローチャートについて具体的に説明する。この場合、通信部３００は、まず、電子機器Ｂ００、Ｂ０１に対して命令セットＦ２０１、Ｆ２０２を送信し、次に、電子機器Ｂ０２、Ｂ０３に対して命令セットＦ２０１、Ｆ２０２を送信すればよい。この場合、Ｓ９０１の処理は２回実施される。
　或いは、通信部３００は、まず、電子機器Ｂ００、Ｂ０１に対して命令セットＦ２０１、Ｆ２０２を送信し、次に、電子機器Ｂ０２に対して命令セットＦ２０１を送信し、次に、電子機器Ｂ０３に対して命令セットＦ２０２を送信してもよい。この場合、Ｓ９０１の処理は３回実施される。
　複数の電子機器Ｂへの同一命令セットの送信順序については、特に限定はしないが、一例として、ＩＤの若い順が挙げられる。
　次に、命令選択部２００が、電子機器Ｂ００、Ｂ０１、Ｂ０２、Ｂ０３について、それぞれ、命令セットＦ２０１、Ｆ２０２、Ｆ２０１、Ｆ２０１を割り当てた場合の図９のフローチャートについて具体的に説明する。この場合、通信部３００は、まず、電子機器Ｂ００、Ｂ０１に命令セットＦ２０１、Ｆ２０２を送信し、次に、電子機器Ｂ０２に命令セットＦ２０１を送信し、次に、電子機器Ｂ０３に命令セットＦ２０２を送信すればよい。この場合、Ｓ９０１の処理は３回実施される。
　一方、電子機器Ｂ００～Ｂ０３について、それぞれ異なる命令セットが割り当てられたとする。この場合、電子機器Ｂ００～Ｂ０３は異なる命令セットが同時に送信されるため、Ｓ９０１の処理は１回実施される。
　なお、命令の実行時刻や実行遅延時間を設定できる場合、命令を送信するタイミングをずらす態様に代えて、各電子機器Ｂが異なるタイミングで外見を変化させるように命令セットを構成し、その命令セットを各電子機器Ｂ００～Ｂ０３に割り当てる態様を採用してもよい。
　また、各電子機器Ｂに異なる命令を送信する場合、利用頻度や認識される頻度が高い電子機器Ｂほど、短い時間で実行される命令が選択される態様を採用してもよい。これにより、認識装置Ａ０１は、平均的により短い時間で電子機器Ｂを認識することができる。
　なお、Ｓ９０５において、利用頻度や認識される頻度が高い電子機器Ｂほど、照合部５００は、撮像画像中に電子機器Ｂが存在すると判定されやすいように照合方法を変更してもよい。照合方法の変更方法としては、実施の形態１で説明した閾値を調整する方法を採用すればよい。また、電子機器Ｂの利用頻度や認識される頻度という情報は、認識装置Ａ０１に記憶させてもよいし、外部のサーバや電子機器Ｂに記憶させてもよい。
　また、外部のサーバや電子機器Ｂに記憶された前記情報を、その情報を記憶させた認識装置Ａ０１とは別の個体の認識装置Ａ０１が利用できる態様を採用してもよい。
　また、認識対象の電子機器Ｂとしてユーザが視聴するテレビ等が記憶部１００に登録されている場合、当該電子機器Ｂの画面に何かが表示されていれば、認識装置Ａ０１は、他の電子機器Ｂに先に命令を送り、いずれの電子機器Ｂも照合されなかったことを確認した後で、テレビに命令を送信する態様を採用してもよい。これにより、命令実行がユーザのテレビの視聴を妨げることを防ぐことができる。
　図１０は、実施の形態２の認識装置Ａ０１における認識動作を示す模式図であり、異なる命令を複数の電子機器Ｂ００、Ｂ０１に同時に送信する場合を示している。図１１は、実施の形態２の認識装置Ａ０１における認識動作を示す模式図であり、同一の命令を複数の電子機器Ｂ００、Ｂ０１にタイミングをずらして送信する場合を示している。図１０、図１１の例では、認識装置Ａ０１としては、携帯端末が採用され、電子機器Ｂ００、Ｂ０１としてエアコンが採用されている。
　まず、認識装置Ａ０１は、記憶部１００に登録されている電子機器Ｂ００の命令の中から命令Ｘを選択し、記憶部１００に登録されている電子機器Ｂ０１の命令の中から命令Ｙを選択する。そして、認識装置Ａ０１は、同じ部屋にある電子機器Ｂ００に命令Ｘを送信すると同時に、別の部屋にある電子機器Ｂ０１に命令Ｙを送信する。これにより、電子機器Ｂ００は円形のマークを表示し、電子機器Ｂ０１は三角形のマークを表示する。
　次に、認識装置Ａ０１は撮像する。この例では、電子機器Ｂ０１は別の部屋にあるため、認識装置Ａ０１は、命令Ｘを実行した電子機器Ｂ００を撮像することになる。
　次に、認識装置Ａ０１は撮像画像の画像特徴情報と、電子機器Ｂ００に送信した命令Ｘに対応する外見特徴情報とを照合する。この場合、撮像画像中に命令Ｘを実行した電子機器Ｂ００が存在するため、認識装置Ａ０１により電子機器Ｂ００が認識される。
　図１１の例では、まず、認識装置Ａ０１は、記憶部１００に登録されている電子機器Ｂ００の命令の中から命令Ｘを選択し、記憶部１００に登録されている電子機器Ｂ０１の命令の中から命令Ｘを選択する。つまり、認識装置Ａ０１は、電子機器Ｂ００、Ｂ０１に対して同じ命令Ｘを選択する。
　次に、認識装置Ａ０１は、命令Ｘを電子機器Ｂ００に送信する。これにより、電子機器Ｂ００は、命令Ｘを実行し、前面に円形のマークを表示させる。次に、認識装置Ａ０１は撮像する。この場合、電子機器Ｂ００は別の部屋にあるため、認識装置Ａ０１は電子機器Ｂ０１を撮像する。
　次に、認識装置Ａ０１は、撮像画像の画像特徴情報と、命令Ｘに対応する外見特徴情報とを照合する。この場合、撮像画像中に電子機器Ｂ０１が存在しているが、電子機器Ｂ０１は命令Ｘを実行していないため、認識装置Ａ０１は、電子機器Ｂ００を認識することができない。
　次に、認識装置Ａ０１は、電子機器Ｂ０１に命令Ｘを送信する。これにより、電子機器Ｂ０１は、前面に円形のマークを表示させる。次に、認識装置Ａ０１は撮像する。この場合、電子機器Ｂ０１は同じ部屋にあるため、認識装置Ａ０１は命令Ｘを実行した電子機器Ｂ０１を撮像する。
　次に、認識装置Ａ０１は、撮像画像の画像特徴情報と、命令Ｘに対応する外見特徴情報とを照合する。この場合、撮像画像中に命令Ｘを実行した電子機器Ｂ０１が存在しているため、認識装置Ａ０１は、電子機器Ｂ０１を認識する。
　図１２は、複数の電子機器Ｂが、撮像画像中に存在していると認識された場合の一例を示す図である。図１２の例では、撮像画像中に、電子機器Ｂとして、テレビＦ１３０１、レコーダＦ１３０２が存在している。
　携帯電話Ｆ１３００は、認識装置Ａ０１であり、認識結果をディスプレイＦ１３０４に表示している。この場合、どちらの電子機器Ｂを携帯電話Ｆ１３００に認識させるつもりであったのかを、ユーザに選択させる方法が考えられる。例えば、携帯電話Ｆ１３００は、ディスプレイＦ１３０４において、タッチやクリックによってユーザが指定した位置の近くに表示されている電子機器Ｂを、認識対象の電子機器Ｂとして判定すればよい。例えば、ディスプレイＦ１３０４において、テレビＦ１３０１の周囲を囲む点線の領域内をユーザがタッチした場合、携帯電話Ｆ１３００はテレビＦ１３０１を認識対象の電子機器Ｂと判定し、レコーダＦ１３０２の周囲を囲む点線の領域内をユーザがタッチした場合、携帯電話Ｆ１３００はレコーダＦ１３０２を認識対象の電子機器Ｂと判定すればよい。
　図１３は、認識装置Ａ０１により認識された電子機器Ｂの操作メニューを表示するアプリケーションを、認識装置Ａ０１が実行した場合の表示画面の一例を示した図である。
　携帯電話Ｆ１４００が認識装置Ａ０１であり、認識された電子機器ＢであるテレビＦ１４０１がディスプレイＦ１４０４に表示されている。そして、このアプリケーションにより、ディスプレイＦ１４０４にテレビＦ１４０１の操作メニューＦ１４０２が表示されている。
　レコーダはテレビの近くに設置されることが多いため、テレビと同時に認識されるケースが多い。このように、同時に認識されることが多い電子機器群については、一方の電子機器Ｂが認識された際に、認識された電子機器Ｂの操作メニューに加えて、他方の電子機器Ｂの操作メニューも表示するようにしてもよい。図１３の例では、テレビＦ１４０１のみが認識されているが、レコーダはテレビと同時に認識されることが多い電子機器Ｂとして予め登録されているため、テレビＦ１４０１の操作メニューＦ１４０２に加えてレコーダの操作メニューＦ１４０３もディスプレイＦ１４０４に表示されている。
　また、認識結果が電子機器Ｂ００であるときにユーザが別の電子機器Ｂ０１を操作することが多い場合には、電子機器Ｂ００を認識したときに電子機器Ｂ０１の操作メニューを表示するようにしてもよい。
　このような状況は、電子機器Ｂ００と電子機器Ｂ０１とが近くに設置してあり、ユーザが、認識装置Ａ０１に電子機器Ｂ０１を認識させるつもりで電子機器Ｂ００を撮像してしまった場合や、電子機器Ｂ００と電子機器Ｂ０１との外見が似ている場合によく発生する。
　なお、同時に認識されることが多い電子機器Ｂであることを示す情報や、ある電子機器Ｂが認識された場合にユーザが他の電子機器Ｂの操作も行うことが多いことを示す情報は、関連性情報として、認識装置Ａ０１、電子機器Ｂ、或いは外部のサーバに予め登録しておけばよい。そして、認識装置Ａ０１は、関連性情報にしたがって、認識した電子機器Ｂ以外の電子機器Ｂの操作メニューを表示させるか否かを判定すればよい。
　なお、ある認識装置Ａ０１に記憶された関連性情報を、別の個体の認識装置Ａ０１が利用できるようにしてもよい。
　同種の電子機器Ｂはデザインが類似しているため、画像認識によってこれらの電子機器Ｂを識別することは難しい。本実施の形態の手法を用いれば、全く同じデザインの電子機器Ｂであっても、異なる外見を見せる命令が送信されるため、電子機器Ｂの個体認識を高精度且つ容易に行うことができる。
　（実施の形態３）
　図１４は、実施の形態３における認識装置Ａである認識装置Ａ０２のブロック図である。なお、本実施の形態において、実施の形態１、２と同一のものは説明を省き、相違点のみ説明する。
　認識装置Ａ０２は認識装置Ａ００に対して、更に、撮像情報記憶部１４０１及びセンサ部１４０２を含む。
　センサ部１４０２は、例えば、ジャイロセンサやＧＰＳセンサ等で構成され、撮像部４００の位置と撮像方向とを計測する。ここで、撮像部４００の位置としては、例えば、ＧＰＳセンサにより計測された緯度、経度、及び高さからなる３次元座標や、緯度及び経度からなる２次元座標が採用される。また、撮像部４００の撮像方向としては、例えば、ジャイロセンサにより計測された、撮像部４００の撮像面に対する法線のピッチ角及びヨー角を採用することができる。
　撮像情報記憶部１４０１は、例えば、書き換え可能な不揮発性メモリにより構成され、撮像部４００により撮像された撮像画像と、撮像画像を撮像する際の撮像条件を示すカメラパラメータとを関連付けて記憶する。
　カメラパラメータには、撮像部４００のレンズの焦点距離、撮像部４００のレンズの主点位置、撮像部４００のレンズの歪度、撮像部４００の位置、及び撮像部４００の撮像方向等が含まれる。
　焦点距離、主点位置、及び歪度は、撮像部４００の内部パラメータであるため、撮像情報記憶部１４０１は、撮像時において、撮像部４００が設定した焦点距離、主点位置、及び歪度をカメラパラメータとして取得すればよい。また、撮像部４００の位置及び撮像方向については、センサ部１４０２により計測されるものであるため、撮像情報記憶部１４０１は、撮像時において、センサ部１４０２により計測された撮像部４００の位置及び撮像方向をカメラパラメータとして取得すればよい。
　なお、撮像情報記憶部１４０１は、認識装置Ａ０２の構造や運用形態等の理由により不変なカメラパラメータについては記憶しなくてもよい。例えば、撮像部４００が定点カメラである場合、撮像部４００の位置及び撮像方向は不変であるため、撮像情報記憶部１４０１は、これらの情報をカメラパラメータから省いてもよい。
　本実施の形態において、照合部５００は、撮像情報記憶部１４０１に記憶された撮像画像から複数枚を選択して組とする。ここで、照合部５００は、撮像順序が隣接する２枚の撮像画像を組として選択してもよいし、１つの命令が実行されたときの撮像画像とその次の命令が実行されたときの撮像画像との２枚の撮像画像を組として選択してもよいし、命令が実行されたときの撮像画像と命令の実行が終了したときの撮像画像との２枚の撮像画像を組として選択してもよい。
　そして、照合部５００は、同じ組の撮像画像を、同じカメラパラメータで撮像されたように写像して写像画像を得る。この場合、照合部５００は、カメラパラメータを予め定められた写像行列に代入し、その写像行列を用いて撮像画像の写像画像を算出すればよい。
　そして、照合部５００は、同じ組の写像画像の差分をとり、差分画像を得る。これにより、同じ組の写像画像において命令によって変化しない部分が除去され、命令によって変化した部分のみが抽出された差分画像が得られ、電子機器Ｂの外見変化のみが現れた画像が得られる。
　そして、照合部５００は、差分画像から抽出された画像特徴情報と、送信した命令に対応する外見特徴情報とを照合し、電子機器Ｂを認識する。
　図１５は、実施の形態３における認識装置Ａ０２の認識処理を示すフローチャートである。以下のフローチャートでは、電子機器Ｂ００に命令を送信する場合を例に挙げて説明する。
　Ｓ１５０１～Ｓ１５０３は、図５のＳ５０１～Ｓ５０３と同じであるため、説明を省く。Ｓ１５０４において、撮像情報記憶部１４０１は、撮像時のレンズの焦点距離、レンズの主点位置、及びレンズの歪度をカメラパラメータとして撮像部４００から取得し、且つ、撮像時の撮像部４００の位置と撮像方向とをセンサ部１７０１からカメラパラメータとして取得し、撮像部４００により撮像された撮像画像とカメラパラメータとを関連付けて記憶する（Ｓ１５０４）。
　次に、撮像部４００は、撮像を継続するか否かを判定し（Ｓ１５０５）、撮像を継続する場合（Ｓ１５０５でＮＯ）、処理がＳ１５０３に戻される。一方、撮像が終了される場合（Ｓ１５０５でＹＥＳ）、処理がＳ１５０６に処理が進められる。
　Ｓ１５０６において、照合部５００は、撮像情報記憶部１４０１に記憶された撮像画像から組となる例えば２枚の撮像画像を選択し、選択した画像を、同じカメラパラメータで撮像されたように写像する。
　ここで、撮像部４００の位置や撮像方向の変化が十分に小さければ、この写像により、同一の条件で撮像した画像が得られる。
　次に、照合部５００は、同じ組の２枚の写像画像の差分画像を算出する（Ｓ１５０７）。この差分画像には、一方の撮像画像を撮像してから他方の撮像画像を撮像するまでの間に変化した部分が現れている。
　次に、照合部５００は、差分画像から画像特徴情報を抽出する（Ｓ１５０８）。ここでは、照合部５００は、例えば、記憶部１００が記憶する外見特徴情報に応じたデータを画像特徴情報として抽出すればよい。
　次に、照合部５００は、送信した命令に対応する外見特徴情報を記憶部１００から抽出する（Ｓ１５０９）。次に、照合部５００は、外見特徴情報と画像特徴情報とを照合し（Ｓ１５１０）、電子機器Ｂ００を認識する。
　なお、Ｓ１５０５において、撮像終了と判定される場合としては、撮像部４００が撮像した撮像画像が一定枚数に到達した場合や、撮像部４００が撮像を開始してから一定時間が経過した場合等が挙げられる。
　また、Ｓ１５０５に示す撮像終了の判定は、Ｓ１５０６やＳ１５０７の処理の後に実施されてもよい。また、Ｓ１５０５からＳ１５０３に処理を戻す場合は、一定の待機時間を設けてもよい。この待機時間としては、送信した命令に応じて適切な時間を採用すればよい。
　例えば、命令選択部２００が、ＬＥＤの輝度を１０００ｍｓ毎に変化させる命令を選択したとする。この場合、認識装置Ａ０２は、待機時間を１０００ｍｓ以下にすることで、ＬＥＤの輝度変化を見落とすことなく電子機器Ｂ００を撮像することができる。
　なお、照合部５００は、組となる撮像画像を選択するに際し、ある組に含まれている撮像画像を別の組に含めてもよい。
　また、照合部５００は、組に含まれている撮像画像の中から任意の１枚の撮像画像に関連付けられたカメラパラメータを基準カメラパラメータとして設定し、その組に含まれる他の撮像画像を、その基準カメラパラメータで撮像されたように写像してもよい。また、照合部５００は、組に含まれている全ての撮像画像を、予め設定された基準カメラパラメータで撮像されたように写像してもよい。
　撮像部４００の位置や撮像方向の変化が大きいほど、写像画像の質が悪化する。そこで、撮像部４００は、撮像部４００の位置や撮像方向の変化の大きさが一定の範囲を超えた場合、撮像情報記憶部１４０１に記憶されている撮像画像を破棄し、再度、撮像するようにしてもよい。
　図１６は、実施の形態３における認識装置Ａ０２の認識動作を示す模式図である。図１６の例では、認識装置Ａ０２として携帯端末が採用され、電子機器Ｂ００としてエアコンが採用されている。
　まず、認識装置Ａ０２は、認識候補として記憶部１００に記憶されている電子機器Ｂ００に命令を送信する。これにより、電子機器Ｂ００は命令を実行し、円形のマークを前面に表示する。次に、認識装置Ａ０２は、命令を実行している電子機器Ｂ００を撮像し、撮像画像Ｆ１６０１を得る。そして、認識装置Ａ０２は撮像時のカメラパラメータを撮像画像Ｆ１６０１と関連付けて保存する。
　次に、認識装置Ａ０２は、命令の実行が終了した電子機器Ｂ００を撮像し、撮像画像Ｆ１６０２を得る。そして、認識装置Ａ０２は撮像時のカメラパラメータを撮像画像Ｆ１６０２と関連付けて保存する。
　次に、認識装置Ａ０２は、撮像画像Ｆ１６０１、Ｆ１６０２を組として選択する。次に、認識装置Ａ０２は、撮像画像Ｆ１６０１が撮像画像Ｆ１６０２のカメラパラメータで撮像されたように、撮像画像Ｆ１６０１の写像画像Ｆ１６０３を算出する。ここでは、撮像画像Ｆ１６０２は写像されていないが、説明の便宜上、撮像画像Ｆ１６０２を写像画像Ｆ１６０４として説明する。
　次に、認識装置Ａ０２は、写像画像Ｆ１６０３と写像画像Ｆ１６０４との差分画像Ｆ１６０５を算出する。これにより、撮像画像Ｆ１６０１を撮像してから撮像画像Ｆ１６０２を撮像するまでの間に撮像範囲内で起こった変化のみが差分画像Ｆ１６０５に現れる。図１６の例では、写像画像Ｆ１６０３には円形のマークが現れているが、写像画像Ｆ１６０４にはこのマークが現れておらずそれ以外の内容は同じである。そのため、差分画像Ｆ１６０５には円形のマークのみが現れている。
　本実施の形態において認識装置Ａ０２は、複数枚の撮像画像についてカメラパラメータが同じとなるように写像画像を求め、これらの写像画像から差分画像を求め、この差分画像から画像特徴情報を抽出し、外見特徴情報と照合している。そのため、認識装置Ａ０２は、写像及び差分を行わずに認識処理を実行した場合に比べて、認識処理の処理コストが低下し、高速且つ高精度に電子機器Ｂを認識することができる。
　なお、上記説明では、撮像部４００は命令を送信した後の複数枚の撮像画像から差分画像を求めたが、これに限定されず、撮像部４００は、命令を送信する前の電子機器Ｂの撮像画像である前撮像画像と、命令を送信した後の撮像画像である後撮像画像とを撮像してもよい。そして、照合部５００は、前撮像画像と後撮像画像とが同一のカメラパラメータで撮像された画像となるようにそれぞれの写像画像を求め、得られた写像画像から差分画像を求めるようにしてもよい。この場合、図１５に示すフローチャートにおいて、Ｓ１５０１とＳ１５０２との間に撮像部４００に電子機器Ｂ００を撮像させる処理を追加すればよい。
　（実施の形態４）
　図１７は、実施の形態４における認識装置Ａである認識装置Ａ０３のブロック図である。なお、本実施の形態において、実施の形態１～３と同じものは説明を省き、相違点のみ説明する。
　認識装置Ａ０３は、認識装置Ａ００に対して、更に、センサ部１７０１を備えている。センサ部１７０１は、例えば、ＧＰＳセンサにより構成され、撮像部４００の位置を計測する。
　本実施の形態において、照合部５００は、電子機器Ｂを認識した場合、センサ部１７０１により計測された撮像部４００の位置と、撮像画像中に現れている電子機器Ｂの状態とから電子機器Ｂの位置を算出し、算出した位置と電子機器ＢのＩＤとを関連付けて記憶部１００に記憶させる。
　ここで、照合部５００は、例えば以下のようにして電子機器Ｂの位置を算出すればよい。まず、照合部５００は、撮像画像中における電子機器Ｂの位置及びサイズを特定する。次に、照合部５００は、特定したサイズと電子機器Ｂの実際のサイズとから撮像部４００から電子機器Ｂまでの距離を算出する。次に、照合部５００は、撮像画像中での電子機器Ｂの位置と、算出した距離とから撮像部４００を基準としたときのローカル座標系での電子機器Ｂの位置を算出する。次に、照合部５００は、センサ部１７０１により計測された撮像部４００の位置を用いて、ローカル座標系での電子機器Ｂの位置をグローバル座標系の位置に変換する。そして、照合部５００は、得られたグローバル座標系の位置を電子機器Ｂの位置として記憶部１００に記憶する。
　命令選択部２００は、センサ部１７０１により計測された撮像部４００の位置と、記憶部１００に記憶された電子機器Ｂの位置とから、撮像部４００及び電子機器Ｂ間の距離を算出する。そして、命令選択部２００は、算出した距離が所定の閾値より大きい電子機器Ｂについては、撮像される可能性の低い電子機器Ｂと判定し、認識候補から除外する。そして、命令選択部２００は、認識候補から除外しなかった電子機器Ｂに命令を割り付ける。この場合、命令選択部２００は実施の形態２の手法を用いて命令を割り付ければよい。なお、閾値としては、撮像部４００の撮像性能を考慮して、撮像画像中に電子機器Ｂが現れない距離を採用すればよい。
　図１８は、実施の形態４における認識装置Ａ０３の認識処理を示すフローチャートである。まず、センサ部１７０１は、撮像部４００の位置を計測する（Ｓ１８０１）。
　次に、命令選択部２００は、センサ部１７０１により計測された撮像部４００の位置と、記憶部１００にＩＤが記憶されている電子機器Ｂとの距離を求め、その距離が閾値より大きい電子機器Ｂを認識候補から除外する（Ｓ１８０２）。
　なお、命令選択部２００は、記憶部１００にＩＤが記憶されている電子機器Ｂを１つずつ順番に特定する。そして、命令選択部２００は、特定した電子機器Ｂについて、記憶部１００に位置が記憶されていなければ、その電子機器Ｂを認識候補に含ませればよい。一方、命令選択部２００は、特定した電子機器Ｂについて位置が記憶部１００に記憶されている場合、その電子機器Ｂが撮像部４００から閾値以下の距離に位置していれば、その電子機器Ｂを認識候補とし、その電子機器Ｂが撮像部４００から閾値より離れた位置に位置していれば、その電子機器Ｂを認識候補から除外すればよい。
　次に、命令選択部２００は、記憶部１００にＩＤが記憶されている電子機器Ｂのうち、認識候補から除外しなかった電子機器Ｂに対して、命令を選択する（Ｓ１８０３）。
　次に、通信部３００は、認識候補となる電子機器Ｂに命令を送信する（Ｓ１８０４）。この場合、通信部３００は、実施の形態２で説明した手法を用いて命令を送信すればよい。Ｓ１８０５～Ｓ１８０７は、図５のＳ５０３～５０５と同じであるため、説明を省く。
　次に、照合部５００は、撮像画像中に電子機器Ｂが存在すると認識したかどうかを確認する（Ｓ１８０８）。そして、撮像画像中に電子機器Ｂが存在すると認識した場合（Ｓ１８０８でＹＥＳ）、照合部５００は、その電子機器Ｂの位置を算出し、記憶部１００に記憶する（Ｓ１８０９）。一方、照合部５００が、撮像画像中に電子機器Ｂが存在すると認識しなかった場合（Ｓ１８０８でＮＯ）、処理が終了される。
　なお、センサ部１４０２をジャイロセンサ及びＧＰＳセンサで構成し、センサ部１４０２に位置に加えて撮像方向も計測させてもよい。この場合、命令選択部２００は、センサ部１４０２により計測された撮像方向から一定の画角内に位置していない電子機器Ｂを認識候補から除外してもよい。
　また、記憶部１００は、電子機器Ｂが移動される性質であるものか否かを示す情報を、電子機器ＢのＩＤと関連付けて記憶してもよい。この場合、命令選択部２００は、移動される性質を持つ電子機器Ｂについては、認識候補から除外しないようにすればよい。また、移動される性質を持つ電子機器Ｂについて、照合部５００は位置を算出しないようにしてもよい。
　また、照合部５００は、撮像部４００と電子機器Ｂとの距離に基づいて、電子機器Ｂが撮像部４００により撮像される可能性の高さを示す事前確率を電子機器Ｂに設定してもよい。この場合、照合部５００は、撮像部４００からの距離が近い電子機器Ｂほど事前確率の値を高く設定すればよい。そして、照合部５００は、撮像画像情報と外見特徴情報との類似度にこの事前確率を乗じた値が閾値以上であれば、撮像画像中に電子機器Ｂが存在すると判断すればよい。
　また、記憶部１００は、電子機器Ｂが移動される確率を示す移動確率を、電子機器ＢのＩＤと関連付けて予め記憶してもよい。この場合、照合部５００は、移動確率を上記の類似度に乗じた値が閾値以上であれば、撮像画像中に電子機器Ｂが存在すると判断してもよい。
　また、照合部５００は、センサ部１７０１により計測された撮像部４００の位置を、電子機器Ｂの位置として記憶部１００に記憶してもよい。この場合、電子機器Ｂの位置の精度は低下するが、位置の算出負担が軽減される。
　また、電子機器Ｂの位置は、外部のサーバや電子機器Ｂ等に記憶されてもよい。また、外部のサーバや電子機器に記憶させた上記の情報を、その情報を記憶させた認識装置Ａ０３とは別の個体の認識装置Ａ０３が利用できるようにしてもよい。
　このように、本実施の形態では、撮像される可能性の低い電子機器Ｂが認識候補から除外される。これにより、認識候補となる電子機器Ｂの数が減少し、各電子機器Ｂに異なる命令を割り当てやすくなる。また、認識候補となる電子機器Ｂの数が減少するため、短い命令を採用したとしても、各電子機器Ｂに異なる命令を割り当てることができる。
　また、認識装置Ａ０３は、撮像される可能性の低い電子機器Ｂが認識候補から除外されるため、当該電子機器Ｂに命令を送信して当該電子機器Ｂを動作させる必要をなくすことができる。また、記憶部１００が記憶する電子機器Ｂの位置が正確であれば、認識精度を更に向上させることができる。
　（実施の形態５）
　図１９は、実施の形態５における認識装置Ａである認識装置Ａ０４のブロック図である。なお、本実施の形態において、実施の形態１～４と同じものは説明を省略し、相違点のみ説明する。なお、図１９で新たに追加された正誤判定部１９０２は、認識プログラムに含まれるプログラムをＣＰＵが実行することで実現される。
　認識装置Ａ０４は、認識装置Ａ００に対して、更に、結果記憶部１９０１及び正誤判定部１９０２を含む。
　正誤判定部１９０２は、照合部５００による電子機器Ｂの認識が正しいか否かを判定し、正誤結果を算出する。ここで、正誤判定部１９０２は、例えば、照合部５００により認識された電子機器Ｂをディスプレイに表示してユーザに報知し、その認識が正しいか否かをユーザに入力させることで、認識の正誤を判定すればよい。この具体例については後述する。
　結果記憶部１９０１は、例えば、書き換え可能な不揮発性メモリにより構成され、認識候補の電子機器ＢのＩＤと、電子機器Ｂに送信した命令と、命令に対する正誤結果とを関連付けて記憶する。ここで、正誤結果としては、例えば、正しく認識できた回数（正認識回数）と、誤って認識した回数（誤認識回数）とを採用すればよい。
　本実施の形態において、命令選択部２００は、電子機器Ｂに送信された命令に対する正誤結果に基づいて、該当する命令の評価値を算出し、算出した評価値を記憶部１００に記憶されている該当する命令と関連付けて、記憶部１００に書き込む。ここで、命令選択部２００は、例えば、正認識回数／（正認識回数＋誤認識回数）を評価値として算出すればよい。
　そして、命令選択部２００は、電子機器Ｂに対して命令を選択する際、該当する電子機器Ｂに対して記憶部１００に登録された命令の中から、評価値の高い命令が優先されるように命令を選択する。具体的には、命令選択部２００は、該当する電子機器Ｂの各命令に対して、評価値を抽選確率として設定し、抽選処理を行うことで１又は複数の命令を選択すればよい。
　図２０は、実施の形態５における認識装置Ａ０４の認識処理を示すフローチャートである。以下のフローチャートでは、電子機器Ｂ００に命令を送信する場合を例に挙げて説明する。まず、命令選択部２００は、結果記憶部１９０１から電子機器Ｂ００に対して登録されている命令の評価値を読み出し、評価値の高い命令が優先して選択されるように、電子機器Ｂ００に対して登録されている命令の中から１又は複数の命令を選択する（Ｓ２００１）。
　Ｓ２００２～Ｓ２００５の処理は、図５に示すＳ５０２～Ｓ５０５と同じであるため、説明を省略する。
　Ｓ２００６において、撮像画像中に電子機器Ｂ００が存在することを照合部５００が認識できた場合（Ｓ２００６でＹＥＳ）、正誤判定部１９０２は認識が正しく行われているか否かを示す正誤結果を算出し、算出した正誤結果を、送信した命令と関連付けて結果記憶部１９０１に記憶する（Ｓ２００７）。
　次に、照合部５００は、正誤結果から該当する命令の評価値を算出し、電子機器Ｂ００の該当する命令と関連付けて記憶部１００に記憶する（Ｓ２００８）。一方、照合部５００は、撮像画像中に電子機器Ｂ００が存在することを認識できなかった場合（Ｓ２００６でＮＯ）、処理を終了する。
　なお、結果記憶部１９０１に記憶している情報は、外部のサーバや電子機器Ｂに記憶させてもよい。また、外部のサーバや電子機器Ｂに記憶させた上記の情報を、その情報を記憶させた認識装置Ａ０４とは別の個体の認識装置Ａ０４が利用できるようにしてもよい。
　また、結果記憶部１９０１は、電子機器Ｂが命令を実行した際の撮像画像から得られる外見特徴情報を記憶してもよい。そして、照合部５００は、記憶部１００に記憶されている外見特徴情報の代わりに、結果記憶部１９０１に記憶されている外見特徴情報を用いて電子機器Ｂを照合してもよい。電子機器Ｂの外見は、個体差や経年変化や改造等の原因によって、記憶部１００に記憶されている外見特徴情報とは異なることがある。したがって、結果記憶部１９０１に記憶されている外見特徴情報を利用することで、認識精度を向上させることができる。
　図２１は、実施の形態５における認識装置Ａ０４の認識処理の他の一例を示すフローチャートである。図２０では、評価値は認識時に算出されていたが、図２１では、命令の送信時に算出されている。
　まず、命令選択部２００は、結果記憶部１９０１から電子機器Ｂ００に対して登録されている各命令の正誤結果を読み出し、正誤結果から各命令の評価値を算出し（Ｓ２１０１）、記憶部１００に書き込む。
　次に、命令選択部２００は、記憶部１００において登録されている電子機器Ｂ００の全命令の中から、評価値の高い命令が優先して選択されるように１又は複数の命令を選択する（Ｓ２１０２）。Ｓ２１０３～Ｓ２１０８の処理は、Ｓ２００２～Ｓ２００７と同じであるため、説明を省略する。
　図２２及び図２３は、認識装置Ａ０４により認識された電子機器Ｂの操作メニューを表示するアプリケーションを認識装置Ａ０４が実行した場合の表示画面の一例を示した図である。図２２及び図２３では、電子機器ＢとしてエアコンＦ４１０１が採用されている。図２２は認識結果が正しい場合を示し、図２３は認識結果が正しくない場合を示している。
　図２２では、認識装置Ａ０４は、撮像画像中に存在するエアコンＦ４１０１を認識したため、撮像画像を表示する画像表示欄Ｆ４１０５にエアコンＦ４１０１を含む撮像画像が表示され、且つ、画像表示欄Ｆ４１０５の下側の正誤結果表示欄Ｆ４１０２に、「認識結果：エアコン」と表示されている。これにより、エアコンが認識されたことがユーザに報知される。
　また、エアコンＦ４１０１が認識されたため、正誤結果表示欄Ｆ４１０２の下側には、エアコンＦ４１０１の操作メニューＦ４１０３と、他の機器の操作するための操作メニューＦ４１０４とが表示されている。
　図２３では、撮像画像中に存在するエアコンＦ４２０１が誤って「テレビ」と認識されているため、画像表示欄Ｆ４２０５にはエアコンＦ４２０１を含む撮像画像が表示されているが、正誤結果表示欄Ｆ４２０２には、「認識結果：テレビ」と表示されている。
　また、認識装置Ａ０４がテレビを認識したため、テレビの操作メニューＦ４２０３が表示されている。また、操作メニューＦ４２０３の下側には、他の電子機器Ｂの操作するための操作メニューＦ４２０４が表示されている。
　以下、図２２、図２３を用いて、正誤判定部１９０２が照合部５００による認識結果の正誤を判定する方法について説明する。
　図２２では、エアコンＦ４１０１の認識結果が正しいため、ユーザにより操作メニューＦ４１０３が操作される。したがって、正誤判定部１９０２は、操作メニュー４１０３がユーザにより操作された場合は、認識結果を正と判定する。
　一方、図２３では、テレビの認識結果が誤りであるため、ユーザにより他の電子機器Ｂの操作するための操作メニューＦ４２０４が操作される。したがって、正誤判定部１９０２は、操作メニューＦ４２０４が操作された場合や、キャンセルの操作がされた場合や、テレビの操作メニューＦ４２０３の操作がされなかった場合は、認識結果を誤りと判定する。ここで、認識装置Ａ０４は、操作メニューＦ４２０３を表示してから、一定期間、テレビの操作メニューＦ４２０３の操作がされなかった場合、テレビの操作メニューＦ４２０３が操作されなかったと判定すればよい。
　また、正誤判定部１９０２は、照合部５００による認識結果の正誤を判定する方法として、以下の方法を採用してもよい。
　正誤判定部１９０２は、照合部５００による認識結果に基づいて認識装置Ａ０４が自動的に行った動作を、ユーザがキャンセルしなかった場合、認識結果を正と判定する。一方、正誤判定部１９０２は、照合部５００による認識結果に基づいて認識装置Ａ０４が自動的に行った動作を、ユーザがキャンセルした場合、認識結果を誤りと判定する。ここで、認識装置Ａ０４が自動的に行った動作としては、例えば、認識した電子機器Ｂの電源をオンにする動作が該当する。
　また、正誤判定部１９０２は、認識結果の正誤を明示的にユーザに入力させ、ユーザの入力結果を正誤判定の結果としてもよい。この場合、正誤判定部１９０２は、認識が正しいか否かを示すボタンをディスプレイに表示させ、認識が正しいことを示すボタンがユーザにより選択された場合、認識結果を正と判定し、認識が誤りであることを示すボタンがユーザにより選択された場合、認識結果を誤りと判定すればよい。
　このように、実施の形態５によれば、過去の認識結果が良好であった命令が優先的に選択されるため、認識精度を向上させることができる。
　（実施の形態６）
　図２４は、実施の形態６における遠隔制御装置Ｄ００のブロック図である。遠隔制御装置Ｄ００は、例えば、スマートフォン、タブレット端末、ＰＤＡ、或いはボタン式携帯電話といった携帯端末により構成される。そして、遠隔制御装置Ｄ００は、認識部２４０１及びリモコン部２４０２を備える。
　認識部２４０１は、実施の形態１～５に示す認識装置Ａ００～Ａ０５のいずれかにより構成される。リモコン部２４０２は、電子機器Ｂのリモコンの機能を司る。具体的には、リモコン部２４０２は、認識部２４０１の照合部５００により電子機器Ｂが認識された場合、認識された電子機器Ｂのリモコンの機能を実現するためのアプリケーションを起動させる。そして、リモコン部２４０２はユーザから電子機器Ｂを操作するための操作指令を受け付け、その操作指令を認識部２４０１が備える通信部３００から電子機器Ｂに送信させる。なお、図２４において、リモコン部２４０２は、コンピュータをリモコン部として機能させるためのプログラムをＣＰＵが実行することで実現される。
　ここで、リモコン部２４０２は、認識候補となる電子機器Ｂのリモコン機能を実現するためのアプリケーションを予め図略のメモリに記憶しておき、認識部２４０１により電子機器Ｂが認識された場合、その電子機器Ｂのアプリケーションをメモリから読み出して、ＣＰＵ等に実行させればよい。
　このように、遠隔制御装置Ｄ００によれば、認識部２４０１により電子機器Ｂが認識された場合、その電子機器Ｂのリモコン機能を実現するためのアプリケーションが実行されるため、携帯端末等の装置を汎用リモコンとして機能させることができる。
　（実施の形態７）
　図２５は、実施の形態７における認識装置Ａである認識装置Ａ０５のブロック図である。認識装置Ａ０５は、音声により電子機器Ｂを認識することを特徴としている。したがって、認識装置Ａ０５は、撮像部４００に代えて収音部２５０１を備えている。なお、本実施の形態において、実施の形態１～６と同じものは説明を省き、相違点のみ説明する。
　図２６は、実施の形態７において記憶部１００が記憶するテーブルＴ３０１のデータ構成の一例を示す図である。テーブルＴ３０１は、ＩＤ、命令（音声出力命令の一例）、音声特徴情報をそれぞれ格納するフィールドを備えている。ＩＤはテーブルＴ３００と同じである。命令は、電子機器Ｂに音声を出力させるための命令である。例えば、「１００ＫＨｚ」の命令は、１００ＫＨｚの音声を電子機器Ｂから出力させる命令である。「曲１」の命令は所定の音楽を電子機器Ｂから出力させる命令である。「ＯＦＦ」の命令は電子機器Ｂから音声の出力を停止させる命令である。
　収音部２５０１は、例えば、マイクロフォンにより構成され、通信部３００から送信された命令を実行した電子機器Ｂから出力される音声を収音する。
　照合部５００は、収音部２５０１により収音された音声の特徴を示す収音特徴情報を抽出し、抽出した収音特徴情報と、通信部３００が送信した命令に対応する音声特徴情報とを照合し、電子機器Ｂを認識する。ここで、収音特徴情報及び音声特徴情報としては、例えば、音声の周波数を示す情報や、音楽の曲名を示す情報が採用される。そして、照合部５００は、収音特徴情報が示す周波数又は曲名が、送信した命令に対応する音声特徴情報が示す周波数又は曲名と一致した場合、電子機器Ｂできたと判定する。
　図２７は、実施の形態７における認識装置Ａ０５の認識処理を示すフローチャートである。Ｓ２６０１、Ｓ２６０２の処理は、図５のＳ５０１、Ｓ５０２と同じであるため、説明を省略する。
　Ｓ２６０３において、収音部２５０１は、電子機器Ｂから出力された音声を収音する。次に、照合部５００は、収音した音声から収音特徴情報を抽出する（Ｓ２６０４）。次に、照合部５００は、収音特徴情報と、送信した命令に対応する音声特徴情報とを照合し、電子機器Ｂを認識する（Ｓ２６０５）。
　このように、認識装置Ａ０５によれば、電子機器Ｂに音声を出力させる命令を送信し、電子機器Ｂに音声を出力させているため、電子機器Ｂを高速且つ高精度に認識することができる。
　なお、認識装置Ａ０５において、実施の形態２に示す命令の選択手法を適用してもよいし、実施の形態４に示す認識装置Ａから遠い位置にある電子機器Ｂを除外する命令の選択手法を適用してもよいし、実施の形態５に示す評価値の高い命令を優先して選択する命令の選択方法を適用してもよい。また、実施の形態３に示すように命令の前後や命令後の異なる時点で収音した音声を比較した音声特徴を照合する手法を適用してもよい。また、認識装置Ａ０５を実施の形態６に示す遠隔制御装置Ｄ００に適用してもよい。また、命令選択部２００は、テーブルＴ３０１に記憶された命令を複数組み合わせた命令セットを選択してもよい。
　（実施の形態８）
　図２８は、実施の形態８における認識装置Ａである認識装置Ａ０６のブロック図である。認識装置Ａ０６は、電波により電子機器Ｂを認識することを特徴としている。したがって、認識装置Ａ０６は、撮像部４００に代えて受電部２８０１を備えている。なお、本実施の形態において、実施の形態１～７と同じものは説明を省き、相違点のみ説明する。
　図２９は、実施の形態８において記憶部１００が記憶するテーブルＴ３０２のデータ構成の一例を示す図である。テーブルＴ３０２は、ＩＤ、命令（電波出力命令の一例）、電波特徴情報をそれぞれ格納するフィールドを備えている。ＩＤはテーブルＴ３００と同じである。命令は、電子機器Ｂに電波を出力させるための命令である。例えば、「１００ＭＨｚ」の命令は、１００ＭＨｚの電波を電子機器Ｂから出力させる命令である。「変調信号１」は、例えば、所定の信号を所定周波数の搬送波を用いて変調させた変調信号を電子機器Ｂから出力させる命令である。「ＯＦＦ」の命令は電子機器Ｂから電波の出力を停止させる命令である。
　受電部２８０１は、例えば、電波を受信するアンテナ等により構成され、電子機器Ｂから出力される電波を受電する。
　照合部５００は、例えば、受電部２８０１により受信された電波を復調する通信回路やマイクロコントローラにより構成される。そして、照合部５００は、受電部２８０１により受電された電波の特徴を示す受電特徴情報を抽出し、抽出した特徴情報と、送信された命令に対応付けられた電波特徴情報とを照合し、電子機器Ｂを認識する。ここで、受電特徴情報及び電波特徴情報としては、例えば、電波の周波数を示す情報や、変調信号に含まれる信号を示す情報が採用される。そして、照合部５００は、受電特徴情報が示す周波数又は信号が、送信した命令に対応する電波特徴情報が示す周波数又は信号と一致した場合、命令を送信した電子機器Ｂできたと判定する。
　図３０は、実施の形態８における認識装置Ａ０６の認識処理を示すフローチャートである。Ｓ３００１、Ｓ３００２の処理は、図５のＳ５０１、Ｓ５０２と同じであるため、説明を省略する。
　Ｓ３００３において、受電部２８０１は、電子機器Ｂから出力された電波を受電する。次に、照合部５００は、受電した電波から受電特徴情報を抽出する（Ｓ３００４）。次に、照合部５００は、受電特徴情報と、送信した命令に対応する電波特徴情報とを照合し、電子機器Ｂを認識する（Ｓ３００５）。
　このように、認識装置Ａ０６によれば、電子機器Ｂに電波を出力させる命令を送信し、電子機器Ｂに音声を出力させているため、電子機器Ｂを高速且つ高精度に認識することができる。
　なお、認識装置Ａ０６において、実施の形態２に示す命令の選択手法を適用してもよいし、実施の形態４に示す認識装置Ａから遠い位置にある電子機器Ｂを除外する命令の選択手法を適用してもよいし、実施の形態５に示す評価値の高い命令を優先して選択する命令の選択方法を適用してもよい。また、実施の形態３に示すように命令の前後や命令後の異なる時点で受電した電波を比較した電波特徴を照合する手法を適用してもよい。また、認識装置Ａ０６を実施の形態６に示す遠隔制御装置Ｄ００に適用してもよい。また、命令選択部２００は、テーブルＴ３０２に記憶された命令を複数組み合わせた命令セットを選択してもよい。
　また、実施の形態１～８の認識装置は、携帯可能なカメラを撮像部４００として採用して電子機器Ｂを認識してもよいし、監視カメラ等の固定されたカメラを撮像部４００として採用し、自走するロボット等の電子機器Ｂを認識してもよい。
　（実施の形態９）
　図３１は、実施の形態９によるサーバ３１００の構成図である。サーバ３１００は、実施の形態１～８に示す認識装置Ａとしてコンピュータ３２００を機能させる認識プログラムを送信する。
　サーバ３１００は、ネットワークを介してコンピュータ３２００に接続され、制御部３１０１、送信部３１０２、及びプログラム記憶部３１０３を備えている。制御部３１０１は、例えば、ＣＰＵ、ＲＯＭ、及びＲＡＭ等により構成されている。送信部３１０２は、例えば、ネットワークの通信規格に対応する通信モジュールにより構成されている。プログラム記憶部３１０３は、例えば、ハードディスクドライブ等の記憶装置により構成され、認識プログラムを記憶している。
　ネットワークとしては、インターネットが採用され、ＴＣＰ／ＩＰの通信規格にしたがって、種々のデータが送受される。
　送信部３１０２が、コンピュータ３２００から認識プログラムのダウンロード要求を受信すると、制御部３１０１は認識プログラムをプログラム記憶部３１０３から読み出して、送信部３１０２に渡す。そして、送信部３１０２は、制御部３１０１から渡された認識プログラムを、ダウンロード要求を行ったコンピュータ３２００に送信する。
　ここで、サーバ３１００は、例えば、ダウンロードサービスをユーザに提供するためのＷＥＢページにコンピュータ３２００をアクセスさせ、認識プログラムをコンピュータ３２００に送信すればよい。
　コンピュータ３２００は、認識プログラムを受信すると、図略の記憶装置に格納し、ユーザからのインストール指示にしたがって、認識プログラムをインストールする。これにより、コンピュータ３２００は、認識装置Ａとして機能することになる。
　このように、本実施の形態によれば、サーバ３１００を設けたため、コンピュータ３２００を所持するユーザは容易に認識プログラムを入手することができる。
　なお、電子機器における外見の変化は、認識装置が認識できる変化であれば十分であり、認識装置は、人が認識できない外見の変化を電子機器に行わせてもよい。人が認識できない外見の変化としては、例えば、紫外光や赤外光を発光する発光素子を電子機器に搭載し、この発光素子を点灯、点滅させる態様が挙げられる。
　（本実施の形態の纏め）
　（１）本発明の一態様による認識装置は、認識候補となる電子機器の識別子と、前記電子機器の外見を変化させる変化命令と、前記変化命令を実行した際の前記電子機器の外見特徴を示す外見特徴情報とを関連付けて記憶する記憶部と、前記記憶部から変化命令を選択する命令選択部と、前記命令選択部により選択された変化命令を前記電子機器に送信する通信部と、前記電子機器を撮像する撮像部と、前記撮像部により撮像された撮像画像の特徴を示す画像特徴情報と、前記通信部が送信した変化命令に対応する外見特徴情報とを照合し、前記電子機器を認識する照合部とを備える。
　この構成によれば、記憶部は、認識候補となる電子機器の識別子と、変化命令と、その変化命令を実行した電子機器の外見特徴を示す外見特徴情報とを予め記憶している。そして、記憶部から変化命令が選択され、該当する電子機器に送信され、その変化命令を実行した電子機器が撮像される。そして、撮像画像から画像特徴情報が抽出され、抽出された画像特徴情報と送信した命令に対応する外見特徴情報とが照合され、電子機器が認識される。
　このように、電子機器に変化命令が送信され、画像認識が容易となるように、電子機器の外見が変化されている。そのため、撮像画像中に認識対象となる電子機器の特徴が顕著に表れ、高速且つ高精度に電子機器を認識することができる。
　（２）前記記憶部は、認識候補となる複数の電子機器のそれぞれについて、前記識別子と前記変化命令と前記外見特徴情報とを関連付けて記憶し、前記命令選択部は、各電子機器に対して異なる変化命令を選択し、前記通信部は、前記命令選択部により選択された変化命令を各電子機器に送信することが好ましい。
　この構成によれば、認識候補となる電子機器が複数存在する場合であっても、各電子機器を高速且つ高精度に認識することができる。
　（３）前記通信部は、前記命令選択部により選択された各電子機器の変化命令をタイミングをずらして送信することが好ましい。
　この構成によれば、複数の電子機器に対してタイミングをずらして変化命令が送信されるため、撮像画像には１つの電子機器のみの変化の状況が現れ、高速且つ高精度に電子機器を認識することができる。
　（４）前記命令選択部は、認識候補となる全ての電子機器に異なる変化命令を割り当てることができなかった場合、異なる変化命令を割り当てることができなかった電子機器に対して、他の電子機器に割り当てられている変化命令と同じ変化命令を割り当て、前記通信部は、異なる変化命令が割り当てられている電子機器については同一タイミングで前記変化命令を送信し、同一の変化命令が割り当てられている電子機器についてタイミングをずらして前記変化命令を送信することが好ましい。
　この構成によれば、異なる変化命令については、同一タイミングで送信されるため、複数の電子機器を認識するに際して、命令の送信に要する時間を短縮することができる。また、同一の変化命令については、タイミングをずらして送信されるため、例えば、同一種類の電子機器に同一の変化命令を送信した場合であっても、個々の電子機器を正確に認識することができる。
　（５）前記撮像部は、前記電子機器を連続撮像し、前記照合部は、前記撮像部により連続撮像された撮像画像の差分を算出して、前記画像特徴情報を抽出することが好ましい。
　この構成によれば、連続撮像された電子機器の撮像画像の差分が算出されて画像特徴情報が抽出されているため、変化のない部分が相殺され、命令によって変化した部分のみが抽出される。よって、電子機器の外見の変化を正確に抽出することができ、認識処理の負担を軽減すると同時に、認識精度を向上させることができる。
　（６）前記撮像部は、前記変化命令を送信する前の前記電子機器の撮像画像である前撮像画像と、前記変化命令を送信した後の前記電子機器の撮像画像である後撮像画像とを撮像し、前記照合部は、前記前撮像画像と前記後撮像画像との差分を算出して、前記画像特徴情報を抽出することが好ましい。
　この構成によれば、電子機器の外見の変化を正確に抽出することができ、認識処理の負担を軽減すると同時に、認識精度を向上させることができる。
　（７）上記認識装置は、前記撮像部の位置及び向きを計測するセンサ部と、前記センサ部により計測された位置及び向きと、前記撮像部の設定情報とを含むカメラパラメータを、前記撮像画像と関連付けて記憶する撮像情報記憶部とを更に備え、前記照合部は、前記撮像情報記憶部に記憶された複数の撮像画像を、同一のカメラパラメータで撮像されたように写像し、得られた写像画像の差分を算出して、前記画像特徴情報を抽出することが好ましい。
　この構成によれば、手ぶれや移動しながら電子機器が連続撮像されて、各撮像画像において、電子機器のサイズや向きが異なって撮像されたとしても、電子機器のサイズや向きが同一となるように各撮像画像が写像され、電子機器の外見の変化を正確に抽出することができる。そのため、電子機器の認識精度を高めることができる。
　（８）上記認識装置は、前記撮像部の位置を計測するセンサ部を更に備え、前記記憶部は、認識候補の電子機器の識別子と、前記電子機器の位置とを関連付けて記憶し、前記命令選択部は、前記センサ部により計測された前記撮像部の位置と、前記記憶部に記憶された前記電子機器の位置とに基づき、前記撮像部で撮像される可能性の低い電子機器を認識候補から除外することが好ましい。
　この構成によれば、撮像部から離れて位置しており、撮像部により撮像される可能性の低い電子機器が認識候補から除外されるため、電子機器を高速且つ高精度に認識することができる。
　（９）上記認識装置は、前記照合部による前記電子機器の認識が正しいか否かを判定し、正誤結果を算出する正誤判定部と、前記認識候補の電子機器の識別子と、前記電子機器に送信した変化命令と、前記変化命令に対する前記正誤結果とを関連付けて記憶する結果記憶部とを更に備え、前記命令選択部は、前記正誤結果に基づいて前記電子機器に送信した前記変化命令の評価値を算出し、前記評価値の高い変化命令を優先して選択することが好ましい。
　この構成によれば、認識に成功した変化命令が優先的に選択されるため、認識候補となる電子機器が撮像画像中に存在するにもかかわらず、その電子機器が認識されない事態を回避することができる。
　（１０）本発明の別の一態様による遠隔制御装置は、ユーザにより選択された操作命令を電子機器に送信する遠隔制御装置であって、前記電子機器の識別子と、前記電子機器の外見を変化させる変化命令と、前記変化命令を実行した際の前記電子機器の外見特徴を示す外見特徴情報とを関連付けて記憶する記憶部と、前記記憶部から変化命令を選択する命令選択部と、前記命令選択部により選択された変化命令を前記電子機器に送信する通信部と、前記電子機器を撮像する撮像部と、前記撮像部により撮像された撮像画像の特徴を示す画像特徴情報と、前記通信部が送信した変化命令に対応する外見特徴情報とを照合し、前記電子機器を認識する照合部とを備え、前記通信部は、前記照合部により前記電子機器が認識された場合、前記操作命令を前記電子機器へ送信する。
　この構成によれば、電子機器が認識された場合、ユーザにより選択された操作命令がその電子機器に送信されるため、ユーザはその電子機器を遠隔操作することができる。
　（１１）本発明の別の一態様の認識装置は、認識候補となる電子機器の識別子と、前記電子機器から音声を出力させる音声出力命令と、前記音声出力命令を実行した際に前記電子機器から出力される音声の特徴を示す音声特徴情報とを関連付けて記憶する記憶部と、前記記憶部から音声出力命令を選択する命令選択部と、前記命令選択部により選択された音声出力命令を前記電子機器に送信する通信部と、前記電子機器から出力される音声を収音する収音部と、前記収音部により収音された音声の特徴を示す収音特徴情報と、前記通信部が送信した音声出力命令に対応する音声特徴情報とを照合し、前記電子機器を認識する照合部とを備える。
　この構成によれば、記憶部は、認識候補となる電子機器の識別子と、音声出力命令と、その音声出力命令を実行した電子機器から出力される音声特徴情報とを予め記憶している。そして、記憶部から音声出力命令が選択され、該当する電子機器に送信され、その音声出力命令を実行した電子機器から出力される音声が収音される。そして、収音された音声から収音特徴情報が抽出され、抽出された収音特徴情報と送信した命令に対応する音声特徴情報とが照合され、電子機器が認識される。
　このように、電子機器に音声出力命令が送信され、認識が容易となるように、電子機器から音声が出力されている。そのため、高速且つ高精度に電子機器を認識することができる。
　（１２）本発明の別の一態様の認識装置は、認識候補となる電子機器の識別子と、前記電子機器から電波を出力させる電波出力命令と、前記電波出力命令を実行した際に前記電子機器から出力される電波の特徴を示す電波特徴情報とを関連付けて記憶する記憶部と、前記記憶部から電波出力命令を選択する命令選択部と、前記命令選択部により選択された電波出力命令を前記電子機器に送信する通信部と、前記電子機器から出力される電波を受電する受電部と、前記受電部により受電された電波の特徴を示す受電特徴情報と、前記通信部が送信した電波出力命令に対応する電波特徴情報とを照合し、前記電子機器を認識する照合部とを備える。
　この構成によれば、記憶部は、認識候補となる電子機器の識別子と、電波出力命令と、その電波出力命令を実行した電子機器から出力される電波特徴情報とを予め記憶している。そして、記憶部から電波出力命令が選択され、該当する電子機器に送信され、その電波出力命令を実行した電子機器から出力される電波が受電される。そして、受電された電波から受電特徴情報が抽出され、抽出された受電特徴情報と、送信した命令に対応する電波特徴情報とが照合され、電子機器が認識される。
　このように、電子機器に電波出力命令が送信され、認識が容易となるように、電子機器から電波が出力されている。そのため、高速且つ高精度に電子機器を認識することができる。
　本発明は、認識装置との通信が可能な電子機器を認識する方法として有用である。

Claims (15)

  1. 　認識候補となる電子機器の識別子と、前記電子機器の外見を変化させる変化命令と、前記変化命令を実行した際の前記電子機器の外見特徴を示す外見特徴情報とを関連付けて記憶する記憶部と、
    　前記記憶部から変化命令を選択する命令選択部と、
    　前記命令選択部により選択された変化命令を前記電子機器に送信する通信部と、
    　前記電子機器を撮像する撮像部と、
    　前記撮像部により撮像された撮像画像の特徴を示す画像特徴情報と、前記通信部が送信した変化命令に対応する外見特徴情報とを照合し、前記電子機器を認識する照合部とを備える認識装置。
  2. 　前記記憶部は、認識候補となる複数の電子機器のそれぞれについて、前記識別子と前記変化命令と前記外見特徴情報とを関連付けて記憶し、
    　前記命令選択部は、各電子機器に対して異なる変化命令を選択し、
    　前記通信部は、前記命令選択部により選択された変化命令を各電子機器に送信する請求項１記載の認識装置。
  3. 　前記通信部は、前記命令選択部により選択された各電子機器の変化命令をタイミングをずらして送信する請求項２記載の認識装置。
  4. 　前記命令選択部は、認識候補となる全ての電子機器に異なる変化命令を割り当てることができなかった場合、異なる変化命令を割り当てることができなかった電子機器に対して、他の電子機器に割り当てられている変化命令と同じ変化命令を割り当て、
    　前記通信部は、異なる変化命令が割り当てられている電子機器については同一タイミングで前記変化命令を送信し、同一の変化命令が割り当てられている電子機器についてタイミングをずらして前記変化命令を送信する請求項２記載の認識装置。
  5. 　前記撮像部は、前記電子機器を連続撮像し、
    　前記照合部は、前記撮像部により連続撮像された撮像画像の差分を算出して、前記画像特徴情報を抽出する請求項１～３のいずれかに記載の認識装置。
  6. 　前記撮像部は、前記変化命令を送信する前の前記電子機器の撮像画像である前撮像画像と、前記変化命令を送信した後の前記電子機器の撮像画像である後撮像画像とを撮像し、
    　前記照合部は、前記前撮像画像と前記後撮像画像との差分を算出して、前記画像特徴情報を抽出する請求項５記載の認識装置。
  7. 　前記撮像部の位置及び向きを計測するセンサ部と、
    　前記センサ部により計測された位置及び向きと、前記撮像部の設定情報とを含むカメラパラメータを、前記撮像画像と関連付けて記憶する撮像情報記憶部とを更に備え、
    　前記照合部は、前記撮像情報記憶部に記憶された複数の撮像画像を、同一のカメラパラメータで撮像されたように写像し、得られた写像画像の差分を算出して、前記画像特徴情報を抽出する請求項５又は６記載の認識装置。
  8. 　前記撮像部の位置を計測するセンサ部を更に備え、
    　前記記憶部は、認識候補の電子機器の識別子と、前記電子機器の位置とを関連付けて記憶し、
    　前記命令選択部は、前記センサ部により計測された前記撮像部の位置と、前記記憶部に記憶された前記電子機器の位置とに基づき、前記撮像部で撮像される可能性の低い電子機器を認識候補から除外する請求項１～７のいずれかに記載の認識装置。
  9. 　前記照合部による前記電子機器の認識が正しいか否かを判定し、正誤結果を算出する正誤判定部と、
    　前記認識候補の電子機器の識別子と、前記電子機器に送信した変化命令と、前記変化命令に対する前記正誤結果とを関連付けて記憶する結果記憶部とを更に備え、
    　前記命令選択部は、前記正誤結果に基づいて前記電子機器に送信した前記変化命令の評価値を算出し、前記評価値の高い変化命令を優先して選択する請求項１～８のいずれかに記載の認識装置。
  10. 　認識候補となる電子機器の識別子と、前記電子機器の外見を変化させる変化命令と、前記変化命令を実行した際の前記電子機器の外見特徴を示す外見特徴情報とを関連付けて記憶する記憶部から変化命令を命令選択部が選択する命令選択ステップと、
    　前記命令選択部により選択された変化命令を前記電子機器に通信部が送信する送信ステップと、
    　撮像部が前記電子機器を撮像する撮像ステップと、
    　前記撮像部により撮像された撮像画像の特徴を示す画像特徴情報と、前記通信部が送信した変化命令に対応する外見特徴情報とを照合部が照合し、前記電子機器を認識する照合ステップとを備える認識方法。
  11. 　ユーザにより選択された操作命令を電子機器に送信する遠隔制御装置であって、
    　前記電子機器の識別子と、前記電子機器の外見を変化させる変化命令と、
    　前記変化命令を実行した際の前記電子機器の外見特徴を示す外見特徴情報とを関連付けて記憶する記憶部と、
    　前記記憶部から変化命令を選択する命令選択部と、
    　前記命令選択部により選択された変化命令を前記電子機器に送信する通信部と、
    　前記電子機器を撮像する撮像部と、
    　前記撮像部により撮像された撮像画像の特徴を示す画像特徴情報と、前記通信部が送信した変化命令に対応する外見特徴情報とを照合し、前記電子機器を認識する照合部とを備え、
    　前記通信部は、前記照合部により前記電子機器が認識された場合、前記操作命令を前記電子機器へ送信する遠隔制御装置。
  12. 　認識候補となる電子機器の識別子と、前記電子機器から音声を出力させる音声出力命令と、前記音声出力命令を実行した際に前記電子機器から出力される音声の特徴を示す音声特徴情報とを関連付けて記憶する記憶部と、
    　前記記憶部から音声出力命令を選択する命令選択部と、
    　前記命令選択部により選択された音声出力命令を前記電子機器に送信する通信部と、
    　前記電子機器から出力される音声を収音する収音部と、
    　前記収音部により収音された音声の特徴を示す収音特徴情報と、前記通信部が送信した音声出力命令に対応する音声特徴情報とを照合し、前記電子機器を認識する照合部とを備える認識装置。
  13. 　認識候補となる電子機器の識別子と、前記電子機器から電波を出力させる電波出力命令と、前記電波出力命令を実行した際に前記電子機器から出力される電波の特徴を示す電波特徴情報とを関連付けて記憶する記憶部と、
    　前記記憶部から電波出力命令を選択する命令選択部と、
    　前記命令選択部により選択された電波出力命令を前記電子機器に送信する通信部と、
    　前記電子機器から出力される電波を受電する受電部と、
    　前記受電部により受電された電波の特徴を示す受電特徴情報と、前記通信部が送信した電波出力命令に対応する電波特徴情報とを照合し、前記電子機器を認識する照合部とを備える認識装置。
  14. 　コンピュータを認識装置として機能させる認識プログラムであって、
    　認識候補となる電子機器の識別子と、前記電子機器の外見を変化させる変化命令と、前記変化命令を実行した際の前記電子機器の外見特徴を示す外見特徴情報とを関連付けて記憶する記憶部から変化命令を選択する命令選択ステップと、
    　前記命令選択ステップにより選択された変化命令を前記電子機器に通信部が送信する送信ステップと、
    　撮像部が前記電子機器を撮像する撮像ステップと、
    　前記撮像部により撮像された撮像画像の特徴を示す画像特徴情報と、前記通信部が送信した変化命令に対応する外見特徴情報とを照合し、前記電子機器を認識する照合ステップとをコンピュータに実行させる認識プログラム。
  15. 　コンピュータと通信可能に構成されたサーバであって、
    　請求項１４記載の認識プログラムを記憶するプログラム記憶部と、
    　前記認識プログラムを前記コンピュータに送信する送信部とを備えるサーバ。
PCT/JP2013/006112 2012-10-15 2013-10-11 認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ WO2014061257A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012228004 2012-10-15
JP2012-228004 2012-10-15

Publications (1)

Publication Number Publication Date
WO2014061257A1 true WO2014061257A1 (ja) 2014-04-24

Family

ID=50487836

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006112 WO2014061257A1 (ja) 2012-10-15 2013-10-11 認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ

Country Status (1)

Country Link
WO (1) WO2014061257A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096302A (zh) * 2014-05-13 2015-11-25 富士通株式会社 图像中粘连物体的分割装置、方法以及电子设备
JP2016021140A (ja) * 2014-07-14 2016-02-04 船井電機株式会社 電子機器及び操作方法
JP2016207115A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
JP2017537485A (ja) * 2014-09-29 2017-12-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 遠隔制御装置、ユーザ装置、システム、方法、コンピュータ・プログラム、識別信号
CN107533451A (zh) * 2016-02-26 2018-01-02 华为技术有限公司 语音遥控器语音采集控制方法、语音遥控器和被控设备
JP2018056890A (ja) * 2016-09-30 2018-04-05 Kddi株式会社 自動学習装置、方法、プログラム、自動学習システムおよび自動モニタ装置
CN112637023A (zh) * 2019-10-09 2021-04-09 东芝生活电器株式会社 信息处理系统、家电设备、以及程序
CN113009836A (zh) * 2019-12-20 2021-06-22 东芝生活电器株式会社 信息处理系统、家电设备、以及程序

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001291055A (ja) * 2000-04-05 2001-10-19 Casio Comput Co Ltd 帳票認識装置およびそのプログラム記録媒体
JP2006236176A (ja) * 2005-02-28 2006-09-07 Brother Ind Ltd 通信装置、通信システム及び通信制御プログラム
JP2006349307A (ja) * 2005-06-20 2006-12-28 Daikin Ind Ltd 空調機対応付け支援システム
JP2008182400A (ja) * 2007-01-24 2008-08-07 Sharp Corp リモートコントロールシステム
JP2009288859A (ja) * 2008-05-27 2009-12-10 Mitsubishi Electric Corp 家電認識システム
JP2011239319A (ja) * 2010-05-13 2011-11-24 Panasonic Corp 遠隔指示送受信システム
JP2012212363A (ja) * 2011-03-31 2012-11-01 Sony Corp 通信制御装置、通信制御方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001291055A (ja) * 2000-04-05 2001-10-19 Casio Comput Co Ltd 帳票認識装置およびそのプログラム記録媒体
JP2006236176A (ja) * 2005-02-28 2006-09-07 Brother Ind Ltd 通信装置、通信システム及び通信制御プログラム
JP2006349307A (ja) * 2005-06-20 2006-12-28 Daikin Ind Ltd 空調機対応付け支援システム
JP2008182400A (ja) * 2007-01-24 2008-08-07 Sharp Corp リモートコントロールシステム
JP2009288859A (ja) * 2008-05-27 2009-12-10 Mitsubishi Electric Corp 家電認識システム
JP2011239319A (ja) * 2010-05-13 2011-11-24 Panasonic Corp 遠隔指示送受信システム
JP2012212363A (ja) * 2011-03-31 2012-11-01 Sony Corp 通信制御装置、通信制御方法、及びプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105096302A (zh) * 2014-05-13 2015-11-25 富士通株式会社 图像中粘连物体的分割装置、方法以及电子设备
JP2016021140A (ja) * 2014-07-14 2016-02-04 船井電機株式会社 電子機器及び操作方法
JP2017537485A (ja) * 2014-09-29 2017-12-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 遠隔制御装置、ユーザ装置、システム、方法、コンピュータ・プログラム、識別信号
JP2016207115A (ja) * 2015-04-28 2016-12-08 京セラドキュメントソリューションズ株式会社 情報処理装置、画像処理装置へのジョブ指示方法
CN107533451A (zh) * 2016-02-26 2018-01-02 华为技术有限公司 语音遥控器语音采集控制方法、语音遥控器和被控设备
JP2018056890A (ja) * 2016-09-30 2018-04-05 Kddi株式会社 自動学習装置、方法、プログラム、自動学習システムおよび自動モニタ装置
CN112637023A (zh) * 2019-10-09 2021-04-09 东芝生活电器株式会社 信息处理系统、家电设备、以及程序
JP2021060909A (ja) * 2019-10-09 2021-04-15 東芝ライフスタイル株式会社 情報処理システム、家電機器、およびプログラム
JP7353122B2 (ja) 2019-10-09 2023-09-29 東芝ライフスタイル株式会社 情報処理システム、家電機器、およびプログラム
CN113009836A (zh) * 2019-12-20 2021-06-22 东芝生活电器株式会社 信息处理系统、家电设备、以及程序

Similar Documents

Publication Publication Date Title
WO2014061257A1 (ja) 認識装置、認識方法、遠隔制御装置、認識プログラム、及びサーバ
JP6968154B2 (ja) 制御システムならびに制御処理方法および装置
JP4765027B2 (ja) 情報処理装置及び情報処理システム
EP2453384B1 (en) Method and apparatus for performing gesture recognition using object in multimedia device
US9959681B2 (en) Augmented reality contents generation and play system and method using the same
CN103329066B (zh) 用于多模式手势控制的方法和系统
JP6128468B2 (ja) 人物追尾システム及び人物追尾方法
US9565238B2 (en) Method for controlling electronic apparatus, handheld electronic apparatus and monitoring system
EP2645699B1 (en) Communication device
US8537231B2 (en) User interface system based on pointing device
US20160170479A1 (en) Image processing device, object selection method and program
US20150036875A1 (en) Method and system for application execution based on object recognition for mobile devices
US20120068857A1 (en) Configurable remote control
JP6658519B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
US20170038912A1 (en) Information providing device
EP2375695B1 (en) System and method for managing a network of user-selectable devices
WO2014180291A1 (zh) 一种用于基于运动特征信息生成运动特征码的方法和设备
US10742440B2 (en) Method and system of controlling device using real-time indoor image
CN104981820A (zh) 即时识别和定位对象的方法,系统与处理器
KR20160024848A (ko) 이미지를 이용한 리모컨 프로그래밍
RU2602829C2 (ru) Оценка признаков управления от устройства дистанционного управления с камерой
US20150229908A1 (en) Presentation control device, method of controlling presentation, and program
JP6710200B2 (ja) ポインティングデバイスに基づくユーザインタフェースシステム
CN108353206A (zh) 遥控设备、用于驱动遥控设备的方法、图像显示设备、用于驱动图像显示设备的方法以及计算机可读记录介质
JP2006222613A (ja) 遠隔制御装置及び被制御装置並びに制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13847355

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13847355

Country of ref document: EP

Kind code of ref document: A1