WO2023238307A1 - 機器操作装置及び機器操作方法 - Google Patents

機器操作装置及び機器操作方法 Download PDF

Info

Publication number
WO2023238307A1
WO2023238307A1 PCT/JP2022/023228 JP2022023228W WO2023238307A1 WO 2023238307 A1 WO2023238307 A1 WO 2023238307A1 JP 2022023228 W JP2022023228 W JP 2022023228W WO 2023238307 A1 WO2023238307 A1 WO 2023238307A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
photographed image
section
unit
photographed
Prior art date
Application number
PCT/JP2022/023228
Other languages
English (en)
French (fr)
Inventor
孝 小川
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2024517378A priority Critical patent/JPWO2023238307A1/ja
Priority to PCT/JP2022/023228 priority patent/WO2023238307A1/ja
Publication of WO2023238307A1 publication Critical patent/WO2023238307A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present disclosure relates to a device operating device and a device operating method.
  • the device operating device that accepts operations on a device to be operated by executing an application for operating the device to be operated (for example, see Patent Document 1).
  • the device operating device includes a first peripheral image acquisition means, a second peripheral image acquisition means, a setting means, and a signal output means.
  • the first peripheral image acquisition means acquires first peripheral images that are images of respective peripheral areas of one or more operation target devices, and stores each first peripheral image in association with the operation target device.
  • the second peripheral image acquisition means acquires a second peripheral image, which is an image of a peripheral area of the operation target device, taken when the user operates the operation target device.
  • the setting means selects the operation target device corresponding to the first peripheral image. Set it on the device that will actually be operated. If there is no first peripheral image that matches the second peripheral image among the plurality of first peripheral images, the setting means accepts the user's operation to select the device to be actually operated.
  • the signal output means outputs an operation signal to the device to be actually operated by executing an operation application for the device.
  • the same model of air conditioner may be installed as the device to be operated.
  • the areas surrounding the air conditioners installed in each of the multiple rooms are similar to each other, making it difficult to distinguish between images of the areas surrounding the air conditioners installed in each room.
  • the first peripheral image acquisition means Each of the plurality of first peripheral images that are similar to each other may be stored in association with the operation target device.
  • the setting means may detect a situation in which the first peripheral image that matches the second peripheral image cannot be detected among the plurality of first peripheral images, or a situation in which the first peripheral image that matches the second peripheral image cannot be detected.
  • a situation may arise in which a first peripheral image that is not displayed is erroneously detected.
  • a situation may arise in which it is difficult for the user to determine which device to be operated is the device to be actually operated among the devices to be operated that are associated with each first peripheral image. be. Under these circumstances, there is a problem in that the signal output means may not be able to execute the operation application for the device to be actually operated.
  • An object of the present invention is to obtain a device operating device and a device operating method capable of executing an application for operating a device to be operated.
  • the device operating device includes a photographed image acquisition unit that acquires image data indicating a photographed image showing a device to be operated and a peripheral area of the device to be operated from a camera; It includes a difference detection unit that performs a process of detecting a difference between a photographed image indicated by the image data and a recorded registered image. Further, if the difference detection section detects a difference, the device operating device records the photographed image as a registered image, and if the difference detection section does not detect a difference, the device operation device records the captured image as a registered image that is differentiated from the recorded registered image. an image recording unit that acquires a captured image of the first image and records the second captured image as a registered image, and a downloading unit that downloads an application for operating the operation target device that is shown in the registered image recorded by the image recording unit. We are prepared.
  • an application for operating an operation target device shown in the captured image can be executed. I can do it.
  • FIG. 1 is a configuration diagram showing a device operating device 3 according to Embodiment 1.
  • FIG. FIG. 2 is a hardware configuration diagram showing the hardware of the device operating device 3 according to the first embodiment.
  • FIG. 3 is a hardware configuration diagram of a computer when the device operating device 3 is realized by software, firmware, or the like.
  • 3 is a flowchart showing a device operating method that is a processing procedure of the device operating device 3.
  • FIG. FIG. 2 is an explanatory diagram showing a photographed image in which the operation target device 1 and the surrounding area of the operation target device 1 are shown. It is an explanatory view showing an example of an identification marker.
  • 5 is an explanatory diagram showing a display example of one or more operation applications downloaded by the download unit 15.
  • FIG. 3 is a configuration diagram showing a device operating device 3 according to a second embodiment.
  • FIG. 3 is a hardware configuration diagram showing hardware of a device operating device 3 according to a second embodiment.
  • FIG. 3 is a configuration diagram showing a device operating device 3 according to a third embodiment.
  • FIG. 3 is a hardware configuration diagram showing hardware of a device operating device 3 according to a third embodiment.
  • FIG. 12A is an explanatory diagram showing an example of a photographed image PG to which a grid is not added
  • FIG. 12B is an explanatory diagram showing an example of a photographed image PG to which a grid is added.
  • FIG. 3 is a configuration diagram showing a device operating device 3 according to a fourth embodiment.
  • FIG. 3 is a hardware configuration diagram showing hardware of a device operating device 3 according to a fourth embodiment.
  • FIG. 3 is an explanatory diagram showing an example of a feature region FR m .
  • FIG. 1 is a configuration diagram showing a device operating device 3 according to the first embodiment.
  • FIG. 2 is a hardware configuration diagram showing the hardware of the device operating device 3 according to the first embodiment.
  • an operation target device 1 is, for example, an air conditioner, a television, or an audio device.
  • the device 1 to be operated is an air conditioner.
  • the camera 2 photographs a range including the device 1 to be operated and the surrounding area of the device 1 to be operated, and outputs image data indicating a captured image PG to the device operating device 3 .
  • the photographed image PG may be a still image or a moving image.
  • the camera 2 is installed outside the device operating device 3. However, this is just an example, and the camera 2 may be built into the device operating device 3.
  • the device operating device 3 includes a captured image acquisition section 11 , a difference detection section 12 , a guidance presentation section 13 , an image recording section 14 , a download section 15 , and an operation reception section 16 .
  • the photographed image acquisition unit 11 is realized, for example, by a photographed image acquisition circuit 31 shown in FIG.
  • the photographed image acquisition unit 11 acquires image data indicating the photographed image PG from the camera 2.
  • the captured image acquisition unit 11 performs the following after the guidance presentation unit 13 presents the guidance:
  • N is an integer of 1 or more.
  • the photographed image acquisition section 11 outputs image data indicating the photographed image PG to the difference detection section 12 and the image recording section 14, respectively.
  • the photographed image acquisition section 11 outputs image data indicating the second photographed image PG' to the image recording section 14.
  • the difference detection unit 12 is realized, for example, by a difference detection circuit 32 shown in FIG.
  • the difference detection unit 12 performs a process of detecting a difference between the photographed image PG and the recorded registered image RG n .
  • the difference detection process is a process of comparing the photographed image PG and the recorded registered image RG n to determine whether or not there is a difference between the two images.
  • the guidance presentation unit 13 is realized, for example, by a guidance presentation circuit 33 shown in FIG. 2. If the difference detection unit 12 does not detect a difference, the guidance presentation unit 13 presents guidance urging the user to paste an identification marker. As a method of presenting the guidance, the guidance presentation unit 13 may display the guidance on a display (not shown), or may output the guidance as a voice from a speaker (not shown).
  • the image recording unit 14 records the operation target device 1 to which the identification marker is attached and the surrounding area of the operation target device 1 as the second photographed image PG′.
  • the photographed image showing the image is recorded as a registered image RG n+1 .
  • the download unit 15 is realized, for example, by a download circuit 35 shown in FIG. 2.
  • the download unit 15 downloads the operation application for the operation target device 1 shown in the registered image RG n+1 recorded by the image recording unit 14 from the server device 4 of the manufacturer of the operation target device 1 via the network. to download.
  • the operation application for the operation target device 1 is stored in the internal memory of the download unit 15, for example.
  • the operation reception unit 16 is realized, for example, by an operation reception circuit 36 shown in FIG. 2.
  • the operation reception unit 16 accepts selection of any one operation application from among the one or more operation applications downloaded by the download unit 15.
  • the operation reception unit 16 receives an operation of the operation target device 1 by executing an operation application selected by the user.
  • the components of the device operating device 3 such as a photographed image acquisition section 11, a difference detection section 12, a guidance presentation section 13, an image recording section 14, a download section 15, and an operation reception section 16, are shown in FIG. It is assumed that this will be realized using dedicated hardware such as That is, it is assumed that the device operating device 3 is realized by a photographed image acquisition circuit 31, a difference detection circuit 32, a guidance presentation circuit 33, an image recording circuit 34, a download circuit 35, and an operation reception circuit 36.
  • Each of the photographed image acquisition circuit 31, the difference detection circuit 32, the guidance presentation circuit 33, the image recording circuit 34, the download circuit 35, and the operation reception circuit 36 may be a single circuit, a composite circuit, a programmed processor, or a parallel programmed circuit. This includes an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the components of the device operating device 3 are not limited to those realized by dedicated hardware, but the device operating device 3 may be realized by software, firmware, or a combination of software and firmware. Good too.
  • Software or firmware is stored in a computer's memory as a program.
  • a computer means hardware that executes a program, and includes, for example, a CPU (Central Processing Unit), a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor). do.
  • FIG. 3 is a hardware configuration diagram of a computer when the device operating device 3 is realized by software, firmware, or the like.
  • the device operating device 3 is realized by software, firmware, etc.
  • each processing procedure in the photographed image acquisition unit 11, difference detection unit 12, guidance presentation unit 13, image recording unit 14, download unit 15, and operation reception unit 16 A program for causing a computer to execute is stored in the memory 51.
  • the processor 52 of the computer executes the program stored in the memory 51.
  • FIG. 2 shows an example in which each of the components of the device operating device 3 is realized by dedicated hardware
  • FIG. 3 shows an example in which the device operating device 3 is realized by software, firmware, etc.
  • this is just an example, and some of the components in the device operating device 3 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • FIG. 4 is a flowchart showing a device operating method, which is a processing procedure of the device operating device 3.
  • the user operates the camera 2 to photograph an area including the operation target device 1 and the surrounding area of the operation target device 1, as shown in FIG.
  • FIG. 5 is an explanatory diagram showing a photographed image in which the operation target device 1 and the surrounding area of the operation target device 1 are shown.
  • the surrounding area of the operation target device 1 includes a wall where the operation target device 1 is installed, a curtain installed near the operation target device 1, and a wall where the operation target device 1 is installed. Contains near the ceiling.
  • FIG. 5 is a flowchart showing a device operating method, which is a processing procedure of the device operating device 3.
  • the user operates the camera 2 to photograph an area including the operation target device 1 and the surrounding area of the operation target device 1, as shown in FIG.
  • FIG. 5 is an explanatory diagram showing a photographed image in which the operation target device 1 and the surrounding area of the operation target device 1 are shown.
  • a focus marker is displayed on the finder of the camera 2.
  • the operation target device 1 is determined.
  • the camera 2 photographs a range including the device 1 to be operated and the surrounding area of the device 1 to be operated, and outputs image data indicating a captured image PG to the device operating device 3 .
  • the photographed image acquisition unit 11 acquires image data indicating the photographed image PG from the camera 2 (step ST1 in FIG. 4).
  • the photographed image acquisition section 11 outputs image data indicating the photographed image PG to the difference detection section 12 and the image recording section 14, respectively.
  • the difference detection unit 12 acquires image data indicating the photographed image PG from the photographed image acquisition unit 11, and acquires image data indicating the recorded registered images RG 1 to RG N from the image recording unit 14.
  • a known image matching application that determines whether a plurality of images are the same image can be used.
  • a known image matching application for example, there is an application using a pattern matching method.
  • the difference detection unit 12 determines the degree of similarity between the captured image PG and the recorded registered image RG n . If the degree of similarity is equal to or greater than the threshold, the difference detection unit 12 determines that there is "no difference" between the captured image PG and the registered image RG n . If the degree of similarity is less than the threshold, the difference detection unit 12 determines that "there is a difference" between the photographed image PG and the registered image RG n .
  • the threshold value for determining the degree of similarity may be stored in the internal memory of the difference detection unit 12, or may be given from outside the device operating device 3.
  • the difference detection section 12 outputs the difference detection processing results to the photographed image acquisition section 11, the guidance presentation section 13, and the image recording section 14, respectively.
  • the image recording unit 14 acquires the difference detection processing result from the difference detection unit 12. If the difference detection unit 12 detects a difference (step ST3 in FIG. 4: YES), the image recording unit 14 records the captured image PG as a registered image RG n+1 (step ST4 in FIG. 4).
  • the guidance presentation unit 13 acquires the difference detection processing result from the difference detection unit 12. If the difference detection unit 12 does not detect a difference (step ST3 in FIG. 4: NO), the guidance presentation unit 13 presents guidance prompting the user to paste an identification marker (step ST5 in FIG. 4). The user who has received the guidance performs a task of pasting an identification marker on the operation target device 1, as shown in FIG. FIG. 6 is an explanatory diagram showing an example of an identification marker.
  • the identification marker may be a mark with any pattern.
  • the identification marker may be included in the cardboard box in which the purchased operation target device 1 was packed.
  • the user When the user who has received the guidance has already recorded the photographed image PG as a registered image RG n , the user performs an operation to paste an identification marker on the operation target device 1 in order to prevent double registration of the photographed image PG. do not have.
  • the user When the user performs an operation of pasting an identification marker on the operation target device 1, the user operates the camera 2 to capture an area including the operation target device 1 to which the identification marker is pasted and the surrounding area of the operation target device 1. to photograph.
  • the camera 2 takes an image showing the second captured image PG', which is an image showing the operation target device 1 to which the identification marker is attached and the surrounding area of the operation target device 1.
  • the data is output to the device operating device 3.
  • the photographed image acquisition unit 11 acquires the difference detection processing result from the difference detection unit 12. If no difference is detected by the difference detection unit 12, the captured image acquisition unit 11 receives the image data indicating the second captured image PG′ output from the camera 2 after the guidance presentation unit 13 presents the guidance. (Step ST6 in FIG. 4). The photographed image acquisition section 11 outputs image data indicating the second photographed image PG' to the image recording section 14.
  • the image recording section 14 acquires image data indicating the second photographed image PG' from the photographed image acquisition section 11.
  • the image recording unit 14 records the second captured image PG' as a registered image RG n+1 (step ST7 in FIG. 4).
  • the download unit 15 downloads the information from the server device 4 of the manufacturer of the operation target device 1, for example.
  • the operation application for the operation target device 1 shown in the registered image RG n+1 is downloaded (step ST8 in FIG. 4).
  • the operation application for the operation target device 1 is stored in the internal memory of the download unit 15, for example.
  • FIG. 7 is an explanatory diagram showing a display example of one or more operation applications downloaded by the download unit 15.
  • operation applications for the operation target device 1 an operation application for air conditioner A, an operation application for air conditioner B, an operation application for television A, and an operation application for television B are displayed. .
  • FIG. 7 is an explanatory diagram showing a display example of one or more operation applications downloaded by the download unit 15.
  • the operation reception unit 16 receives the selection of any one operation application from among the one or more selectable operation applications (step ST9 in FIG. 4).
  • the application for operating the air conditioner B which is the device 1 to be operated, is selected.
  • the header of air conditioner B is checked.
  • the operation receiving unit 16 receives an operation of the operation target device 1 by executing the operation application selected by the user (step ST10 in FIG. 4).
  • the photographed image acquisition unit 11 acquires image data indicating a photographed image in which the operation target device 1 and the surrounding area of the operation target device 1 are shown from the camera 2;
  • the device operating device 3 is configured to include a difference detection unit 12 that performs a process of detecting a difference between a photographed image indicated by image data acquired by the image data and a registered registered image that has been recorded. Further, if the difference detection unit 12 detects a difference, the device operating device 3 records the photographed image as a registered image, and if the difference detection unit 12 does not detect a difference, the device operation device 3 records the photographed image as a registered image.
  • an image recording unit 14 that acquires a second photographed image and records the second photographed image as a registered image; and an application for operating the operation target device 1 shown in the registered image recorded by the image recording unit 14. It also includes a download section 15 for downloading. Therefore, even if the photographed image and the recorded registered image are similar and no difference is detected between the two images, the device operating device 3 executes the operation application for the device to be operated that is shown in the photographed image. can do.
  • the photographed image acquisition section 11 acquires image data indicating one photographed image PG
  • the photographed image acquisition unit 11 acquires image data indicating a plurality of photographed images PG
  • the difference detection unit 12 detects the difference between the plurality of photographed images PG and the recorded registered image RG n .
  • Difference detection processing may also be performed.
  • the plurality of photographed images PG are, for example, images of the same operation target device 1 taken from different directions.
  • the difference detection unit 12 performs the process of detecting the difference between a plurality of photographed images PG and the recorded registered image RG n , thereby detecting the difference between one photographed image PG and the recorded registered image RG n . Difference detection accuracy is improved compared to the case where this method is used.
  • the photographed image acquisition unit 11 acquires image data representing a photographed image in which the operation target device 1 and the surrounding area of the operation target device 1 are shown. For example, if the operation target device 1 and the surrounding area are linked before the photographed image acquisition unit 11 acquires image data, the photographed image acquisition unit 11 It is also possible to acquire image data showing a photographed image in which only the subject is shown.
  • Embodiment 2 if the difference detection unit 12 does not detect a difference, the image recording unit 17 synthesizes an illustration component indicating an identification marker with respect to the operation target device 1 shown in the captured image PG. , a description will be given of the device operating device 3 that acquires an image showing the operating target device 1 with an identification marker and the surrounding area as a second photographed image.
  • FIG. 8 is a configuration diagram showing the device operating device 3 according to the second embodiment.
  • the same reference numerals as those in FIG. 1 indicate the same or corresponding parts, so the explanation will be omitted.
  • FIG. 9 is a hardware configuration diagram showing the hardware of the device operating device 3 according to the second embodiment. In FIG. 9, the same reference numerals as those in FIG. 2 indicate the same or corresponding parts, so the explanation will be omitted.
  • the device operating device 3 shown in FIG. 8 includes a photographed image acquisition section 11, a difference detection section 12, an image recording section 17, a download section 15, and an operation reception section 16.
  • the device operating device 3 shown in FIG. Unlike the device operating device 3 shown in FIG. 1, the guidance presentation unit 13 is not provided.
  • the image recording unit 17 is realized, for example, by an image recording circuit 37 shown in FIG. If the difference detection unit 12 detects a difference, the image recording unit 17 records the photographed image PG as a registered image RG n+1 . If no difference is detected by the difference detection unit 12, the image recording unit 17 generates a second captured image by compositing an illustration component indicating an identification marker with respect to the operation target device 1 shown in the captured image PG. As PG', an image showing the operation target device 1 with an identification marker and the surrounding area is acquired. The image recording unit 17 records the second captured image PG' as a registered image RG n+1 .
  • each of the photographed image acquisition unit 11, difference detection unit 12, image recording unit 17, download unit 15, and operation reception unit 16, which are the components of the device operating device 3, is a dedicated hardware as shown in FIG. It is assumed that this will be achieved through clothing. That is, it is assumed that the device operating device 3 is realized by a photographed image acquisition circuit 31, a difference detection circuit 32, an image recording circuit 37, a download circuit 35, and an operation reception circuit 36.
  • Each of the photographed image acquisition circuit 31, the difference detection circuit 32, the image recording circuit 37, the download circuit 35, and the operation reception circuit 36 is, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC, This applies to FPGA or a combination of these.
  • the components of the device operating device 3 are not limited to those realized by dedicated hardware, but the device operating device 3 may be realized by software, firmware, or a combination of software and firmware. Good too.
  • the device operating device 3 When the device operating device 3 is realized by software, firmware, etc., it causes a computer to execute the respective processing procedures in the photographed image acquisition section 11, difference detection section 12, image recording section 17, download section 15, and operation reception section 16. A program for this is stored in the memory 51 shown in FIG. Then, the processor 52 shown in FIG. 3 executes the program stored in the memory 51.
  • FIG. 9 shows an example in which each of the components of the device operating device 3 is realized by dedicated hardware
  • FIG. 3 shows an example in which the device operating device 3 is realized by software, firmware, etc.
  • this is just an example, and some of the components in the device operating device 3 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • the image recording unit 17 records the photographed image PG as a registered image RG n+1 , similarly to the image recording unit 14 shown in FIG. If the difference detection unit 12 does not detect a difference, the image recording unit 17 synthesizes an illustration component indicating an identification marker with respect to the operation target device 1 shown in the captured image PG.
  • the illustration component indicating the identification marker may be stored in the internal memory of the image recording unit 17 or may be provided from outside the device operating device 3.
  • Image processing for synthesizing an illustration component representing an identification marker onto the operation target device 1 is a well-known technique, and therefore detailed description thereof will be omitted.
  • the image recording unit 17 records an image showing the operation target device 1 with an identification marker and the surrounding area as a registered image RG n+1 as the second photographed image PG'.
  • the image recording unit 17 synthesizes an illustration component indicating an identification marker with respect to the operation target device 1 shown in the photographed image.
  • the device operating device 3 was configured to obtain, as the second photographed image, an image showing the operating target device 1 with an identification marker and the surrounding area. Therefore, even if the photographed image and the recorded registered image are similar and no difference is detected between the two images, the device operating device 3 executes the operation application for the device to be operated that is shown in the photographed image. In addition, the user can omit the work of attaching an identification marker to the operation target device 1.
  • Embodiment 3 a device operating device 3 including a grid adding section 18 that adds a grid to a photographed image PG or a second photographed image PG' will be described.
  • FIG. 10 is a configuration diagram showing the device operating device 3 according to the third embodiment.
  • the same reference numerals as those in FIGS. 1 and 8 indicate the same or corresponding parts, so the explanation will be omitted.
  • FIG. 11 is a hardware configuration diagram showing the hardware of the device operating device 3 according to the third embodiment. In FIG. 11, the same reference numerals as those in FIGS. 2 and 9 indicate the same or corresponding parts, so the explanation will be omitted.
  • the device operating device 3 shown in FIG. 11 includes a photographed image acquisition section 11, a grid addition section 18, a difference detection section 12, a guidance presentation section 13, an image recording section 14, a download section 15, and an operation reception section 16.
  • the grid adding section 18 is realized, for example, by a grid adding circuit 38 shown in FIG. 11.
  • the grid adding section 18 acquires image data indicating the photographed image PG from the photographed image acquisition section 11, it adds a grid to the photographed image PG.
  • the grid addition section 18 outputs a gridded photographed image PG G , which is obtained by adding a grid to the photographed image PG, to each of the difference detection section 12 and the image recording section 14 as the photographed image PG.
  • the grid adding section 18 acquires image data indicating the second photographed image PG' from the photographed image acquisition section 11, it adds a grid to the second photographed image PG'.
  • the grid adding section 18 outputs a grid-attached photographed image PG G', which is obtained by adding a grid to the second photographed image PG', to the image recording section 14 as the second photographed image PG'.
  • the device operating device 3 shown in FIG. 10 has the grid adding section 18 applied to the device operating device 3 shown in FIG. 1.
  • the grid adding section 18 may be applied to the device operating device 3 shown in FIG. 8.
  • each of the photographed image acquisition section 11, grid addition section 18, difference detection section 12, guidance presentation section 13, image recording section 14, download section 15, and operation reception section 16, which are the components of the device operation device 3, is , is assumed to be realized by dedicated hardware as shown in FIG. That is, it is assumed that the device operating device 3 is realized by a photographed image acquisition circuit 31, a grid addition circuit 38, a difference detection circuit 32, a guidance presentation circuit 33, an image recording circuit 34, a download circuit 35, and an operation reception circuit 36.
  • Each of the photographed image acquisition circuit 31, grid addition circuit 38, difference detection circuit 32, guidance presentation circuit 33, image recording circuit 34, download circuit 35, and operation reception circuit 36 may be a single circuit, a composite circuit, or a programmed circuit. This may be a processor, a parallel programmed processor, an ASIC, an FPGA, or a combination thereof.
  • the components of the device operating device 3 are not limited to those realized by dedicated hardware, but the device operating device 3 may be realized by software, firmware, or a combination of software and firmware. Good too.
  • the device operating device 3 When the device operating device 3 is realized by software, firmware, etc., it includes a photographed image acquisition section 11, a grid addition section 18, a difference detection section 12, a guidance presentation section 13, an image recording section 14, a download section 15, and an operation reception section 16.
  • a program for causing a computer to execute each processing procedure is stored in the memory 51 shown in FIG. Then, the processor 52 shown in FIG. 3 executes the program stored in the memory 51.
  • FIG. 11 shows an example in which each of the components of the device operating device 3 is realized by dedicated hardware
  • FIG. 3 shows an example in which the device operating device 3 is realized by software, firmware, etc.
  • this is just an example, and some of the components in the device operating device 3 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • the grid adding section 18 When the grid adding section 18 acquires image data indicating the photographed image PG from the photographed image acquisition section 11, it adds a grid to the photographed image PG.
  • the process of adding a grid to the photographed image PG itself is a well-known technique, so a detailed explanation will be omitted.
  • the grid addition section 18 outputs a gridded photographed image PG G , which is obtained by adding a grid to the photographed image PG, to each of the difference detection section 12 and the image recording section 14 as the photographed image PG.
  • the grid adding section 18 acquires image data indicating the second photographed image PG' from the photographed image acquisition section 11, it adds a grid to the second photographed image PG'.
  • the grid adding section 18 outputs a grid-attached photographed image PG G', which is obtained by adding a grid to the second photographed image PG', to the image recording section 14 as the second photographed image PG'.
  • FIG. 12 is an explanatory diagram showing an example of a photographed image PG with a grid.
  • FIG. 12A shows an example of a photographed image PG to which a grid is not added
  • FIG. 12B shows an example of a photographed image PG to which a grid is added.
  • the intervals between the vertical lines and horizontal lines constituting the grid are set to ⁇ mm. As a specific numerical value of ⁇ mm, for example, 70 mm is used.
  • the image recording unit 14 records the gridded photographed image PG G as a registered image RG n+1 . If no difference is detected by the difference detection unit 12, the image recording unit 14 records the grid-attached photographed image PG G ′ to which the identification marker is pasted as a registered image RG n+1 .
  • a grid is added to the photographed image indicated by the image data acquired by the photographed image acquisition section 11, and the grid is outputted to each of the difference detection section 12 and the image recording section 14.
  • the device operating device 3 shown in FIG. 10 was configured to include the additional section 18. Therefore, even if the captured image and the recorded registered image are similar and no difference is detected between the two images, the device operating device 3 shown in FIG. In addition to being able to execute applications for personal use, the device operating device 3 can detect differences between captured images and registered images with higher accuracy than the device operating device 3 shown in FIG.
  • the device operating device 3 including the feature region designation reception unit 19 that receives the designation of a feature region that is a region of interest in the photographed image PG when performing the image processing will be described.
  • FIG. 13 is a configuration diagram showing the device operating device 3 according to the fourth embodiment.
  • the same reference numerals as those in FIGS. 1, 8, and 10 indicate the same or corresponding parts, so the explanation will be omitted.
  • FIG. 14 is a hardware configuration diagram showing the hardware of the device operating device 3 according to the fourth embodiment.
  • the device operating device 3 shown in FIG. 14 includes a captured image acquisition section 11, a characteristic region specification reception section 19, a difference detection section 12, a guidance presentation section 13, an image recording section 14, a download section 15, and an operation reception section 16. .
  • the feature region designation reception unit 19 is realized, for example, by a feature region designation reception circuit 39 shown in FIG.
  • a designation of a feature region FR m which is a region of interest in the captured image PG, is accepted.
  • m 1,...,M, where M is an integer of 1 or more.
  • the characteristic region designation reception unit 19 outputs the photographed image PG F in which the characteristic region FR m is designated to the difference detection unit 12 and the image recording unit 14, respectively, as the photographed image PG.
  • the characteristic region designation reception unit 19 outputs the photographed image PG F ′ in which the characteristic region FR m is specified to the image recording unit 14 as the second photographed image PG′. Moreover, when the feature region designation reception unit 19 receives designations of a plurality of feature regions FR m , it receives designation of the priority order of each feature region FR m . The feature region designation reception unit 19 outputs the captured image PG F in which the prioritized feature region FR m is designated to the difference detection unit 12 and the image recording unit 14, respectively, as the captured image PG. The feature region designation receiving unit 19 outputs the captured image PG F ′ in which the prioritized feature region FR m is designated to the image recording unit 14 as the second captured image PG′.
  • the device operating device 3 shown in FIG. 13 is obtained by applying the feature region designation reception unit 19 to the device operating device 3 shown in FIG. 1.
  • the feature region designation reception unit 19 may be applied to the device operating device 3 shown in FIG. 8 or the device operating device 3 shown in FIG. 10.
  • the components of the device operating device 3 such as a photographed image acquisition section 11, a feature region specification reception section 19, a difference detection section 12, a guidance presentation section 13, an image recording section 14, a download section 15, and an operation reception section 16, are shown. It is assumed that each is realized by dedicated hardware as shown in FIG. That is, the device operating device 3 is realized by a photographed image acquisition circuit 31, a characteristic region specification reception circuit 39, a difference detection circuit 32, a guidance presentation circuit 33, an image recording circuit 34, a download circuit 35, and an operation reception circuit 36. I am assuming that.
  • Each of the photographed image acquisition circuit 31, feature region designation reception circuit 39, difference detection circuit 32, guidance presentation circuit 33, image recording circuit 34, download circuit 35, and operation reception circuit 36 is configured as a single circuit, a composite circuit, or a program. This includes a parallel-programmed processor, a parallel-programmed processor, an ASIC, an FPGA, or a combination of these.
  • the components of the device operating device 3 are not limited to those realized by dedicated hardware, but the device operating device 3 may be realized by software, firmware, or a combination of software and firmware. Good too.
  • the device operating device 3 When the device operating device 3 is realized by software or firmware, etc., it includes a photographed image acquisition section 11, a characteristic region specification reception section 19, a difference detection section 12, a guidance presentation section 13, an image recording section 14, a download section 15, and an operation reception section.
  • a program for causing a computer to execute each processing procedure in the unit 16 is stored in the memory 51 shown in FIG. Then, the processor 52 shown in FIG. 3 executes the program stored in the memory 51.
  • FIG. 14 shows an example in which each of the components of the device operating device 3 is realized by dedicated hardware
  • FIG. 3 shows an example in which the device operating device 3 is realized by software, firmware, etc.
  • this is just an example, and some of the components in the device operating device 3 may be realized by dedicated hardware, and the remaining components may be realized by software, firmware, or the like.
  • the operation of the device operating device 3 shown in FIG. 13 will be explained.
  • the components other than the feature region specification receiving section 19 are the same as the device operating device 3 shown in FIG. Therefore, here, the operation of the feature region designation reception unit 19 will be mainly explained.
  • the process of accepting the feature region FR m designated by the user is a well-known technique, and therefore detailed description thereof will be omitted.
  • FIG. 15 is an explanatory diagram showing an example of the feature region FR m .
  • a region FR1 where a heart-shaped mark is placed on the curtain and a region FR2 at the left corner of the curtain are designated as the characteristic region FRm .
  • the feature region designation reception unit 19 receives designations of a plurality of feature regions FR m , it receives designation of the priority order of each feature region FR m .
  • the process of accepting the priority order specified by the user itself is a well-known technique, so a detailed explanation will be omitted.
  • the feature region designation reception unit 19 accepts the designation of the priority order of the feature region FR 1 and the feature region FR 2 .
  • the priority of the feature region FR 1 is the first
  • the priority of the feature region FR 2 is the second.
  • the feature region designation reception unit 19 outputs the captured image PG F in which the prioritized feature region FR m is designated to the difference detection unit 12 and the image recording unit 14, respectively, as the captured image PG.
  • the feature region designation receiving unit 19 outputs the captured image PG F ′ in which the prioritized feature region FR m is designated to the image recording unit 14 as the second captured image PG′.
  • the difference detection unit 12 acquires the captured image PG in which the prioritized feature area FR m is specified from the feature area specification reception unit 19 .
  • the difference detection unit 12 selects the feature region FR 2 , which has the second priority, and the recorded registered image RG.
  • the difference between the feature region FR 2 and the region corresponding to the feature region FR 2 is detected by comparing the region corresponding to the feature region FR 2 in n .
  • the image recording unit 14 records the photographed image PG F in which the characteristic region FR m is specified as the registered image RG n+1 as the photographed image PG. If no difference is detected by the difference detection unit 12, the image recording unit 14 sets the captured image PG F′ in which the prioritized feature region FR m is designated as the registered image RG n+1 as the second captured image PG′. Record.
  • the difference detection unit 12 when the difference detection unit 12 performs the process of detecting the difference between the photographed image acquired by the photographed image acquisition unit 11 and the recorded registered image, the area of interest in the photographed image is In FIG. 13, a feature region designation reception unit 19 is provided which receives designation of a feature region and outputs a photographed image in which a priority feature region is designated to each of the difference detection unit 12 and the image recording unit 14.
  • the equipment operating device 3 shown in FIG. Therefore, even if the captured image and the recorded registered image are similar and no difference is detected between the two images, the device operating device 3 shown in FIG. In addition to being able to execute applications for use with the computer, the processing load of the difference detection process on the difference detection unit 12 can be reduced compared to the device operating device 3 shown in FIG.
  • the present disclosure is suitable for equipment operating devices and equipment operating methods.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

カメラ（２）から、操作対象機器（１）と操作対象機器（１）の周辺領域とが映っている撮影画像を示す画像データを取得する撮影画像取得部（１１）と、撮影画像取得部（１１）により取得された画像データが示す撮影画像と記録済みの登録画像との差異の検出処理を行う差異検出部（１２）とを備えるように、機器操作装置（３）を構成した。また、機器操作装置（３）は、差異検出部（１２）により差異が検出されれば、撮影画像を登録画像として記録し、差異検出部（１２）により差異が検出されなければ、記録済みの登録画像と差異化された第２の撮影画像を取得し、第２の撮影画像を登録画像として記録する画像記録部（１４）と、画像記録部（１４）により記録された登録画像に映っている操作対象機器（１）の操作用アプリケーションをダウンロードするダウンロード部（１５）とを備えている。

Description

機器操作装置及び機器操作方法
　本開示は、機器操作装置及び機器操作方法に関するものである。
　操作対象機器の操作用アプリケーションを実行することで、操作対象機器の操作を受け付ける機器操作装置がある（例えば、特許文献１を参照）。
　当該機器操作装置は、第１の周辺画像取得手段、第２の周辺画像取得手段、設定手段及び信号出力手段を備えている。第１の周辺画像取得手段は、１つ以上の操作対象機器におけるそれぞれの周辺領域の画像である第１の周辺画像を取得し、それぞれの第１の周辺画像を操作対象機器と関連付けて記憶する。第２の周辺画像取得手段は、ユーザが操作対象機器を操作する際に撮影された、当該操作対象機器の周辺領域の画像である第２の周辺画像を取得する。設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像があれば、当該第１の周辺画像に対応している操作対象機器を、実際に操作を行う機器に設定する。設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像がなければ、ユーザによる、実際に操作を行う機器の選択操作を受け付ける。信号出力手段は、実際に操作を行う機器の操作用アプリケーションを実行することで、操作信号を当該機器に出力する。
特開２０１２－１１９９３５号公報
　例えば、個人宅には、形状が同じであって、天井、床、又は、壁の模様が同じである部屋が複数存在していることがある。壁の模様等が同じである複数の部屋には、操作対象機器として、例えば、同一機種のエアコンが設置されている場合がある。このような場合、複数の部屋のそれぞれに設置されているエアコンの周辺領域が互いに類似しているために、それぞれの部屋に設置されているエアコンの周辺領域の画像を区別することが困難であることがある。
　特許文献１に開示されている機器操作装置では、複数の部屋のそれぞれに設置されている操作対象機器の第１の周辺画像が互いに類似しているために、第１の周辺画像取得手段によって、互いに類似している複数の第１の周辺画像のそれぞれが操作対象機器と関連付けて記憶される場合がある。このような場合、設定手段は、複数の第１の周辺画像の中で、第２の周辺画像と一致している第１の周辺画像を検出できない状況、又は、第２の周辺画像と一致していない第１の周辺画像を誤検出する状況を生じることがある。また、ユーザにおいても、それぞれの第１の周辺画像と関連付けられている操作対象機器の中で、どの操作対象機器が、実際に操作を行う機器であるのかの判別が困難な状況を生じることがある。これらの状況下では、信号出力手段が、実際に操作を行う機器の操作用アプリケーションを実行できないことがあるという課題があった。
　本開示は、上記のような課題を解決するためになされたもので、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができる機器操作装置及び機器操作方法を得ることを目的とする。
　本開示に係る機器操作装置は、カメラから、操作対象機器と操作対象機器の周辺領域とが映っている撮影画像を示す画像データを取得する撮影画像取得部と、撮影画像取得部により取得された画像データが示す撮影画像と記録済みの登録画像との差異の検出処理を行う差異検出部とを備えている。また、機器操作装置は、差異検出部により差異が検出されれば、撮影画像を登録画像として記録し、差異検出部により差異が検出されなければ、記録済みの登録画像と差異化された第２の撮影画像を取得し、第２の撮影画像を登録画像として記録する画像記録部と、画像記録部により記録された登録画像に映っている操作対象機器の操作用アプリケーションをダウンロードするダウンロード部とを備えている。
　本開示によれば、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができる。
実施の形態１に係る機器操作装置３を示す構成図である。 実施の形態１に係る機器操作装置３のハードウェアを示すハードウェア構成図である。 機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。 機器操作装置３の処理手順である機器操作方法を示すフローチャートである。 操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す説明図である。 識別用マーカの一例を示す説明図である。 ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの表示例を示す説明図である。 実施の形態２に係る機器操作装置３を示す構成図である。 実施の形態２に係る機器操作装置３のハードウェアを示すハードウェア構成図である。 実施の形態３に係る機器操作装置３を示す構成図である。 実施の形態３に係る機器操作装置３のハードウェアを示すハードウェア構成図である。 図１２Ａは、グリッドが付加されていない撮影画像ＰＧの一例を示す説明図、図１２Ｂは、グリッドが付加された撮影画像ＰＧＧの一例を示す説明図である。 実施の形態４に係る機器操作装置３を示す構成図である。 実施の形態４に係る機器操作装置３のハードウェアを示すハードウェア構成図である。 特徴領域ＦＲｍの一例を示す説明図である。
　以下、本開示をより詳細に説明するために、本開示を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る機器操作装置３を示す構成図である。
　図２は、実施の形態１に係る機器操作装置３のハードウェアを示すハードウェア構成図である。
　図１において、操作対象機器１は、例えば、エアコン、テレビ、又は、オーディオ機器である。ここでは、説明の便宜上、操作対象機器１がエアコンであるものとして説明する。
　カメラ２は、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影し、撮影画像ＰＧを示す画像データを機器操作装置３に出力する。撮影画像ＰＧは、静止画であってもよいし、動画であってもよい。
　図１に示す機器操作装置３では、カメラ２が機器操作装置３の外部に設置されている。しかし、これは一例に過ぎず、カメラ２が機器操作装置３に内蔵されていてもよい。
　機器操作装置３は、撮影画像取得部１１、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
　撮影画像取得部１１は、例えば、図２に示す撮影画像取得回路３１によって実現される。
　撮影画像取得部１１は、カメラ２から、撮影画像ＰＧを示す画像データを取得する。
　また、撮影画像取得部１１は、差異検出部１２によって、撮影画像ＰＧと記録済みの登録画像ＲＧ１～ＲＧＮとの差異が検出されなければ、ガイダンス提示部１３によりガイダンスが提示された後に、第２の撮影画像ＰＧ’として、カメラ２から、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得する。Ｎは、１以上の整数である。
　撮影画像取得部１１は、撮影画像ＰＧを示す画像データを差異検出部１２及び画像記録部１４のそれぞれに出力する。
　撮影画像取得部１１は、第２の撮影画像ＰＧ’を示す画像データを画像記録部１４に出力する。
　差異検出部１２は、例えば、図２に示す差異検出回路３２によって実現される。
　差異検出部１２は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得し、画像記録部１４から、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）を示す画像データを取得する。
　差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う。差異の検出処理は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとを照合して、双方の画像に違う部分があるか否かを判別する処理である。
　ガイダンス提示部１３は、例えば、図２に示すガイダンス提示回路３３によって実現される。
　ガイダンス提示部１３は、差異検出部１２により差異が検出されなければ、識別用マーカの貼り付けを促すガイダンスを提示する。
　ガイダンスの提示方法としては、ガイダンス提示部１３が、ガイダンスを図示せぬディスプレイに表示するものであってもよいし、図示せぬスピーカからガイダンスを音声出力するものであってもよい。
　画像記録部１４は、例えば、図２に示す画像記録回路３４によって実現される。
　画像記録部１４は、差異検出部１２により差異が検出されれば、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得する。
　画像記録部１４は、撮影画像ＰＧを登録画像ＲＧｎ＋１（ｎ＝１，・・・，Ｎ）として記録する。
　画像記録部１４は、差異検出部１２により差異が検出されなければ、撮影画像取得部１１から、記録済みの登録画像ＲＧｎと差異化された第２の撮影画像ＰＧ’を示す画像データを取得する。
　画像記録部１４は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する。
　即ち、画像記録部１４は、差異検出部１２により差異が検出されなければ、第２の撮影画像ＰＧ’として、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を登録画像ＲＧｎ＋１として記録する。
　ダウンロード部１５は、例えば、図２に示すダウンロード回路３５によって実現される。
　ダウンロード部１５は、例えば、操作対象機器１の製造メーカのサーバ装置４から、ネットワークを介して、画像記録部１４により記録された登録画像ＲＧｎ＋１に映っている操作対象機器１の操作用アプリケーションをダウンロードする。
　操作対象機器１の操作用アプリケーションは、例えば、ダウンロード部１５の内部メモリに格納される。
　操作受付部１６は、例えば、図２に示す操作受付回路３６によって実現される。
　操作受付部１６は、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの中から、いずれか１つの操作用アプリケーションの選択を受け付ける。
　操作受付部１６は、ユーザによって選択された操作用アプリケーションを実行することで、操作対象機器１の操作を受け付ける。
　図１では、機器操作装置３の構成要素である撮影画像取得部１１、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６のそれぞれが、図２に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
　撮影画像取得回路３１、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又は、これらを組み合わせたものが該当する。
　機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　ソフトウェア又はファームウェアは、プログラムとして、コンピュータのメモリに格納される。コンピュータは、プログラムを実行するハードウェアを意味し、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいは、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）が該当する。
　図３は、機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合のコンピュータのハードウェア構成図である。
　機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムがメモリ５１に格納される。そして、コンピュータのプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
　また、図２では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図１に示す機器操作装置３の動作について説明する。
　図４は、機器操作装置３の処理手順である機器操作方法を示すフローチャートである。
　ユーザは、カメラ２を操作して、図５に示すように、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影する。
　図５は、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す説明図である。
　図５の例では、操作対象機器１の周辺領域には、操作対象機器１が設置されている壁、操作対象機器１の近くに設置されているカーテン及び操作対象機器１が設置されている壁の近くの天井が含まれている。
　図５の例では、カメラ２によって操作対象機器１が認識されると、フォーカスマーカがカメラ２のファインダーに表示される。
　ユーザが、カメラ２によって認識された操作対象機器１をタップすると、操作対象機器１が確定する。
　カメラ２は、操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影し、撮影画像ＰＧを示す画像データを機器操作装置３に出力する。
　撮影画像取得部１１は、カメラ２から、撮影画像ＰＧを示す画像データを取得する（図４のステップＳＴ１）。
　撮影画像取得部１１は、撮影画像ＰＧを示す画像データを差異検出部１２及び画像記録部１４のそれぞれに出力する。
　差異検出部１２は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得し、画像記録部１４から、記録済みの登録画像ＲＧ１～ＲＧＮを示す画像データを取得する。
　差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）とを照合することで、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う（図４のステップＳＴ２）。
　差異の検出処理としては、複数の画像が同一の画像であるか否かを判別する公知の画像照合アプリケーションを用いることができる。公知の画像照合アプリケーションとしては、例えば、パターンマッチング法を用いたアプリケーションがある。
　具体的には、差異検出部１２は、撮影画像ＰＧと記録済みの登録画像ＲＧｎとの類似度を判別する。差異検出部１２は、類似度が閾値以上であれば、撮影画像ＰＧと登録画像ＲＧｎとの間に「差異がない」という判定を行う。差異検出部１２は、類似度が閾値未満であれば、撮影画像ＰＧと登録画像ＲＧｎとの間に「差異がある」という判定を行う。類似度判定用の閾値は、差異検出部１２の内部メモリに格納されていてもよいし、機器操作装置３の外部から与えられるものであってもよい。
　差異検出部１２は、差異の検出処理結果を撮影画像取得部１１、ガイダンス提示部１３及び画像記録部１４のそれぞれに出力する。
　画像記録部１４は、差異検出部１２から、差異の検出処理結果を取得する。
　画像記録部１４は、差異検出部１２により差異が検出されれば（図４のステップＳＴ３：ＹＥＳの場合）、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する（図４のステップＳＴ４）。
　ガイダンス提示部１３は、差異検出部１２から、差異の検出処理結果を取得する。
　ガイダンス提示部１３は、差異検出部１２により差異が検出されなければ（図４のステップＳＴ３：ＮＯの場合）、識別用マーカの貼り付けを促すガイダンスを提示する（図４のステップＳＴ５）。
　ガイダンスの提示を受けたユーザは、図６に示すように、識別用マーカを操作対象機器１に貼り付ける作業を行う。
　図６は、識別用マーカの一例を示す説明図である。
　識別用マーカは、どのような絵柄のマークでもよい。識別用マーカは、例えば、購入した操作対象機器１を梱包していたダンボールに同梱されていることがある。
　ガイダンスの提示を受けたユーザは、撮影画像ＰＧが登録画像ＲＧｎとして既に記録されている場合、撮影画像ＰＧの二重登録を防ぐため、識別用マーカを操作対象機器１に貼り付ける操作を行わない。
　ユーザは、識別用マーカを操作対象機器１に貼り付ける操作を行った場合、カメラ２を操作して、識別用マーカを貼り付けた操作対象機器１と操作対象機器１の周辺領域とを含む範囲を撮影する。
　カメラ２は、識別用マーカが貼り付けられた操作対象機器１と操作対象機器１の周辺領域とが映っている画像を第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’を示す画像データを機器操作装置３に出力する。
　撮影画像取得部１１は、差異検出部１２から、差異の検出処理結果を取得する。
　撮影画像取得部１１は、差異検出部１２により差異が検出されなければ、ガイダンス提示部１３によりガイダンスが提示された後に、カメラ２から出力された、第２の撮影画像ＰＧ’を示す画像データを取得する（図４のステップＳＴ６）。
　撮影画像取得部１１は、第２の撮影画像ＰＧ’を示す画像データを画像記録部１４に出力する。
　画像記録部１４は、差異検出部１２により差異が検出されなければ、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得する。
　画像記録部１４は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する（図４のステップＳＴ７）。
　ダウンロード部１５は、画像記録部１４によって、撮影画像ＰＧ、又は、第２の撮影画像ＰＧ’が登録画像ＲＧｎ＋１として記録されると、例えば、操作対象機器１の製造メーカのサーバ装置４から、登録画像ＲＧｎ＋１に映っている操作対象機器１の操作用アプリケーションをダウンロードする（図４のステップＳＴ８）。
　操作対象機器１の操作用アプリケーションは、例えば、ダウンロード部１５の内部メモリに格納される。
　ユーザが操作対象機器１の操作を行う際、操作受付部１６は、図７に示すように、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションを図示せぬディスプレイに表示させる。このとき、操作受付部１６は、それぞれの操作用アプリケーションに対応する登録画像ＲＧｎ＋１（ｎ＝１，・・・，Ｎ）をディスプレイに表示させる。
　図７は、ダウンロード部１５によりダウンロードされた１つ以上の操作用アプリケーションの表示例を示す説明図である。
　図７の例では、操作対象機器１の操作用アプリケーションとして、エアコンＡの操作用アプリケーション、エアコンＢの操作用アプリケーション、テレビＡの操作用アプリケーション及びテレビＢの操作用アプリケーションのそれぞれが表示されている。
　また、図７の例では、エアコンＡの操作用アプリケーションに対応する登録画像ＲＧ１、エアコンＡの操作用アプリケーションに対応する登録画像ＲＧ２、テレビＡの操作用アプリケーションに対応する登録画像ＲＧ３及びテレビＢの操作用アプリケーションに対応する登録画像ＲＧ３のそれぞれが表示されている。
　操作受付部１６は、選択可能な１つ以上の操作用アプリケーションの中から、いずれか１つの操作用アプリケーションの選択を受け付ける（図４のステップＳＴ９）。
　図７の例では、操作対象機器１であるエアコンＢの操作用アプリケーションが選択されている。エアコンＢのヘッダにチェックが入っている。
　操作受付部１６は、ユーザによって選択された操作用アプリケーションを実行することで、操作対象機器１の操作を受け付ける（図４のステップＳＴ１０）。
　以上の実施の形態１では、カメラ２から、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得する撮影画像取得部１１と、撮影画像取得部１１により取得された画像データが示す撮影画像と記録済みの登録画像との差異の検出処理を行う差異検出部１２とを備えるように、機器操作装置３を構成した。また、機器操作装置３は、差異検出部１２により差異が検出されれば、撮影画像を登録画像として記録し、差異検出部１２により差異が検出されなければ、記録済みの登録画像と差異化された第２の撮影画像を取得し、第２の撮影画像を登録画像として記録する画像記録部１４と、画像記録部１４により記録された登録画像に映っている操作対象機器１の操作用アプリケーションをダウンロードするダウンロード部１５とを備えている。したがって、機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができる。
　図１に示す機器操作装置３では、撮影画像取得部１１が、１つの撮影画像ＰＧを示す画像データを取得し、差異検出部１２が、１つの撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理を行っている。しかし、これは一例に過ぎず、撮影画像取得部１１が、複数の撮影画像ＰＧを示す画像データを取得し、差異検出部１２が、複数の撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行うようにしてもよい。
　複数の撮影画像ＰＧは、例えば、同じ操作対象機器１を互いに異なる方向から撮影された画像である。
　差異検出部１２が、複数の撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行うことで、１つの撮影画像ＰＧと記録済みの登録画像ＲＧｎとの差異の検出処理を行う場合よりも、差異の検出精度が向上する。
　図１に示す機器操作装置３では、撮影画像取得部１１が、操作対象機器１と操作対象機器１の周辺領域とが映っている撮影画像を示す画像データを取得している。例えば、撮影画像取得部１１が画像データを取得する前に、操作対象機器１と周辺領域とが紐づけられているような場合には、撮影画像取得部１１は、操作対象機器１の周辺領域のみが映っている撮影画像を示す画像データを取得するようにしてもよい。
実施の形態２．
　実施の形態２では、差異検出部１２により差異が検出されなければ、画像記録部１７が、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得する機器操作装置３について説明する。
　図８は、実施の形態２に係る機器操作装置３を示す構成図である。図８において、図１と同一符号は同一又は相当部分を示すので説明を省略する。
　図９は、実施の形態２に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図９において、図２と同一符号は同一又は相当部分を示すので説明を省略する。
　図８に示す機器操作装置３は、撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６を備えている。図８に示す機器操作装置３は、
図１に示す機器操作装置３と異なり、ガイダンス提示部１３を備えていない。
　画像記録部１７は、例えば、図９に示す画像記録回路３７によって実現される。
　画像記録部１７は、差異検出部１２により差異が検出されれば、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する。
　画像記録部１７は、差異検出部１２により差異が検出されなければ、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像ＰＧ’として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得する。
　画像記録部１７は、第２の撮影画像ＰＧ’を登録画像ＲＧｎ＋１として記録する。
　図８では、機器操作装置３の構成要素である撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６のそれぞれが、図９に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、差異検出回路３２、画像記録回路３７、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
　撮影画像取得回路３１、差異検出回路３２、画像記録回路３７、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
　機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、差異検出部１２、画像記録部１７、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
　また、図９では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図８に示す機器操作装置３の動作について説明する。ただし、画像記録部１７以外は、図１に示す機器操作装置３と同様である。このため、ここでは、画像記録部１７の動作のみを説明する。
　画像記録部１７は、差異検出部１２により差異が検出されれば、図１に示す画像記録部１４と同様に、撮影画像ＰＧを登録画像ＲＧｎ＋１として記録する。
　画像記録部１７は、差異検出部１２により差異が検出されなければ、撮影画像ＰＧに映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成する。識別用マーカを示すイラスト部品は、画像記録部１７の内部メモリに格納されていてもよいし、機器操作装置３の外部から与えられるものであってもよい。識別用マーカを示すイラスト部品を操作対象機器１に合成する画像処理は、公知の技術であるため詳細な説明を省略する。
　画像記録部１７は、第２の撮影画像ＰＧ’として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を登録画像ＲＧｎ＋１として記録する。
　以上の実施の形態２では、差異検出部１２により差異が検出されなければ、画像記録部１７が、撮影画像に映っている操作対象機器１に対して識別用マーカを示すイラスト部品を合成することで、第２の撮影画像として、識別用マーカ付きの操作対象機器１と周辺領域とが映っている画像を取得するように、機器操作装置３を構成した。したがって、機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができるほか、ユーザが、識別用マーカを操作対象機器１に貼り付ける作業を省略することができる。
実施の形態３．
　実施の形態３では、撮影画像ＰＧ、又は、第２の撮影画像ＰＧ’にグリッドを付加するグリッド付加部１８を備える機器操作装置３について説明する。
　図１０は、実施の形態３に係る機器操作装置３を示す構成図である。図１０において、図１及び図８と同一符号は同一又は相当部分を示すので説明を省略する。
　図１１は、実施の形態３に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図１１において、図２及び図９と同一符号は同一又は相当部分を示すので説明を省略する。
　図１１に示す機器操作装置３は、撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
　グリッド付加部１８は、例えば、図１１に示すグリッド付加回路３８によって実現される。
　グリッド付加部１８は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得すれば、撮影画像ＰＧにグリッドを付加する。
　グリッド付加部１８は、撮影画像ＰＧとして、撮影画像ＰＧにグリッドを付加したグリッド付きの撮影画像ＰＧＧを差異検出部１２及び画像記録部１４のそれぞれに出力する。
　グリッド付加部１８は、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得すれば、第２の撮影画像ＰＧ’にグリッドを付加する。
　グリッド付加部１８は、第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’にグリッドを付加したグリッド付きの撮影画像ＰＧＧ’を画像記録部１４に出力する。
　図１０に示す機器操作装置３は、グリッド付加部１８が図１に示す機器操作装置３に適用されたものである。しかし、これは一例に過ぎず、グリッド付加部１８が図８に示す機器操作装置３に適用されたものであってもよい。
　図１０では、機器操作装置３の構成要素である撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６のそれぞれが、図１１に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、グリッド付加回路３８、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
　撮影画像取得回路３１、グリッド付加回路３８、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
　機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、グリッド付加部１８、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
　また、図１１では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図１０に示す機器操作装置３の動作について説明する。ただし、グリッド付加部１８以外は、図１に示す機器操作装置３と同様である。このため、ここでは、主に、グリッド付加部１８の動作について説明する。
　グリッド付加部１８は、撮影画像取得部１１から、撮影画像ＰＧを示す画像データを取得すれば、撮影画像ＰＧにグリッドを付加する。撮影画像ＰＧにグリッドを付加する処理自体は、公知の技術であるため詳細な説明を省略する。
　グリッド付加部１８は、撮影画像ＰＧとして、撮影画像ＰＧにグリッドを付加したグリッド付きの撮影画像ＰＧＧを差異検出部１２及び画像記録部１４のそれぞれに出力する。
　グリッド付加部１８は、撮影画像取得部１１から、第２の撮影画像ＰＧ’を示す画像データを取得すれば、第２の撮影画像ＰＧ’にグリッドを付加する。
　グリッド付加部１８は、第２の撮影画像ＰＧ’として、第２の撮影画像ＰＧ’にグリッドを付加したグリッド付きの撮影画像ＰＧＧ’を画像記録部１４に出力する。
　図１２は、グリッド付きの撮影画像ＰＧＧの一例を示す説明図である。
　図１２Ａは、グリッドが付加されていない撮影画像ＰＧの一例を示し、図１２Ｂは、グリッドが付加された撮影画像ＰＧＧの一例を示している。
　図１２の例では、グリッドを構成する縦線及び横線におけるそれぞれの間隔が○○ｍｍに設定されている。○○ｍｍの具体的な数値としては、例えば、７０ｍｍが用いられる。
　差異検出部１２は、グリッド付きの撮影画像ＰＧＧと、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）とを照合することで、グリッド付きの撮影画像ＰＧＧと、記録済みの登録画像ＲＧｎとの差異を検出する。記録済みの登録画像ＲＧｎについても、グリッドが付加されている。
　グリッドが付加されていることで、例えば、操作対象機器１と、周辺領域に存在している物体とのサイズ比が明確になる。このため、グリッドが付加されていない撮影画像ＰＧとグリッドが付加されていない登録画像ＲＧｎとの差異の検出精度よりも、グリッド付きの撮影画像ＰＧＧとグリッド付きの登録画像ＲＧｎとの差異の検出精度の方が高くなる。
　画像記録部１４は、差異検出部１２により差異が検出されれば、グリッド付きの撮影画像ＰＧＧを登録画像ＲＧｎ＋１として記録する。
　画像記録部１４は、差異検出部１２により差異が検出されなければ、識別用マーカが貼り付けられたグリッド付きの撮影画像ＰＧＧ’を登録画像ＲＧｎ＋１として記録する。
　以上の実施の形態３では、撮影画像取得部１１により取得された画像データが示す撮影画像にグリッドを付加し、グリッド付きの撮影画像を差異検出部１２及び画像記録部１４のそれぞれに出力するグリッド付加部１８を備えるように、図１０に示す機器操作装置３を構成した。したがって、図１０に示す機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができるほか、図１に示す機器操作装置３よりも、撮影画像と登録画像との差異の検出精度を高めることができる。
実施の形態４．
　実施の形態４では、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、撮影画像ＰＧの中で注目する領域である特徴領域の指定を受け付ける特徴領域指定受付部１９を備える機器操作装置３について説明する。
　図１３は、実施の形態４に係る機器操作装置３を示す構成図である。図１３において、図１、図８及び図１０と同一符号は同一又は相当部分を示すので説明を省略する。
　図１４は、実施の形態４に係る機器操作装置３のハードウェアを示すハードウェア構成図である。図１４において、図２、図９及び図１１と同一符号は同一又は相当部分を示すので説明を省略する。
　図１４に示す機器操作装置３は、撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６を備えている。
　特徴領域指定受付部１９は、例えば、図１４に示す特徴領域指定受付回路３９によって実現される。
　特徴領域指定受付部１９は、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、撮影画像ＰＧの中で注目する領域である特徴領域ＦＲｍの指定を受け付ける。ｍ＝１，・・・，Ｍであり、Ｍは、１以上の整数である。
　特徴領域指定受付部１９は、撮影画像ＰＧとして、特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
　特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
　また、特徴領域指定受付部１９は、複数の特徴領域ＦＲｍの指定を受け付けた場合、それぞれの特徴領域ＦＲｍの優先順位の指定を受け付ける。
　特徴領域指定受付部１９は、撮影画像ＰＧとして、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
　特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
　図１３に示す機器操作装置３は、特徴領域指定受付部１９が図１に示す機器操作装置３に適用されたものである。しかし、これは一例に過ぎず、特徴領域指定受付部１９が、図８に示す機器操作装置３、又は、図１０に示す機器操作装置３に適用されたものであってもよい。
　図１３では、機器操作装置３の構成要素である撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６のそれぞれが、図１４に示すような専用のハードウェアによって実現されるものを想定している。即ち、機器操作装置３が、撮影画像取得回路３１、特徴領域指定受付回路３９、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６によって実現されるものを想定している。
　撮影画像取得回路３１、特徴領域指定受付回路３９、差異検出回路３２、ガイダンス提示回路３３、画像記録回路３４、ダウンロード回路３５及び操作受付回路３６のそれぞれは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたものが該当する。
　機器操作装置３の構成要素は、専用のハードウェアによって実現されるものに限るものではなく、機器操作装置３が、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現されるものであってもよい。
　機器操作装置３が、ソフトウェア又はファームウェア等によって実現される場合、撮影画像取得部１１、特徴領域指定受付部１９、差異検出部１２、ガイダンス提示部１３、画像記録部１４、ダウンロード部１５及び操作受付部１６におけるそれぞれの処理手順をコンピュータに実行させるためのプログラムが図３に示すメモリ５１に格納される。そして、図３に示すプロセッサ５２がメモリ５１に格納されているプログラムを実行する。
　また、図１４では、機器操作装置３の構成要素のそれぞれが専用のハードウェアによって実現される例を示し、図３では、機器操作装置３がソフトウェア又はファームウェア等によって実現される例を示している。しかし、これは一例に過ぎず、機器操作装置３における一部の構成要素が専用のハードウェアによって実現され、残りの構成要素がソフトウェア又はファームウェア等によって実現されるものであってもよい。
　次に、図１３に示す機器操作装置３の動作について説明する。ただし、特徴領域指定受付部１９以外は、図１に示す機器操作装置３と同様である。このため、ここでは、主に、特徴領域指定受付部１９の動作について説明する。
　特徴領域指定受付部１９は、差異検出部１２によって、撮影画像ＰＧと記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）との差異の検出処理が行われるに際して、注目する領域である特徴領域ＦＲｍ（ｍ＝１，・・・，Ｍ）の指定を受け付ける。ユーザによって指定された特徴領域ＦＲｍの受付処理自体は、公知の技術であるため詳細な説明を省略する。
　図１５は、特徴領域ＦＲｍの一例を示す説明図である。
　図１５の例では、特徴領域ＦＲｍとして、カーテンにハート型のマークが施されている領域ＦＲ１と、カーテンの左隅の領域ＦＲ２とが指定されている。
　また、特徴領域指定受付部１９は、複数の特徴領域ＦＲｍの指定を受け付けた場合、それぞれの特徴領域ＦＲｍの優先順位の指定を受け付ける。ユーザによって指定された優先順位の受付処理自体は、公知の技術であるため詳細な説明を省略する。
　図１５の例では、特徴領域ＦＲ１と特徴領域ＦＲ２とが指定されているため、特徴領域指定受付部１９は、特徴領域ＦＲ１と特徴領域ＦＲ２との優先順位の指定を受け付ける。
　ここでは、説明の便宜上、特徴領域ＦＲ１の優先順位が１番であり、特徴領域ＦＲ２の優先順位が２番であるものとする。
　特徴領域指定受付部１９は、撮影画像ＰＧとして、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦを差異検出部１２及び画像記録部１４のそれぞれに出力する。
　特徴領域指定受付部１９は、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を画像記録部１４に出力する。
　差異検出部１２は、特徴領域指定受付部１９から、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧを取得する。
　差異検出部１２は、撮影画像ＰＧＦの中で、優先順位が１番である特徴領域ＦＲ１と、記録済みの登録画像ＲＧｎ（ｎ＝１，・・・，Ｎ）の中で、特徴領域ＦＲ１に対応している領域とを照合することで、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との差異を検出する。
　差異検出部１２は、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との間に差異があれば、照合処理を終了する。
　差異検出部１２は、特徴領域ＦＲ１と、特徴領域ＦＲ１に対応している領域との間に差異がなければ、優先順位が２番である特徴領域ＦＲ２と、記録済みの登録画像ＲＧｎの中で、特徴領域ＦＲ２に対応している領域とを照合することで、特徴領域ＦＲ２と、特徴領域ＦＲ２に対応している領域との差異を検出する。
　画像記録部１４は、差異検出部１２により差異が検出されれば、撮影画像ＰＧとして、特徴領域ＦＲｍが指定された撮影画像ＰＧＦを登録画像ＲＧｎ＋１として記録する。
　画像記録部１４は、差異検出部１２により差異が検出されなければ、第２の撮影画像ＰＧ’として、優先順位付きの特徴領域ＦＲｍが指定された撮影画像ＰＧＦ’を登録画像ＲＧｎ＋１として記録する。
　以上の実施の形態４では、差異検出部１２によって、撮影画像取得部１１により取得された撮影画像と記録済みの登録画像との差異の検出処理が行われるに際して、撮影画像の中で注目する領域である特徴領域の指定を受け付け、優先順位付きの特徴領域が指定された撮影画像を差異検出部１２及び画像記録部１４のそれぞれに出力する特徴領域指定受付部１９を備えるように、図１３に示す機器操作装置３を構成した。したがって、図１３に示す機器操作装置３は、撮影画像と記録済みの登録画像とが類似していて、双方の画像間の差異が検出されない場合でも、撮影画像に映っている操作対象機器の操作用アプリケーションを実行することができるほか、図１に示す機器操作装置３よりも、差異検出部１２における差異検出処理の処理負荷を軽減することができる。
　なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　本開示は、機器操作装置及び機器操作方法に適している。
　１　操作対象機器、２　カメラ、３　機器操作装置、４　サーバ装置、１１　撮影画像取得部、１２　差異検出部、１３　ガイダンス提示部、１４　画像記録部、１５　ダウンロード部、１６　操作受付部、１７　画像記録部、１８　グリッド付加部、１９　特徴領域指定受付部、３１　撮影画像取得回路、３２　差異検出回路、３３　ガイダンス提示回路、３４　画像記録回路、３５　ダウンロード回路、３６　操作受付回路、３７　画像記録回路、３８　グリッド付加回路、３９　特徴領域指定受付回路、５１　メモリ、５２　プロセッサ。

Claims (9)

  1. 　カメラから、操作対象機器と前記操作対象機器の周辺領域とが映っている撮影画像を示す画像データを取得する撮影画像取得部と、
    　前記撮影画像取得部により取得された画像データが示す撮影画像と記録済みの登録画像との差異の検出処理を行う差異検出部と、
    　前記差異検出部により差異が検出されれば、前記撮影画像を登録画像として記録し、前記差異検出部により差異が検出されなければ、前記記録済みの登録画像と差異化された第２の撮影画像を取得し、前記第２の撮影画像を登録画像として記録する画像記録部と、
    　前記画像記録部により記録された登録画像に映っている前記操作対象機器の操作用アプリケーションをダウンロードするダウンロード部と
    　を備えた機器操作装置。
  2. 　前記画像記録部は、
    　前記第２の撮影画像として、前記カメラから、前記撮影画像取得部を介して、前記識別用マーカ付きの前記操作対象機器と前記周辺領域とが映っている撮影画像を示す画像データを取得することを特徴とする請求項１記載の機器操作装置。
  3. 　前記差異検出部により差異が検出されなければ、前記識別用マーカの貼り付けを促すガイダンスを提示するガイダンス提示部を備え、
    　前記撮影画像取得部は、
    　前記ガイダンス提示部によりガイダンスが提示された後に、前記カメラから、前記識別用マーカが貼り付けられた操作対象機器と前記周辺領域とが映っている撮影画像を示す画像データを取得し、
    　前記画像記録部は、
    　前記第２の撮影画像を示す画像データとして、前記ガイダンス提示部によりガイダンスが提示された後に、前記撮影画像取得部により取得された画像データを取得することを特徴とする請求項２記載の機器操作装置。
  4. 　前記画像記録部は、
    　前記撮影画像取得部により取得された画像データが示す撮影画像に映っている前記操作対象機器に対して前記識別用マーカを示すイラスト部品を合成し、前記第２の撮影画像として、前記識別用マーカ付きの前記操作対象機器と前記周辺領域とが映っている画像を取得することを特徴とする請求項１記載の機器操作装置。
  5. 　前記ダウンロード部によりダウンロードされた１つ以上の操作用アプリケーションの中から、いずれか１つの操作用アプリケーションの選択を受け付けて、選択された操作用アプリケーションを実行する操作受付部を備えたことを特徴とする請求項１記載の機器操作装置。
  6. 　前記撮影画像取得部により取得された画像データが示す撮影画像にグリッドを付加し、グリッド付きの撮影画像を前記差異検出部及び前記画像記録部のそれぞれに出力するグリッド付加部を備えたことを特徴とする請求項１記載の機器操作装置。
  7. 　前記差異検出部によって、前記撮影画像取得部により取得された画像データが示す撮影画像と前記記録済みの登録画像との差異の検出処理が行われるに際して、前記撮影画像取得部により取得された画像データが示す撮影画像の中で注目する領域である特徴領域の指定を受け付け、前記特徴領域が指定された撮影画像を前記差異検出部及び前記画像記録部のそれぞれに出力する特徴領域指定受付部を備えたことを特徴とする請求項１記載の機器操作装置。
  8. 　前記特徴領域指定受付部は、
    　複数の特徴領域の指定を受け付けた場合、それぞれの特徴領域の優先順位の指定を受け付け、前記優先順位付きの特徴領域が指定された撮影画像を前記差異検出部及び前記画像記録部のそれぞれに出力することを特徴とする請求項７記載の機器操作装置。
  9. 　撮影画像取得部が、カメラから、操作対象機器と前記操作対象機器の周辺領域とが映っている撮影画像を示す画像データを取得し、
    　差異検出部が、前記撮影画像取得部により取得された画像データが示す撮影画像と記録済みの登録画像との差異の検出処理を行い、
    　画像記録部が、前記差異検出部により差異が検出されれば、前記撮影画像を登録画像として記録し、前記差異検出部により差異が検出されなければ、前記記録済みの登録画像と差異化された第２の撮影画像を取得し、前記第２の撮影画像を登録画像として記録し、
    　ダウンロード部が、前記画像記録部により記録された登録画像に映っている前記操作対象機器の操作用アプリケーションをダウンロードする
    　機器操作方法。
PCT/JP2022/023228 2022-06-09 2022-06-09 機器操作装置及び機器操作方法 WO2023238307A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024517378A JPWO2023238307A1 (ja) 2022-06-09 2022-06-09
PCT/JP2022/023228 WO2023238307A1 (ja) 2022-06-09 2022-06-09 機器操作装置及び機器操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/023228 WO2023238307A1 (ja) 2022-06-09 2022-06-09 機器操作装置及び機器操作方法

Publications (1)

Publication Number Publication Date
WO2023238307A1 true WO2023238307A1 (ja) 2023-12-14

Family

ID=89117773

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/023228 WO2023238307A1 (ja) 2022-06-09 2022-06-09 機器操作装置及び機器操作方法

Country Status (2)

Country Link
JP (1) JPWO2023238307A1 (ja)
WO (1) WO2023238307A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325061A (ja) * 2001-04-25 2002-11-08 Toshiba Corp 通信端末
JP2003018674A (ja) * 2001-07-05 2003-01-17 Casio Comput Co Ltd 遠隔制御装置
JP2012119935A (ja) * 2010-11-30 2012-06-21 Toshiba Corp 情報機器、操作対象機器、操作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325061A (ja) * 2001-04-25 2002-11-08 Toshiba Corp 通信端末
JP2003018674A (ja) * 2001-07-05 2003-01-17 Casio Comput Co Ltd 遠隔制御装置
JP2012119935A (ja) * 2010-11-30 2012-06-21 Toshiba Corp 情報機器、操作対象機器、操作方法

Also Published As

Publication number Publication date
JPWO2023238307A1 (ja) 2023-12-14

Similar Documents

Publication Publication Date Title
AU2021204725B2 (en) Localization determination for mixed reality systems
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
EP3190581B1 (en) Interior map establishment device and method using cloud point
WO2014069247A1 (ja) 画像処理装置および画像処理方法、並びにプログラム
US11258940B2 (en) Imaging apparatus
KR20170066258A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
JP2000036032A (ja) 前景画像抽出方法、画像処理装置、自動トリミング装置、記録媒体及び肖像写真装置
US7711507B2 (en) Method and device for determining the relative position of a first object with respect to a second object, corresponding computer program and a computer-readable storage medium
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
JP2005189087A (ja) 距離測定装置およびプログラム
WO2023238307A1 (ja) 機器操作装置及び機器操作方法
JP2006085258A (ja) 画像比較方法、画像比較プログラムおよび画像比較装置
KR20180101237A (ko) 화상 처리 장치 및 화상 처리 장치를 제어하기 위한 제어 방법
KR102138333B1 (ko) 파노라마 영상 생성 장치 및 방법
US20160065842A1 (en) Visual data capture feedback
JP2007010419A (ja) 対象物の３次元形状検証システム。
JP6744550B2 (ja) 画像投影装置、画像投影方法および画像投影プログラム
TW201222422A (en) Method and arrangement for identifying virtual visual information in images
JP5239991B2 (ja) 画像処理装置、及び画像処理システム
JP2008203991A (ja) 画像処理装置
US20150326831A1 (en) Management apparatus, a managing method, a storage medium
JP2008090570A (ja) 情報処理装置及び情報処理方法
JP6537459B2 (ja) 防犯カメラ設置支援装置及びプログラム
JP5896781B2 (ja) 画像処理装置および画像処理方法
JP6773982B2 (ja) 情報処理装置、その制御方法とプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22945809

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024517378

Country of ref document: JP

Kind code of ref document: A