WO2020158042A1 - 機能制御装置 - Google Patents

機能制御装置 Download PDF

Info

Publication number
WO2020158042A1
WO2020158042A1 PCT/JP2019/037145 JP2019037145W WO2020158042A1 WO 2020158042 A1 WO2020158042 A1 WO 2020158042A1 JP 2019037145 W JP2019037145 W JP 2019037145W WO 2020158042 A1 WO2020158042 A1 WO 2020158042A1
Authority
WO
WIPO (PCT)
Prior art keywords
function
image
unit
function control
control device
Prior art date
Application number
PCT/JP2019/037145
Other languages
English (en)
French (fr)
Inventor
村上　圭一
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to JP2020569361A priority Critical patent/JP7097464B2/ja
Publication of WO2020158042A1 publication Critical patent/WO2020158042A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers

Definitions

  • the present invention relates to a function control device that controls functions of terminals and the like.
  • Patent Document 1 discloses that an image obtained by imaging is displayed, a selection input of a portion on the image is accepted, and information on a product shown in the portion is output.
  • Patent Document 1 is not necessarily easy to implement and highly convenient.
  • a spectacle-type device such as smart glasses requires a special configuration such as detection of a line of sight in order for the user to specify the position of the displayed image.
  • the technique disclosed in Patent Document 1 only has a function of outputting information about products.
  • An embodiment of the present invention has been made in view of the above, and an object thereof is to provide a function control device that can easily provide a user with a highly convenient function.
  • a function control device includes an image acquisition unit that acquires an image and a designation for designating a position that is captured in the image acquired by the image acquisition unit.
  • a specified object specifying unit that specifies the position of the object on the image, and an object identifying unit that identifies the type of the object captured at the position specified by the specified object specifying unit in the image acquired by the image acquisition unit
  • a function control unit that controls to execute a function according to the type of the object identified by the object identification unit.
  • the function control device In the function control device according to the embodiment of the present invention, the position of the designated object shown in the image is specified, and the function is controlled so that the function corresponding to the type of the object shown in the position corresponding to the position is executed. It Therefore, according to the function control device of one embodiment of the present invention, the function can be executed without designating the position of the image by detecting the line of sight or the like. In addition, it is possible to execute a function according to the type of object. That is, the function control device according to the embodiment of the present invention can easily provide a user with a highly convenient function.
  • FIG. 1 shows a terminal 10 which is a function control device according to this embodiment.
  • the terminal 10 is an information processing device used by a user and provides a function to the user by information processing.
  • the terminal 10 is, for example, an eyeglass-type device such as smart glasses, and is used by being attached to the user's eyes.
  • the terminal 10 has a camera (for example, an RGB camera) and can take an image.
  • the camera is provided in the terminal 10 so that, for example, when the terminal 10 is worn by the user, the user's line of sight and the imaging direction are the same.
  • the terminal 10 has a display and can display information.
  • the display is, for example, a transmissive display provided in a portion corresponding to a lens of smart glasses, and the user can see the display on the display while wearing the display.
  • the functions provided to the user by the terminal 10 include provision of information and operation of external devices.
  • An example of functions provided to the user by the terminal 10 will be described with reference to FIGS. 2 and 3.
  • FIG. 2A when the user holds the hand H over the person P imaged by the camera (that is, the user is looking (the same applies hereinafter)), the information I (for example, name, Display the work place and the last meeting date) on the display.
  • FIG. 2B when the user holds his hand H over a restaurant (for example, a restaurant or coffee shop) imaged by a camera, information I (for example, information indicating evaluation) of the restaurant R is displayed. To display.
  • FIG. 2A when the user holds the hand H over the person P imaged by the camera (that is, the user is looking (the same applies hereinafter)), the information I (for example, name, Display the work place and the last meeting date) on the display.
  • FIG. 2B when the user holds his hand H over a restaurant (for example, a restaurant or coffee shop)
  • the price information I of the product G (for example, information comparing prices at each retail store) is displayed on the display. indicate.
  • FIG. 3B when the user holds the hand H over the food F imaged by the camera, information I (for example, information indicating nutritional component) of the food F is displayed on the display.
  • FIG. 3C when the user holds his hand H over the home appliance E imaged by the camera, information I of the remote controller for operating the home appliance E is displayed on the display.
  • the terminal 10 includes an imaging unit 11, a display unit 12, an image acquisition unit 13, a designated object identification unit 14, an object identification unit 15, and a function control unit 16. .. Further, the terminal 10 has a functional unit (not shown) for performing the above-described function corresponding to the object held by the user's hand H.
  • the imaging unit 11 is a functional unit that acquires an image by imaging.
  • the imaging unit 11 is realized by the above-described camera included in the terminal 10.
  • a camera one provided in a conventional smart glass can be used.
  • a camera that captures an image with infrared rays may be used.
  • the image capturing unit 11 always captures an image and outputs the image obtained by the image capturing to the image acquiring unit 13.
  • the display unit 12 is a functional unit that performs display.
  • the display unit 12 is realized by the above-described display included in the terminal 10.
  • the display by the display unit 12 is also performed as a function of the terminal 10 provided to the user as described above.
  • the image acquisition unit 13 is a functional unit that acquires an image.
  • the image acquisition unit 13 inputs and acquires an image from the imaging unit 11.
  • the image acquisition unit 13 acquires a plurality of images in time series.
  • the image acquisition unit 13 inputs the input image to the designated object identification unit 14 and the object identification unit 15.
  • the specified object specifying unit 14 is a functional unit that specifies the position on the image of the specified object for specifying the position, which is shown in the image acquired by the image acquisition unit 13.
  • the designated object identification unit 14 may identify the position on the image of the user's hand as the position on the image of the designated object.
  • the designated object identifying unit 14 may recognize the shape of the designated object.
  • the designated object identification unit 14 inputs an image from the image acquisition unit 13.
  • the designated object identification unit 14 recognizes the user's hand from the input image. Recognition of the user's hand is done by conventional methods. For example, information indicating characteristics of the user's hand is stored in advance, and the user's hand is recognized using the information.
  • the designated object identification unit 14 identifies a specific position of the recognized hand of the user, for example, the position of the tip of the middle finger as the position on the image of the specified object.
  • the designated object identification unit 14 identifies, for example, a position on the image of the user's hand as coordinates in the image.
  • the designated object specifying unit 14 outputs information indicating the specified position, for example, information indicating coordinates in the image, to the object identifying unit 15.
  • the designated object identification unit 14 may also recognize the shape of the user's hand. For example, the shape of the hand with the finger extended as shown in FIGS. 2 and 3 and the shape of the hand with the finger held as shown in FIG. 4 may be recognized separately. Shape recognition may be performed by a conventional method. The shape of the hand to be recognized is preset and stored in the terminal 10. When recognizing the shape, the designated object specifying unit 14 outputs information indicating the recognized shape to the function control unit 16.
  • the designated object for designating the position is preset and stored in the terminal 10.
  • the designated object does not necessarily have to be the user's hand, and may be any object suitable for designating a position on the image.
  • the object identifying unit 15 is a functional unit that identifies the type of the object captured in the position identified by the designated object identifying unit 14 in the image acquired by the image acquisition unit 13.
  • the object identification unit 15 identifies an object included in the time-series image.
  • the object identification unit 15 inputs an image from the image acquisition unit 13.
  • the object identifying unit 15 inputs information indicating the position on the image of the user's hand identified from the image from the designated object identifying unit 14.
  • the object identifying unit 15 identifies (recognizes) an object in a position corresponding to the position of the user's hand in the image. For example, the object identifying unit 15 identifies an object that is captured in a portion other than the user's hand around the position of the user's hand. That is, the object identification unit 15 identifies an object on which the user's hand is superimposed in the image.
  • the identification of the object is done by conventional methods. For example, information indicating the characteristics of the object to be identified is stored in advance, and the object is identified using the information.
  • the objects to be identified are the appearance of a person, a store such as a restaurant, a character string in a preset language, a station, a product, food, a home appliance, a flower, and the like.
  • the object identification unit 15 also identifies (recognizes) what kind of object the identification object is. For example, when the identified object is a person, the person is also identified. Alternatively, in the case where the identified object is a store, the name of the store is also identified. However, depending on the type of object to be identified, it is not necessary to identify what each object is, and only the type of object may be identified. In this way, the object identification unit 15 identifies the type of the object shown in the image. The object identification unit 15 outputs information regarding the identified object to the function control unit 16.
  • the function control unit 16 is a function unit that controls to execute a function according to the type of the object identified by the object identification unit 15. For example, the function control unit 16 controls to execute a function of outputting information about an object, as one of the functions according to the type of the object. Alternatively, the function control unit 16 controls to execute a function of translating the character string when the object is a character string, as one of the functions according to the type of the object. Alternatively, the function control unit 16 controls to execute the function of displaying for operating the object as one of the functions according to the type of the object. Specifically, the function control unit 16 controls as follows.
  • the function control unit 16 stores a function to be executed for each type of object previously identified by the object identification unit 15. That is, the function control unit 16 stores a plurality of different functions according to the type of object. For example, as shown in FIG. 2A, the function of displaying the information of the person P is stored in association with the object type of the person P. Alternatively, as shown in FIG. 2C, the function of translating the character string T into another preset language and displaying it is associated with the object type of the character string T in the preset language. I remember. Alternatively, as shown in FIG. 3C, a function of performing a display for operating the home electric appliance E is stored in association with the object type of the home electric appliance E.
  • the operation of the home appliance E using the display may be performed, for example, in the same manner as the above-described object designation.
  • the function control unit 16 may display a UI (user interface) according to the object.
  • the functional unit for executing each function is provided in the terminal 10 in advance.
  • the function control unit 16 inputs information related to the object identified by the object identification unit 15.
  • the function control unit 16 determines to execute the function stored in association with the type of object indicated by the information input from the object identification unit 15.
  • the function control unit 16 instructs the above function units to execute the determined function.
  • the function control unit 16 functions the object specified by the information input from the object identification unit 15 (for example, information on which person or store). Notify the department so that the function is executed according to the object.
  • the functional unit that receives the instruction executes the function.
  • the display on the display unit 12 as shown in FIGS. 2 and 3 is performed.
  • the position on the image of the user's hand identified by the specified object identifying unit 14 at the time of display by the display unit 12 may be used.
  • balloon-shaped display may be performed near the position of the user's hand.
  • the function corresponding to the type of object does not necessarily have to perform display on the display unit 12.
  • audio output may be performed instead of displaying information.
  • the function control unit 16 may perform control so as to execute a function according to the shape of the hand of the user identified by the designated object identification unit 14.
  • the function control unit 16 inputs information indicating the shape of the hand recognized by the designated object specifying unit 14.
  • the function control unit 16 stores a function to be executed for each object type and hand shape. For example, as shown in FIG. 2B, the function of displaying information indicating the evaluation of the store is stored in association with the type of the object with the store and the shape of the hand with the finger extended. There is. Further, as shown in FIG. 4, the function of displaying the coupon information of the store is stored in association with the type of the object with the store and the shape of the hand with the finger held.
  • the function control unit 16 executes the stored function in association with the combination of the object type indicated by the information input from the object identification unit 15 and the hand shape indicated by the information input from the designated object identification unit 14. To judge.
  • the object identification unit 15 may identify an object for each image input from the image acquisition unit 13 regardless of whether information is input from the designated object identification unit 14.
  • the object identifying unit 15 may identify an object imaged at an arbitrary position other than the position corresponding to the position of the user's hand.
  • the object identifying unit 15 is displayed at an arbitrary portion of the image. Identified objects may be identified.
  • the object identification unit 15 outputs information about the object identified from the time-series images to the function control unit 16.
  • the function control unit 16 may perform control so as to execute a function corresponding to the time-series object identified by the object identification unit 15.
  • the function control unit 16 stores the function to be executed according to the result of identifying the objects in time series.
  • the function control unit 16 determines the function to be executed based on the stored information. For example, as shown in FIG. 5, when the foodstuff (for example, vegetable) C is identified as an object at a position corresponding to the position of the user's hand within a preset period after the refrigerator R is identified as an object, Displays the recipe information I associated with the food material C.
  • the user's hand H does not need to be identified from the image in which the refrigerator R is identified.
  • the function control unit 16 may control so as to execute a function according to the shape of the user's hand.
  • the recipe may be displayed when the shape of the hand is such that the finger is extended.
  • the function control unit 16 may recognize the gesture of the hand from the shape of the hand in time series, and may perform control so as to execute the function according to the gesture.
  • the object identification unit 15 identifies an object from the image input from the image acquisition unit 13 regardless of whether or not the information is input from the designated object identification unit 14, the position of the object in the image on the image ( The area may be specified, and in the device where the image is captured, that is, in the terminal 10, control may be performed so that the information indicating the position is output by the display unit 12.
  • an outline (frame) O indicating the identified position (area) is displayed as information indicating the position of the foodstuff.
  • the display on the display is made to overlap the visual field of the user's line of sight, and the outline O is displayed on the portion of the actual food material.
  • the image itself in which the outline O is superimposed on the object may be displayed on the display.
  • the object displaying the outline O is associated with a function (for example, information to be displayed). By displaying the outline O in this way, it is possible to know at which position the user holds his hand to execute the function.
  • the display of the information indicating the position of the food material is not limited to the display of the outline O described above, and may be any display.
  • the terminal 10 may further include a position information acquisition unit that acquires position information indicating the geographical position where the image acquired by the image acquisition unit 13 is captured.
  • the position information is, for example, information indicating the latitude and longitude of the position.
  • the position information acquisition unit is realized by, for example, a GPS (Global Positioning System) positioning function included in the terminal 10. It may also be realized by a positioning function other than the GPS positioning function.
  • the position information acquisition unit performs positioning when an image is picked up by the image pickup unit 11 and acquires position information indicating the geographical position of the own terminal 10.
  • the position information acquisition unit associates the acquired position information with the image and outputs it to the function control unit 16.
  • the function control unit 16 controls to execute the function according to the position information acquired by the position information acquisition unit.
  • the object identifying unit 15 identifies a chain of restaurants (a group of chain stores) as shown in FIG. 4 by identifying the object.
  • the chain can be specified, for example, by identifying a signboard of a store that is commonly used in the chain.
  • the function control unit 16 stores position information for each store in the chain in advance.
  • the function control unit 16 compares the position of the chain store identified by the object identification unit 15 with the position indicated by the position information acquired by the position information acquisition unit, and the function control unit 16 relates to the image. Identify the chain stores. For example, among a plurality of stores in the chain, a store whose difference in position between them is equal to or less than a preset threshold is specified as a store in the chain related to the image.
  • the function control unit 16 stores in advance the function to be executed for each store in the chain. For example, the function control unit 16 stores a function of displaying coupon information for each store. The function control unit 16 controls to execute the specified function of the store. As a result, for example, as described above, it is possible to display a coupon for each store or the like for each store.
  • the function control unit 16 may control so as to execute a function according to the shape of the user's hand.
  • the coupon may be displayed when the shape of the hand is such that the finger is held.
  • the function control unit 16 may recognize the gesture of the hand from the shape of the hand in time series, and may perform control so as to execute the function according to the gesture. The above is the function of the terminal 10 according to the present embodiment.
  • the image capturing unit 11 captures an image
  • the image captured by the image capturing unit 13 acquires the image (S01).
  • the designated object specifying unit 14 specifies the position on the image of the hand of the user shown in the image (S02).
  • the object identification unit 15 identifies the type of the object in the image at a position corresponding to the position identified by the designated object identification unit 14 (S03).
  • the function control unit 16 controls the function according to the type of the object identified by the object identification unit 15 to be executed (S04). By the control, the display on the display unit 12 as shown in FIGS. 2 and 3 is performed.
  • the above is the processing executed by the terminal 10 according to the present embodiment.
  • the position of a specified object such as the user's hand shown in the image is specified, and control is performed so that the function according to the type of the object shown in the position corresponding to the position is executed. Therefore, according to the present embodiment, the function can be executed without designating the position of the image by detecting the line of sight or the like. That is, if the terminal 10 has a camera (for example, an RGB camera) for obtaining an image, this embodiment can be implemented. Therefore, according to the present embodiment, it is possible to execute a function corresponding to the designated object without requiring hardware for designating a position with respect to an image such as detection of a line of sight. In addition, it is possible to execute a function according to the type of object.
  • a camera for example, an RGB camera
  • the object is a person
  • information on the person can be provided
  • information indicating the evaluation can be provided.
  • functions such as character string translation and home appliance operation.
  • the designated object may be used by the user as described above. With this configuration, the embodiment of the present invention can be appropriately and reliably implemented. Further, the user can easily use the function according to the embodiment of the present invention. However, as described above, as the designated object, any preset object other than the user's hand may be used.
  • the function may be controlled to be executed according to the position information indicating the geographical position. According to this configuration, it is possible to provide a function in consideration of the geographical position of the store. However, the position information may not be used.
  • control may be performed such that a function according to the shape of the designated object, for example, the shape of the user's hand is executed.
  • a function according to the shape of the designated object for example, the shape of the user's hand is executed.
  • time-series object may be controlled so that the function according to the time-series object is executed.
  • time-series objects may not be used.
  • the outline O of the object may be displayed as described above. With this configuration, the user can easily specify the object, and the convenience of the user can be improved. However, the outline O of the object may not be displayed.
  • the function executed as described above may include any one of output of information related to an object, translation of a character string, and display for operating the object (for example, display of remote controller). With this configuration, it is possible to provide a useful function for the user.
  • the function to be executed is not limited to the above, and any function may be used as long as it corresponds to the type of object.
  • the terminal 10 is a glasses-type device such as smart glasses, but the device is not necessarily limited to such a device.
  • the terminal 10 is only required to be capable of capturing an image and controlling the above-mentioned functions based on the image obtained by capturing the image.
  • the terminal 10 may be a device such as a smartphone.
  • the function control device is the terminal 10 and controls the function of the terminal 10 itself, but it may control the function other than itself.
  • the function control device may be a server that can communicate with the terminal and may control the function of the terminal.
  • the server receives an image captured by the terminal from the terminal, controls the function of the terminal based on the image as described above, for example, transmits information indicating the function to be executed to the terminal. It may be that.
  • some functions of the terminal 10 described above may be executed by a device other than the terminal, for example, a server that can communicate with the terminal 10.
  • each functional block may be realized by using one device physically or logically coupled, or directly or indirectly (for example, two or more devices physically or logically separated). , Wired, wireless, etc.) and may be implemented using these multiple devices.
  • the functional blocks may be realized by combining the one device or the plurality of devices with software.
  • the terminal 10 may function as a computer that performs the information processing of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of a hardware configuration of the terminal 10 according to the embodiment of the present disclosure.
  • the terminal 10 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the terminal 10 includes hardware such as the above-described camera that implements the functions of the present embodiment.
  • the word “device” can be read as a circuit, device, unit, or the like.
  • the hardware configuration of the terminal 10 may be configured to include one or a plurality of each device illustrated in the figure, or may be configured not to include some devices.
  • Each function in the terminal 10 causes the processor 1001 to perform arithmetic operations by causing hardware such as the processor 1001 and the memory 1002 to read predetermined software (program), control communication by the communication device 1004, and the memory 1002 and It is realized by controlling at least one of reading and writing of data in the storage 1003.
  • the processor 1001 operates an operating system to control the entire computer, for example.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, a register, and the like.
  • CPU central processing unit
  • each function in the terminal 10 described above may be realized by the processor 1001.
  • the processor 1001 reads a program (program code), software module, data, and the like from at least one of the storage 1003 and the communication device 1004 into the memory 1002, and executes various processes according to these.
  • a program program code
  • the program a program that causes a computer to execute at least part of the operations described in the above-described embodiments is used.
  • each function of the terminal 10 may be realized by a control program stored in the memory 1002 and operating in the processor 1001.
  • each function of the terminal 10 may be realized by a control program stored in the memory 1002 and operating in the processor 1001.
  • the processor 1001 may be implemented by one or more chips.
  • the program may be transmitted from the network via an electric communication line.
  • the memory 1002 is a computer-readable recording medium, and is configured by, for example, at least one of ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), and the like. May be done.
  • the memory 1002 may be called a register, a cache, a main memory (main storage device), or the like.
  • the memory 1002 can store a program (program code) that can be executed to execute information processing according to an embodiment of the present disclosure, a software module, and the like.
  • the storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disc drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disc). At least one of a (registered trademark) disk, a smart card, a flash memory (for example, a card, a stick, and a key drive), a floppy (registered trademark) disk, a magnetic strip, or the like.
  • the storage 1003 may be called an auxiliary storage device.
  • the storage medium included in the terminal 10 may be, for example, a database including at least one of the memory 1002 and the storage 1003, a server, or another appropriate medium.
  • the communication device 1004 is hardware (transmission/reception device) for performing communication between computers via at least one of a wired network and a wireless network, and is also called, for example, a network device, a network controller, a network card, a communication module, or the like.
  • the input device 1005 is an input device (eg, keyboard, mouse, microphone, switch, button, sensor, etc.) that receives an input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside.
  • the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).
  • Each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured by using a single bus, or may be configured by using a different bus for each device.
  • the terminal 10 is configured to include hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array).
  • DSP Digital Signal Processor
  • ASIC Application Specific Integrated Circuit
  • PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • part or all of each functional block may be realized by the hardware.
  • the processor 1001 may be implemented using at least one of these hardware.
  • Information that has been input and output may be stored in a specific location (for example, memory), or may be managed using a management table. Information that is input/output may be overwritten, updated, or added. The output information and the like may be deleted. The input information and the like may be transmitted to another device.
  • the determination may be performed by a value represented by 1 bit (0 or 1), may be performed by a boolean value (Boolean: true or false), and may be performed by comparing numerical values (for example, a predetermined value). (Comparison with a value).
  • the notification of the predetermined information (for example, the notification of “being X”) is not limited to the explicit notification, and is performed implicitly (for example, the notification of the predetermined information is not performed). Good.
  • software, instructions, information, etc. may be sent and received via a transmission medium.
  • the software uses a website using at least one of wired technology (coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL), etc.) and wireless technology (infrared, microwave, etc.), When sent from a server, or other remote source, at least one of these wired and wireless technologies are included within the definition of transmission medium.
  • wired technology coaxial cable, optical fiber cable, twisted pair, digital subscriber line (DSL), etc.
  • wireless technology infrared, microwave, etc.
  • information, parameters, etc. described in the present disclosure may be represented by using an absolute value, may be represented by using a relative value from a predetermined value, or by using other corresponding information. May be represented.
  • the phrase “based on” does not mean “based only on,” unless expressly specified otherwise. In other words, the phrase “based on” means both "based only on” and “based at least on.”
  • the term “A and B are different” may mean “A and B are different from each other”.
  • the term may mean that “A and B are different from C”.
  • the terms “remove”, “coupled” and the like may be construed similarly as “different”.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

容易に利便性の高い機能をユーザに提供する。　機能制御装置である端末１０は、画像を取得する画像取得部１３と、画像取得部１３によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する指定物体特定部１４と、画像取得部１３によって取得された画像において、指定物体特定部１４によって特定された位置に応じた位置に写ったオブジェクトの種別を識別するオブジェクト識別部１５と、オブジェクト識別部１５によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能制御部１６とを備える。

Description

機能制御装置
　本発明は、端末等の機能を制御する機能制御装置に関する。
　従来から、撮像によって得られた画像を用いてユーザに情報を提供する技術が提案されている。例えば、特許文献１には、撮像によって得られた画像を表示して、画像上の箇所の選択入力を受け付けて、当該箇所に写っている商品の情報を出力することが示されている。
特開２０１７－５９２７２号公報
　しかしながら、上述した特許文献１に示される技術は、必ずしも容易に実現でき利便性が高いとは言えない。例えば、スマートグラスといった眼鏡型の装置では、表示された画像の位置をユーザが指定するためには、視線の検出等の特別な構成が必要になる。また、特許文献１に示される技術は、商品の情報を出力する機能を有するのみである。
　本発明の一実施形態は、上記に鑑みてなされたものであり、容易に利便性の高い機能をユーザに提供することができる機能制御装置を提供することを目的とする。
　上記の目的を達成するために、本発明の一実施形態に係る機能制御装置は、画像を取得する画像取得部と、画像取得部によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する指定物体特定部と、画像取得部によって取得された画像において、指定物体特定部によって特定された位置に応じた位置に写ったオブジェクトの種別を識別するオブジェクト識別部と、オブジェクト識別部によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能制御部と、を備える。
　本発明の一実施形態に係る機能制御装置では、画像に写った指定物体の位置が特定されて、当該位置に応じた位置に写ったオブジェクトの種別に応じた機能が実行されるように制御される。従って、本発明の一実施形態に係る機能制御装置によれば、視線の検出等による画像に対する位置の指定を行うことなく機能を実行させることができる。また、オブジェクトの種別に応じた機能を実行させることができる。即ち、本発明の一実施形態に係る機能制御装置によれば、容易に利便性の高い機能をユーザに提供することができる。
　本発明の一実施形態によれば、視線の検出等による画像に対する位置の指定を行うことなく機能を実行させることができる。また、オブジェクトの種別に応じた機能を実行させることができる。即ち、本発明の一実施形態によれば、容易に利便性の高い機能をユーザに提供することができる。
本発明の実施形態に係る機能制御装置である端末の構成を示す図である。 端末において実行される機能の例を示す図である。 端末において実行される機能の例を示す図である。 端末において実行される機能の例を示す図である。 端末において実行される機能の例を示す図である。 本発明の実施形態に係る機能制御装置である端末で実行される処理を示すフローチャートである。 本発明の実施形態に係る機能制御装置である端末のハードウェア構成を示す図である。
　以下、図面と共に本発明に係る機能制御装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　図１に本実施形態に係る機能制御装置である端末１０を示す。端末１０は、ユーザによって用いられる情報処理装置であり、情報処理によってユーザに機能を提供する。端末１０は、例えば、スマートグラスといった眼鏡型の装置であり、ユーザの目の部分に装着されて用いられる。端末１０は、カメラ（例えば、ＲＧＢカメラ）を有しており、撮像を行うことができる。カメラは、例えば、端末１０がユーザに装着された際にユーザの視線と撮像方向とが同様になるように端末１０に設けられている。端末１０は、ディスプレイを有しており、情報を表示することができる。ディスプレイは、例えば、スマートグラスのレンズに相当する部分に設けられた透過型のディスプレイであり、ユーザが装着した状態でディスプレイによる表示を見ることができる。
　端末１０によってユーザに提供される機能は、情報の提供及び外部の装置の操作等である。図２及び図３を用いて、端末１０によってユーザに提供される機能の例を説明する。図２（ａ）に示すように、カメラによって撮像されている（即ち、ユーザが見ている（以下同様））人物Ｐにユーザが手Ｈをかざすと当該人物Ｐの情報Ｉ（例えば、名前、勤務先、最後に出会った日）をディスプレイに表示する。図２（ｂ）に示すように、カメラによって撮像されている飲食店（例えば、レストラン、喫茶店）にユーザが手Ｈをかざすと当該飲食店Ｒの情報Ｉ（例えば、評価を示す情報）をディスプレイに表示する。図２（ｃ）に示すように、カメラによって撮像されている文字列Ｔにユーザが手Ｈをかざすと当該文字列Ｔの翻訳結果を示す情報Ｉをディスプレイに表示する。図２（ｄ）に示すように、カメラによって撮像されている駅Ｓにユーザが手Ｈをかざすと当該駅Ｓに係る時刻表の情報Ｉをディスプレイに表示する。
　図３（ａ）に示すように、カメラによって撮像されている商品Ｇにユーザが手Ｈをかざすと当該商品Ｇの値段の情報Ｉ（例えば、小売店毎の値段を比較した情報）をディスプレイに表示する。図３（ｂ）に示すように、カメラによって撮像されている食べ物Ｆにユーザが手Ｈをかざすと当該食べ物Ｆの情報Ｉ（例えば、栄養成分を示す情報）をディスプレイに表示する。図３（ｃ）に示すように、カメラによって撮像されている家電Ｅにユーザが手Ｈをかざすと当該家電Ｅを操作するためのリモコンの情報Ｉをディスプレイに表示する。
　引き続いて、本実施形態に係る端末１０の機能を説明する。図１に示すように端末１０は、撮像部１１と、表示部１２と、画像取得部１３と、指定物体特定部１４と、オブジェクト識別部１５と、機能制御部１６とを備えて構成される。また、端末１０は、上述したユーザの手Ｈがかざされたオブジェクトに応じた機能を実行するための機能部（図示せず）を有している。
　撮像部１１は、撮像によって画像を取得する機能部である。撮像部１１は、端末１０が備える上述したカメラによって実現される。カメラとしては、従来のスマートグラスに備えられるものを用いることができる。また、赤外線によって撮像を行うカメラを用いてもよい。撮像部１１は、常時、撮像を行って撮像によって得られた画像を画像取得部１３に出力する。
　表示部１２は、表示を行う機能部である。表示部１２は、端末１０が備える上述したディスプレイによって実現される。表示部１２による表示は、上述したようにユーザに提供される端末１０の機能としても行われる。
　画像取得部１３は、画像を取得する機能部である。画像取得部１３は、撮像部１１から画像を入力して取得する。画像取得部１３は、時系列の複数の画像を取得する。画像取得部１３は、入力した画像を指定物体特定部１４及びオブジェクト識別部１５に入力する。
　指定物体特定部１４は、画像取得部１３によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する機能部である。指定物体特定部１４は、指定物体の画像上の位置として、ユーザの手の画像上の位置を特定してもよい。指定物体特定部１４は、指定物体の形状を認識してもよい。
　指定物体特定部１４は、画像取得部１３から画像を入力する。指定物体特定部１４は、入力した画像からユーザの手を認識する。ユーザの手の認識は、従来の方法によって行われる。例えば、ユーザの手の特徴を示す情報を予め記憶しておき、当該情報を用いてユーザの手を認識する。指定物体特定部１４は、認識したユーザの手の特定の位置、例えば、中指の先端の位置を指定物体の画像上の位置として特定する。指定物体特定部１４は、例えば、ユーザの手の画像上の位置を画像における座標として特定する。指定物体特定部１４は、特定した位置を示す情報、例えば、画像における座標を示す情報をオブジェクト識別部１５に出力する。
　指定物体特定部１４は、ユーザの手の形状も認識することとしてもよい。例えば、図２及び図３に示すように指を伸ばした状態の手の形状と、図４に示すように指を握った状態の手の形状とを区別して認識することとしてもよい。形状の認識も従来の方法によって行えばよい。なお、認識対象となる手の形状は、予め設定されて端末１０に記憶されている。形状を認識する場合、指定物体特定部１４は、認識した形状を示す情報を機能制御部１６に出力する。
　なお、位置を指定するための指定物体は、予め設定されて端末１０に記憶されている。当該指定物体は、必ずしもユーザの手である必要はなく、画像上の位置を指定するのに適したものであればよい。
　オブジェクト識別部１５は、画像取得部１３によって取得された画像において、指定物体特定部１４によって特定された位置に応じた位置に写ったオブジェクトの種別を識別する機能部である。オブジェクト識別部１５は、画像取得部１３によって時系列の画像が取得される場合には、当該時系列の画像に写ったオブジェクトを識別する。
　オブジェクト識別部１５は、画像取得部１３から画像を入力する。オブジェクト識別部１５は、指定物体特定部１４から、当該画像から特定されたユーザの手の画像上の位置を示す情報を入力する。オブジェクト識別部１５は、当該画像において、ユーザの手の位置に応じた位置に写ったオブジェクトを識別（認識）する。例えば、オブジェクト識別部１５は、ユーザの手の位置の周囲のユーザの手以外の部分に写ったオブジェクトを識別する。即ち、オブジェクト識別部１５は、画像においてユーザの手が重畳しているオブジェクトを識別する。オブジェクトの識別は、従来の方法によって行われる。例えば、識別対象のオブジェクトの特徴を示す情報を予め記憶しておき、当該情報を用いてオブジェクトを識別する。識別対象のオブジェクトは、図２及び図３に示すように、人物、飲食店等の店舗の外観、予め設定された言語の文字列、駅、商品、食べ物、家電及び花等である。
　オブジェクト識別部１５は、識別対象のオブジェクトが具体的にどのようなオブジェクトであるかも識別（認識）する。例えば、識別されるオブジェクトが人物である場合には、その人物が誰かまで識別する。あるいは、識別されるオブジェクトが店舗である場合には、その店舗が何という店の店舗かまで識別する。但し、識別されるオブジェクトの種別によっては、個々のオブジェクトがどのようなものかを識別する必要はなく、オブジェクトの種別のみを識別してもよい。このようにオブジェクト識別部１５は、画像に写ったオブジェクトの種別を識別する。オブジェクト識別部１５は、識別したオブジェクトに係る情報を機能制御部１６に出力する。
　機能制御部１６は、オブジェクト識別部１５によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能部である。例えば、機能制御部１６は、オブジェクトの種別に応じた機能の一つとして、オブジェクトに係る情報を出力する機能を実行するように制御する。あるいは、機能制御部１６は、オブジェクトの種別に応じた機能の一つとして、オブジェクトが文字列である場合に当該文字列を翻訳する機能を実行するように制御する。あるいは、機能制御部１６は、オブジェクトの種別に応じた機能の一つとして、オブジェクトを操作するための表示を行う機能を実行するように制御する。具体的には、機能制御部１６は、以下のように制御を行う。
　機能制御部１６は、予めオブジェクト識別部１５によって識別されたオブジェクトの種別毎に実行する機能を記憶している。即ち、機能制御部１６は、オブジェクトの種別に応じた複数の異なる機能を記憶している。例えば、図２（ａ）に示すように人物Ｐのオブジェクトの種別に対しては、人物Ｐの情報を表示するとの機能を対応付けて記憶している。あるいは、図２（ｃ）に示すように予め設定された言語の文字列Ｔのオブジェクトの種別に対しては、文字列Ｔを予め設定した別の言語に翻訳して表示するとの機能を対応付けて記憶している。あるいは、図３（ｃ）に示すように家電Ｅのオブジェクトの種別に対しては、当該家電Ｅを操作するための表示を行うとの機能を対応付けて記憶している。当該表示を用いた家電Ｅの操作は、例えば、上述したオブジェクトの指定と同様に行われればよい。上記のように機能制御部１６は、オブジェクトに応じたＵＩ（ユーザインタフェース）を表示することとしてもよい。それぞれの機能を実行するための機能部は、予め端末１０に備えられている。
　機能制御部１６は、オブジェクト識別部１５から識別したオブジェクトに係る情報を入力する。機能制御部１６は、オブジェクト識別部１５から入力した情報によって示されるオブジェクトの種別に対応付けて記憶した機能を実行するものと判断する。機能制御部１６は、上記の機能部に対して、判断した機能を実行するように指示する。機能の実行にオブジェクト自体の情報が必要である場合には、機能制御部１６は、オブジェクト識別部１５から入力した情報によって特定されるオブジェクト（例えば、どの人物か、どの店舗かの情報）を機能部に通知し、当該オブジェクトに応じて機能が実行されるようにする。
　指示を受けた機能部は当該機能を実行する。当該機能の実行によって図２及び図３に示すような表示部１２による表示等が行われる。また、表示部１２よる表示の際に指定物体特定部１４によって特定されたユーザの手の画像上の位置が用いられてもよい。例えば、図２及び図３に示すようにユーザの手の位置の近くに吹き出し状の表示を行ってもよい。なお、オブジェクトの種別に応じた機能としては、必ずしも表示部１２への表示を行うものである必要はない。例えば、情報の表示ではなく音声出力を行ってもよい。
　また、機能制御部１６は、指定物体特定部１４によって識別されたユーザの手の形状にも応じた機能を実行するように制御してもよい。この場合、機能制御部１６は、指定物体特定部１４から認識された手の形状を示す情報を入力する。機能制御部１６は、オブジェクトの種別及び手の形状毎に実行する機能を記憶している。例えば、図２（ｂ）に示すように店舗とのオブジェクトの種別及び指を伸ばした状態の手の形状に対しては、店舗の評価を示す情報を表示するとの機能を対応付けて記憶している。また、図４に示すように店舗とのオブジェクトの種別及び指を握った状態の手の形状に対しては、店舗のクーポンの情報を表示するとの機能を対応付けて記憶している。機能制御部１６は、オブジェクト識別部１５から入力した情報によって示されるオブジェクトの種別及び指定物体特定部１４から入力された情報によって示される手の形状の組み合わせに対応付けて記憶した機能を実行するものと判断する。
　オブジェクト識別部１５は、指定物体特定部１４からの情報の入力の有無にかかわらず、画像取得部１３から入力される画像毎にオブジェクトの識別を行うこととしてもよい。指定物体特定部１４からの情報の入力があった場合には、オブジェクト識別部１５は、ユーザの手の位置に応じた位置以外の任意の位置に写ったオブジェクトを識別してもよい。指定物体特定部１４からの情報の入力がなかった場合、即ち、指定物体特定部１４によって画像からユーザの手が認識されなかった場合には、オブジェクト識別部１５は、画像の任意の箇所に写ったオブジェクトを識別してもよい。オブジェクト識別部１５は、時系列の画像から識別されたオブジェクトに係る情報を機能制御部１６に出力する。
　上記のオブジェクト識別部１５による識別に基づき、機能制御部１６は、オブジェクト識別部１５によって識別された時系列のオブジェクトにも応じた機能を実行するように制御してもよい。機能制御部１６は、時系列のオブジェクトの識別結果に応じて実行する機能を記憶している。機能制御部１６は、当該記憶した情報に基づいて実行する機能を決定する。例えば、図５に示すようにオブジェクトとして冷蔵庫Ｒが識別された後予め設定された期間内に、ユーザの手の位置に応じた位置のオブジェクトとして食材（例えば、野菜）Ｃが識別された場合には、当該食材Ｃに対応付けられたレシピの情報Ｉを表示させる。なお、冷蔵庫Ｒが識別される画像からは、ユーザの手Ｈが識別される必要はない。これによって、図３（ａ）に示すようにスーパーマーケット等の店舗において商品としての食材が識別された場合と異なる、場面にあった機能を提供することができる。また、スーパーマーケット等の店舗が識別された後予め設定された期間内に、ユーザの手の位置に応じた位置のオブジェクトとして食材（例えば、野菜）が識別された場合には、（上記のようにレシピではなく）当該店舗における特売に係る情報を表示させることとしてもよい。
　また、この場合にも、機能制御部１６は、ユーザの手の形状にも応じた機能を実行するように制御してもよい。例えば、図５に示すように指を伸ばした状態の手の形状である場合にレシピを表示させることとしてもよい。更に機能制御部１６は、時系列の手の形状から手のジェスチャーを認識して、ジェスチャーに応じた機能を実行するように制御してもよい。
　オブジェクト識別部１５は、指定物体特定部１４からの情報の入力の有無にかかわらず、画像取得部１３から入力される画像からオブジェクトの識別を行う場合、画像に写ったオブジェクトの画像上の位置（領域）を特定し、画像が撮像される装置、即ち端末１０において、当該位置を示す情報が表示部１２によって出力されるよう制御してもよい。例えば、図５においてオブジェクトとして様々な食材が識別された場合に、当該食材の位置を示す情報として当該識別された位置（領域）を示すアウトライン（枠）Ｏの表示を行う。例えば、ディスプレイによる表示がユーザによる視線による視界に重なるようにし、現実の食材の部分にアウトラインＯが表示されるようにする。あるいは、オブジェクトにアウトラインＯを重ねた画像自体をディスプレイに表示することとしてもよい。アウトラインＯを表示するオブジェクトは、機能（例えば、表示される情報）が対応付けられたものとする。このようにアウトラインＯを表示することで、ユーザがどの位置に手をかざせば機能が実行されるか把握することができる。なお、食材の位置を示す情報の表示は、上記のアウトラインＯの表示に限られず任意のものであってもよい。
　また、機能の制御は、画像が撮像された地理的な位置にも基づいて行われてもよい。そのために端末１０は、画像取得部１３によって取得される画像が撮像された地理的な位置を示す位置情報を取得する位置情報取得部を更に備えていてもよい。位置情報は、例えば、当該位置の緯度及び経度を示す情報である。位置情報取得部は、例えば、端末１０が備えるＧＰＳ（グローバルポジショニングシステム）測位機能によって実現される。また、ＧＰＳ測位機能以外の測位機能によっても実現されてもよい。位置情報取得部は、撮像部１１によって画像が撮像される際に測位を行って、自端末１０の地理的な位置を示す位置情報を取得する。位置情報取得部は、取得した位置情報を画像に対応付けて機能制御部１６に出力する。
　機能制御部１６は、位置情報取得部によって取得された位置情報にも応じた機能を実行するように制御する。例えば、オブジェクト識別部１５が、オブジェクトの識別によって図４に示すような飲食店のチェーン（チェーン店のグループ）を特定する。チェーンの特定は、例えば、当該チェーンにおいて共通して用いられている店舗の看板を識別することで特定することができる。機能制御部１６は、チェーンにおける店舗毎の位置情報を予め記憶しておく。機能制御部１６は、オブジェクト識別部１５によって特定されたチェーンの店舗の位置と、位置情報取得部によって取得された位置情報によって示される位置とを照合して、機能制御部１６は、画像に係るチェーンの店舗を特定する。例えば、チェーンの複数の店舗のうち、それらの位置の差が予め設定した閾値以下の店舗を、画像に係るチェーンの店舗として特定する。
　機能制御部１６は、予めチェーンの店舗毎に実行する機能を記憶している。例えば、機能制御部１６は、店舗毎のクーポンの情報を表示するとの機能を記憶している。機能制御部１６は、特定した店舗の機能を実行するように制御する。これによって、例えば上述したように店舗毎のクーポン等の店舗毎の表示を行うことができる。
　また、この場合にも、機能制御部１６は、ユーザの手の形状にも応じた機能を実行するように制御してもよい。例えば、図４に示すように指を握った状態の手の形状である場合にクーポンを表示させることとしてもよい。更に機能制御部１６は、時系列の手の形状から手のジェスチャーを認識して、ジェスチャーに応じた機能を実行するように制御してもよい。以上が、本実施形態に係る端末１０の機能である。
　引き続いて、図６のフローチャートを用いて、本実施形態に係る端末１０で実行される処理（端末１０が行う動作方法）を説明する。本処理では、撮像部１１によって撮像が行われ、撮像によって得られた画像が画像取得部１３によって取得される（Ｓ０１）。続いて、指定物体特定部１４によって、当該画像に写ったユーザの手の画像上の位置が特定される（Ｓ０２）。続いて、オブジェクト識別部１５によって、当該画像において、指定物体特定部１４によって特定された位置に応じた位置に写ったオブジェクトの種別が識別される（Ｓ０３）。続いて、機能制御部１６によって、オブジェクト識別部１５によって識別されたオブジェクトの種別に応じた機能が実行されるように制御される（Ｓ０４）。当該制御によって図２及び図３に示すような表示部１２による表示等が行われる。以上が、本実施形態に係る端末１０で実行される処理である。
　本実施形態では、画像に写ったユーザの手等の指定物体の位置が特定されて、当該位置に応じた位置に写ったオブジェクトの種別に応じた機能が実行されるように制御される。従って、本実施形態によれば、視線の検出等による画像に対する位置の指定を行うことなく機能を実行させることができる。即ち、端末１０が、画像を得るためのカメラ（例えば、ＲＧＢカメラ）を有していれば、本実施形態を実施することができる。従って、本実施形態によれば、視線の検出等の画像に対する位置の指定を行うためのハードウェアを必要とせずに指定したオブジェクトに応じた機能を実行させることができる。また、オブジェクトの種別に応じた機能を実行させることができる。例えば、上述したようにオブジェクトが人物であれば人物の情報を提供し、オブジェクトが飲食店であれば評価を示す情報を提供することができる。あるいは、文字列の翻訳、家電の操作等の機能を提供することができる。このように本実施形態によれば容易に利便性の高い機能をユーザに提供することができる。
　また、上述したように指定物体をユーザの手としてもよい。この構成によれば、適切かつ確実に本発明の実施形態を実施することができる。また、ユーザが、容易に本発明の実施形態に係る機能を利用することができる。但し、上述したように指定物体としては、ユーザの手以外の予め設定された任意のものが用いられてもよい。
　また、上述したように地理的な位置を示す位置情報に応じた機能が実行されるように制御されてもよい。この構成によれば、店舗の地理的な位置等を考慮した機能の提供が可能となる。但し、位置情報が用いられなくてもよい。
　また、上述したように指定物体の形状、例えば、ユーザの手の形状に応じた機能が実行されるように制御されてもよい。この構成によれば、指定物体の形状に応じた機能の提供が可能となり、ユーザの利便性及び操作性を向上させることができる。但し、指定物体の形状が用いられなくてもよい。
　また、上述したように時系列のオブジェクトに応じた機能が実行されるように制御されてもよい。この構成によれば、場面に応じた機能の提供が可能となり、ユーザの利便性を向上させることができる。但し、時系列のオブジェクトが用いられなくてもよい。
　また、上述したようにオブジェクトのアウトラインＯが表示されるようにされてもよい。この構成によれば、ユーザがオブジェクトを指定しやすくすることができ、ユーザの利便性を向上させることができる。但し、オブジェクトのアウトラインＯの表示が行われなくてもよい。
　また、上述したように実行される機能としては、オブジェクトに係る情報の出力、文字列の翻訳及びオブジェクトを操作するための表示（例えば、リモコンの表示）の何れかを含んでいてもよい。この構成によれば、ユーザにとって有益な機能を提供することができる。但し、実行される機能としては、上記のものに限られず、オブジェクトの種別に応じたものであればどのような機能であってもよい。
　なお、上述した実施形態では、端末１０は、スマートグラスといった眼鏡型の装置であることとしたが、必ずしもこのような形態の装置に限られない。端末１０は、撮像を行うことができ、撮像によって得られた画像に基づいて上述した機能の制御を行うものであればよい。例えば、端末１０は、スマートフォンのような装置であってもよい。
　また、上述した実施形態では、実施形態に係る機能制御装置は、端末１０であり、端末１０自身の機能を制御するものであることとしたが、自身以外の機能を制御するものであってもよい。例えば、機能制御装置は、端末と通信可能なサーバであり、端末の機能を制御するものであってもよい。例えば、当該サーバは、端末によって撮像された画像を端末から受信して、上述したように当該画像に基づいて端末の機能を制御する、例えば、端末に対して実行する機能を示す情報を送信することとしてもよい。また、上述した端末１０の一部の機能が、端末以外の装置、例えば、端末１０と通信可能なサーバで実行されてもよい。
　なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　例えば、本開示の一実施の形態における端末１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係る端末１０のハードウェア構成の一例を示す図である。上述の端末１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、端末１０は、上記以外にも、上述したカメラ等の本実施形態の機能を実現するハードウェアを備える。
　なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。端末１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　端末１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。例えば、上述の端末１０における各機能は、プロセッサ１００１によって実現されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、端末１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。端末１０が備える上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
　また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　また、端末１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
　また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital　Subscriber　Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
　また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１０…端末、１１…撮像部、１２…表示部、１３…画像取得部、１４…指定物体特定部、１５…オブジェクト識別部、１６…機能制御部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (9)

  1. 　画像を取得する画像取得部と、
    　前記画像取得部によって取得された画像に写った、位置を指定するための指定物体の画像上の位置を特定する指定物体特定部と、
    　前記画像取得部によって取得された画像において、前記指定物体特定部によって特定された位置に応じた位置に写ったオブジェクトの種別を識別するオブジェクト識別部と、
    　前記オブジェクト識別部によって識別されたオブジェクトの種別に応じた機能を実行するように制御する機能制御部と、
    を備える機能制御装置。
  2. 　前記指定物体特定部は、前記指定物体の画像上の位置として、ユーザの手の画像上の位置を特定する請求項１に記載の機能制御装置。
  3. 　前記画像が撮像された地理的な位置を示す位置情報を取得する位置情報取得部を更に備え、
    　前記機能制御部は、前記位置情報取得部によって取得された位置情報にも応じた機能を実行するように制御する、請求項１又は２に記載の機能制御装置。
  4. 　前記指定物体特定部は、前記指定物体の形状を認識し、
    　前記機能制御部は、前記指定物体特定部によって識別された前記指定物体の形状にも応じた機能を実行するように制御する、請求項１～３の何れか一項に記載の機能制御装置。
  5. 　前記画像取得部は、時系列の複数の画像を取得し、
    　前記オブジェクト識別部は、前記画像取得部によって取得された時系列の画像に写ったオブジェクトを識別し、
    　前記機能制御部は、前記オブジェクト識別部によって識別された時系列のオブジェクトにも応じた機能を実行するように制御する、請求項１～４の何れか一項に記載の機能制御装置。
  6. 　前記オブジェクト識別部は、前記画像取得部によって取得された画像に写ったオブジェクトの画像上の位置を特定し、画像が撮像される装置において、当該位置を示す情報が出力されるよう制御する請求項１～５の何れか一項に記載の機能制御装置。
  7. 　前記機能制御部は、オブジェクトの種別に応じた機能の一つとして、オブジェクトに係る情報を出力する機能を実行するように制御する請求項１～６の何れか一項に記載の機能制御装置。
  8. 　前記機能制御部は、オブジェクトの種別に応じた機能の一つとして、オブジェクトが文字列である場合に当該文字列を翻訳する機能を実行するように制御する請求項１～７の何れか一項に記載の機能制御装置。
  9. 　前記機能制御部は、オブジェクトの種別に応じた機能の一つとして、オブジェクトを操作するための表示を行う機能を実行するように制御する請求項１～８の何れか一項に記載の機能制御装置。
PCT/JP2019/037145 2019-01-30 2019-09-20 機能制御装置 WO2020158042A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020569361A JP7097464B2 (ja) 2019-01-30 2019-09-20 機能制御装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-014370 2019-01-30
JP2019014370 2019-01-30

Publications (1)

Publication Number Publication Date
WO2020158042A1 true WO2020158042A1 (ja) 2020-08-06

Family

ID=71841029

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037145 WO2020158042A1 (ja) 2019-01-30 2019-09-20 機能制御装置

Country Status (2)

Country Link
JP (1) JP7097464B2 (ja)
WO (1) WO2020158042A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060579A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
WO2018008096A1 (ja) * 2016-07-05 2018-01-11 マクセル株式会社 情報表示装置およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015060579A (ja) * 2013-09-20 2015-03-30 ヤフー株式会社 情報処理システム、情報処理方法および情報処理プログラム
WO2018008096A1 (ja) * 2016-07-05 2018-01-11 マクセル株式会社 情報表示装置およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
31 March 2015 (2015-03-31), pages 15, 23 4.2, 4.9, Retrieved from the Internet <URL:https://www.iplab.cs.tsukuba.ac.jp/paper/master/2014/tanakashun_master.pdf> *

Also Published As

Publication number Publication date
JPWO2020158042A1 (ja) 2021-10-21
JP7097464B2 (ja) 2022-07-07

Similar Documents

Publication Publication Date Title
CN109478124B (zh) 增强现实装置及增强现实方法
US9760778B1 (en) Object recognition and navigation from ongoing video
US20160070439A1 (en) Electronic commerce using augmented reality glasses and a smart watch
US10776849B2 (en) Visually identifying products
CN105426035B (zh) 用于提供信息的方法和电子装置
US20220157028A1 (en) Mobile device image item replacements
US10733799B2 (en) Augmented reality sensor
US10652041B2 (en) Computer vision based activation
CN106030578B (zh) 搜索系统以及搜索系统的控制方法
CN109889655A (zh) 移动装置与用于建立无线链路的方法
JP6924662B2 (ja) 情報処理装置
JP2015191554A (ja) 電子機器
WO2020158042A1 (ja) 機能制御装置
CN110832525A (zh) 在对象上的增强现实广告
JP7157871B2 (ja) 関連情報出力装置
JP6586904B2 (ja) 画像表示装置、表示制御方法および表示制御プログラム
WO2022010140A1 (ko) 전자 장치 및 이의 제어 방법
US20170103436A1 (en) Coordination server, coordination system, and coordination method
JP2017220186A (ja) 関連ストーリ出力制御プログラム、関連ストーリ出力制御方法および情報処理装置
JP6404526B2 (ja) 撮像画像共有システム、撮像画像共有方法及びプログラム
WO2021172221A1 (ja) オブジェクト認識システム及び受信端末
US20200012855A1 (en) Operation assistance apparatus, operation assistance method, and computer readable recording medium
JP2019204427A (ja) サーバ装置、及びプログラム
WO2021230048A1 (ja) 情報処理システム
EP3865980B1 (en) Electronic device and control method therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19913133

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020569361

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19913133

Country of ref document: EP

Kind code of ref document: A1