WO2019106734A1 - コンピュータシステム、機器制御方法及びプログラム - Google Patents

コンピュータシステム、機器制御方法及びプログラム Download PDF

Info

Publication number
WO2019106734A1
WO2019106734A1 PCT/JP2017/042697 JP2017042697W WO2019106734A1 WO 2019106734 A1 WO2019106734 A1 WO 2019106734A1 JP 2017042697 W JP2017042697 W JP 2017042697W WO 2019106734 A1 WO2019106734 A1 WO 2019106734A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
name
image
module
command
Prior art date
Application number
PCT/JP2017/042697
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to JP2019556442A priority Critical patent/JPWO2019106734A1/ja
Priority to PCT/JP2017/042697 priority patent/WO2019106734A1/ja
Publication of WO2019106734A1 publication Critical patent/WO2019106734A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Definitions

  • the present invention relates to a computer system that controls an apparatus, an apparatus control method, and a program.
  • Patent Document 1 since only a person is specified, there has been no idea of controlling devices around the person.
  • An object of the present invention is to provide a computer system, an apparatus control method, and a program that can be controlled so that only an apparatus closest to a person matching a desired person's name is made to act.
  • the present invention provides the following solutions.
  • the present invention provides an acquisition unit for acquiring an image of a person; An identifying unit that analyzes the image and identifies the person; Detection means for detecting equipment in the vicinity of the person; Accepting means for accepting a desired person name among the identified persons; Control means for causing a device existing near a person who matches the person's name to execute a predetermined action; Providing a computer system characterized by comprising:
  • the computer system acquires an image of a person, analyzes the image, identifies the person, detects a device in the vicinity of the person, and desires among the identified persons A person's name is accepted, and a device existing near the person matching the person's name is made to execute a predetermined action.
  • the present invention is a category of computer system, but it exerts the same operation / effect according to the category in other categories such as a method and a program.
  • FIG. 1 is a diagram showing an outline of the device control system 1.
  • FIG. 2 is an overall configuration diagram of the device control system 1.
  • FIG. 3 is a functional block diagram of the wearable terminal 100.
  • FIG. 4 is a flowchart showing the device control process performed by the wearable terminal 100.
  • FIG. 5 is a flowchart showing the device control process performed by the wearable terminal 100.
  • FIG. 6 is an example schematically showing a state in which the wearable terminal 100 specifies a distance.
  • FIG. 7 is an example schematically showing a state in which the wearable terminal 100 specifies position information of a person.
  • FIG. 1 is a view for explaining an outline of a device control system 1 according to a preferred embodiment of the present invention.
  • the device control system 1 is a computer system configured of a wearable terminal 100.
  • the wearable terminal 100 performs data communication via a device such as a speaker, a smartphone, or another wearable terminal (not shown) and a gateway terminal such as a router (not shown) or a computer having a server function.
  • the number of wearable terminals 100 can be changed as appropriate.
  • the wearable terminal 100 is not limited to an existing device, and may be a virtual device.
  • the device control system 1 may be configured by the above-described device or computer.
  • the wearable terminal 100 is a terminal device connected so as to be capable of data communication with a device.
  • the wearable terminal 100 is, for example, a terminal device such as a smart glass worn by the user or a head mounted display.
  • Wearable terminal 100 is an audio device such as a speaker or headphone, a portable telephone, a portable information terminal, a tablet terminal, a personal computer, and an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, etc. May be configured by
  • the wearable terminal 100 captures an image of a target person using an imaging device such as a stereo camera that the wearable terminal 100 has (step S01).
  • the wearable terminal 100 acquires an image of a person by photographing the person.
  • the wearable terminal 100 may be configured to continuously shoot, or may be configured to shoot based on an instruction input such as voice input or gesture input from the user. In the case of continuously shooting, it is also possible to delete an image shot after a predetermined time (e.g., 30 seconds, 1 minute, 5 minutes).
  • the wearable terminal 100 analyzes the acquired image and identifies a person appearing in the image (step S02).
  • the wearable terminal 100 analyzes an image (feature point analysis or feature amount analysis).
  • the wearable terminal 100 includes feature points and feature amounts of persons that can be targeted in advance, names of persons, identifiers of terminal devices such as owned smartphones and wearable terminals (SSID, phone number, mail address, ID of communication application), etc.
  • SSID identifiers of terminal devices
  • the image is obtained by collating the feature points and feature amounts extracted this time by image analysis with the feature points and feature amounts of a person registered in the person database. Identify the person in the picture.
  • the wearable terminal 100 may perform machine learning by pattern recognition such as a neural network on the person identified this time, and may improve the accuracy of the person identification in the subsequent identification.
  • the wearable terminal 100 detects a device in the vicinity of the identified person (step S03).
  • the wearable terminal 100 acquires position information of itself from a GPS (Global Positioning System).
  • the wearable terminal 100 identifies the distance between the position information and the identified person.
  • the wearable terminal 100 specifies the position information of a person based on the viewing direction of the user (the viewing direction of the user, which means the direction in which the user is facing) and the distance.
  • the wearable terminal 100 detects a device in the vicinity (for example, within a few meters of the radius) of the person based on the position information of the person.
  • the wearable terminal 100 performs data communication with an apparatus via a router (not shown), acquires position information acquired by the apparatus from the GPS, and identifies an apparatus that satisfies the condition by identifying an apparatus that satisfies the condition.
  • a router not shown
  • the wearable terminal 100 receives a desired personal name among the specified persons (step S04).
  • the wearable terminal 100 receives a person's name by, for example, voice input.
  • the wearable terminal 100 causes the device existing in the vicinity of the person who matches the person's name to execute a predetermined action (step S05).
  • the wearable terminal 100 generates a command for causing a device in the vicinity of the person to perform a predetermined action.
  • the wearable terminal 100 acquires device information (a product number, a manufacturer, a specification, and the like) of the device, and generates a command according to an action to be performed by the device based on the device information.
  • the wearable terminal 100 transmits the generated command to the device.
  • the device performs a predetermined action based on this command.
  • the predetermined action is, for example, the following.
  • the wearable terminal 100 When the wearable terminal 100 detects a speaker close to the person, the wearable terminal 100 causes the user's voice to be amplified only to the speaker. Further, when the wearable terminal 100 detects a smartphone owned by the person, the wearable terminal 100 performs control to cause only the smartphone to talk. Further, when the wearable terminal 100 detects a smartphone owned by the person, the wearable terminal 100 performs control such that only the smartphone is made to send an email.
  • FIG. 2 is a diagram showing a system configuration of the device control system 1 according to a preferred embodiment of the present invention.
  • the device control system 1 is a computer system configured of a wearable terminal 100.
  • the device control system 1 may be realized not only by existing devices but also by virtual devices. Further, the device control system 1 is not limited to the configuration using only the wearable terminal 100, and may have a configuration not only shown but also devices such as a speaker, a smartphone, other wearable terminals, a gateway terminal, a computer, etc. Good. In this case, the respective devices constituting the control system 1 are connected so as to be capable of data communication. In addition to the wearable terminal 100, each process to be described later may be realized by any or a combination of the above-described device, gateway terminal, or computer.
  • the wearable terminal 100 is the above-described terminal device having a function described later.
  • FIG. 3 is a diagram showing a functional block diagram of the wearable terminal 100. As shown in FIG.
  • the wearable terminal 100 includes a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), and the like as the control unit 110, and can communicate with a device (not shown) as the communication unit 120.
  • Devices for example, a wireless-fidelity (Wi-Fi) compliant device or a near field communication device compliant with IEEE 802.11.
  • the wearable terminal 100 includes, as the storage unit 130, a storage unit of data such as a hard disk, a semiconductor memory, a recording medium, and a memory card.
  • the wearable terminal 100 includes, as the processing unit 140, various devices that execute image analysis, voice recognition, command generation, person specification, person shooting, various calculations, processing, and the like.
  • the control unit 110 reads a predetermined program to realize the device detection module 150 and the connection module 151 in cooperation with the communication unit 120. Further, in the wearable terminal 100, the control unit 110 reads a predetermined program to realize the storage module 160 in cooperation with the storage unit 130. Further, in the wearable terminal 100, the control unit 110 reads a predetermined program to cooperate with the processing unit 140 to capture the photographing module 170, the person determination module 171, the person identification module 172, the distance identification module 173, and the voice reception module. 174, the control module 175 is realized.
  • FIG.4 and FIG.5 is a figure which shows the flowchart of the apparatus control processing which the wearable terminal 100 performs. The processing executed by each module described above will be described together with this processing.
  • the photographing module 170 photographs an image such as a still image or a moving image (step S10).
  • the imaging module 170 captures a stereoscopic image using a stereo camera.
  • the imaging module 170 captures an image based on a shooting instruction from the user (for example, an input by a voice instructing a shooting or an input by a gesture).
  • the user issues a shooting instruction by, for example, inputting a person's name of a target person, shooting, and other specific voices.
  • the wearable terminal 100 acquires an image of a person by capturing an image.
  • the imaging module 170 may be configured to always capture an image regardless of a shooting instruction from the user. For example, the imaging module 170 may capture an image constantly or at predetermined time intervals. In this case, the storage module 160 temporarily stores the image captured by the imaging module 170. The storage module 160 deletes this image if the process of accepting the name of the person to be described later is not executed even after a predetermined time (for example, 30 seconds, 1 minute, 5 minutes) has elapsed after storage.
  • a predetermined time for example, 30 seconds, 1 minute, 5 minutes
  • the wearable terminal 100 performs processing for receiving a name of a person, which will be described later, if the image is captured constantly, the wearable terminal 100 performs target processing based on the image at the time of acceptance and captures an image every predetermined time In this case, the target processing may be performed based on the image at the point closest to the received point.
  • the person determination module 171 determines whether a person is included in the image (step S11). In step S11, the person determination module 171 extracts feature points and feature amounts in the image. The person determination module 171 determines whether a person is included in the image based on the extracted feature points and feature amounts.
  • step S11 when the person determination module 171 determines that a person is not included in the image (NO in step S11), the process of step S10 is performed again.
  • the person identifying module 172 identifies the person in the image (step S12).
  • the person specifying module 172 is configured to store feature points and feature amounts of a person that can be a target stored in advance in the storage module 160, and attribute information of the person (a person's name, a terminal device such as a owned smartphone or wearable terminal).
  • a person included in the image is specified by referring to a person database registered in association with an identifier (SSID, telephone number, e-mail address, ID of communication application, etc.).
  • the person specifying module 172 collates the feature points and feature amounts extracted this time with the feature points and feature amounts registered in the person database, and is associated with the feature points and feature amounts obtained as the matching result. Identify attribute information.
  • the person specifying module 172 specifies that a person corresponding to the attribute information is a person in the image.
  • the person specifying module 172 includes a plurality of persons in the image, and is described as specifying each person.
  • the person specifying module 172 may be configured to perform machine learning by pattern recognition such as a neural network on the person specified this time, and to improve the person specifying accuracy at the next and subsequent times.
  • the distance specifying module 173 specifies the distance between the specified person and the position of the user (step S13). In step S13, the distance specifying module 173 specifies the distance from the result of learning the deviation between the two images captured by the imaging module 170.
  • FIG. 6 is a view schematically showing a state in which the distance specifying module 173 specifies a distance.
  • the photographing module 170 photographs a person 220 by the photographing device provided in each of the first lens 200 and the second lens 210 of the wearable terminal 100.
  • the imaging module 170 superposes two images and captures one stereoscopic image.
  • the distance specifying module 173 estimates the distance D between itself and the person 220 from the result of learning in advance the length of the image shift in the stereoscopic image and the actual distance.
  • the configuration in which the distance specifying module 173 estimates the distance between itself and the person 220 is not limited to the above-described example, and may be another method, and can be appropriately changed.
  • the distance specifying module 173 specifies the position information of the person 220 based on the position information of itself acquired from the GPS and the distance between the specified self and the person 220 (step S14). In step S14, the distance specifying module 173 specifies the position information of the person 220 based on the view direction of the user (the view direction of the user, which means the direction in which the user is facing) and the distance.
  • FIG. 7 is a diagram schematically showing a state in which the distance specifying module 173 specifies position information of the person 220.
  • the distance specifying module 173 schematically indicates the viewing direction F of the wearable terminal 100 which is the self and the distance D between the self and the person 220.
  • the distance specifying module 173 specifies, from the view direction F, in which direction the person 220 is viewed from the user.
  • the distance specifying module 173 specifies the position information of the person 220 based on the specified direction, the position information of itself, and the distance D. That is, the distance specifying module 173 specifies the position information of the person 220 by adding the distance D toward the corresponding direction to the position information of itself.
  • the configuration in which the distance specifying module 173 specifies the position information of the person 220 is not limited to the example described above, and can be changed as appropriate.
  • the device detection module 150 detects devices in the vicinity of the person 220 (step S15).
  • the device detection module 150 performs data communication with the device via a router (not shown).
  • the device detection module 150 acquires, from the device, position information of the device acquired by the device from the GPS.
  • the device detection module 150 compares the acquired position information of the device with the position information of the identified person 220, and detects a device under a predetermined condition (for example, within a few meters radius, within a few tens cm radius)
  • the device is detected as a device in the vicinity of the person 220.
  • the device detection module 150 also detects devices in the vicinity of itself. Further, when there is no device in the vicinity of the person 220, the device detection module 150 detects that the device could not be detected.
  • the device detection module 150 acquires device information (product number, manufacturer, specifications, SSID, etc.) of the detected device from this device (step S16). In step S16, the device detection module 150 acquires device information stored in the detected device for processing for causing a predetermined action to be described later.
  • the device detection module 150 may obtain the device information of the detected device from an external database or the like instead of directly from the device. For example, the device detection module 150 may acquire the device information by acquiring an identifier that can uniquely identify the detected device and accessing an external database in which device information corresponding to the identifier is registered. Further, the device detection module 150 does not necessarily have to acquire device information at this timing, and may be appropriately performed at the timing during generation of a command for causing a device to be described later to execute a predetermined action.
  • the voice receiving module 174 receives an input of voice from the user (step S17).
  • the voice receiving module 174 collects voice from the user, and receives input of this voice.
  • the voice reception module 174 receives an input of a voice, "Is Mr. Yamada how are you?"
  • the voice receiving module 174 determines whether an input of a person's name has been received (step S18). In step S18, the voice receiving module 174 performs voice recognition on the received voice to determine whether a person's name is included in the voice. When the voice receiving module 174 determines that the input of the person's name is not received (step S18) If it is determined that the voice does not contain a person's name, the process is repeated from the beginning.
  • step S18 if it is determined in step S18 that the voice receiving module 174 receives an input of a person's name (YES in step S18), that is, if it is determined that the person's name is included in the voice, the person specifying module 172 It is determined whether the name of the person whose input is accepted this time matches the name of the person in the specified image (step S19). In step S19, the person specifying module 172 determines whether the received person's name matches the person name included in the attribute information of the specified person.
  • step S19 when the person specifying module 172 determines that the person names do not match (step S19 NO), the control module 175 notifies the user that there is no corresponding person in the field of view. And a command for causing a device (speaker, smartphone, etc.) near the user (for example, within a radius of several meters, within a radius of tens of cm) to execute a predetermined action (step S20).
  • step S20 when the control module 175 detects a plurality of devices in the vicinity of the user, the control module 175 generates a command for causing the device to execute a predetermined action based on the device information of the device located closest to the user. .
  • control module 175 detects a speaker in the vicinity of the user, a sound notifying that there is no corresponding person based on the device information of this speaker (for example, "the corresponding person does not exist.")
  • the voice that notifies the person who is in the field of vision) (“There is no corresponding person. The person in the surroundings is Mr. Tanaka, Mr. Koga, Mr. Muto.”) Is generated, and this generated voice is Generate a command to louden from the speaker.
  • step S20 when the control module 175 can not detect any device other than the smartphone in the vicinity of the user except the wearable terminal 100, the control module 175 detects the smartphone, and based on the device information of the smartphone Generate a command to execute a predetermined action.
  • control module 175 makes a call to this smartphone, and also generates a voice notifying that there is no corresponding person or a voice notifying of a person within the field of view by the call function and calling this generated voice Generate a command to
  • control module 175 generates a message notifying that there is no person corresponding to only this smartphone or a message notifying a person within the field of view, and sends this generated message to the email address of this smartphone or this smartphone Send it to the ID of the installed communication application and generate a command to display this generated message.
  • the control module 175 may generate the above-described command for each of a plurality of devices.
  • the above-described command may be generated for each of different types (for example, a speaker and a smartphone).
  • connection module 151 transmits the generated command to the device (step S21).
  • the connection module 151 enables data communication with the target device via a router or the like, and transmits this command.
  • the connection module 151 may transmit the generated command to each device. At this time, the connection module 151 may shift the timing of transmitting the command according to the device of the transmission destination. For example, the connection module 151 may transmit the command to the smartphone first, and may transmit the command to the speaker after a predetermined time has elapsed, or conversely, the command may be transmitted to the speaker first, and the predetermined time has elapsed. You may make it transmit a command to a smart phone later. Also, the connection module 151 first transmits a command to one device, and if there is no action from the user even after a predetermined time has elapsed, the re-generated command is transmitted to the one device or the user. It may be transmitted to another device different from this one device in the vicinity.
  • the device receives this command and performs a predetermined action according to the command. That is, the voice is spread only to the speaker near the user, the call is made only to the smartphone owned by the user, and the message is displayed only via the smartphone owned by the user via the mail or communication application. .
  • the wearable terminal 100 After transmitting the command, the wearable terminal 100 ends the process.
  • step S19 when the person specifying module 172 determines that the person names match in step S19 (YES in step S19), the control module 175 selects the vicinity of this person (for example, within a few meters radius, within a few tens cm radius). A command for causing a certain device (speaker, wearable terminal, smartphone, etc.) to execute a predetermined action is generated (step S22).
  • step S22 when the control module 175 detects a plurality of devices in the vicinity of a person, the control module 175 generates a command for causing the device to execute a predetermined action based on the device information of the device closest to the person.
  • the predetermined action to be executed by the control module 175 is, for example, expanding the voice uttered by the user from this device, converting the voice uttered by the user into text, and e-mailing or communicating with this device
  • the message may be displayed as a message in the application, or vital data of the person may be acquired from a device worn by the person.
  • the device in the vicinity if the device does not have the function of executing a predetermined action, it is also possible to execute a substitutable action.
  • a substitutable action For example, when the device in the vicinity is a speaker, and the smartphone is not in the vicinity, and a command related to a call is generated as a predetermined action, a ringer tone, a ringing tone or the like capable of identifying a caller can be amplified by the speaker.
  • a ringer tone, a ringing tone or the like capable of identifying a caller can be amplified by the speaker.
  • the wearable terminal is closest to the device, but there may be cases where there is no function that causes a predetermined action to be performed, so actions other than the specified action (for example, acquisition of vital data) are executed.
  • the command When generating a command to be executed, the command may be excluded from the transmission destination device.
  • the input of a specific action and the input of a specific keyword may be performed when the above-described person's name is received, or may be realized by a configuration other than that.
  • step S22 when the control module 175 detects a speaker in the vicinity of a person, a command necessary for causing the speaker to louden the received voice "How are you doing? Yamada?” Based on the device information of this speaker Generate Further, when the control module 175 detects a smartphone in the vicinity of a person, the control module 175 makes a call to the smartphone and generates a command necessary to enable the call function. Further, when the control module 175 detects a smartphone in the vicinity of a person, the control module 175 converts the received voice into text, transmits the text converted voice to the email address of the smartphone or the ID of the communication application as a message, Generate commands necessary to display the message “How are you?”. In addition, when the wearable terminal is detected in the vicinity of a person, the control module 175 acquires vital data, and generates a command necessary to transmit the vital data to the wearable terminal 100 or a computer (not shown).
  • the control module 175 is in the vicinity based on a predetermined input (for example, designation of a device, exclusion of a device), a predetermined keyword (for example, various device names, a specific word, a purpose)
  • a command may be generated to perform a predetermined action on a device that most meets the conditions among the devices.
  • the device may be searched by referring to a database in which the device and the purpose of use, the use condition, and the like are associated in advance and stored.
  • the control module 175 may generate a command for causing the smartphone to execute a predetermined action when the device other than the smartphone can not be detected in the vicinity.
  • the control module 175 may generate the above-described command for each of a plurality of devices.
  • the above-described command may be generated for each of different types (for example, a speaker and a smartphone).
  • the command generated at this time is a command for executing a predetermined action according to the device of the transmission destination (for example, a speaker's voice, a smartphone displaying a call or a message).
  • connection module 151 transmits the generated command to the device (step S23).
  • the connection module 151 enables data communication with the target device via a router or the like, and transmits this command.
  • the connection module 151 may transmit the generated command to each device. At this time, the connection module 151 may shift the timing of transmitting the command according to the device of the transmission destination. For example, the connection module 151 may transmit the command to the smartphone first, and may transmit the command to the speaker after a predetermined time has elapsed, or conversely transmit the command to the speaker first, and after the predetermined time has elapsed. The command may be sent to the smartphone.
  • connection module 151 first transmits a command to one device, and if there is no action from a person even after a predetermined time has elapsed, this one device or this person re-generates a command It may be sent to another device different from this one device in the vicinity of.
  • the device receives this command and performs a predetermined action according to the command. That is, the voice is spread only to the speaker near the person, the call is made only to the smartphone owned by the person, and the message is displayed only via the smartphone owned by the person via the mail or communication application. .
  • the above-described means and functions are realized by a computer (including a CPU, an information processing device, and various terminals) reading and executing a predetermined program.
  • the program is provided, for example, in the form of being provided from a computer via a network (SaaS: software as a service).
  • the program is provided in the form of being recorded on a computer-readable recording medium such as, for example, a flexible disk, a CD (such as a CD-ROM), and a DVD (such as a DVD-ROM or a DVD-RAM).
  • the computer reads the program from the recording medium, transfers the program to an internal storage device or an external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as, for example, a magnetic disk, an optical disk, or a magneto-optical disk, and may be provided from the storage device to the computer via a communication line.

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】所望する人物名に一致した人物から最も近い所にある機器だけにアクションさせるように制御することが可能なコンピュータシステム、機器制御方法及びプログラムを提供することを目的とする。 【解決手段】コンピュータシステムは、人物の画像を取得し、前記画像を解析して、前記人物を特定し、前記人物の近傍にある機器を検出し、特定した前記人物のうち、所望する人物名を受け付け、前記人物名に一致した人物の近傍に存在する機器に所定のアクションを実行させる。

Description

コンピュータシステム、機器制御方法及びプログラム
　本発明は、機器を制御するコンピュータシステム、機器制御方法及びプログラムに関する。
　近年、画像から人物を特定する技術が進んでいる。このような技術として、例えば、画像認識で特定された人物と、その人物に係るものとの組み合わせに基づくサービスを提供するコンピュータ装置が提供されている（特許文献１参照）。
特開２０１７－１０５８１号公報
　しかしながら、特許文献１の構成では、人物を特定するのみであることから、この人物の周囲にある機器を制御するような発想が存在しなかった。
　本発明は、所望する人物名に一致した人物から最も近い所にある機器だけにアクションさせるように制御することが可能なコンピュータシステム、機器制御方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　本発明は、人物の画像を取得する取得手段と、
　前記画像を解析して、前記人物を特定する特定手段と、
　前記人物の近傍にある機器を検出する検出手段と、
　特定した前記人物のうち、所望する人物名を受け付ける受付手段と、
　前記人物名に一致した人物の近傍に存在する機器に所定のアクションを実行させる制御手段と、
　を備えることを特徴とするコンピュータシステムを提供する。
　本発明によれば、コンピュータシステムは、人物の画像を取得し、前記画像を解析して、前記人物を特定し、前記人物の近傍にある機器を検出し、特定した前記人物のうち、所望する人物名を受け付け、前記人物名に一致した人物の近傍に存在する機器に所定のアクションを実行させる。
　本発明は、コンピュータシステムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　本発明によれば、所望する人物名に一致した人物から最も近い所にある機器だけにアクションさせるように制御することが可能なコンピュータシステム、機器制御方法及びプログラムを提供することが可能となる。
図１は、機器制御システム１の概要を示す図である。 図２は、機器制御システム１の全体構成図である。 図３は、ウェアラブル端末１００の機能ブロック図である。 図４は、ウェアラブル端末１００が実行する機器制御処理を示すフローチャートである。 図５は、ウェアラブル端末１００が実行する機器制御処理を示すフローチャートである。 図６は、ウェアラブル端末１００が距離を特定する状態を模式的に示した一例である。 図７は、ウェアラブル端末１００が人物の位置情報を特定する状態を模式的に示した一例である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［機器制御システム１の概要］
　本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である機器制御システム１の概要を説明するための図である。機器制御システム１は、ウェアラブル端末１００から構成されるコンピュータシステムである。ウェアラブル端末１００は、図示していないスピーカ、スマートフォン、他のウェアラブル端末等の機器と図示していないルータ等のゲートウェイ端末やサーバ機能を有したコンピュータ等を介して、データ通信を行う。
　なお、図１において、ウェアラブル端末１００の数は、適宜変更可能である。また、ウェアラブル端末１００は、実在する装置に限らず、仮想的な装置であってもよい。また、機器制御システム１は、ウェアラブル端末１００に加え、上述した機器やコンピュータにより構成されていてもよい。
　ウェアラブル端末１００は、機器とデータ通信可能に接続された端末装置である。ウェアラブル端末１００は、例えば、ユーザが装着するスマートグラス、ヘッドマウントディスプレイ等の端末装置である。なお、ウェアラブル端末１００は、スピーカやヘッドフォン等の音響機器や、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品により構成されてもよい。
　はじめに、ウェアラブル端末１００は、自身が有するステレオカメラ等の撮影装置により、対象とする人物を撮影する（ステップＳ０１）。ウェアラブル端末１００は、人物を撮影することにより、この人物の画像を取得する。なお、ウェアラブル端末１００は、常時撮影し続ける構成であってもよいし、ユーザからの音声入力やジェスチャー入力等の指示入力に基づいて撮影する構成であってもよい。常時撮影し続ける場合、所定時間経過後（３０秒経過、１分経過、５分経過等）に撮影した画像を削除することも可能である。
　ウェアラブル端末１００は、取得した画像を画像解析し、画像に写っている人物を特定する（ステップＳ０２）。ウェアラブル端末１００は、画像を画像解析（特徴点解析や特徴量解析）する。ウェアラブル端末１００は、予め対象となりうる人物の特徴点や特徴量と、人物名、所有するスマートフォンやウェアラブル端末等の端末装置の識別子（ＳＳＩＤ、電話場号、メールアドレス、コミュニケーションアプリケーションのＩＤ）等の属性情報とを対応付けて登録した人物データベースとに基づいて、今回、画像解析により抽出した特徴点や特徴量と人物データベースに登録された人物の特徴点や特徴量とを照合することにより、画像に写っている人物を特定する。
　このとき、ウェアラブル端末１００は、今回特定した人物に関して、ニューラルネットワーク等のパターン認識による機械学習を行い、次回以降の特定の際に、人物特定の精度を向上させてもよい。
　ウェアラブル端末１００は、特定した人物の近傍にある機器を検出する（ステップＳ０３）。ウェアラブル端末１００は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）から自身の位置情報を取得する。ウェアラブル端末１００は、この位置情報と、特定した人物との間の距離を特定する。ウェアラブル端末１００は、自身の視界方向（ユーザの視界方向であり、自身が向いている方向を意味する）と、この距離とに基づいて、人物の位置情報を特定する。ウェアラブル端末１００は、この人物の位置情報に基づいて、この人物の近傍（例えば、半径数ｍ以内）にある機器を検出する。例えば、ウェアラブル端末１００は、図示してないルータを介して、機器とデータ通信を行い、機器がＧＰＳから取得した位置情報を取得し、条件を満たす機器を特定することにより人物の近傍にある機器を検出する。
　ウェアラブル端末１００は、特定した人物のうち、所望する人物名を受け付ける（ステップＳ０４）。ウェアラブル端末１００は、例えば、音声入力等により、人物名を受け付ける。
　ウェアラブル端末１００は、人物名に一致した人物の近傍に存在する機器に所定のアクションを実行させる（ステップＳ０５）。ウェアラブル端末１００は、この人物の近傍にある機器に所定のアクションを実行させるためのコマンドを生成する。このコマンドは、例えば、ウェアラブル端末１００が、機器の機器情報（品番、製造元、仕様等）を取得し、この機器情報に基づいて、この機器に実行させるアクションに応じたコマンドを生成する。ウェアラブル端末１００は、生成したコマンドを、機器に送信する。機器は、このコマンドに基づいて、所定のアクションを実行する。所定のアクションとは、例えば、以下のものである。ウェアラブル端末１００は、この人物から近い所にあるスピーカを検出した場合、ユーザの声を、このスピーカだけに拡声させる。また、ウェアラブル端末１００は、この人物が所有しているスマートフォンを検出した場合、このスマートフォンだけに通話させるように制御する。また、ウェアラブル端末１００は、この人物が所有しているスマートフォンを検出した場合、このスマートフォンだけにメールさせるように制御する。
　以上が、機器制御システム１の概要である。
　［機器制御システム１のシステム構成］
　図２に基づいて、本発明の好適な実施形態である機器制御システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である機器制御システム１のシステム構成を示す図である。機器制御システム１は、ウェアラブル端末１００から構成されるコンピュータシステムである。
　なお、機器制御システム１を構成する装置の数及びその種類は、適宜変更可能である。また、機器制御システム１は、実在する装置に限らず、仮想的な装置類により実現されてもよい。また、機器制御システム１は、ウェアラブル端末１００のみによる構成に限らず、図示していない、スピーカ、スマートフォン、他のウェアラブル端末等の機器や、ゲートウェイ端末や、コンピュータ等をさらに有する構成であってもよい。この場合、制御システム１を構成する各装置は、其々データ通信可能に接続される。また、後述する各処理は、ウェアラブル端末１００に加え、上述した機器、ゲートウェイ端末又はコンピュータの何れか又は複数の組み合わせにより実現されてもよい。
　ウェアラブル端末１００は、後述の機能を備えた上述した端末装置である。
　［各機能の説明］
　図３に基づいて、本発明の好適な実施形態である機器制御システム１の機能について説明する。図３は、ウェアラブル端末１００の機能ブロック図を示す図である。
　ウェアラブル端末１００は、制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２０として、図示していない機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイスや近距離通信デバイス等を備える。また、ウェアラブル端末１００は、記憶部１３０として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、ウェアラブル端末１００は、処理部１４０として、画像解析、音声認識、コマンド生成、人物特定、人物撮影、各種計算、処理等を実行する各種デバイス等を備える。
　ウェアラブル端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、機器検出モジュール１５０、接続モジュール１５１を実現する。また、ウェアラブル端末１００において、制御部１１０が所定のプログラムを読み取ることにより、記憶部１３０と協働して、記憶モジュール１６０を実現する。また、ウェアラブル端末１００において、制御部１１０が所定のプログラムを読み込むことにより、処理部１４０と協働して、撮影モジュール１７０、人物判断モジュール１７１、人物特定モジュール１７２、距離特定モジュール１７３、音声受付モジュール１７４、制御モジュール１７５を実現する。
　［機器制御処理］
　図４及び図５に基づいて、機器制御システム１が実行する機器制御処理について説明する。図４及び図５は、ウェアラブル端末１００が実行する機器制御処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
　はじめに、撮影モジュール１７０は、静止画や動画等の画像を撮影する（ステップＳ１０）。ステップＳ１０において、撮影モジュール１７０は、ステレオカメラにより、立体画像を撮影する。撮影モジュール１７０は、ユーザからの撮影指示（例えば、撮影を指示する音声による入力やジェスチャーによる入力）に基づいて画像を撮影する。ユーザは、例えば、対象とする人物の人物名、撮影、その他の特定の音声を入力することにより、撮影指示を行う。ウェアラブル端末１００は、画像を撮影することにより、人物の画像を取得する。
　なお、撮影モジュール１７０は、ユーザからの撮影指示によらず常時画像を撮影する構成であってもよい。例えば、撮影モジュール１７０は、常時あるいは所定時間毎に画像を撮影してもよい。この場合、撮影モジュール１７０が撮影した画像を、記憶モジュール１６０が一時的に記憶する。記憶モジュール１６０は、後述する人物名を受け付ける処理が、記憶後から所定時間（例えば、３０秒、１分、５分）経過しても実行されなかった場合、この画像を削除する。また、ウェアラブル端末１００は、後述する人物名を受け付ける処理が行われたとき、常時撮影している場合には、受け付けた時点における画像に基づいて対象の処理を行い、所定時間毎に画像を撮影している場合には、受け付けた時点に最も近い時点における画像に基づいて対象の処理を行えばよい。
　人物判断モジュール１７１は、画像内に人物が含まれているか否かを判断する（ステップＳ１１）。ステップＳ１１において、人物判断モジュール１７１は、画像内の特徴点や特徴量を抽出する。人物判断モジュール１７１は、抽出した特徴点や特徴量に基づいて、画像内に人物が含まれているか否かを判断する。
　ステップＳ１１において、人物判断モジュール１７１は、画像内に人物が含まれていないと判断した場合（ステップＳ１１　ＮＯ）、再度ステップＳ１０の処理を実行する。
　一方、ステップＳ１１において、人物判断モジュール１７１は、画像内に人物が含まれていると判断した場合（ステップＳ１１　ＹＥＳ）、人物特定モジュール１７２は、画像内の人物を特定する（ステップＳ１２）。ステップＳ１２において、人物特定モジュール１７２は、記憶モジュール１６０に予め記憶させた対象となりうる人物の特徴点や特徴量と、この人物の属性情報（人物名、所有するスマートフォンやウェアラブル端末等の端末装置の識別子（ＳＳＩＤ、電話番号、メールアドレス、コミュニケーションアプリケーションのＩＤ等））とを対応付けて登録した人物データベースを参照することにより、画像内に含まれる人物を特定する。すなわち、人物特定モジュール１７２は、今回抽出した特徴点や特徴量と、人物データベースに登録された特徴点や特徴量とを照合し、照合結果として得られた特徴点や特徴量に対応付けられた属性情報を特定する。人物特定モジュール１７２は、この属性情報に該当する人物が、画像内の人物であると特定する。以下の説明において、人物特定モジュール１７２は、画像内に複数の人物が含まれており、各人物を特定したものとして説明する。
　なお、人物特定モジュール１７２は、今回特定した人物に関して、ニューラルネットワーク等のパターン認識による機械学習を行い、次回以降の特定の際に、人物特定の精度を向上させる構成であってもよい。
　距離特定モジュール１７３は、特定した人物と、自身の位置との間の距離を特定する（ステップＳ１３）。ステップＳ１３において、距離特定モジュール１７３は、撮影モジュール１７０が撮影する２枚の画像に存在するずれを学習した結果から、距離を特定する。
　図６に基づいて、距離特定モジュール１７３が特定する距離について説明する。図６は、距離特定モジュール１７３が距離を特定する状態を模式的に示した図である。図６において、撮影モジュール１７０は、ウェアラブル端末１００が有する第一のレンズ２００、第二のレンズ２１０に其々設けられた撮影装置により、人物２２０を撮影する。撮影モジュール１７０は、二枚の画像を重ね合わせ、一の立体画像を撮影する。距離特定モジュール１７３は、予め、立体画像における画像のずれの長さと、実際の距離とを学習させた結果から、自身と人物２２０との間の距離Ｄを推定する。
　なお、距離特定モジュール１７３が自身と人物２２０との間の距離を推定する構成は、上述した例に限らず、他の方法であってもよく、適宜変更可能である。
　距離特定モジュール１７３は、ＧＰＳから取得する自身の位置情報と、特定した自身と人物２２０との間の距離とに基づいて、人物２２０の位置情報を特定する（ステップＳ１４）。ステップＳ１４において、距離特定モジュール１７３は、自身の視界方向（ユーザの視界方向であり、自身が向いている方向を意味する）と、この距離とに基づいて、人物２２０の位置情報を特定する。
　図７に基づいて、距離特定モジュール１７３が特定する人物２２０の位置情報について説明する。図７は、距離特定モジュール１７３が、人物２２０の位置情報を特定する状態を模式的に示した図である。図７において、距離特定モジュール１７３は、自身であるウェアラブル端末１００の視界方向Ｆ、自身と人物２２０との間の距離Ｄを模式的に示している。距離特定モジュール１７３は、視界方向Ｆから、人物２２０が、自身から見てどの方角にいるのかを特定する。距離特定モジュール１７３は、この特定した方角と、自身の位置情報と、距離Ｄとに基づいて、人物２２０の位置情報を特定する。すなわち、距離特定モジュール１７３は、自身の位置情報に、該当する方角に向かって、距離Ｄを加算することにより、人物２２０の位置情報を特定する。
　なお、距離特定モジュール１７３が、人物２２０の位置情報を特定する構成は、上述した例に限らず、適宜変更可能である。
　機器検出モジュール１５０は、人物２２０の近傍にある機器を検出する（ステップＳ１５）。ステップＳ１５において、機器検出モジュール１５０は、図示していないルータを介して、機器とデータ通信を行う。機器検出モジュール１５０は、機器がＧＰＳから取得する機器の位置情報を機器から取得する。機器検出モジュール１５０は、取得した機器の位置情報と、特定した人物２２０の位置情報とを比較し、所定の条件（例えば、半径数ｍ以内、半径数十ｃｍ以内）にある機器を検出した場合、この機器を人物２２０の近傍にある機器として検出する。このとき、機器検出モジュール１５０は、自身の近傍にある機器をも検出する。また、機器検出モジュール１５０は、人物２２０の近傍に機器がない場合は、機器が検出できなかったことを検出する。
　機器検出モジュール１５０は、検出した機器の機器情報（品番、製造元、仕様、ＳＳＩＤ等）をこの機器から取得する（ステップＳ１６）。ステップＳ１６において、機器検出モジュール１５０は、検出した機器が記憶する機器情報を、後述する所定のアクションを実行させるための処理のために取得する。
　なお、機器検出モジュール１５０は、検出した機器の機器情報を、直接機器から取得するのではなく、外部データベース等から取得してもよい。例えば、機器検出モジュール１５０は、検出した機器を一意に特定可能な識別子を取得し、この識別子に該当する機器情報が登録された外部データベースにアクセスすることにより、機器情報を取得してもよい。また、機器検出モジュール１５０は、このタイミングで機器情報を必ずしも取得する必要はなく、後述する機器に所定のアクションを実行させるためのコマンドを生成する間のタイミングで適宜行われてもよい。
　音声受付モジュール１７４は、ユーザからの音声の入力を受け付ける（ステップＳ１７）。ステップＳ１７において、音声受付モジュール１７４は、ユーザからの音声を集音し、この音声の入力を受け付ける。例えば、音声受付モジュール１７４は、「山田さん元気ですか？」との音声の入力を受け付ける。
　音声受付モジュール１７４は、人物名の入力を受け付けたか否かを判断する（ステップＳ１８）。ステップＳ１８において、音声受付モジュール１７４は、受け付けた音声を音声認識することにより、この音声に人物名が含まれているか否かを判断する。音声受付モジュール１７４は、人物名の入力を受け付けていないと判断した場合（ステップＳ１８
　ＮＯ）、すなわち、音声に人物名が含まれていないと判断した場合、本処理を最初から繰り返す。
　一方、ステップＳ１８において、音声受付モジュール１７４は、人物名の入力を受け付けたと判断した場合（ステップＳ１８　ＹＥＳ）、すなわち、音声に人物名が含まれていると判断した場合、人物特定モジュール１７２は、今回入力を受け付けた人物名と、特定した画像内の人物の人物名とが一致するか否かを判断する（ステップＳ１９）。ステップＳ１９において、人物特定モジュール１７２は、受け付けた人物名と、特定した人物の属性情報に含まれる人物名とを比較することにより、一致するか否かを判断する。
　ステップＳ１９において、人物特定モジュール１７２は、人物名が一致しないと判断した場合（ステップＳ１９　ＮＯ）、制御モジュール１７５は、自身の視野には、該当する人物が存在しないことをユーザに通知するために、ユーザの近傍（例えば、半径数ｍ以内、半径数十ｃｍ以内）にある機器（スピーカ、スマートフォン等）に所定のアクションを実行させるコマンドを生成する（ステップＳ２０）。ステップＳ２０において、制御モジュール１７５は、ユーザの近傍に複数の機器を検出した場合、ユーザから最も近い所に位置する機器の機器情報に基づいて、この機器に所定のアクションを実行させるコマンドを生成する。例えば、制御モジュール１７５は、ユーザの近傍にスピーカを検出した場合、このスピーカの機器情報に基づいて、該当する人物が存在しないことを通知する音声（例えば、「該当する人物は存在しません。」）や視野内にいる人物を通知する音声（「該当する人物は存在しません。周囲にいる人物は、田中さん、古賀さん、武藤さんです。」）を生成し、この生成した音声を、このスピーカから拡声させるコマンドを生成する。
　また、ステップＳ２０において、制御モジュール１７５は、ウェアラブル端末１００を除いたユーザの近傍にスマートフォン以外の機器を検出できなかった場合、このスマートフォンを検出し、このスマートフォンの機器情報に基づいて、このスマートフォンに所定のアクションを実行させるコマンドを生成する。例えば、制御モジュール１７５は、このスマートフォンに発呼するとともに、通話機能により、該当する人物が存在しないことを通知する音声や視野内にいる人物を通知する音声を生成し、この生成した音声を通話させるコマンドを生成する。また、制御モジュール１７５は、このスマートフォンのみに該当する人物が存在しないことを通知するメッセージや視野内にいる人物を通知するメッセージを生成し、この生成したメッセージをこのスマートフォンのメールアドレス宛やこのスマートフォンにインストール済みのコミュニケーションアプリケーションのＩＤ宛に送信し、この生成したメッセージを表示させるコマンドを生成する。
　なお、制御モジュール１７５は、複数の機器の其々に対して、上述したコマンドを生成してもよい。この場合、複数の機器としては、同種の機器でも構わないが、異なる種類（例えば、スピーカとスマートフォン）の其々に対して、上述したコマンドを生成してもよい。
　接続モジュール１５１は、生成したコマンドを機器に送信する（ステップＳ２１）。ステップＳ２０において、接続モジュール１５１は、ルータ等を介して、対象とする機器とデータ通信可能に接続し、このコマンドを送信する。
　なお、異なる種類の其々に対して、上述したコマンドを生成していた場合、接続モジュール１５１は、其々の機器に対して、生成したコマンドを送信すればよい。また、このとき、接続モジュール１５１は、送信先の機器に応じてコマンドを送信するタイミングをずらしてもよい。例えば、接続モジュール１５１は、先にスマートフォンにコマンドを送信し、所定時間経過後に、スピーカにコマンドを送信するようにしてもよいし、その逆に、先にスピーカにコマンドを送信し、所定時間経過後に、スマートフォンにコマンドを送信するようにしてもよい。また、接続モジュール１５１は、先に一の機器に向けてコマンドを送信し、所定時間経過しても、ユーザからのアクションが何もなかった場合、再度生成したコマンドをこの一の機器又はユーザの近傍にあるこの一の機器とは異なる他の機器に対して送信してもよい。
　機器は、このコマンドを受信し、コマンドに応じた所定のアクションを実行する。すなわち、ユーザから近い所にあるスピーカだけに音声を拡声したり、ユーザが所有しているスマートフォンだけに通話したり、ユーザが所有しているスマートフォンだけにメールやコミュニケーションアプリケーションを介してメッセージを表示する。
　ウェアラブル端末１００は、コマンドを送信した後、本処理を終了する。
　一方、ステップＳ１９において、人物特定モジュール１７２は、人物名が一致すると判断した場合（ステップＳ１９　ＹＥＳ）、制御モジュール１７５は、この人物の近傍（例えば、半径数ｍ以内、半径数十ｃｍ以内）にある機器（スピーカ、ウェアラブル端末、スマートフォン等）に所定のアクションを実行させるコマンドを生成する（ステップＳ２２）。ステップＳ２２において、制御モジュール１７５は、人物の近傍に複数の機器を検出した場合、人物から最も近い所にある機器の機器情報に基づいて、この機器に所定のアクションを実行させるコマンドを生成する。また、制御モジュール１７５が実行させる所定のアクションとは、例えば、ユーザが発声した音声をこの機器から拡声させることや、ユーザが発声した音声を、テキストに変換したうえで、この機器にメールやコミュニケーションアプリケーション内のメッセージとして表示させることや、人物が装着している機器からこの人物のバイタルデータを取得すること等である。
　なお、近傍にある機器のうち、所定のアクションを実行する機能がない機器である場合、代替可能なアクションを実行させることも可能である。例えば、近傍にある機器がスピーカであり、スマートフォンが近傍になく、所定のアクションとして、通話に関するコマンドを生成する場合、スピーカにて発信者を特定可能な着信音や呼び出し音等を拡声する。また、機器としてウェアラブル端末が最も近くなる場合が多いが、所定のアクションを実行させる機能そのものがない場合等が考えられることから、予め指定したアクション（例えば、バイタルデータの取得）以外のアクションを実行させるコマンドを生成する際には、送信先の機器から除外しておいてもよい。アクションを予め指定する方法としては、上述した人物名を受け付けた際に、特定のアクションの入力、特定のキーワードの入力が行われてもよいし、それ以外の構成により実現されてもよい。
　ステップＳ２２において、制御モジュール１７５は、人物の近傍にスピーカを検出した場合、このスピーカの機器情報に基づいて、受け付けた音声「山田さん元気ですか？」を、スピーカに拡声させるために必要なコマンドを生成する。また、制御モジュール１７５は、人物の近傍にスマートフォンを検出した場合、スマートフォンに発呼するとともに、通話機能を有効にさせるために必要なコマンドを生成する。また、制御モジュール１７５は、人物の近傍にスマートフォンを検出した場合、受け付けた音声をテキスト変換し、このスマートフォンのメールアドレスやコミュニケーションアプリケーションのＩＤ宛にテキスト変換した音声をメッセージとして送信し、「山田さん元気ですか？」とのメッセージを表示させるために必要なコマンドを生成する。また、制御モジュール１７５は、人物の近傍にウェアラブル端末を検出した場合、バイタルデータを取得させ、このバイタルデータをウェアラブル端末１００や図示していないコンピュータ等に送信させるために必要なコマンドを生成する。
　なお、上述した説明において、制御モジュール１７５は、所定の入力（例えば、機器の指定、機器の除外）、所定のキーワード（例えば、各種機器名、特定の語句、目的）等に基づいて、近傍にある機器のうち、最も条件に合う機器に対して、所定のアクションを実行させるためのコマンドを生成してもよい。これは、予め機器とその使用目的や使用条件等とを対応付けて記憶させたデータベースを参照することにより、機器を検索すればよい。また、制御モジュール１７５は、スマートフォン以外の機器を近傍に検出できなかった場合に、スマートフォンに対して所定のアクションを実行させるためのコマンドを生成してもよい。また、制御モジュール１７５は、複数の機器の其々に対して、上述したコマンドを生成してもよい。この場合、複数の機器としては、同種の機器でも構わないが、異なる種類（例えば、スピーカとスマートフォン）の其々に対して、上述したコマンドを生成してもよい。このとき生成するコマンドとしては、送信先の機器に応じた所定のアクションを実行させるためのコマンド（例えば、スピーカには拡声、スマートフォンには通話やメッセージの表示）である。
　接続モジュール１５１は、生成したコマンドを機器に送信する（ステップＳ２３）。ステップＳ２３において、接続モジュール１５１は、ルータ等を介して、対象とする機器とデータ通信可能に接続し、このコマンドを送信する。
　なお、異なる種類の其々に対して、上述したコマンドを生成していた場合、接続モジュール１５１は、其々の機器に対して、生成したコマンドを送信すればよい。また、このとき、接続モジュール１５１は、送信先の機器に応じてコマンドを送信するタイミングをずらしてもよい。例えば、接続モジュール１５１は、先にスマートフォンにコマンドを送信し、所定時間経過後に、スピーカにコマンドを送信するようにしてもよいし、その逆に先にスピーカにコマンドを送信し、所定時間経過後に、スマートフォンにコマンドを送信するようにしてもよい。また、接続モジュール１５１は、先に一の機器に向けてコマンドを送信し、所定時間経過しても、人物からのアクションが何もなかった場合、再度生成したコマンドをこの一の機器又はこの人物の近傍にあるこの一の機器とは異なる他の機器に対して送信してもよい。
　機器は、このコマンドを受信し、コマンドに応じた所定のアクションを実行する。すなわち、人物から近い所にあるスピーカだけに音声を拡声したり、人物が所有しているスマートフォンだけに通話したり、人物が所有しているスマートフォンだけにメールやコミュニケーションアプリケーションを介してメッセージを表示する。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　機器制御システム、１００　ウェアラブル端末

Claims (6)

  1. 　人物の画像を取得する取得手段と、
    　前記画像を解析して、前記人物を特定する特定手段と、
    　前記人物の近傍にある機器を検出する検出手段と、
    　特定した前記人物のうち、所望する人物名を受け付ける受付手段と、
    　前記人物名に一致した人物の近傍に存在する機器に所定のアクションを実行させる制御手段と、
    　を備えることを特徴とするコンピュータシステム。
  2. 　前記検出手段は、前記人物から近い所にあるスピーカを検出し、
    　前記制御手段は、前記人物名に一致した人物から近い所にあるスピーカだけに拡声させるように制御する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  3. 　前記検出手段は、前記人物が所有しているスマートフォンを検出し、
    　前記制御手段は、前記人物名に一致した人物が所有しているスマートフォンだけに通話させるように制御する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  4. 　前記検出手段は、前記人物が所有しているスマートフォンを検出し、
    　前記制御手段は、前記人物名に一致した人物が所有しているスマートフォンだけにメールさせるように制御する、
    　ことを特徴とする請求項１に記載のコンピュータシステム。
  5. 　コンピュータシステムが実行する機器制御方法であって、
    　人物の画像を取得するステップと、
    　前記画像を解析して、前記人物を特定するステップと、
    　前記人物の近傍にある機器を検出するステップと、
    　特定した前記人物のうち、所望する人物名を受け付けるステップと、
    　前記人物名に一致した人物の近傍に存在する機器に所定のアクションを実行させるステップと、
    　を備えることを特徴とする機器制御方法。
  6. 　コンピュータシステムに、
    　人物の画像を取得するステップ、
    　前記画像を解析して、前記人物を特定するステップ、
    　前記人物の近傍にある機器を検出するステップ、
    　特定した前記人物のうち、所望する人物名を受け付けるステップ、
    　前記人物名に一致した人物の近傍に存在する機器に所定のアクションを実行させるステップ、
    　を実行させるためのコンピュータ読み取り可能なプログラム。
PCT/JP2017/042697 2017-11-29 2017-11-29 コンピュータシステム、機器制御方法及びプログラム WO2019106734A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019556442A JPWO2019106734A1 (ja) 2017-11-29 2017-11-29 コンピュータシステム、機器制御方法及びプログラム
PCT/JP2017/042697 WO2019106734A1 (ja) 2017-11-29 2017-11-29 コンピュータシステム、機器制御方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/042697 WO2019106734A1 (ja) 2017-11-29 2017-11-29 コンピュータシステム、機器制御方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2019106734A1 true WO2019106734A1 (ja) 2019-06-06

Family

ID=66665464

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/042697 WO2019106734A1 (ja) 2017-11-29 2017-11-29 コンピュータシステム、機器制御方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2019106734A1 (ja)
WO (1) WO2019106734A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357067A (ja) * 2000-04-03 2001-12-26 Konica Corp 画像データ検索方法及びコンピュータ読み取り可能な記憶媒体
JP2003296268A (ja) * 2002-04-02 2003-10-17 Minolta Co Ltd ネットワークシステム、コントローラ、およびプログラム
JP2014010502A (ja) * 2012-06-27 2014-01-20 Shunji Sugaya メッセージ送信システム、メッセージ送信方法、プログラム
JP2017143588A (ja) * 2017-05-25 2017-08-17 沖電気工業株式会社 情報処理装置、情報処理方法、プログラムおよびネットワークシステム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164374A (ja) * 2013-02-22 2014-09-08 Canon Inc 情報表示システム、情報端末、サーバ装置、情報端末の制御方法、サーバ装置の制御方法、及びプログラム
JP6528311B2 (ja) * 2015-03-10 2019-06-12 成広 武田 行動サポート装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001357067A (ja) * 2000-04-03 2001-12-26 Konica Corp 画像データ検索方法及びコンピュータ読み取り可能な記憶媒体
JP2003296268A (ja) * 2002-04-02 2003-10-17 Minolta Co Ltd ネットワークシステム、コントローラ、およびプログラム
JP2014010502A (ja) * 2012-06-27 2014-01-20 Shunji Sugaya メッセージ送信システム、メッセージ送信方法、プログラム
JP2017143588A (ja) * 2017-05-25 2017-08-17 沖電気工業株式会社 情報処理装置、情報処理方法、プログラムおよびネットワークシステム

Also Published As

Publication number Publication date
JPWO2019106734A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
US10212593B2 (en) Context-related arrangements
US9792488B2 (en) Adjacent person specifying apparatus, adjacent person specifying method, adjacent person specifying program, and adjacent person specifying system
US20140006513A1 (en) Adjacent person specifying apparatus, adjacent person specifying method, adjacent person specifying program, and adjacent person specifying system
CN110536075B (zh) 视频生成方法和装置
US20150139508A1 (en) Method and apparatus for storing and retrieving personal contact information
US20160277707A1 (en) Message transmission system, message transmission method, and program for wearable terminal
US10657361B2 (en) System to enforce privacy in images on an ad-hoc basis
US20200112838A1 (en) Mobile device that creates a communication group based on the mobile device identifying people currently located at a particular location
CN105791325A (zh) 图像发送方法和装置
US20120242860A1 (en) Arrangement and method relating to audio recognition
CN111406400B (zh) 会议电话参与者标识
KR101599165B1 (ko) 무선 기기들을 연결하는 방법 및 시스템
CN112119372B (zh) 电子设备及其控制方法
JP2019028559A (ja) 作業分析装置、作業分析方法及びプログラム
US9843683B2 (en) Configuration method for sound collection system for meeting using terminals and server apparatus
WO2019106734A1 (ja) コンピュータシステム、機器制御方法及びプログラム
US11184184B2 (en) Computer system, method for assisting in web conference speech, and program
JP6387205B2 (ja) コミュニケーションシステム、コミュニケーション方法及びプログラム
JP5904887B2 (ja) メッセージ送信システム、メッセージ送信方法、プログラム
KR102192019B1 (ko) 배포 엔진 기반 콘텐츠 제공 방법 및 이를 사용하는 전자 장치
JP7139839B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20230090122A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
US20230084625A1 (en) Photographing control device, system, method, and non-transitory computer-readable medium storing program
JP2016106334A (ja) メッセージ送信システム、メッセージ送信方法、プログラム
KR20170022272A (ko) 녹음 시스템 및 녹음 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17933199

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019556442

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 24/08/2020)

122 Ep: pct application non-entry in european phase

Ref document number: 17933199

Country of ref document: EP

Kind code of ref document: A1