WO2018179591A1 - 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法 - Google Patents

情報提供装置、端末装置、表示システム、プログラム及び情報提供方法 Download PDF

Info

Publication number
WO2018179591A1
WO2018179591A1 PCT/JP2017/043354 JP2017043354W WO2018179591A1 WO 2018179591 A1 WO2018179591 A1 WO 2018179591A1 JP 2017043354 W JP2017043354 W JP 2017043354W WO 2018179591 A1 WO2018179591 A1 WO 2018179591A1
Authority
WO
WIPO (PCT)
Prior art keywords
character
information
management information
unit
server
Prior art date
Application number
PCT/JP2017/043354
Other languages
English (en)
French (fr)
Inventor
慧 渡部
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2019508555A priority Critical patent/JP6746775B2/ja
Priority to US16/486,060 priority patent/US20210279961A1/en
Priority to CN201780089287.1A priority patent/CN110476203A/zh
Publication of WO2018179591A1 publication Critical patent/WO2018179591A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/203D [Three Dimensional] animation
    • G06T13/403D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators

Definitions

  • the present invention relates to an information providing device, a terminal device, a display system, a program, and an information providing method.
  • Augmented Reality (AR) technology for displaying a character image superimposed in the vicinity of a marker in a captured image taken by a terminal device or the like is known as a conventional technology.
  • Patent Document 1 when a marker included in a captured image is detected, information processing corresponding to the marker is started, and the corresponding character and icon objects are arranged in a three-dimensional coordinate system corresponding to the object space.
  • an information processing apparatus that draws on a captured image and displays it immediately is described.
  • the conventional technology as described above merely displays a character image superimposed with reference to marker information attached to the device or the like. For this reason, the correlation between the device and the character is sparse, and there is a problem that it is difficult for the user to feel close to the character.
  • the present invention is based on the above-mentioned problems, and an object thereof is to improve the correlation between the device and the character as compared with the prior art.
  • An information providing apparatus for solving the above-described problem is an information providing apparatus that provides information to a terminal device that displays a character image superimposed on a captured image. And a control unit, wherein the control unit identifies and identifies character management information for managing the presentation mode of the character with reference to device identification information that identifies an individual device included in the captured image.
  • the character management information is transmitted to the terminal device via the communication unit, or the character management information is specified with reference to the character management information to identify the device management information, and the specified At least one control of whether the device identification information is transmitted to the device via the communication unit is performed.
  • a terminal device is a terminal device including an imaging unit, a presentation unit, a control unit, and a communication unit
  • the presentation unit includes a display unit
  • the control unit specifies character management information for managing a character presentation mode, which is specified with reference to device identification information for specifying an individual device included in the captured image, from an information providing device that provides information to the terminal device. Acquired and displayed on the display unit such that a character image is superimposed on an image captured by the imaging unit, or device identification information for identifying an individual of the device is transmitted to the information via the communication unit. Control at least one of transmission to the providing apparatus is performed.
  • a display system is a display system including an information providing device and a terminal device, and the terminal device includes an imaging unit, a presentation unit, a terminal control unit, A terminal communication unit, the presentation unit includes a display unit, the information providing apparatus includes a server communication unit and a server control unit, and the server control unit identifies an individual device included in the captured image.
  • the device identification information character management information for managing the character presentation mode is specified, and the specified character management information is transmitted to the terminal device via the server communication unit, or the character management is performed.
  • the device management information that identifies the presentation mode of the device is identified with reference to the information, and the identified device identification information is transmitted to the device via the server communication unit.
  • the terminal control unit refers to the character management information, on the display unit, the character image on the image captured by the imaging unit is displayed to overlap.
  • an information providing method for providing information to a terminal device that displays a character image superimposed on a captured image.
  • Character management that identifies character management information that manages the presentation mode of the character with reference to device identification information that identifies an individual device included in the captured image, and that transmits the identified character management information to the terminal device Of the device identification information identifying step of identifying the device management information that identifies the presentation mode of the device with reference to the information identifying step and the character management information, and transmitting the identified device identification information to the device At least one of the steps.
  • FIG. 1 is a block diagram showing a main configuration of a display system 1 according to the present embodiment.
  • the display system 1 includes a terminal device 2 and a server (information providing device) 3.
  • the terminal device 2 and the server 3 are connected via a network 4, and the terminal device 2 and the home appliance 5 are connected via a wireless LAN router 6.
  • the terminal device 2 includes an imaging unit 21, a terminal information input unit 22, a terminal control unit (control unit) 23, a terminal communication unit (communication unit) 24, and a presentation. Part 25.
  • Examples of the terminal device 2 include a smartphone and a head mounted display.
  • imaging unit 21 and the presentation unit 25 may each be configured by a single piece of hardware, or may be configured in a distributed manner by a plurality of hardware.
  • the imaging unit 21 acquires a captured image 7 (see FIG. 2) of the home appliance (device) 5.
  • An example of the imaging unit 21 is a camera.
  • Terminal information input unit 22 receives input of terminal identification information such as application ID and password, character management information such as character ID, information ID and character storage information, and speech information from the user. As shown in FIG. 1, the terminal information input unit 22 includes a terminal voice input unit 220 and a text input unit 221.
  • Terminal voice input unit 220 inputs the above-described various information by voice input, and examples thereof include a microphone.
  • the text input unit 221 inputs the above-described various information by text input.
  • Examples of the text input unit 221 include a keyboard, buttons, and a touch panel that allows text input using a user's finger or pen.
  • the touch panel may be the same as the display unit 251 as shown in FIG.
  • the terminal information input unit 22 allows the user to select one of the options and accepts input of terminal identification information. Also good.
  • the terminal information input unit 22 may accept input of terminal identification information by causing the user to touch an option button displayed on the display unit 251 such as a touch panel. Thereby, the terminal information input part 22 can receive terminal identification information from a user more rapidly.
  • the terminal control unit 23 transmits the device identification information to the server 3 via the terminal communication unit 24.
  • the terminal control unit 23 acquires character management information via the terminal communication unit 24.
  • the terminal control unit 23 refers to the character management information and causes the display unit 251 to display the image of the character 8 so as to be superimposed on the captured image 7 by the imaging unit 21.
  • the device identification information refers to information for identifying the individual home appliance 5 included in the captured image 7 captured by the imaging unit 21.
  • the device identification information refers to, for example, information including a device ID or imaging position information and device type information in the character management DB (database) 330 of FIG.
  • the device type information is type information obtained from the appearance of the home appliance 5.
  • the device ID is an ID that can uniquely identify the home appliance 5 and is an ID assigned to each home appliance 5.
  • the device ID is unique information of the home appliance 5 obtained by communication with the home appliance 5 included in the captured image 7.
  • the character management DB (database) 330 associates it, or the home appliance 5 presents the device ID and device type information as a series of information, A method of configuring a device ID such that a part of the device ID includes device type information can be given.
  • the imaging position information is position information of the imaging position of the captured image 7 when the home appliance 5 is included in the captured image 7, and is represented by, for example, latitude, longitude, and altitude.
  • the imaging position information is position information of the imaging position of the captured image 7 when the home appliance 5 is included in the captured image 7, and is represented by, for example, latitude, longitude, and altitude.
  • the imaging position information is position information of the imaging position of the captured image 7 when the home appliance 5 is included in the captured image 7, and is represented by, for example, latitude, longitude, and altitude.
  • the imaging position information is position information of the imaging position of the captured image 7 when the home appliance 5 is included in the captured image 7, and is represented by, for example, latitude, longitude, and altitude.
  • the character management information is for managing the presentation mode of the character 8 associated with the home appliance 5.
  • the character management information refers to information including a character ID, appearance, and the like as shown in the character management DB 330 in FIG.
  • the character management information includes an information ID and character storage information as shown in the character storage DB 331 of FIG.
  • the character management information may include information such as utterance contents, clothes of the character 8 and facial expressions.
  • Character ID is an ID assigned to character 8.
  • the appearance of the character 8 is, for example, as shown in FIG. 2, when the home appliance 5 is a microwave oven, the appearance of a personified and deformed character (Taro Range) who has a face in the range, etc. Can be mentioned.
  • the information ID refers to the type of information stored in the character 8.
  • Character storage information refers to the content of specific information related to the character 8 for the information ID.
  • the character storage information includes information obtained from the conversation history between the character 8 and the user, and information related to the character 8 itself.
  • the utterance content of the character 8 refers to the utterance content of the character 8. Examples of the utterance method include utterance by characters and voice utterance.
  • the outfit of character 8 refers to the outfit that character 8 is wearing.
  • the device identification information includes device type information, device ID, imaging position information, and the like.
  • the character management information includes the character ID, the appearance of the character 8, the information ID, the character storage information, the utterance content of the character 8, the clothes of the character 8, and the like.
  • the present embodiment is not limited to such a form.
  • the device identification information may be any information as long as it is information for identifying the individual home appliance 5 included in the captured image 7 captured by the imaging unit 21.
  • the character management information may be any information as long as it manages the presentation mode of the character 8 associated with the home appliance 5.
  • the captured image 7 of the home appliance 5 is acquired, but the present embodiment is not limited to this. In this embodiment, if it is an apparatus, it will not be limited to household appliances, For example, the picked-up image 7 of electric equipments other than home use can be acquired.
  • the terminal control unit 23 functions as a device identification information specifying unit 230, a terminal information acquisition unit 234, and a superimposed image generation unit 235.
  • the device identification information specifying unit 230 specifies device identification information.
  • the device identification information specifying unit 230 functions as an image recognition unit 231, a unique information acquisition unit 232, and a position information acquisition unit 233.
  • the image recognition unit 231 specifies device type information.
  • the unique information acquisition unit 232 identifies the device ID.
  • the position information acquisition unit 233 identifies imaging position information.
  • the device identification information specifying unit 230 specifies the device identification information with reference to the device ID or the imaging position information and the device type information.
  • the image recognition unit 231 refers to the captured image 7 acquired by the imaging unit 21 and identifies the device type information of the home appliance 5. For example, it is assumed that the home appliance 5 is captured by the imaging unit 21 of the terminal device 2 such as a smartphone. In this case, the image recognizing unit 231 specifies the household electrical appliance 5 shown in the captured image 7 acquired by the imaging unit 21 in the microwave oven using a known image recognition technique. Thereby, apparatus classification information turns into a microwave oven.
  • the terminal control unit 23 of the terminal device 2 functions as the image recognition unit 231.
  • the server control unit 32 of the server 3 may specify the device type information. That is, the server control unit 32 may function as the image recognition unit 231.
  • the server control unit 32 receives the captured image 7 from the terminal device 2 and specifies the device type information. Further, the server control unit 32 can identify the device identification information with reference to the device type information and at least one of the device ID and the imaging position information received from the terminal device 2. That is, in this embodiment, the server control unit 32 may function as the device identification information specifying unit 230 instead of the terminal control unit 23.
  • the unique information acquisition unit 232 acquires unique information such as a device ID when the terminal communication unit 24 communicates with the home appliance communication unit 50 of the home appliance 5.
  • the terminal communication unit 24 and the home appliance communication unit 50 are connected to the same wireless LAN communication device such as the wireless LAN router 6 by Wi-Fi (registered trademark), and the wireless LAN Communicate with each other via communication equipment.
  • the unique information acquisition unit 232 can acquire the device ID and the wireless LAN router identification information.
  • the terminal communication unit 24 and the home appliance communication unit 50 communicate via the wireless LAN router 6, the terminal communication unit 24 and the home appliance communication unit 50 communicate directly using Bluetooth (registered trademark) or the like. May be performed. Thereby, the unique information acquisition unit 232 may acquire the identification information of the device ID.
  • the unique information acquisition unit 232 instructs all home appliances 5 connected to the wireless LAN router 6 to transmit the device ID to the unique information acquisition unit 232 via the terminal communication unit 24. Thereby, the specific information acquisition unit 232 acquires a plurality of device IDs from the plurality of home appliances 5. Among these, the specific information acquisition unit 232 identifies the device ID of the home appliance 5 included in the captured image 7.
  • the unique information acquisition unit 222 assumes that there is only one device ID corresponding to one piece of device type information among device IDs that can be acquired from the same wireless LAN router 6.
  • the device ID is specified based on the device type information of the home appliance 5 included in the captured image 7 specified by the image recognition unit 231.
  • the unique information acquisition unit 232 can specify the device ID corresponding to the device type information of the home appliance 5 included in the captured image 7 with reference to, for example, the character management DB 330.
  • the unique information acquisition unit 232 acquires the device type information together with the device ID from the home appliance 5 and uses this to use the home appliance included in the captured image 7. 5 device IDs may be specified.
  • the unique information acquisition unit 232 transmits the device type information of the home appliance 5 included in the captured image 7 specified by the image recognition unit 231 to all the home appliances 5 connected to the wireless LAN router 6.
  • the device ID may be instructed to be transmitted to the unique information acquisition unit 232.
  • the unique information acquisition unit 232 assumes that there is at most one home appliance 5 having the same device identification information connected to the same wireless LAN router 6. Originally, the device ID of the home appliance 5 included in the captured image 7 is specified.
  • the position information acquisition unit 233 acquires imaging position information. As shown in FIG. 1, the position information acquisition unit 233 includes a GPS receiver 2330. By using the GPS receiver 2330, the position information acquisition unit 233 can acquire the current position of the terminal device 2 when the captured image 7 is captured as the captured position information.
  • the server control unit 32 is based on the assumption that the household electrical appliances 5 included in the captured images 7 having the same imaging position information and corresponding to the same device type information are the same individual. Refers to the imaging position information corresponding to the captured image 7 acquired by the position information acquisition unit 233 and the device type information of the home appliance 5 included in the captured image 7 to uniquely identify the home appliance 5.
  • the position information acquisition unit 233 may not include the GPS receiver 2330 as long as it can acquire the imaging position information.
  • Terminal information acquisition unit 234 acquires terminal identification information such as an application ID and password, character management information such as a character ID, information ID, and character storage information, speech information, and the like from the terminal information input unit 22.
  • the application ID refers to the ID of the terminal device 2 for registering the character 8 having character management information unique to each terminal device 2 and registering it as my character. That is, the application ID is also an ID for identifying the user who has the terminal device 2.
  • the password here refers to a password necessary for registering the character 8 as a my character.
  • the terminal information acquisition unit 234 receives voice from the terminal voice input unit 220 of the terminal information input unit 22.
  • the terminal information acquisition unit 234 converts the voice into text using a known voice recognition system.
  • the terminal information acquisition unit 234 performs well-known text analysis, and extracts the application ID, password, utterance content, and the like from the text.
  • the terminal information acquisition unit 234 receives text from the text input unit 221 of the terminal information input unit 22.
  • the terminal information acquisition unit 234 performs a well-known text analysis, and extracts an application ID, a password, utterance content, or the like from the text.
  • the terminal information acquisition unit 234 specifies information indicated by the selected button as terminal information.
  • the superimposed image generation unit 235 acquires character management information via the terminal communication unit 24. Also, the superimposed image generation unit 235 refers to the character management information and causes the display unit 251 to display the image of the character 8 superimposed on the captured image 7.
  • the superimposed image generation unit 235 specifies the display position of the character 8 on the display unit 251 according to the device type information of the home appliance 5 and the position of the display unit 251 of the home appliance 5. For example, as illustrated in FIG. 2, the superimposed image generation unit 235 causes the display unit 251 to display the image so as to be superimposed on the home appliance 5 or to be displayed adjacent to the home appliance 5. Thereby, the user can feel that the home appliance 5 and the character 8 are associated with each other.
  • the superimposed image generation unit 235 generates model data and display position data with reference to the character management information, and generates the character 8 from the model data.
  • the model data is polygon data representing an object in a standing state by a combination of a line segment and a polygon, for example.
  • the superimposed image generation unit 235 adjusts data indicating the position, orientation, neck, arm, and leg angles of the object included in the model data in accordance with the utterance content determined by the terminal control unit 23, and the character 8 Generate.
  • the superimposed image generation unit 235 superimposes the image of the character 8 on the captured image 7 acquired by the imaging unit 21. For example, the superimposed image generation unit 235 generates an image of the character 8 according to the shooting direction of the image of the home appliance 5 by performing a rendering process on the polygon data of the character 8.
  • the character management information is also different accordingly.
  • the character management DB 330 in FIG. 3 it is assumed that the device type information in the device identification information differs between the microwave oven and the refrigerator.
  • the appearance of the character corresponding to each home appliance 5 varies depending on the device type information.
  • the superimposed image generation unit 235 can cause the display unit 251 to display an image of the character 8 having a different appearance.
  • an image of a different character 8 can be displayed on the display unit 251 in accordance with the device identification information.
  • Terminal communication unit 24 is a communication interface for communicating with the server communication unit (communication unit) 31 of the server 3 and the home appliance communication unit 50 of the home appliance 5 and performs wireless communication.
  • the terminal communication unit 24 transmits the device identification information specified by the device identification information specifying unit 230 in the terminal control unit 23 to the server 3.
  • the terminal communication unit 24 is connected via Wi-Fi (registered trademark) via a wireless LAN communication device such as the wireless LAN router 6 that is the same as the home appliance 5.
  • the terminal communication unit 24 includes a plurality of wireless devices, and may have a function of performing wide area wireless communication such as LTE in addition to the wireless LAN router 6.
  • the terminal communication unit 24 may perform communication without using the wireless LAN router 6. That is, the terminal communication unit 24 may communicate with the server communication unit 31 through the network 4 using wide area wireless communication.
  • the terminal communication unit 24 and the home appliance communication unit 50 communicate via the wireless LAN router 6, the terminal communication unit 24 and the home appliance communication unit 50 communicate directly using Bluetooth (registered trademark) or the like. May be performed.
  • Bluetooth registered trademark
  • the presenting unit 25 displays the captured image 7 so that the image of the character 8 reflecting the character management information is superimposed on the captured image 7.
  • the presentation unit 25 includes a terminal audio output unit 250 and a display unit 251.
  • Terminal audio output unit 250 The terminal audio output unit 250 outputs audio.
  • Examples of the audio content output by the terminal audio output unit 250 include the utterance content of the character 8 to the user, which is determined by the terminal control unit 23 with reference to the character management information.
  • the character management information such as the character ID corresponding to each home appliance 5 is different according to the other information of the device identification information being different.
  • the terminal control unit 23 can cause the terminal voice output unit 250 to output “I am Ataro”.
  • the terminal control unit 23 can cause the terminal voice output unit 250 to output “I am B Taro”.
  • the terminal audio output unit 250 can output different audio contents when the character management information is different as a whole, such as when the character ID is different.
  • the terminal voice output unit 250 can output different voices according to the device identification information.
  • Display unit 251 The display unit 251 displays the character 8 specified by the superimposed image generation unit 235 together with the captured image 7 of the home appliance 5. That is, the display unit 251 displays the image superimposed by the superimposed image generation unit 235.
  • the display unit 251 displays the character 8 at the display position specified by the superimposed image generation unit 235.
  • the display unit 251 is a display, for example.
  • the server 3 includes a server communication unit (communication unit) 31, a server control unit (control unit) 32, and a storage unit 33.
  • the server communication unit 31 is a communication interface for communicating with the terminal communication unit 24 of the terminal device 2 via the network 4 and communicating with the home appliance communication unit 50 of the home appliance 5 via the wireless LAN router 6.
  • the communication between the server communication unit 31 and the wireless LAN router 6 may be performed via the network 4.
  • the server communication unit 31 communicates with the home appliance communication unit 50 of the home appliance 5 via the terminal device 2. Also good.
  • the server communication unit 31 acquires device identification information from the terminal communication unit 24 of the terminal device 2. In addition, the server communication unit 31 transmits the character management information specified by the server control unit (control unit) 32 to the terminal communication unit 24 of the terminal device 2.
  • the server control unit 32 functions as a character management information specifying unit 320 and a device management information specifying unit 321.
  • the character management information specifying unit 320 specifies the character management information with reference to the device identification information. Further, the character management information specifying unit 320 refers to the history of dialogue between the character 8 and the user and updates the character management information.
  • the character management information specifying unit 320 refers to the character management DB 330 stored in the storage unit 33 and specifies the character management information corresponding to the device identification information.
  • the character management information specifying unit 320 updates the character storage DB 331 of the storage unit 33 with reference to the history of dialogue between the character 8 and the user.
  • the character management information specifying unit 320 transmits the specified character management information to the terminal device 2 via the server communication unit 31.
  • the character management information specifying unit 320 can specify the character management information correlated with the home appliance 5 by specifying the character management information corresponding to the device identification information. Further, the character management information specifying unit 320 can transmit character management information corresponding to the device identification information to the terminal device 2 via the server communication unit 31. As a result, the character management information specifying unit 320 can cause the terminal device 2 to display the image of the character 8 correlated with the home appliance 5 superimposed on the captured image 7. As a result, the character management information specifying unit 320 can improve the correlation between the home appliance 5 and the character 8.
  • the storage unit 33 including the character management DB 330 referred to by the character management information specifying unit 320 may be stored in a server different from the server 3 including the character management information specifying unit 320.
  • the character management information specifying unit 320 can refer to the character management DB 330 of the storage unit 33 stored in another server via the network 4.
  • the character management DB 330 may be distributed to a plurality of storage units 33 or may be distributed to a plurality of servers. Thereby, character management information can be specified, reducing the burden concerning one server 3.
  • FIG. 3A is a diagram illustrating an example of the character management DB 330 stored in the storage unit 33 of the server 3.
  • the character management information specifying unit 320 has acquired at least one device identification information of the device ID and the imaging position information in addition to the device type information.
  • the character management information specifying unit 320 has the character appearance corresponding to the device type information and the character ID corresponding to the device ID or the imaging position information in the character management DB 330 of FIG. Search whether or not.
  • the character management information specifying unit 320 specifies, as character management information, information whose character appearance is Range Taro and whose character ID is CH_0001.
  • the device type information is a microwave oven
  • the imaging position information is latitude 35.6 °, longitude 140.0 °, and altitude 30 m.
  • the character management information specifying unit 320 specifies, as character management information, information whose character appearance is Range Taro and whose character ID is CH_0001.
  • the character management information specifying unit 320 has not acquired any information of the device ID and the imaging position information other than the device type information. Alternatively, it is assumed that there is no character ID corresponding to the device ID and the imaging position information. In this case, the character management information specifying unit 320 specifies information including only the appearance of the character as character management information for specifying the character 8. That is, only the appearance of the character is reflected as information for specifying the character 8.
  • the case where the character ID does not exist includes, for example, a case where the character ID corresponding to the device ID and the imaging position information in the character management DB 330 in FIG. 3A is blank.
  • character management information such as utterance contents and clothes is general. This is because the character ID is not reflected in the character 8.
  • the character's appearance is Range Taro who personifies the range as shown in FIG.
  • the range taro speaks content that does not specify the character 8 as compared to “I am range taro” or “I am A taro”.
  • the range Taro wears an apron as shown in FIG. 2 and is more likely to be assumed from the home appliance 5 that is the appearance than the Range Taro wearing a down jacket. Become.
  • the character management information specifying unit 320 specifies information whose character appearance is Range Taro as character management information.
  • the character management information specifying unit 320 can specify character management information correlated with the home appliance 5.
  • the character management information specifying unit 320 may not specify information consisting only of the appearance of the character as character management information for specifying the character 8. Instead, the character management information specifying unit 320 may create a new character ID on the character management DB 330. Thereby, the character management information specifying unit 320 can specify information including the appearance of the character and the new character ID as the character management information.
  • the character management information specifying unit 320 specifies the character management information with reference to the device identification information in the character management DB 330 in FIG.
  • the present embodiment is not limited to this.
  • the character management information specifying unit 320 may specify the character management information without referring to the device identification information.
  • the character management information includes not only the character ID and character appearance shown in FIG. 3A but also the information ID and character storage information shown in FIG. Therefore, the character management information specifying unit 320 can specify the character management information with reference to the character storage DB 331 in FIG.
  • the character management information specifying unit 320 can specify the character storage information corresponding to the character ID and information ID acquired from the terminal device 2 from the character storage DB 331. Thereby, the character management information specifying unit 320 can transmit the character management information including the specified character storage information to the terminal device 2 via the server communication unit 31. As a result, the terminal control unit 23 of the terminal device 2 can present the character 8 reflecting the character storage information to the user via the presentation unit 25.
  • the character management information specifying unit 320 can not only specify the character management information but also update the character management information.
  • character management information specification by the character management information specifying unit 320 is not limited to specifying character management information that already exists in either the character management DB 330 or the character storage DB 331.
  • Identification of character management information by the character management information identification unit 320 includes adding new character management information to either the character management DB 330 or the character storage DB 331.
  • FIG. 3B is a diagram illustrating an example of the character storage DB 331.
  • the information ID in FIG. 3B indicates the type of information stored in the character 8 as described above.
  • “Information ID1” indicates a user's favorite food.
  • “Information ID 2” indicates what the user is doing.
  • “Information ID 10” indicates to which house character 8 lives.
  • “Information ID 20” indicates the current action of the character 8.
  • “Information ID 38” indicates the birthday of the user.
  • the character storage information in FIG. 3B indicates the specific information content of the character 8 for the information ID.
  • the character storage information “fish” is associated with “information ID1” (a user's favorite food).
  • the character management information is specified as “the user's favorite food is fish”.
  • a portion where the application ID is blank means that the information is related to the character 8 itself.
  • the terminal control unit 23 causes the user to ask “What is your favorite food?” With the character 8 reflecting the character ID “CH — 0001”. Further, it is assumed that the character management information specifying unit 320 has acquired a reply “fish” from the user terminal device 2 via the server communication unit 31. In this case, the character management information specifying unit 320 extracts the keyword “fish” from the answer “fish”.
  • the character management information specifying unit 320 associates “information ID 1” (a user's favorite food) related to the question “What is your favorite food” by the character 8 with “fish” extracted from the user's answer. That is, the character management information specifying unit 320 specifies character storage information corresponding to the character ID “CH — 0001” and “information ID 1” as “fish”.
  • the character management information specifying unit 320 reflects the corresponding relationship in the character storage DB 331 as shown in the character storage DB 331 of FIG. As a result, the character management information in the character storage DB 331 is updated.
  • the terminal control unit 23 causes the user to ask a question regarding the specific information ID by the character 8 reflecting the character ID “CH — 0001”.
  • the character management information specifying unit 320 specifies character management information with reference to an answer from the user to the question.
  • the character management information specifying unit 320 may specify the character management information from the character ID acquired from the user terminal device 2, the information ID, and the character storage information.
  • the character management information specifying unit 320 may directly acquire information input by the user via the text input unit 221. . Further, for example, it is assumed that the user does not directly input the information ID and the character storage information to the terminal information input unit 22 and utters “My favorite food is fish”. In this case, the character management information specifying unit 320 may specify the information ID “information ID1 (user's favorite food)” and the character storage information “fish” from the user's answer.
  • the character management information specifying unit 320 acquires the character ID, the information ID, and the character storage information, the character management information in the character storage DB 331 can be updated.
  • the device management information specifying unit 321 specifies the device management information with reference to the character management information.
  • the device management information specifying unit 321 specifies device management information with reference to the character management information and the device management DB 332.
  • the specification of the device management information here includes the meaning of updating the device management information based on the newly acquired information, similarly to the above-described specification of the character management information.
  • the device management information specifying unit 321 transmits the specified device management information to the home appliance 5 via the server communication unit 31.
  • the device management information specifying unit 321 can refer to the home appliance 5 for information correlated with information of the character 8 by specifying the device management information with reference to the character management information. Further, the device management information specifying unit 321 can transmit the device management information specified with reference to the character management information to the terminal device 2. Thereby, the terminal control unit 23 of the terminal device 2 can display the image of the character 8 correlated with the information of the character 8 by superimposing the captured image 7 with reference to the device management information. As described above, the device management information specifying unit 321 specifies the device management information, and as a result, the correlation between the home appliance 5 and the character 8 can be further improved.
  • the device management DB 332 of FIG. 3C stored in the storage unit 33 of the server 3 will be described.
  • FIG. 3C is a diagram illustrating an example of the device management DB 332.
  • the device management information includes device type information, device ID, device operation information, and device storage information.
  • the device management information is information including a part of the above-described device identification information, and is information for specifying an individual home appliance 5 and specifying a presentation mode. Since the device type information and the device ID are the same as those included in the device identification information described above, description thereof is omitted.
  • the device operation information is information related to the operation of the home appliance 5 included in the captured image 7, and more strictly refers to information indicating the current operation state of the home appliance 5.
  • the device operation information is related to the “information ID 20” (current action of the character 8) in the character storage DB 331 in (b) of Table 3.
  • the device storage information refers to information referred to when the home appliance 5 operates, and is related to the information ID and character storage information of the character storage DB 331.
  • the device operation information and the device storage information are stored in the device management DB 332 as a plurality of information in a tuple format, and can be updated and added as needed.
  • the terminal control unit 23 causes the user to ask “What is your favorite food?” With the character 8 reflecting the character ID “CH — 0001”. Further, it is assumed that the character management information specifying unit 320 has acquired a reply “fish” from the user terminal device 2 via the server communication unit 31. In this case, the character management information specifying unit 320 associates the character ID “CH — 0001”, “information ID 1” (user favorite) with the character storage information “fish”, and updates the character storage DB 331.
  • the device management information specifying unit 321 refers to the information ID and the character storage information of the character management DB 330 and adds “user's favorite food: fish” to the device storage information of the device management DB 332. Subsequently, the device management information specifying unit 321 specifies “recipe proposal” as device operation information among the device operation information corresponding to the device storage information “user favorite: fish”.
  • the device management information specifying unit 321 associates the device operation information “recipe proposal” with the device storage information “user favorite: fish”, and sets the device management information to “Saba miso boiled. ? " The device management information specifying unit 321 transmits the device management information to the home appliance 5 via the server communication unit 31, and outputs the device management information from the home appliance audio output unit 521 of the home appliance 5.
  • the device management information specifying unit 321 can make the home appliance 5 answer “How about the mackerel of mackerel?” In response to the user's message “What should we make today?” In addition, the device management information specifying unit 321 can cause the home appliance 5 to refer to the character management information of the character 8 with the character ID “CH — 0001”.
  • the device management information specifying unit 321 can specify the device management information by referring to the character management information of the character 8 having a predetermined character ID, starting from the user's talk.
  • the device management information specifying unit 321 can make the home appliance 5 refer to the character management information of the character 8 having a predetermined character ID, starting from the user's talk.
  • the device management information specifying unit 321 has been described with respect to the form in which the specified device management information is output from the home appliance 5 starting from the user's talk.
  • the present embodiment is not limited to this.
  • the device management information specifying unit 321 may cause the home appliance 5 to output the device management information that is spontaneously specified without starting from the user's talk.
  • the device management information specifying unit 321 performs device operation information “recipe proposal” corresponding to the device ID “HE — 1212” of the device management DB 332 in FIG. 3B and device storage information “user's birthday: June. 6 days ".
  • the device management information specifying unit 321 specifies the information “This was a birthday today? Let's make a treat!” As device management information. Subsequently, the device management information specifying unit 321 transmits the device management information to the home appliance 5 with the device ID “HE — 1212”. Then, the device management information specifying unit 321 causes the user to utter “It was a birthday today? Let's make a treat!” From the home appliance audio output unit 521 of the home appliance 5. That is, the device management information specifying unit 321 can make the home appliance 5 refer to the character management information of the character 8 with the character ID “CH — 0001”.
  • the device management information specifying unit 321 can voluntarily specify the device management information with reference to the character management information of the character 8 having the predetermined character ID.
  • the device management information specifying unit 321 can voluntarily refer the home appliance 5 to the character management information of the character 8 having a predetermined character ID.
  • the device management information specifying unit 321 refers the character management information to the home appliance 5
  • the process in which the device management information specifying unit 321 refers the character management information to the home appliance 5 will be described in more detail in the following information providing process.
  • FIG. 4 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 1 according to the present embodiment.
  • the display system 1 performs information providing processing by executing steps S101 to S109 described below.
  • Step S101 When the character storage DB 331 shown in FIG. 3B is updated, first, the server 3 refers to the character storage DB 331. Then, the server 3 acquires the character ID, information ID, and character storage information newly added to the character storage DB 331.
  • Step S102 Next, the server 3 refers to the character management DB 330 shown in FIG. 3A, and acquires a device ID corresponding to the character ID.
  • Step S103 The device management information specifying unit 321 of the server 3 specifies device storage information from the acquired information ID and character storage information.
  • the device management information specifying unit 321 of the server 3 sets the device storage information to “user favorite: fish”. To be specific.
  • Step S104 The device management information specifying unit 321 of the server 3 refers to the device management DB 332 shown in FIG. 3C, and associates the device ID with the specified device storage information. Thereby, the device management information specifying unit 321 of the server 3 specifies and updates the device management information. As a result, the device management DB 332 is updated.
  • the device management information specifying unit 321 of the server 3 even if the device management information is not existing, the device management information can be updated with reference to the character management information.
  • the correlation between the home appliance 5 and the character 8 can be further improved.
  • Step S105 When the device management information specifying unit 321 of the server 3 transmits the updated device management information to the home appliance 5 (YES in Step S105), the process proceeds to Step S107. When the device management information specifying unit 321 of the server 3 does not transmit the updated device management information to the home appliance 5 (NO in step S105), the process proceeds to step S106.
  • Step S106 When the device management information specifying unit 321 does not transmit the device management information to the home appliance 5, the information providing process is terminated.
  • Step S107 The device management information specifying unit 321 of the server 3 transmits the updated device management information to the home appliance 5 via the server communication unit 31 (device management information specifying step). That is, the device management information specifying unit 321 of the server 3 instructs the home appliance 5 to refer to the device management information and perform a specific operation.
  • Step S108 The home appliance 5 receives the device management information from the server 3 via the home appliance communication unit 50.
  • Step S109 The home appliance 5 operates with reference to the received device management information.
  • the information providing process in which the device management information specifying unit 321 of the server 3 in the display system 1 refers the character management information to the home appliance 5 is not limited to the above example.
  • the device management information specifying unit 321 of the server 3 can perform the information providing process even when the character storage DB 331 is not updated.
  • FIG. 5 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 1 according to the present embodiment.
  • the display system 1 can perform the information providing process by executing steps S121 to S128 described below.
  • Step S121 A case will be described in which the operation unit 52 of the home appliance 5 receives a press of a button or the like by the user and starts an application that uses character management information.
  • the home appliance 5 when the home appliance 5 speaks spontaneously to the user with reference to the character management information, the home appliance 5 first sends its device ID and device operation information to the server via the home appliance communication unit 50. 3 to send.
  • Step S122 The device management information specifying unit 321 of the server 3 receives the device ID and the device operation information from the home appliance 5 via the server communication unit 31.
  • Step S123 The device management information specifying unit 321 of the server 3 refers to the device management DB 332 shown in FIG.
  • the device management information specifying unit 321 determines that the home appliance 5 is about to acquire information such as device storage information already existing in the device management DB 332.
  • the device management information specifying unit 321 acquires device storage information corresponding to the device ID.
  • the device storage information includes, for example, “user's favorite food: fish”, “user disliked thing: vegetable”, “weather: sunny”, and “user's birthday: “June 6”, etc.
  • the device management information specifying unit 321 determines that the home appliance 5 is going to update information. In this case, the device management information specifying unit 321 adds information that is not described in the device management information specifying unit 321 among the device ID and the corresponding device operation information to the device management DB 332.
  • Step S124 The device management information specifying unit 321 of the server 3 refers to the specific device operation information acquired from the home appliance 5. Then, the device management information specifying unit 321 selects and specifies device storage information that correlates with specific device operation information from among a plurality of device storage information. For example, when the device operation information is “recipe proposal”, the device management information specifying unit 321 of the server 3 specifies “user's favorite food: fish” among the above-described plurality of device storage information as the device storage information.
  • Step S125 The device management information specifying unit 321 of the server 3 associates the acquired device operation information with the specified device storage information, and specifies device management information.
  • the device operation information acquired by the home appliance 5 with the device ID “HE — 1212” corresponding to the character ID “CH — 0001” is “recipe proposal”. Further, it is assumed that the specified device storage information is “user's favorite food: fish”. In this case, the device management information specifying unit 321 of the server 3 specifies the device management information as “How about mackerel miso boiled?”.
  • Step S126 The device management information specifying unit 321 of the server 3 transmits the specified device management information to the home appliance 5 via the server communication unit 31 (device management information specifying step). That is, the device management information specifying unit 321 of the server 3 instructs the home appliance 5 to refer to the device management information and perform a specific operation.
  • the device management information specifying unit 321 of the server 3 issues an operation command for outputting a voice saying “How about mackerel miso boiled?” From the home appliance audio output unit 521 of the home appliance 5.
  • Step S127 The home appliance 5 receives the device management information from the server 3 via the home appliance communication unit 50.
  • Step S128 The home appliance 5 operates with reference to the received device management information.
  • the device management information specifying unit 321 instructs the home appliance 5 to perform an utterance of specific contents. be able to.
  • the device management information specifying unit 321 of the server 3 in the display system 1 can perform the information providing process even in the following cases.
  • FIG. 6 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 1 according to the present embodiment.
  • the display system 1 can perform the information providing process by executing steps S141 to S150 described below.
  • Step S141 A case will be described in which the operation unit 52 of the home appliance 5 receives a press of a button or the like by the user and starts an application that uses character management information.
  • the home appliance 5 receives a voice input such as a question by voice from the user.
  • the household appliance control part 51 of the household appliance 5 acquires audio
  • Step S142 The home appliance control unit 51 of the home appliance 5 transmits the device ID and the acquired voice data via the home appliance communication unit 50.
  • Step S143 The device management information specifying unit 321 of the server 3 receives the device ID and the audio data from the home appliance 5 via the server communication unit 31.
  • Step S144 The device management information specifying unit 321 of the server 3 specifies device operation information from the sound data by a known sound recognition system. For example, when the voice data is “What should I make today?”, The device management information specifying unit 321 of the server 3 extracts the keywords “what” and “make” from the voice data. Subsequently, the device management information specifying unit 321 of the server 3 refers to the device management DB 332 in FIG. Then, the device management information specifying unit 321 of the server 3 specifies “recipe proposal”, which is operation information in a field close to the keyword, from the plurality of device operation information as device operation information.
  • Step S145 The device management information specifying unit 321 of the server 3 refers to the device management DB 332 of FIG. 3C and acquires a plurality of device storage information corresponding to the acquired device ID. For example, when the device ID is “HE — 1212”, the device management information specifying unit 321 of the server 3 performs “user favorite: fish”, “user dislike: vegetable”, “weather: fine”, and “user's favorite”. The device storage information “Birthday: June 6” is acquired.
  • Step S146 The device management information specifying unit 321 of the server 3 selects and specifies device storage information correlated with device operation information from among a plurality of device storage information. For example, when the device operation information is “recipe proposal”, the device management information specifying unit 321 specifies “user's favorite food: fish” among the plurality of device storage information described above as the device storage information.
  • Step S147 The device management information specifying unit 321 of the server 3 associates the acquired device operation information with the specified device storage information, and specifies the device management information. For example, it is assumed that the device operation information acquired by the home appliance 5 with the device ID “HE — 1212” corresponding to the character ID “CH — 0001” is “recipe proposal”. Further, it is assumed that the specified device storage information is “user's favorite food: fish”. In this case, the device management information identifying unit 321 identifies the device management information as “How about mackerel miso boiled?”.
  • Step S148 The device management information specifying unit 321 of the server 3 transmits the specified device management information to the home appliance 5 via the server communication unit 31 (device management information specifying step). That is, the device management information specifying unit 321 of the server 3 instructs the home appliance 5 to refer to the device management information and perform a specific operation. For example, the device management information specifying unit 321 of the server 3 issues an operation command for outputting a voice saying “How about mackerel miso boiled?” From the home appliance audio output unit 521 of the home appliance 5.
  • Step S149 The home appliance 5 receives the device management information from the server 3 via the home appliance communication unit 50.
  • Step S150 The home appliance 5 operates with reference to the received device management information.
  • the device management information specifying unit 321 of the server 3 in the display system 1 can make the home appliance 5 perform an operation such as speech by referring to the character management information when receiving voice input.
  • the device management information specifying unit 321 of the server 3 can perform the information providing process even in the following cases.
  • FIG. 7 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 1 according to the present embodiment.
  • the display system 1 can perform the information providing process by executing steps S161 to S169 described below.
  • Step S161 a mode in which the server 3 issues an operation command to the home appliance 5 at a specific timing such as every day, at a regular timing, or when an earthquake early warning has flown or a user's birthday, etc. will be described. .
  • the device management information specifying unit 321 of the server 3 determines the information ID of the character storage DB 331 shown in FIG. Further, the device management information specifying unit 321 of the server 3 searches for a character ID and character storage information corresponding to the information ID.
  • the device management information specifying unit 321 of the server 3 refers to the character storage DB 331 and searches for the character ID and character storage information corresponding to “information ID 38” (user's birthday). To do.
  • Step S162 When the device management information specifying unit 321 of the server 3 can find the character ID and the character storage information corresponding to the information ID (YES in Step S162), the process proceeds to Step S164. If the device management information specifying unit 321 of the server 3 cannot find the character ID and the character storage information corresponding to the information ID (NO in step S162), the process proceeds to step S163.
  • the device management information specifying unit 321 of the server 3 specifies the character ID as “CH_0004” and the character storage information as “June 6”. Can do.
  • the case where the character ID and the character storage information cannot be found refers to a case where at least one of the character ID and the character storage information corresponding to the information ID of the character storage DB 331 is blank.
  • Step S163 When the device management information specifying unit 321 of the server 3 cannot find the character ID and the character storage information corresponding to the information ID, the process ends.
  • Step S164 The device management information specifying unit 321 of the server 3 refers to the character management DB 330 in FIG. 3A and specifies a device ID corresponding to the character ID.
  • Step S165 The device management information specifying unit 321 of the server 3 specifies device storage information from the acquired information ID and character storage information.
  • the device management information specifying unit 321 of the server 3 sets the device storage information to “user's storage date”. “Birthday: June 6”.
  • Step S166 The device management information specifying unit 321 of the server 3 refers to the device management DB 332 shown in FIG. 3C, and associates the device ID with the device storage information. Thereby, the device management information specifying unit 321 of the server 3 specifies the device management information.
  • the device management information specifying unit 321 of the server 3 sets the device management information to “today is the birthday”. "Let's make a treat!”
  • Step S167 The device management information specifying unit 321 of the server 3 transmits the specified device management information to the home appliance 5 via the server communication unit 31 (device management information specifying step). That is, the device management information specifying unit 321 of the server 3 instructs the home appliance 5 to refer to the device management information and perform a specific operation.
  • the device management information specifying unit 321 of the server 3 issues an operation command for outputting a voice from the home appliance audio output unit 521 of the home appliance 5 such that “It was a birthday today? Let's make a treat!”.
  • Step S168 The home appliance 5 receives the device management information from the server 3 via the home appliance communication unit 50.
  • Step S169 The home appliance 5 operates with reference to the received device management information.
  • the device management information specifying unit 321 of the server 3 can cause the home appliance 5 to refer to the character management information and perform an operation such as speech spontaneously at a specific timing.
  • the server 3 is a server 3 that provides information to the terminal device 2 that displays the image of the character 8 superimposed on the captured image 7, and includes the server communication unit 31 and the server 3.
  • the server control unit 32 refers to the device identification information that identifies the individual home appliance 5 included in the captured image 7, identifies the character management information that manages the presentation mode of the character 8,
  • the specified character management information is transmitted to the terminal device 2 via the server communication unit 31, or the device management information for specifying the presentation mode of the home appliance 5 is specified and specified with reference to the character management information.
  • the device management information is transmitted to the home appliance 5 via the server communication unit 31.
  • the server control unit 32 of the server 3 transmits the character management information specified with reference to the device identification information to the terminal device 2 or transmits the device management information specified with reference to the character management information to the home appliance 5. To do. Therefore, the presentation mode of the character 8 and the presentation mode of the home appliance 5 are correlated. Thereby, the server 3 can improve the correlation with the character 8 and the household appliances 5 more.
  • the server control unit 32 refers to the device identification information and updates the character management information, or refers to the character management information and updates the device management information. At least one of the controls is performed.
  • the server control unit 32 of the server 3 can update the character management information with reference to the device identification information even if the character management information is not existing. Further, the server control unit 32 of the server 3 can update the device identification information with reference to the character management information even if the device identification information is not existing. Thereby, the server 3 can improve the correlation with the character 8 and the household appliances 5 more.
  • the device identification information includes device type information that is type information obtained from the appearance of the home appliance 5 included in the captured image 7.
  • the server control unit 32 of the server 3 can specify the character management information correlated with the device type information among the device identification information.
  • the server control unit 32 of the server 3 can transmit character management information corresponding to the device type information to the terminal device 2.
  • the server 3 including the server control unit 32 can cause the terminal device 2 to display the image of the character 8 correlated with the device type information of the home appliance 5 on the captured image 7 in a superimposed manner.
  • the server 3 can further improve the correlation between the home appliance 5 and the character 8.
  • the device identification information further includes imaging position information of the captured image 7.
  • the server control unit 32 of the server 3 can specify character management information further correlated with the imaging position information among the device identification information.
  • the server control unit 32 of the server 3 can transmit character management information further corresponding to the imaging position information to the terminal device 2.
  • the server 3 including the server control unit 32 can cause the terminal device 2 to display an image of the character 8 further correlated with the imaging position information of the home appliance 5 on the captured image 7.
  • the server 3 can further improve the correlation between the home appliance 5 and the character 8.
  • the device identification information further includes a device ID obtained by communication with the home appliance 5 included in the captured image 7.
  • the server control unit 32 of the server 3 can specify character management information further correlated with the device ID among the device identification information.
  • the server control unit 32 of the server 3 can transmit character management information further corresponding to the device ID to the terminal device 2.
  • the server 3 including the server control unit 32 can cause the terminal device 2 to display an image of the character 8 further correlated with the device ID of the home appliance 5 superimposed on the captured image 7.
  • the server 3 can further improve the correlation between the home appliance 5 and the character 8.
  • the terminal device 2 is a terminal device 2 that includes an imaging unit 21, a presentation unit 25, a terminal control unit 23, and a terminal communication unit 24.
  • the presentation unit 25 includes a display unit 251, and the terminal
  • the control unit 23 provides the terminal device 2 with character management information for managing the presentation mode of the character 8 specified with reference to the device identification information for specifying the individual home appliance 5 included in the captured image 7.
  • Device identification information that is acquired from the server 3 and displayed on the display unit 251 such that the image of the character 8 is superimposed on the captured image 7 by the imaging unit 21 or the individual appliance 5 is identified. At least one of control of transmission to the server 3 via the communication unit 24 is performed.
  • the image of the character 8 correlated with the home appliance 5 can be displayed superimposed on the captured image 7. Thereby, the terminal device 2 can further improve the correlation between the home appliance 5 and the character 8.
  • the device identification information corresponds to the character management information referred to for specifying the device management information that specifies the presentation mode of the home appliance 5.
  • the device identification information corresponds to the character management information that is referred to for specifying the device management information that specifies the presentation mode of the home appliance 5
  • the correlation between the home appliance 5 and the character 8 can be further improved. it can.
  • the display system 1 is a display system 1 that includes a server 3 and a terminal device 2, and the terminal device 2 includes an imaging unit 21, a presentation unit 25, a terminal control unit 23, and a terminal communication unit 24.
  • the server 3 includes a server communication unit 31 and a server control unit 32, and the server control unit 32 refers to device identification information that identifies an individual home appliance 5 included in the captured image 7, and
  • the character management information for managing the presentation mode of 8 is specified, and the specified character management information is transmitted to the terminal device 2 via the server communication unit 31, or the home appliance 5
  • the device control information for specifying the presentation mode is specified, and the specified device management information is transmitted to the home appliance 5 via the server communication unit 31.
  • 3 refers to the character management information, on the display unit 251, an image of a character 8 is displayed so as to overlap a captured image 7 by the imaging unit 21.
  • the image of the character 8 correlated with the home appliance 5 can be displayed superimposed on the captured image 7. Thereby, the display system 1 can further improve the correlation between the home appliance 5 and the character 8.
  • the information providing method is an information providing method for providing information to the terminal device 2 that displays an image of the character 8 superimposed on the captured image 7, and includes home appliances included in the captured image 7.
  • a character management information specifying step for specifying character management information for managing the presentation mode of the character 8 with reference to device identification information for specifying an individual device 5, and transmitting the specified character management information to the terminal device 2; , Including the at least one of the device management information specifying steps for specifying the presentation mode of the home appliance 5 with reference to the character management information and transmitting the specified device identification information to the home appliance 5.
  • the image of the character 8 correlated with the home appliance 5 can be displayed superimposed on the captured image 7.
  • the information provision method can further improve the correlation between the home appliance 5 and the character 8.
  • the server control unit 32 of the server 3 specifies the device management information with reference to the character management information.
  • the server control unit instead of the function of the server control unit 32, or in addition to the function of the server control unit 32, like the server control unit 34 (not shown) of the server 30 (not shown) of the second embodiment. And may have other functions.
  • the display system 10 (not shown) according to the present embodiment includes a server 30 instead of the server 3.
  • the server 30 includes a server control unit 34 instead of the server control unit 32.
  • the server control unit 34 includes a character management information specifying unit 340 instead of the character management information specifying unit 320. Except for these points, the server 30 has the same configuration as the server 3.
  • the server 30 includes a server control unit 34.
  • the character management information specifying unit 340 of the server control unit 34 has other functions in addition to the functions of the character management information specifying unit 320 of the server control unit 32.
  • the other function is a function for specifying the character management information with reference to the device management information.
  • the character management information specifying unit 340 specifies the character management information with reference to the device management information and transmits it to the terminal device 2. Thereby, the image of the character 8 displayed superimposed on the captured image 7 of the terminal device 2 correlates with the presentation mode of the home appliance 5. In this way, the character management information specifying unit 340 can display the image of the character 8 correlated with the home appliance 5 superimposed on the captured image 7.
  • the character management information specifying unit 340 changes the presentation mode of the character 8 according to the device operation information.
  • the character management information specifying unit 340 can link the operation of the home appliance 5 and the operation of the character 8 in real time.
  • the home appliance 5 when the home appliance 5 starts playing music, the home appliance 5 transmits a device ID “HE — 3333” and device operation information “music play” to the character management information specifying unit 340.
  • the character management information specifying unit 340 that has acquired the device ID and device operation information refers to the character management DB 330 in FIG. 3A and specifies “CH_0002” corresponding to the device ID “HE — 3333” as the character ID. Further, the character management information specifying unit 340 specifies “information ID 20” (current behavior of the character 8) and “music appreciation” related to the device operation information “music reproduction” as the information ID and character storage information.
  • the character management information specifying unit 340 reflects the corresponding relationship in the character storage DB 331 and updates the character storage DB 331.
  • the character management information specifying unit 340 can update the character management information with reference to the device management information. As a result, the character management information specifying unit 340 can further improve the correlation between the home appliance 5 and the character 8.
  • the character management information in the character storage DB 331 means information about the character 8 itself.
  • the information described in the character storage DB 331 means information updated by, for example, an interaction between the user and the character 8.
  • the character management information specifying unit 340 After updating the character storage DB 331, the character management information specifying unit 340 transmits the specified “information ID 20” (the current action of the character 8) and the character storage information “music appreciation” to the terminal device 2.
  • the terminal control unit 23 of the terminal device 2 changes the presentation mode of the character 8 to “music appreciation” or the like with reference to the information ID and the character storage information when the home appliance 5 reproduces music.
  • the character management information specifying unit 340 can allow the character 8 with the character ID “CH_0002” to appreciate the music while the home appliance 5 is playing back music.
  • the character management information specifying unit 340 transmits “information ID 20” (current action of the character 8) and character storage information “standby” to the terminal device 2. Accordingly, the character management information specifying unit 340 can end the music appreciation operation of the character 8 in conjunction with the operation of the home appliance 5.
  • “standby” refers to an operation state in which the operation up to the previous operation is stopped and the operation waits to the next state.
  • the character management information specifying unit 340 may repeatedly inquire of the character storage DB 331 periodically such as every second to determine whether or not to change the presentation mode of the character 8.
  • the terminal device 2 when the character 8 reflecting the character ID is being displayed, the terminal device 2 periodically transmits the character ID to the character management information specifying unit 340 of the server 30.
  • the character management information specifying unit 340 refers to the character storage DB 331 and confirms whether the information ID and the character storage information corresponding to the acquired character ID are updated. In addition, the character management information specifying unit 340 confirms whether the information ID and the character storage information corresponding to the acquired character ID are related to the device operation information.
  • the character management information specifying unit 340 specifies the newly added information ID and character storage information as new character management information. Then, the character management information specifying unit 340 transmits the character management information to the terminal device 2.
  • the terminal control unit 23 of the terminal device 2 refers to the character management information and changes the presentation mode of the character 8.
  • the character management information specifying unit 340 can periodically make an inquiry to the character storage DB 331.
  • specification part 340 can reflect operation
  • FIG. 8 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 10 according to the present embodiment.
  • the display system 10 performs information provision processing by executing steps S201 to S211 described below.
  • Step S201 Assume that the home appliance 5 starts a new operation.
  • the home appliance 5 transmits the device ID and device operation information of the home appliance 5 itself to the server 30 via the home appliance communication unit 50.
  • Step S202 The device management information specifying unit 321 of the server 30 receives the device ID and the device operation information from the home appliance 5 via the server communication unit 31.
  • Step S203 The device management information specifying unit 321 of the server 30 refers to the device management DB 332 in (c) of FIG. 3 and associates the device ID with the device operation information. Thereby, the device management information specifying unit 321 of the server 30 specifies and updates the device management information. As a result, the device management DB 332 is updated.
  • Step S204 If the character management information specifying unit 340 of the server 30 changes the presentation mode of the character 8 according to the device operation information in the updated device management information (YES in Step S204), the process proceeds to Step S206. If the character management information specifying unit 340 of the server 30 does not change the presentation mode of the character 8 according to the device operation information in the updated device management information (NO in step S204), the process proceeds to step S205.
  • Step S205 When the character management information specifying unit 340 of the server 30 does not change the presentation mode of the character 8 according to the device operation information in the updated device management information, the information providing process is terminated.
  • Step S206 The character management information specifying unit 340 of the server 30 refers to the character management DB 330 in FIG. 3A and specifies the character ID corresponding to the device ID.
  • the character management information specifying unit 340 of the server 30 specifies the character ID as “CH — 0002”.
  • Step S207 Further, the character management information specifying unit 340 of the server 30 specifies the information ID and the character storage information from the device operation information.
  • the character management information specifying unit 340 of the server 30 performs “information ID 20” (current behavior of the character 8) and “music” related to the device operation information “music playback”. “Appreciation” is specified as the information ID and character storage information.
  • Step S208 The character management information specifying unit 340 of the server 30 associates the character ID with the information ID and the character storage information. Thereby, the character management information specifying unit 340 of the server 30 specifies and updates the character management information. As a result, the character storage DB 331 is updated.
  • the character management information specifying unit 340 displays “CH — 0002”, “information ID 20” (current action of the character 8), and character storage information “music appreciation”. It is specified as character management information.
  • Step S209 The character management information specifying unit 340 of the server 30 transmits the specified information ID and character storage information to the terminal device 2 via the server communication unit 31 (character management information specifying step).
  • the character management information specifying unit 340 of the server 30 can update the character management information with reference to the device management information even if the character management information is not existing.
  • the correlation between the home appliance 5 and the character 8 can be further improved.
  • the server 30 can further improve the correlation between the home appliance 5 and the character 8.
  • Step S210 The terminal device 2 receives the information ID and the character storage information from the character management information specifying unit 340 of the server 30 via the terminal communication unit 24.
  • Step S211 The terminal control unit 23 of the terminal device 2 changes the presentation mode of the character 8 with reference to the updated information ID and character storage information. Thereby, the terminal control part 23 of the terminal device 2 can reflect the operation
  • the server control unit 34 changes the presentation mode of the character 8 according to the device operation information that is information related to the operation of the home appliance 5 included in the captured image 7.
  • the server control unit 34 changes the presentation mode of the character 8 according to the device operation information. Therefore, the server control unit 34 can link the operation of the home appliance 5 and the operation of the character 8 in real time. Thereby, the server 30 can further improve the correlation between the home appliance 5 and the character 8.
  • the terminal control unit 23 refers to the presentation mode of the character 8 changed according to the device operation information that is information related to the operation of the home appliance 5 included in the captured image 7. Then, the display unit 251 displays the image of the character 8 so as to be superimposed on the image 7 captured by the imaging unit 21.
  • the terminal control unit 23 can display the image of the character 8 on the display unit 251 with reference to the presentation mode of the character 8 changed according to the device operation information. Thereby, the terminal control part 23 can link the operation
  • the server control unit may include a further function in addition to the function of the server control unit 32 or 34.
  • a display system 100 (not shown) according to the present embodiment includes a server 300 (not shown) instead of the server 3 or 30.
  • the server 300 includes a server control unit 35 instead of the server control unit 32 or 34.
  • the server control unit 35 includes a character management information specifying unit 350 instead of the character management information specifying unit 320 or 340. Except for these points, the server 300 has the same configuration as the server 3 or 30.
  • the server 300 includes a server control unit 35 (not shown).
  • a character management information specifying unit 350 (not shown) of the server control unit 35 refers to terminal information such as an application ID and a password, and character storage information obtained from a dialogue history between the character 8 and the user. Thereby, the character management information specifying unit 350 determines the utterance content of the character 8.
  • the character management information specifying unit 350 transmits the utterance content data of the determined character 8 to the terminal device 2.
  • the terminal control unit 23 of the terminal device 2 can output the utterance content data from the presentation unit 25 such as the terminal voice output unit 250 or the display unit 251.
  • the terminal control unit 23 of the terminal device 2 can make the user recognize as if the character 8 spoke in response to the dialogue with the user.
  • the output of the utterance content of the character 8 is not limited to the voice output by the terminal voice output unit 250, and may be output from the display unit 251.
  • the terminal control unit 23 may output the utterance content “I liked the fish!” From the terminal audio output unit 250 or may display it on the display unit 251 in a text format.
  • the character management information specifying unit 350 specifies the character storage information corresponding to the character ID “CH — 0001” and “information ID 1” (user's favorite food) as “fish”. . Further, the character management information specifying unit 350 updates the character storage DB 331 in FIG.
  • the character management information specifying unit 350 can specify the character 8 as the character 8 having unique character management information assigned to each terminal device 2 of the user. That is, the character management information specifying unit 350 can specify the character 8 as a my character that is individually assigned to the terminal device 2.
  • the character management information specifying unit 350 can make the content of the utterance of the my character to the user different from the general character 8.
  • the character management information specifying unit 350 refers to the character management information whose character ID is “CH_0001” in the character storage DB 331 in FIG. Thereby, the character management information specifying unit 350 determines the utterance content of the character 8.
  • the character management information specifying unit 350 can determine the utterance content with reference to the character management information including privacy information.
  • the character management information specifying unit 350 can determine the utterance content of my character as “I liked fish!” With reference to the character storage DB 331 in FIG. In addition, the character management information specifying unit 350 can determine the utterance content of the my character as “I range Taro! Live in the range of Mr. A's house!”.
  • the character management information specifying unit 350 can newly add the information “from Chiba” of the user to the character storage DB 331 as character management information including privacy information.
  • the character management information specifying unit 350 determines the utterance content of the character 8 with reference to the application ID and the character storage information. Therefore, the character management information specifying unit 350 can vary the utterance content of the character 8 for each terminal device 2.
  • the application ID of the user terminal device 2 is “AP — 0600” and the character 8 with the character ID “CH — 0002” is displayed on the display unit 251. Further, it is assumed that there is no application ID “AP — 0600” in the application ID column corresponding to the character ID “CH — 0002” as in the character management DB 330 in FIG.
  • the character management information specifying unit 350 does not determine what includes privacy information as utterance content. That is, the character management information specifying unit 350 refers to the character management information corresponding to the character ID “CH_0002” and does not include privacy information, and determines the utterance content. For example, the character management information specifying unit 350 can determine “I am Taro! I'm listening to music now!” As the utterance content, but decide “I like meat!” As the utterance content. I can't.
  • the character management information specifying unit 350 determines the utterance content of the character 8 with reference to the application ID and the character storage information. Therefore, the character management information specifying unit 350 can vary the presentation mode of the character 8 for each terminal device 2.
  • the character management information specifying unit 350 does not need to add the information that the user is “from Chiba” to the character storage DB 331. .
  • the character management information specifying unit 350 causes the character 8 to utter “Please tell me your password if you want me to be my character!”. Further, the character management information specifying unit 350 receives a password from the user from the terminal information input unit 22.
  • the password may be input to the terminal voice input unit 220 in a voice format, or may be input to the text input unit 221 in a text format.
  • the terminal information acquisition unit 234 extracts a password from the input information.
  • the terminal information acquisition unit 234 transmits the password to the character management information specifying unit 350 of the server 300 via the terminal communication unit 24.
  • the character management information specifying unit 350 confirms whether or not the password is the same as the password “ ⁇ Z ⁇ ?” Corresponding to the character ID “CH_0002”. When the password matches “ ⁇ Z ⁇ ?”, The character management information specifying unit 350 associates the character ID “CH_0002” with the password “AP_0600”. As a result, “AP — 0600” is added to the application ID column for the character ID “CH — 0002” in the character management DB 330 in FIG. As a result, the character management information specifying unit 350 can set the character 8 that is the other person's My Character as the user's My Character having the terminal device 2 whose application ID is “AP — 0600”.
  • the general character here refers to, for example, the character 8 in which information such as the character ID is not reflected.
  • the appearance of the general character is the appearance of an anthropomorphized and deformed character (Taro Range) as shown in FIG.
  • the utterance content of the general character Range Taro is utterance content that does not include unique information such as “I! Range Taro!”.
  • the character management information specifying unit 350 may be able to make the character 8 a user's own character.
  • the character management information specifying unit 350 causes the character 8 to utter “Please tell me your password if you want me to be my character!”. Thereby, the character management information specifying unit 350 receives the application ID, the device ID, and the imaging position information from the user terminal device 2.
  • the character management information specifying unit 350 associates the acquired password, at least one of the device ID and the imaging position information with a new character ID. Thereby, the character management DB 330 is updated. As a result, the general character can be the user's my character.
  • FIG. 9 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 100 according to the present embodiment.
  • the display system 100 performs information provision processing by executing steps S301 to S311 described below.
  • Step S301 A case will be described in which the display unit 251 of the terminal device 2 displays the character 8 reflecting the character ID and activates an application for specifying character management information.
  • the terminal control unit 23 of the terminal device 2 transmits the character ID and the information ID to the server 300 via the terminal communication unit 24.
  • Step S302 The character management information specifying unit 350 of the server 300 receives the character ID and the information ID from the terminal device 2 via the server communication unit 31.
  • Step S303 The character management information specifying unit 350 of the server 300 refers to the character storage DB 331 in FIG. Then, the character management information specifying unit 350 of the server 300 specifies character storage information corresponding to the character ID and the information ID.
  • Step S304 Next, the character management information specifying unit 350 of the server 300 refers to the character storage DB 331 in FIG.
  • the process proceeds to step S305.
  • the character management information specifying unit 350 of the server 300 confirms that the character storage information is not associated with the privacy information (NO in step S304)
  • the process proceeds to step S306.
  • Step S305 The character management information specifying unit 350 of the server 300 refers to the character storage DB 331 of (b) of FIG.
  • the process proceeds to step S306.
  • the character management information specifying unit 350 of the server 300 confirms that the character ID and the application ID are not associated with each other (NO in step S305)
  • the process proceeds to step S309.
  • Step S306 The character management information specifying unit 350 specifies the character 8 as a my character, and associates the character ID, the application ID, the information ID, and the character storage information. Thereby, the character management information specifying unit 350 specifies the character management information and determines the utterance content of the my character. The character management information specifying unit 350 transmits the specified character management information to the terminal device 2 via the server communication unit 31.
  • the character management information specifying unit 350 can determine the utterance content of the my character as “I liked fish!”. After determining the utterance content, the character management information specifying unit 350 transmits data of the utterance content to the terminal device 2 and issues an operation command to output the utterance content.
  • Step S307 The terminal control unit 23 of the terminal device 2 receives the character management information from the server 300 via the terminal communication unit 24.
  • Step S308 The terminal control unit 23 of the terminal device 2 speaks to the user with reference to the character management information.
  • Step S309 When the character ID and the application ID are not associated with each other, the character management information specifying unit 350 specifies the character management information as a general one. That is, the character management information specifying unit 350 specifies the utterance content of the character 8 as a general one that does not include privacy information. After determining the utterance content, the character management information specifying unit 350 transmits the utterance content data to the terminal device 2 and issues an operation command to output the utterance content.
  • the character management information specifying unit 350 determines the utterance content of the character 8 to be “Taro Range Taro!” And transmits the utterance content data to the terminal device 2.
  • Step S310 The terminal control unit 23 of the terminal device 2 receives general character management information from the server 300 via the terminal communication unit 24.
  • Step S311 The terminal control unit 23 of the terminal device 2 speaks to the user with reference to general character management information.
  • the character management information specifying unit 350 of the server 300 in the display system 100 can perform the information providing process even in the following cases.
  • FIG. 10 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 100 according to the present embodiment.
  • the display system 100 can perform the information providing process by executing steps S321 to S326 described below.
  • Step S321 The case where the display unit 251 of the terminal device 2 displays another person's my character in which the character ID is reflected, and the terminal device 2 activates an application for specifying character management information will be described. .
  • the terminal control unit 23 of the terminal device 2 acquires the password input by the user via the terminal information input unit 22.
  • the terminal control unit 23 of the terminal device 2 transmits the character ID and application ID to the server 300 together with the acquired password.
  • Step S322 The character management information specifying unit 350 of the server 300 receives the password, the character ID, and the application ID from the terminal device 2 via the server communication unit 31.
  • Step 323 The character management information specifying unit 350 of the server 300 refers to the character management DB 330 shown in FIG.
  • the character management information specifying unit 350 of the server 300 confirms whether or not the acquired password is the same as that associated with the character ID of the character management DB 330 in FIG.
  • step S323 When the character management information specifying unit 350 of the server 300 determines that the acquired password and the password of the character management DB 330 of FIG. 3A are the same (YES in step S323), the process proceeds to step S326. If the character management information specifying unit 350 of the server 300 determines that they are not the same (NO in step S323), the process proceeds to step S324.
  • Step S324 The character management information specifying unit 350 of the server 300 transmits to the terminal device 2 that the password is incorrect via the server communication unit 31.
  • Step S325 The terminal device 2 receives the notification that the password is incorrect from the server 300 via the terminal communication unit 24.
  • the terminal device 2 receives the input of the password from the user again via the terminal information input unit 22.
  • the terminal device 2 outputs from the terminal voice output unit 250 or the display unit 251 of the presentation unit 25 that the password is incorrect in the form of voice or text.
  • Step S326 The character management information specifying unit 350 of the server 300 associates the character ID, the application ID, and the password. That is, the character management information specifying unit 350 of the server 300 adds the application ID of the user of the terminal device 2 that has performed the information providing process described above to the application ID corresponding to the character ID. As a result, the character management DB 330 is updated, and the character 8 that was the other person's My Character becomes the My Character of the user of the terminal device 2 that has performed the information providing process described above.
  • the character management information specifying unit 350 of the server 300 in the display system 100 can perform the information providing process even in the following cases.
  • FIG. 11 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 100 according to the present embodiment.
  • the display system 100 can perform the information providing process by executing steps S341 to S349 described below.
  • Step S341 A case will be described in which the display unit 251 of the terminal device 2 displays a general character that does not reflect the character ID, and the terminal device 2 is running an application for creating a new character 8.
  • the terminal control unit 23 of the terminal device 2 acquires a password from the user via the terminal information input unit 22.
  • the password is arbitrarily set by the user.
  • Step S342 Next, the terminal control unit 23 of the terminal device 2 checks whether or not at least one of the device ID and the imaging position information can be acquired. When the terminal control unit 23 of the terminal device 2 determines that at least one of the device ID and the imaging position information has been acquired (YES in step S342), the process proceeds to step S344. When the terminal control unit 23 of the terminal device 2 determines that neither the device ID of the home appliance 5 nor the imaging position information has been acquired (NO in step S342), the process proceeds to step S343.
  • Step S343 When the terminal control unit 23 of the terminal device 2 determines that neither the device ID nor the imaging position information has been acquired, the information providing process is terminated.
  • Step S344 The terminal control unit 23 of the terminal device 2 transmits the acquired information, the application ID, and the password among the device ID and the imaging position information to the server 300 via the terminal communication unit 24.
  • Step S345 The character management information specifying unit 350 of the server 300 receives each piece of information, application ID, and password from the terminal device 2 via the server communication unit 31.
  • Step S346 The character management information specifying unit 350 of the server 300 specifies the character management information by associating each information, the application ID, the password, the device type information, and the appearance of the character.
  • the character management information specifying unit 350 of the server 300 reflects and adds the character management information to the character management DB 330. As a result, a new character 8 is created, and the general character displayed on the terminal device 2 that has performed the above-described information provision processing becomes the my character.
  • the character management information specifying unit 350 adds only acquired information to the character management DB 330 in FIG. 3A with respect to the device ID and the imaging position information.
  • Step S347 The character management information specifying unit 350 of the server 300 transmits the specified character management information to the terminal device 2 via the server communication unit 31.
  • Step S348 The terminal control unit 23 of the terminal device 2 receives the character management information via the terminal communication unit 24.
  • Step S349 The terminal control unit 23 of the terminal device 2 refers to the character management information and causes the display unit 251 to display the My Character image superimposed on the captured image 7.
  • the server control unit 35 stores the application ID for identifying the terminal device 2 and other terminal devices, and the character storage obtained from the dialogue history between the character 8 and the user.
  • the utterance content of the character 8 is determined with reference to the information.
  • the server control unit 35 of the server 300 determines the utterance content of the character 8 with reference to the application ID and the character storage information. Therefore, the character management information specifying unit 350 can vary the utterance content of the character 8 for each terminal device 2.
  • the terminal control unit 23 has an application ID for identifying the terminal device 2 and another terminal device, and character storage information obtained from a dialogue history between the character 8 and the user. And the utterance content of the character 8 determined with reference to is output from the presentation unit 25.
  • the terminal control unit 23 of the terminal device 2 causes the presentation unit 25 to output the utterance content of the character 8 determined with reference to the application ID and the character storage information. Therefore, the terminal control unit 23 can cause the presentation unit 25 to output different utterance contents for each terminal device 2.
  • the server control unit may have a further function in addition to the function of the server control unit 32, 34 or 35. Good.
  • a display system 500 (not shown) according to the present embodiment includes a server 3000 (not shown) instead of the server 3, 30 or 300.
  • the server 3000 includes a server control unit 36 instead of the server control unit 32, 34 or 35.
  • the server control unit 36 includes a character management information specifying unit 360 (not shown) instead of the character management information specifying unit 320, 340, or 350. Except for these points, the server 3000 has the same configuration as the server 3, 30, or 300.
  • the server 3000 includes a server control unit 36.
  • the character management information specifying unit 360 (not shown) of the server control unit 36 has further functions in addition to the functions of the server control unit 32, 34 or 35.
  • the further function is a function of further specifying the character management information by further referring to correspondence information in which the same character specifying information is associated with a plurality of different device identification information.
  • the newly acquired device identification information is different from the device identification information already existing in the character management DB 330.
  • the newly acquired application ID is the same as the application ID that already exists in the character management DB 330.
  • the character management information specifying unit 360 associates the newly acquired device identification information with the character management information corresponding to the application ID existing in the character management DB 330. That is, the character management information specifying unit 360 associates the newly acquired device identification information with the existing character ID and the appearance of the character. Then, the character management information specifying unit 360 reflects and adds the corresponding relationship in the character management DB 330.
  • the character management information specifying unit 360 determines the character ID and the appearance of the character corresponding to the added device identification information as character management information. Thereby, a new character 8 is created.
  • the character management information specifying unit 360 can specify the same character management information for the home appliances 5 having different device identification information. Thereby, the character management information specific
  • the character management information specifying unit 360 can make the appearance and character ID of the character 8 displayed on the terminal device 2 of each user the same even when the device IDs of the users are different. That is, the character management information specifying unit 360 can make the internal information of the character 8 displayed on the terminal device 2 of each user the same. As a result, for example, the utterance content of the character 8 displayed on the terminal device 2 of each user can be the same, such as “I like fish!”.
  • FIG. 12 is a sequence diagram illustrating an example of a flow of information providing processing in the display system 500 according to the present embodiment.
  • the display system 500 performs information provision processing by executing steps S401 to S415 described below.
  • Step S401 The case where the display unit 251 of the terminal device 2 displays a general character that does not reflect the character ID will be described. Moreover, in this case, the terminal device 2 is activating an application that shares a my character associated with another home appliance 5.
  • the terminal device 2 transmits the application ID to the server 3000 via the terminal communication unit 24.
  • Step S402 The server 3000 receives the application ID from the terminal device 2 via the server communication unit 31.
  • Step S403 The character management information specifying unit 360 of the server 3000 refers to the character management DB 330 in FIG. 3A, and specifies character management information having the same application ID as the newly acquired application ID.
  • Step S404 The character management information specifying unit 360 transmits the character management information to the terminal device 2 via the server communication unit 31.
  • Step S405 The terminal control unit 23 of the terminal device 2 receives the character management information from the server 3000 via the terminal communication unit 24.
  • Step S406 The terminal control unit 23 of the terminal device 2 refers to the received character management information. And the terminal control part 23 confirms whether 1 or more sets of character management information with which application ID and character ID are matched are acquirable. If the terminal control unit 23 of the terminal device 2 determines that one or more sets of the character management information have been acquired (YES in step S406), the process proceeds to step S407. If the terminal control unit 23 of the terminal device 2 determines that no character management information has been acquired (NO in step S406), the process proceeds to step S409.
  • Step S407 If the terminal control unit 23 of the terminal device 2 selects the reference information from the acquired character management information (YES in Step S407), the process proceeds to Step S408. If the terminal control unit 23 of the terminal device 2 does not select the acquired character management information to be referred to (NO in step S407), the process proceeds to step S409.
  • Step S408 Next, the terminal control unit 23 of the terminal device 2 confirms whether or not at least one of the device ID and the imaging position information can be acquired. If the terminal control unit 23 of the terminal device 2 determines that at least one of the device ID and the imaging position information has been acquired (YES in step S408), the process proceeds to step S410. When the terminal control unit 23 of the terminal device 2 determines that neither the device ID nor the imaging position information has been acquired (NO in step S408), the process proceeds to step S409.
  • Step S409 When the terminal control unit 23 of the terminal device 2 determines that neither the device ID nor the imaging position information has been acquired, the information providing process is terminated.
  • Step S410 The terminal control unit 23 of the terminal device 2 transmits the acquired information, the application ID, and the password among the device ID and the imaging position information to the server 3000 via the terminal communication unit 24.
  • Step S411 The character management information specifying unit 360 of the server 3000 receives the information, the application ID, and the password via the server communication unit 31.
  • Step S412 The character management information specifying unit 360 of the server 3000 associates each information with the application ID and the character management information. That is, the character management information specifying unit 360 of the server 3000 associates the newly acquired device identification information with the existing character ID and character appearance. Then, the character management information specifying unit 360 reflects and adds the corresponding relationship in the character management DB 330.
  • the character management information specifying unit 360 of the server 3000 determines the character ID and the appearance of the character corresponding to the added device identification information as character management information. Thereby, a new character 8 is created.
  • the character management information specifying unit 360 of the server 3000 adds only the acquired information to the character management DB 330 in FIG. Further, the character management information specifying unit 360 does not make the device identification information the same when creating a new character 8. That is, even if the application ID is the same, the character management information specifying unit 360 does not make the device identification information the same as the existing one.
  • the character management information specifying unit 360 reflects the device identification information newly acquired by the terminal device 2 in the character management DB 330 as it is.
  • the character management information specifying unit 360 can create the character 8 of the character management information having the same character ID and character appearance even if the device identification information is different.
  • the character management information specifying unit 360 can specify the same character management information when different device identification information has the same application ID.
  • Step S413 The character management information specifying unit 360 of the server 3000 transmits the character management information to the terminal device 2 via the server communication unit 31.
  • Step S414 The terminal control unit 23 of the terminal device 2 receives the character management information from the server 3000 via the terminal communication unit 24.
  • Step S415 The terminal control unit 23 of the terminal device 2 displays a new character 8 superimposed on the captured image 7.
  • the terminal device 2 may include all members, and the server 3, 30, 300, or 3000 may include all members.
  • the display system 1000 that does not include the server 3, 30, 300, or 3000 will be described.
  • the display system 1000 includes a terminal device 20.
  • FIG. 13 is a block diagram showing a main configuration of the display system 1000 according to the present embodiment.
  • the terminal device 20 according to the present embodiment includes a storage unit 33 included in the server 3 in the first embodiment, in addition to the configuration of the terminal device 2 described above. Further, the terminal device 20 includes a terminal control unit 26 including the character management information specifying unit 320 and the device management information specifying unit 321 of the server control unit 32 of the server 3 in the first embodiment in addition to each member of the terminal control unit 23. ing.
  • the display system 1000 according to the fifth embodiment can achieve the same effects as the display system 1 according to the first embodiment.
  • the terminal control unit 26 of the terminal device 20 specifies the device management information with reference to the character management information.
  • the terminal control unit uses a function of the terminal control unit 26 instead of the function of the terminal control unit 26 as in the terminal control unit 27 (not shown) of the terminal device 200 (not shown) of the sixth embodiment.
  • another function may be provided. The other function is a function for specifying the character management information with reference to the device management information.
  • a display system 1500 (not shown) according to the present embodiment includes a terminal device 200 (not shown).
  • the terminal device 200 includes a character management information specifying unit 340 of the server control unit 34 of the server 30 according to the second embodiment, in addition to each member of the terminal control unit 23 of the terminal device 2 described above. It has.
  • the display system 1500 according to the sixth embodiment can achieve the same effects as the display system 10 according to the second embodiment.
  • the terminal control unit 28 may have a further function in addition to the function of the terminal control unit 26 or 27. Good.
  • the display system 2000 includes a terminal device 400 (not shown).
  • the terminal device 400 includes a character management information specifying unit 350 of the server control unit 35 of the server 300 according to the third embodiment in addition to each member of the terminal control unit 23 of the terminal device 2 described above. 28.
  • the terminal control unit has a further function in addition to the function of the terminal control unit 26, 27, or 28. May be.
  • the display system 2500 includes a terminal device 600 (not shown).
  • the terminal device 600 includes a character management information specifying unit 360 of the server control unit 36 of the server 3000 according to the fourth embodiment in addition to each member of the terminal control unit 23 of the terminal device 2 described above. 29.
  • the display system 2500 according to the eighth embodiment can achieve the same effects as the display system 500 according to the fourth embodiment.
  • Each block of the terminal device 2, 20, 200, 400, 600 and the server 3, 30, 300, 3000 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, It may be realized by software executed by one or more processors.
  • each of the terminal devices 2, 20, 200, 400, 600 and the servers 3, 30, 300, 3000 can be configured using a computer (electronic computer) as shown in FIG.
  • FIG. 14 is a block diagram illustrating the configuration of a computer 910 that can be used as the terminal device 2, 20, 200, 400, 600 or the server 3, 30, 300, 3000.
  • the computer 910 includes an arithmetic device 912, a main storage device 913, an auxiliary storage device 914, an input / output interface 915, and a communication interface 916 that are connected to each other via a bus 911.
  • Each of the arithmetic device 912, the main storage device 913, and the auxiliary storage device 914 may be storage such as one or more processors, a RAM (random access memory), a hard disk drive, and a flash memory, for example.
  • the input device 920 Connected to the input / output interface 915 are an input device 920 for the user to input various information to the computer 910 and an output device 930 for the computer 910 to output various information to the user.
  • the input device 920 and the output device 930 may be built in the computer 910 or may be connected (externally attached) to the computer 910.
  • the input device 920 may be a keyboard, a mouse, a touch sensor, or the like
  • the output device 930 may be a display, a printer, a speaker, or the like.
  • a device having both functions of the input device 920 and the output device 930, such as a touch panel in which a touch sensor and a display are integrated, may be applied.
  • the communication interface 916 is an interface for the computer 910 to communicate with an external device.
  • the auxiliary storage device 914 stores various programs for operating the computer 910 as the terminal device 2, 20, 200, 400, 600 or the server 3, 30, 300, 3000. Then, the arithmetic device 912 expands the program stored in the auxiliary storage device 914 on the main storage device 913 and executes instructions included in the program, whereby the computer 910 is connected to the terminal devices 2, 20, 200. , 400, 600 or servers 3, 30, 300, and 3000.
  • the recording medium for recording information such as programs provided in the auxiliary storage device 914 may be a computer-readable “non-temporary tangible medium”. For example, tape, disk, card, semiconductor memory, programmable logic, etc. It may be a circuit or the like.
  • the program may be acquired from outside the computer 910, and in this case, it may be acquired via an arbitrary transmission medium (communication network, broadcast wave, etc.).
  • the present invention can also be realized in the form of a data signal embedded in a carrier wave in which the program is embodied by electronic transmission.
  • the program for causing the computer 910 according to the present embodiment to function as the server control unit 32, 34, 35, or 36 is a program for causing the computer 910 to function as the server 3, 30, 300, or 3000.
  • the program for causing the computer 910 to function can be suitably functioned as the server control unit 32, 34, 35, or 36 of the server 3, 30, 300, or 3000.
  • a program for causing the computer 910 according to the present embodiment to function as the terminal control unit 23, 26, 27, 28, or 29 is a program for causing the terminal device 2, 20, 200, 400, or 600 to function.
  • the program for causing the computer 910 to function can be suitably functioned as the terminal control unit 23, 26, 27, 28, or 29 of the terminal device 2, 20, 200, 400, or 600.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

サーバ(3)のサーバ制御部(32)は、機器識別情報を参照して、キャラクター管理情報を特定し、端末装置(2)に送信するか、又は、キャラクター管理情報を参照して、機器管理情報を特定し、家電機器5に送信するかの少なくとも何れかの制御を行う。

Description

情報提供装置、端末装置、表示システム、プログラム及び情報提供方法
 本発明は、情報提供装置、端末装置、表示システム、プログラム及び情報提供方法に関する。
 端末装置等で撮影した撮像画像に写っているマーカの近傍に、キャラクターの画像を重畳して表示する拡張現実(AR:Augmented Reality)の技術が従来技術として知られている。
 例えば、特許文献1には、撮影画像に含まれるマーカを検出したら、当該マーカに対応する情報処理を開始し、対応するキャラクター、アイコンのオブジェクトを、被写空間に対応する3次元座標系に配置して撮影画像上に描画し、即時表示する情報処理装置が記載されている。
日本国公開特許公報「特開2015-41126号公報(2015年3月2日公開)」
 しかしながら、上述のような従来技術は、機器等に付されたマーカの情報を参照してキャラクターの画像を重畳して表示しているに過ぎない。そのため、機器とキャラクターとの相関が希薄であり、ユーザがキャラクターに対して親近感を感じづらいという課題があった。
 本発明は、上記課題を踏まえたものであり、その目的は、従来に比べて機器とキャラクターとの相関を向上させることにある。
 上記の課題を解決するための、本発明の一態様に係る情報提供装置は、撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供装置であって、通信部と、制御部とを備え、上記制御部は、上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、特定した上記キャラクター管理情報を、上記通信部を介して上記端末装置に送信するか、又は、上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、特定した上記機器識別情報を、上記通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行う。
 上記の課題を解決するために、本発明の一態様に係る端末装置は、撮像部と提示部と制御部と通信部とを備える端末装置であって、上記提示部は表示部を備え、上記制御部は、撮像画像に含まれる機器の個体を特定する機器識別情報を参照して特定された、キャラクターの提示態様を管理するキャラクター管理情報を、上記端末装置に情報を提供する情報提供装置から取得して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させるか、又は、上記機器の個体を識別する機器識別情報を、上記通信部を介して上記情報提供装置に送信するかの少なくとも何れかの制御を行う。
 上記の課題を解決するために、本発明の一態様に係る表示システムは、情報提供装置と端末装置とを含む表示システムであって、上記端末装置は、撮像部と提示部と端末制御部と端末通信部とを備え、上記提示部は表示部を備え、上記情報提供装置は、サーバ通信部とサーバ制御部とを備え、上記サーバ制御部は、撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、キャラクターの提示態様を管理するキャラクター管理情報を特定し、特定した上記キャラクター管理情報を、上記サーバ通信部を介して上記端末装置に送信するか、又は、上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、特定した上記機器識別情報を、上記サーバ通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行い、上記端末制御部は、上記キャラクター管理情報を参照して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させる。
 上記の課題を解決するために、本発明の一態様に係る情報提供方法は、撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供方法であって、上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、特定した上記キャラクター管理情報を、上記端末装置に送信するキャラクター管理情報特定工程、及び、上記キャラクター管理情報を参照して、上記機器の提示態様を特定する機器管理情報を特定し、特定した上記機器識別情報を、上記機器に送信する機器管理情報特定工程のうちの少なくとも一方の工程を含む。
 本発明の一態様によれば、従来に比べて機器とキャラクターとの相関を向上させることができるという効果を奏する。
本発明の実施形態1に係る表示システムの要部構成を示すブロック図である。 本発明の実施形態1に係る表示システムの概要を示す図である。 本発明の実施形態1に係るサーバの記憶部に格納されているキャラクター管理DB、キャラクター記憶DB及び機器管理DBの一例を示す図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態1に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態2に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態3に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態3に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態3に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態4に係る表示システムにおける情報提供処理の流れの一例を示すシーケンス図である。 本発明の実施形態5に係る表示システムの要部構成を示すブロック図である。 サーバ又は端末装置として利用可能なコンピュータの構成を例示したブロック図である。
 <実施形態1>
 本実施形態に係る表示システム1について、図1から図7を参照して以下に説明する。ただし、この実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
 〔表示システム1〕
 次に、本実施形態に係る表示システム1の要部構成について、図1を参照して説明する。
 図1は、本実施形態に係る表示システム1の要部構成を示すブロック図である。表示システム1は、図1に示すように、端末装置2と、サーバ(情報提供装置)3とを備えている。端末装置2とサーバ3とは、ネットワーク4を介して接続されており、端末装置2と家電機器5とは、無線LANルータ6を介して接続されている。
 〔端末装置2〕
 本実施形態に係る端末装置2の構成について、図1を参照して説明する。図1に示すように、本実施形態に係る端末装置2は、撮像部21と、端末情報入力部22と、端末制御部(制御部)23と、端末通信部(通信部)24と、提示部25とを備えている。
 端末装置2としては、例えば、スマートフォン及びヘッドマウントディスプレイ等を挙げることができる。
 なお、撮像部21及び提示部25は、それぞれ単体のハードウェアによって構成されていてもよいし、複数のハードウェアによって分散的に構成されていてもよい。
 〔撮像部21〕
 撮像部21は、家電機器(機器)5の撮像画像7(図2参照)を取得する。撮像部21としては、例えば、カメラ等を挙げることができる。
 〔端末情報入力部22〕
 端末情報入力部22は、アプリID及びパスワード等の端末識別情報、キャラクターID、情報ID及びキャラクター記憶情報等のキャラクター管理情報、並びに、発話情報等の入力をユーザから受け付ける。図1に示すように、端末情報入力部22は、端末音声入力部220及びテキスト入力部221を備えている。
 [端末音声入力部220]
 端末音声入力部220は、音声入力によって、上述の各種情報の入力を行うものであり、例えば、マイク等を挙げることができる。
 [テキスト入力部221]
 テキスト入力部221は、テキスト入力によって、上述の各種情報の入力を行うものである。テキスト入力部221としては、例えば、キーボード、ボタン、及び、ユーザの指又はペン等により、テキスト入力が可能なタッチパネル等を挙げることができる。この場合、タッチパネルとしては、例えば、図2に示すような表示部251と同一であってもよい。
 なお、上述の端末音声入力部220及びテキスト入力部221の代わりに、又は、加えて、端末情報入力部22は、選択肢のうちの何れかをユーザに選択させ、端末識別情報の入力を受け付けてもよい。例えば、端末情報入力部22は、タッチパネル等の表示部251に表示された選択肢のボタンをユーザにタッチさせることによって、端末識別情報の入力を受けつけてもよい。これにより、端末情報入力部22は、端末識別情報をより迅速にユーザから受け付けることができる。
 〔端末制御部23〕
 端末制御部23は、機器識別情報を、端末通信部24を介してサーバ3に送信する。また、端末制御部23は、キャラクター管理情報を、端末通信部24を介して取得する。続いて端末制御部23は、キャラクター管理情報を参照して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させる。
 ここで、機器識別情報とは、撮像部21により撮像された撮像画像7に含まれる家電機器5の個体を識別する情報のことを指す。具体的には、機器識別情報とは、例えば、図3のキャラクター管理DB(データベース)330における、デバイスID、又は撮像位置情報と機器種別情報とを含む情報のことを指す。
 ここで、機器種別情報とは、家電機器5の外見から得られる種別情報である。
 また、デバイスIDとは、家電機器5を一意に特定することができるIDであり、家電機器5一台毎に割り振られたIDである。換言すれば、デバイスIDとは、撮像画像7に含まれる家電機器5との通信により得られる、家電機器5の固有情報である。
 なお、後述の通り、撮像画像7に含まれる家電機器5のデバイスIDを特定するには、各デバイスIDに対応する機器種別情報が特定可能になっている必要がある。各デバイスIDに対応する機器種別情報を特定する方法の例として、キャラクター管理DB(データベース)330がその対応付けたり、家電機器5がデバイスIDと機器種別情報とを一連の情報として提示したり、デバイスIDの一部が機器種別情報を含むようにデバイスIDを構成したりする方法を挙げることができる。
 また、撮像位置情報とは、撮像画像7に家電機器5が含まれるときの、撮像画像7の撮像位置の位置情報であり、例えば、緯度、経度及び高度で表される。本実施例では、一般的な家等の建物では、同一の撮像位置から撮像した画像に、複数の家電機器5が含まれていることはあっても、それらのうち、同一の機器識別情報を有する家電機器5は高々1つであるという仮定をおく。そして、この仮定の下、撮像画像7の撮像位置情報と、撮像画像7に含まれる家電機器5の機器識別情報とを含む情報は、家電機器5を一意に特定することができるものと考える。
 また、キャラクター管理情報とは、家電機器5に対応付けられたキャラクター8の提示態様を管理するものである。具体的には、キャラクター管理情報とは、図3の(a)のキャラクター管理DB330に示されるように、キャラクターID及び外見等を含む情報のことを指す。また、キャラクター管理情報は、図3の(b)のキャラクター記憶DB331に示されるように、情報ID及びキャラクター記憶情報も含む。また、図3には記載されていないが、キャラクター管理情報は、他に、発話内容、キャラクター8の服装及び表情等の情報を含んでいてもよい。
 キャラクターIDとは、キャラクター8に割り振られるIDである。キャラクター8の外見とは、例えば、図2に示されるように、家電機器5がオーブンレンジである場合には、レンジに顔がある、擬人化され、デフォルメされたキャラクター(レンジ太郎)の外見等を挙げることができる。情報IDとは、キャラクター8が記憶している情報の種類を指す。キャラクター記憶情報とは、情報IDに対するキャラクター8に関する具体的な情報の内容を指す。例えば、キャラクター記憶情報は、キャラクター8とユーザとの対話履歴から得られる情報、及び、キャラクター8自身に関する情報を含む。キャラクター8の発話内容とは、キャラクター8による発話の内容を指す。発話する方法としては、例えば、文字による発話及び音声発話等を挙げることができる。キャラクター8の服装とは、キャラクター8が着ている服装のことを指す。
 なお、上述の例では、機器識別情報は、機器種別情報、デバイスID、及び撮像位置情報等を含む。また、キャラクター管理情報は、キャラクターID、キャラクター8の外見、情報ID、キャラクター記憶情報、キャラクター8の発話内容、及び、キャラクター8の服装等を含む。ただし、本実施形態では、このような形態に限定されない。
 本実施形態では、機器識別情報は、撮像部21により撮像された撮像画像7に含まれる家電機器5の個体を識別する情報であれば任意の情報であってもよい。また、キャラクター管理情報とは、家電機器5に対応付けられたキャラクター8の提示態様を管理するものであれば、任意の情報であってもよい。
 また、上述の例では、家電機器5の撮像画像7を取得しているが、本実施形態では、これに限定されない。本実施形態では、機器であれば家電機器に限定されず、例えば、家庭用以外の電気機器の撮像画像7を取得することができる。
 次に、端末制御部23の構成について、図1を参照して説明する。図1に示すように、端末制御部23は、機器識別情報特定部230、端末情報取得部234及び重畳画像生成部235として機能する。
 [機器識別情報特定部230]
 機器識別情報特定部230は、機器識別情報を特定する。
 図1に示すように、機器識別情報特定部230は、画像認識部231、固有情報取得部232及び位置情報取得部233として機能する。
 画像認識部231は機器種別情報を特定する。固有情報取得部232はデバイスIDを特定する。位置情報取得部233は撮像位置情報を特定する。これにより、機器識別情報特定部230は、デバイスID、又は撮像位置情報と機器種別情報とを参照し、機器識別情報を特定する。
 (画像認識部231)
 画像認識部231は、撮像部21が取得した撮像画像7を参照し、家電機器5の機器種別情報を特定する。例えば、スマートフォン等の端末装置2の撮像部21で家電機器5を捉えたとする。この場合、画像認識部231は、公知の画像認識技術を用いて、撮像部21が取得した撮像画像7に映された家電機器5をオーブンレンジに特定する。これにより、機器種別情報は、オーブンレンジとなる。
 なお、上述の例では、端末装置2の端末制御部23が、画像認識部231として機能している。ただし、本実施形態ではこれに限定されない。本実施形態では、例えば、機器種別情報をサーバ3のサーバ制御部32が特定してもよい。すなわち、サーバ制御部32が、画像認識部231として機能してもよい。
 この場合、サーバ制御部32は、端末装置2から撮像画像7を受信し、機器種別情報を特定する。また、サーバ制御部32は、当該機器種別情報と、端末装置2から受信したデバイスID及び撮像位置情報等の少なくとも何れかと、を参照し、機器識別情報を特定することができる。すなわち、本実施形態では、端末制御部23の代わりに、サーバ制御部32が、機器識別情報特定部230として機能してもよい。
 (固有情報取得部232)
 固有情報取得部232は、端末通信部24が、家電機器5の家電機器通信部50と通信を行うことによって、デバイスID等の固有情報を取得する。
 ここで、図1に示すように 、端末通信部24と、家電機器通信部50とは同一の無線LANルータ6のような無線LAN通信機器にWi-Fi(登録商標)接続し、当該無線LAN通信機器を介して相互に通信を行う。これにより、固有情報取得部232は、デバイスID、及び無線LANルータ識別情報を取得することができる。
 なお、端末通信部24と家電機器通信部50とが無線LANルータ6を介して通信を行う代わりに、端末通信部24と家電機器通信部50とがBluetooth(登録商標)等を用いて直接通信を行ってもよい。これにより固有情報取得部232がデバイスIDの識別情報を取得してもよい。
 以下に、固有情報取得部232によるデバイスIDの取得の具体例について説明する。
 (固有情報取得部232によるデバイスIDの取得の具体例1)
 固有情報取得部232は、端末通信部24を介して、無線LANルータ6に接続されている全ての家電機器5に、デバイスIDを固有情報取得部232に送信するように命令する。これにより、固有情報取得部232は、複数の家電機器5から、複数のデバイスIDを取得する。この中から、固有情報取得部232は、撮像画像7に含まれる家電機器5のデバイスIDを特定する。
 一般的な家等の建物では、同一の無線LANルータ6に接続されている同一の機器種別情報を有する家電機器5は高々1つである。そこで、本実施形態では、固有情報取得部222は、同一の無線LANルータ6から取得できるデバイスIDの中には、1つの機器種別情報に対応するデバイスIDは1つしかないという仮定のもと、画像認識部231が特定した、撮像画像7に含まれる家電機器5の機器種別情報に基づいて、デバイスIDを特定する。
 ここで、固有情報取得部232は、例えば、キャラクター管理DB330を参照し、撮像画像7に含まれる家電機器5の機器種別情報に対応するデバイスIDを特定することができる。
 また、デバイスIDの一部が機器種別情報となっている場合、固有情報取得部232は、デバイスIDと共に機器種別情報を家電機器5から取得し、これを用いて撮像画像7に含まれる家電機器5のデバイスIDを特定してもよい。
 (固有情報取得部232によるデバイスIDの取得の具体例2)
 また、固有情報取得部232は、無線LANルータ6に接続されている全ての家電機器5に、画像認識部231が特定した、撮像画像7に含まれる家電機器5の機器種別情報を送信し、送信した機器種別情報と家電機器5自身の機器種別情報とが一致した場合にデバイスIDを固有情報取得部232に送信するように命令してもよい。ここで、上記の具体例1と同様に、固有情報取得部232は、同一の無線LANルータ6に接続されている同一の機器識別情報を有する家電機器5は高々1つであるとの仮定のもと、撮像画像7に含まれる家電機器5のデバイスIDを特定する。
 (位置情報取得部233)
 位置情報取得部233は、撮像位置情報を取得する。図1に示すように、位置情報取得部233は、GPS受信機2330を備えている。位置情報取得部233は、GPS受信機2330を利用することで、撮像画像7を撮像したときの端末装置2の現在位置を、撮像位置情報として取得することができる。
 ここで、一般的な家等の建物では、同一の撮像位置から撮像可能な同一の機器識別情報を有する家電機器5は高々1つである。そこで、本実施形態では、同一の撮像位置情報を持つ撮像画像7に含まれる、同一の機器種別情報に対応する家電機器5は、同一の個体である、という仮定のもと、サーバ制御部32は、位置情報取得部233によって取得された撮像画像7に対応する撮像位置情報と、撮像画像7に含まれる家電機器5の機器種別情報とを参照して、家電機器5を一意に特定する。
 なお、本実施形態では、位置情報取得部233は、撮像位置情報を取得することができれば、GPS受信機2330を備えていなくてもよい。
 [端末情報取得部234]
 端末情報取得部234は、端末情報入力部22から、アプリID及びパスワード等の端末識別情報、キャラクターID、情報ID及びキャラクター記憶情報等のキャラクター管理情報、並びに、発話情報等を取得する。
 ここで、アプリIDは、端末装置2毎に固有のキャラクター管理情報を有するキャラクター8を対応させ、マイキャラ登録するための端末装置2のIDのことを指す。すなわち、アプリIDは、当該端末装置2を有しているユーザを識別するためのIDでもある。また、ここでいうパスワードとは、キャラクター8をマイキャラ登録するために必要となるパスワードのことを指す。
 例えば、端末情報取得部234が、端末情報入力部22の端末音声入力部220から音声を受け付けたとする。この場合、端末情報取得部234は、周知の音声認識システムにより、当該音声をテキスト化する。続いて、端末情報取得部234は、周知のテキスト解析を行い、テキストからアプリID、パスワード及び発話内容等を抽出する。
 また、端末情報取得部234が、端末情報入力部22のテキスト入力部221からテキストを受け付けたとする。この場合、端末情報取得部234は、周知のテキスト解析を行い、テキストからアプリID、パスワード又は発話内容等を抽出する。
 端末情報入力部22において、ユーザがボタンを選択した場合は、端末情報取得部234は、選択されたボタンが示す情報を、端末情報として特定する。
 [重畳画像生成部235]
 重畳画像生成部235は、キャラクター管理情報を、端末通信部24を介して取得する。また、重畳画像生成部235は、キャラクター管理情報を参照して、表示部251に、キャラクター8の画像を撮像画像7に重畳して表示させる。
 また、重畳画像生成部235は、キャラクター8の表示部251における表示位置を、家電機器5の機器種別情報、及び、家電機器5の表示部251における位置に応じて特定する。例えば、重畳画像生成部235は、図2に示すように、家電機器5に重畳して表示したり、家電機器5に隣接するように表示したりするように表示部251に表示させる。これにより、家電機器5とキャラクター8とが関連付けられていることがユーザに感じ取れるようになる。
 より具体的には、重畳画像生成部235は、キャラクター管理情報を参照して、モデルデータ及び表示位置データを生成し、モデルデータからキャラクター8を生成する。モデルデータは、例えば、線分及び多角形等の組合せにより、立位状態の物体を表現するポリゴンデータである。重畳画像生成部235は、端末制御部23が決定した発話内容に応じて、モデルデータに含まれる、物体の位置、向き、首、腕及び足の角度等を示すデータを調整し、キャラクター8を生成する。
 重畳画像生成部235は、撮像部21が取得した撮像画像7に、キャラクター8の画像を重畳させる。重畳画像生成部235は、例えば、キャラクター8のポリゴンデータに対してレンダリング処理を行うことにより、家電機器5の画像の撮影方向に応じたキャラクター8の画像を生成する。
 ここで、家電機器5同士で機器識別情報が異なる場合には、それに応じてキャラクター管理情報も異なる。例えば、図3のキャラクター管理DB330に示すように、機器識別情報のうち、機器種別情報がオーブンレンジと冷蔵庫とで異なるとする。この場合、図3のキャラクター管理DB330に示すように、機器種別情報が異なるのに応じて、それぞれの家電機器5に対応するキャラクターの外見も異なる。その結果、重畳画像生成部235は、異なる外見のキャラクター8の画像を表示部251に表示させることができる。
 このように、重畳画像生成部235によれば、機器識別情報に応じて、異なるキャラクター8の画像を表示部251に表示させることができる。
 〔端末通信部24〕
 端末通信部24は、サーバ3のサーバ通信部(通信部)31及び家電機器5の家電機器通信部50と通信するための通信インターフェースであり、無線通信を行うものである。
 端末通信部24は、端末制御部23における機器識別情報特定部230で特定した機器識別情報をサーバ3に送信する。
 ここで、図1に示すように、端末通信部24は、家電機器5と同一の無線LANルータ6のような無線LAN通信機器を介して、Wi-Fi(登録商標)接続されている。一方、端末通信部24は、複数の無線装置から構成されており、無線LANルータ6の他に、LTE等の広域無線通信を行う機能を有していてもよい。図1に示すように、端末通信部24は、サーバ3と通信を行うときは、無線LANルータ6を介さずに通信を行ってもよい。すなわち、端末通信部24は、広域無線通信を用いて、ネットワーク4を通じてサーバ通信部31と通信を行ってもよい。
 なお、端末通信部24と家電機器通信部50とが無線LANルータ6を介して通信を行う代わりに、端末通信部24と家電機器通信部50とがBluetooth(登録商標)等を用いて直接通信を行ってもよい。
 〔提示部25〕
 提示部25は、撮像画像7に、キャラクター管理情報が反映されたキャラクター8の画像が重畳するように表示させるものである。提示部25は、図1に示すように、端末音声出力部250及び表示部251を備えている。
 [端末音声出力部250]
 端末音声出力部250は、音声を出力するものである。
 端末音声出力部250が出力する音声内容としては、端末制御部23が、キャラクター管理情報を参照して決定した、ユーザに対するキャラクター8の発話内容が挙げられる。
 例えば、図3の(a)に示すように、機器識別情報のうち、機器種別情報が同じオーブンレンジであっても、それ以外の情報が異なるとする。この場合、機器識別情報のうちの他の情報が異なることに応じて、それぞれの家電機器5に対応するキャラクターID等のキャラクター管理情報も異なる。
 その結果、端末制御部23は、例えば、キャラクターIDがCH_0001である場合、端末音声出力部250に「僕はA太郎である」と出力させることができる。また、キャラクターIDがCH_0002である場合、端末制御部23は、端末音声出力部250に「僕はB太郎である」と出力させることができる。このように、キャラクター8の外見が同じであっても、キャラクターID等が異なる等、キャラクター管理情報が全体として異なる場合には、端末音声出力部250は、異なる音声内容を出力することができる。
 このように、端末音声出力部250は、機器識別情報に応じて、異なる音声を出力することができる。
 [表示部251]
 表示部251は、重畳画像生成部235により特定されたキャラクター8を、家電機器5の撮像画像7と共に表示する。すなわち、表示部251は、重畳画像生成部235により重畳した画像を表示する。
 また、表示部251は、重畳画像生成部235により特定された表示位置に、キャラクター8を表示する。表示部251は、例えば、ディスプレイである。
 〔サーバ3〕
 次に、本実施形態に係るサーバ3の構成について、図1を参照して説明する。図1に示すように、本実施形態に係るサーバ3は、サーバ通信部(通信部)31、サーバ制御部(制御部)32、及び、記憶部33を備えている。
 上述の例では、サーバ3が1つのサーバによって実現される構成を例に挙げて説明するが、本実施形態はこれに限定されない。本実施形態では、サーバ3の備える各部(各機能)の少なくとも一部を、他のサーバにより実現する構成を採用してもよい。
 〔サーバ通信部31〕
 サーバ通信部31は、ネットワーク4を介して端末装置2の端末通信部24と通信し、無線LANルータ6を介して家電機器5の家電機器通信部50と通信するための通信インターフェースである。
 なお、サーバ通信部31と無線LANルータ6との間の通信は、ネットワーク4を介して行われてもよい。また、端末装置2と家電機器5が無線LANルータ6を介さずに直接通信する場合には、サーバ通信部31は、端末装置2を介して家電機器5の家電機器通信部50と通信してもよい。
 サーバ通信部31は、端末装置2の端末通信部24から機器識別情報を取得する。また、サーバ通信部31は、サーバ制御部(制御部)32によって特定されたキャラクター管理情報を端末装置2の端末通信部24に送信する。
 〔サーバ制御部32及び記憶部33〕
 サーバ制御部32は、キャラクター管理情報特定部320及び機器管理情報特定部321として機能する。
 [キャラクター管理情報特定部320]
 キャラクター管理情報特定部320は、機器識別情報を参照して、キャラクター管理情報を特定する。また、キャラクター管理情報特定部320は、キャラクター8とユーザとの対話の履歴を参照し、キャラクター管理情報を更新する。
 より具体的には、キャラクター管理情報特定部320は、記憶部33に格納されているキャラクター管理DB330を参照し、機器識別情報に対応するキャラクター管理情報を特定する。また、キャラクター管理情報特定部320は、キャラクター8とユーザとの対話の履歴を参照し、記憶部33のキャラクター記憶DB331を更新する。
 キャラクター管理情報特定部320は、特定したキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信する。
 このように、キャラクター管理情報特定部320は、機器識別情報に対応するキャラクター管理情報を特定することで、家電機器5と相関するキャラクター管理情報を特定することができる。また、キャラクター管理情報特定部320は、機器識別情報に対応するキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信することができる。これにより、キャラクター管理情報特定部320は、端末装置2に、家電機器5と相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。その結果、キャラクター管理情報特定部320は、家電機器5とキャラクター8との相関を向上させることができる。
 なお、キャラクター管理情報特定部320が参照するキャラクター管理DB330を備えた記憶部33は、キャラクター管理情報特定部320を備えているサーバ3とは別のサーバに格納されていてもよい。この場合、キャラクター管理情報特定部320は、ネットワーク4を介して別のサーバに格納された記憶部33のキャラクター管理DB330を参照することができる。また、キャラクター管理DB330は、複数の記憶部33に分散されていてもよく、複数のサーバに分散されていてもよい。これにより、1つのサーバ3にかかる負担を軽減しながらキャラクター管理情報を特定することができる。
 〔キャラクター管理情報の特定〕
 以下、サーバ制御部32のキャラクター管理情報特定部320によるキャラクター管理情報の特定について、図3の(a)を参照して説明する。
 図3の(a)は、サーバ3の記憶部33に格納されているキャラクター管理DB330の一例を示す図である。
 ここで、キャラクター管理情報特定部320が、機器種別情報以外にデバイスID及び撮像位置情報のうちの少なくとも1つの機器識別情報を取得していたとする。この場合、キャラクター管理情報特定部320は、機器種別情報に対応するキャラクターの外見、及び、デバイスID又は撮像位置情報に対応するキャラクターIDが、図3の(a)のキャラクター管理DB330内に存在するかどうかを検索する。
 例えば、機器種別情報がオーブンレンジであり、デバイスIDがHE_1212であったとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見がレンジ太郎であり、キャラクターIDがCH_0001である情報をキャラクター管理情報として特定する。
 同様に、機器種別情報がオーブンレンジであり、撮像位置情報が、緯度35.6°、経度140.0°及び高度30mであったとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見がレンジ太郎であり、キャラクターIDがCH_0001である情報をキャラクター管理情報として特定する。
 また、キャラクター管理情報特定部320が、機器種別情報以外にデバイスID及び撮像位置情報のうちの何れの情報も取得していないとする。又は、デバイスID及び撮像位置情報に対応するキャラクターIDが存在していないとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見のみからなる情報を、キャラクター8を特定するためのキャラクター管理情報として特定する。すなわち、キャラクター8を特定するための情報として、キャラクターの外見のみが反映される。
 なお、キャラクターIDが存在しない場合とは、例えば、図3の(a)のキャラクター管理DB330の、デバイスID及び撮像位置情報に対応するキャラクターIDが空欄である場合が挙げられる。
 また、キャラクター8を特定するための情報として、キャラクターの外見のみが反映されるとき、発話内容及び服装等のキャラクター管理情報は、一般的なものとなる。これは、キャラクターIDがキャラクター8に反映されていないためである。
 例えば、キャラクターの外見が、図2に示すようなレンジを擬人化したレンジ太郎であるとする。この場合、当該レンジ太郎は、「僕はレンジ太郎です」等、「僕はA太郎です」等に比べて、キャラクター8を特定しない内容を話す。また、この場合、当該レンジ太郎は図2に示すようなエプロンを着用しており、ダウンジャケットを着ているレンジ太郎に比べて、外見のもとになった家電機器5から想定され易い服装となる。
 例えば、機器種別情報がオーブンレンジであるとする。この場合、キャラクター管理情報特定部320は、キャラクターの外見がレンジ太郎である情報をキャラクター管理情報として特定する。このように、機器種別情報以外の機器識別情報を取得できていない場合でも、キャラクター管理情報特定部320は、家電機器5と相関するキャラクター管理情報を特定することができる。
 〔キャラクター管理情報の特定の変更例1〕
 なお、キャラクター管理情報特定部320は、キャラクターの外見のみからなる情報を、キャラクター8を特定するためのキャラクター管理情報として特定しなくてもよい。キャラクター管理情報特定部320は、代わりに、新たなキャラクターIDをキャラクター管理DB330上に作成してもよい。これにより、キャラクター管理情報特定部320は、キャラクターの外見及び新たなキャラクターIDを含む情報をキャラクター管理情報として特定することができる。
 〔キャラクター管理情報の特定の変更例2〕
 上述の例では、キャラクター管理情報特定部320は、図3の(a)のキャラクター管理DB330における機器識別情報を参照してキャラクター管理情報を特定している。ただし、本実施形態ではこれに限定されない。本実施形態では、キャラクター管理情報特定部320は、機器識別情報を参照せずにキャラクター管理情報を特定してもよい。
 ここで、キャラクター管理情報とは、図3の(a)に示されるキャラクターID及びキャラクターの外見だけでなく、図3の(b)に示される情報ID及びキャラクター記憶情報等も含む。そのため、キャラクター管理情報特定部320は、図3の(b)のキャラクター記憶DB331を参照して、キャラクター管理情報を特定することができる。
 例えば、キャラクター管理情報特定部320は、端末装置2から取得したキャラクターID及び情報IDに対応するキャラクター記憶情報をキャラクター記憶DB331から特定することができる。これにより、キャラクター管理情報特定部320は、特定したキャラクター記憶情報を含むキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信することができる。その結果、端末装置2の端末制御部23は、キャラクター記憶情報が反映されたキャラクター8を、提示部25を介してユーザに提示することができる。
 〔キャラクター管理情報の更新〕
 また、キャラクター管理情報特定部320は、キャラクター管理情報を特定するだけでなく、キャラクター管理情報を更新することもできる。
 すなわち、キャラクター管理情報特定部320による「キャラクター管理情報の特定」とは、既にキャラクター管理DB330及びキャラクター記憶DB331の何れかに存在するキャラクター管理情報を特定することに限定されない。キャラクター管理情報特定部320による「キャラクター管理情報の特定」とは、キャラクター管理DB330及びキャラクター記憶DB331の何れかにキャラクター管理情報を新たに追加することも含む。
 以下、キャラクター管理情報特定部320による、キャラクター管理情報の更新について、図3の(b)を用いて説明する。
 ここで、キャラクター管理情報の更新について説明する前に、まず、サーバ3の記憶部33に格納されている、図3の(b)のキャラクター記憶DB331について説明する。
 [キャラクター記憶DB331]
 図3の(b)は、キャラクター記憶DB331の一例を示す図である。
 ここで、図3の(b)の情報IDとは、上述したように、キャラクター8が記憶している情報の種類を指す。例えば、図3の(b)のキャラクター記憶DB331が示す情報IDのうち、「情報ID1」は、ユーザの好物を指す。「情報ID2」は、ユーザが何をしている人かを指す。「情報ID10」は、キャラクター8が誰の家に住んでいるかを指す。「情報ID20」は、キャラクター8の現在の行動を指す。「情報ID38」は、ユーザの誕生日を指す。
 また、図3の(b)のキャラクター記憶情報とは、上述したように、情報IDに対するキャラクター8の具体的な情報の内容を指す。例えば、図3の(b)のキャラクター記憶DB331が示すように、「情報ID1」(ユーザの好物)に対して、キャラクター記憶情報「魚」が対応付けられている。これにより、キャラクター管理情報は、「ユーザの好物は魚」として特定される。
 なお、図3の(b)のキャラクター記憶DB331において、アプリIDが空欄である箇所については、キャラクター8自身に関する情報であることを意味する。
 [キャラクター管理情報の更新の具体例1]
 上述の説明を踏まえ、以下に、キャラクター管理情報の更新について具体例を用いながら説明する。
 例えば、端末制御部23が、キャラクターID「CH_0001」が反映されたキャラクター8によって、「好きな食べ物はなんですか?」とユーザに質問させたとする。また、キャラクター管理情報特定部320が、サーバ通信部31を介して、ユーザの端末装置2から「お魚」という回答を取得したとする。この場合、キャラクター管理情報特定部320は、「お魚」という回答から「魚」というキーワードを抽出する。
 続いて、キャラクター管理情報特定部320は、キャラクター8による「好きな食べ物はなんですか?」という質問に関する「情報ID1」(ユーザの好物)と、ユーザの回答から抽出した「魚」とを対応付ける。すなわち、キャラクター管理情報特定部320は、キャラクターID「CH_0001」と、「情報ID1」とに対応するキャラクター記憶情報を「魚」に特定する。
 そして、キャラクター管理情報特定部320は、図3の(b)のキャラクター記憶DB331に示すように、当該対応関係をキャラクター記憶DB331に反映する。これにより、キャラクター記憶DB331のキャラクター管理情報が更新される。
 [キャラクター管理情報の更新の具体例2]
 上述の例では、端末制御部23は、キャラクターID「CH_0001」が反映されたキャラクター8によって、ユーザに特定の情報IDに関する質問をさせている。また、キャラクター管理情報特定部320は、当該質問に対するユーザからの回答を参照してキャラクター管理情報を特定している。
 ただし、本実施形態はこれに限定されない。本実施形態では、キャラクター管理情報特定部320は、ユーザの端末装置2から取得したキャラクターIDと、情報IDと、キャラクター記憶情報とからキャラクター管理情報を特定してもよい。
 ここで、キャラクターID、情報ID、及び、キャラクター記憶情報等のキャラクター管理情報について、キャラクター管理情報特定部320は、ユーザがテキスト入力部221を介して入力した情報を直接的に取得してもよい。また、例えば、ユーザが情報ID及びキャラクター記憶情報を端末情報入力部22に直接入力せず、「好きな食べ物は魚です」と発話したとする。この場合、キャラクター管理情報特定部320は、ユーザの回答から、情報IDを「情報ID1(ユーザの好物)」に特定し、且つ、キャラクター記憶情報を「魚」に特定してもよい。
 このように、キャラクター管理情報特定部320が、キャラクターID、情報ID、及び、キャラクター記憶情報を取得した場合も、キャラクター記憶DB331のキャラクター管理情報を更新することができる。
 [機器管理情報特定部321]
 機器管理情報特定部321は、キャラクター管理情報を参照して、機器管理情報を特定する。
 より具体的には、機器管理情報特定部321は、キャラクター管理情報及び機器管理DB332を参照して機器管理情報を特定する。ここでいう機器管理情報の特定には、上述のキャラクター管理情報の特定と同様に、新たに取得した情報をもとに、機器管理情報を更新する意味も含まれる。
 機器管理情報特定部321は、特定した機器管理情報を、サーバ通信部31を介して家電機器5に送信する。
 このように、機器管理情報特定部321は、キャラクター管理情報を参照して機器管理情報を特定することで、キャラクター8が有する情報と相関する情報を家電機器5に参照させることができる。また、機器管理情報特定部321は、キャラクター管理情報を参照して特定された機器管理情報を端末装置2に送信することができる。これにより、端末装置2の端末制御部23は、当該機器管理情報を参照して、キャラクター8が有する情報と相関するキャラクター8の画像を撮像画像7に重畳して表示することができる。このように、機器管理情報特定部321が機器管理情報を特定することで、結果的に家電機器5とキャラクター8との相関をより向上させることができる。
 (機器管理情報の特定)
 以下、機器管理情報特定部321によるキャラクター管理情報の特定及び更新について、図3の(c)の機器管理DB332を参照して説明する。
 ここで、機器管理情報の特定について説明する前に、まず、サーバ3の記憶部33に格納されている、図3の(c)の機器管理DB332について説明する。
 (機器管理DB332)
 図3の(c)は、機器管理DB332の一例を示す図である。
 ここで、図3の(c)の機器管理DB332に示すように、機器管理情報は、機器種別情報、デバイスID、機器動作情報及び機器記憶情報を含む。このように、機器管理情報とは、上述の機器識別情報の一部を含む情報であって、家電機器5の個体を特定し、且つ、提示態様を特定する情報である。機器種別情報及びデバイスIDは上述した機器識別情報に含まれるものと同様であるため、説明を省略する。
 機器動作情報とは、撮像画像7に含まれる家電機器5の動作に関する情報であり、より厳密には、家電機器5の現在の動作状態を表す情報のことを指す。機器動作情報は、表3の(b)のキャラクター記憶DB331の「情報ID20」(キャラクター8の現在の行動)に関連している。機器記憶情報とは、家電機器5が作動する際に参照する情報のことを指し、キャラクター記憶DB331の情報ID及びキャラクター記憶情報に関連している。なお、図3の(c)から明らかなように、機器動作情報及び機器記憶情報は、タプル形式で複数の情報として機器管理DB332に格納されており、随時更新して追加可能となっている。
 (機器管理情報の特定の具体例1)
 上述の説明を踏まえ、以下に、機器管理情報の特定について具体例を用いながら説明する。
 例えば、上述したように、端末制御部23が、キャラクターID「CH_0001」が反映されたキャラクター8によって、「好きな食べ物はなんですか?」とユーザに質問させたとする。また、キャラクター管理情報特定部320が、サーバ通信部31を介して、ユーザの端末装置2から「お魚」という回答を取得したとする。この場合、キャラクター管理情報特定部320は、キャラクターID「CH_0001」と、「情報ID1」(ユーザの好物)と、キャラクター記憶情報「魚」とを対応付け、キャラクター記憶DB331を更新する。
 この場合、機器管理情報特定部321は、キャラクター管理DB330の情報IDとキャラクター記憶情報とを参照し、機器管理DB332の機器記憶情報に「ユーザの好物:魚」を追加する。続いて、機器管理情報特定部321は、「ユーザの好物:魚」という機器記憶情報に対応する機器動作情報のうち、「レシピ提案」を機器動作情報として特定する。
 ここで、ユーザが「今日は何作ろうかな?」と家電機器5に語りかけたとする。この場合、機器管理情報特定部321は、「レシピ提案」という機器動作情報と、「ユーザの好物:魚」という機器記憶情報とを対応付け、機器管理情報を「サバの味噌煮はいかがでしょう?」に特定する。機器管理情報特定部321は、当該機器管理情報を、サーバ通信部31を介して家電機器5に送信し、家電機器5の家電機器音声出力部521から出力させる。
 これにより、機器管理情報特定部321は、ユーザの「今日は何作ろうかな?」という語りかけに対し、家電機器5に「サバの味噌煮はいかがでしょう?」と回答させることができる。また、機器管理情報特定部321は、キャラクターID「CH_0001」のキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
 このように、機器管理情報特定部321は、ユーザからの語りかけを起点に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を参照して機器管理情報を特定することができる。また、機器管理情報特定部321は、ユーザからの語りかけを起点に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
 (機器管理情報の特定の具体例2)
 上述の例では、機器管理情報特定部321は、ユーザからの語りかけを起点に、特定した機器管理情報を家電機器5から出力させる形態について説明した。ただし、本実施形態ではこれに限定されない。本実施形態では、機器管理情報特定部321は、ユーザからの語りかけを起点とすることなく、自発的に特定した機器管理情報を家電機器5から出力させてもよい。
 例えば、端末装置2に表示されるキャラクター8のキャラクターIDが「CH_0001」であり、家電機器5のデバイスIDが「HE_1212」だったとする。この場合、機器管理情報特定部321は、図3の(b)の機器管理DB332のデバイスID「HE_1212」に対応する機器動作情報「レシピ提案」と、機器記憶情報「ユーザの誕生日:6月6日」とを対応付ける。
 これにより、機器管理情報特定部321は、「今日は誕生日でしたよね?御馳走を作りましょう!」という情報を機器管理情報として特定する。続いて、機器管理情報特定部321は、当該機器管理情報をデバイスID「HE_1212」の家電機器5に送信する。そして、機器管理情報特定部321は、家電機器5の家電機器音声出力部521から「今日は誕生日でしたよね?御馳走を作りましょう!」とユーザに対して発話させる。すなわち、機器管理情報特定部321は、キャラクターID「CH_0001」のキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
 このように、機器管理情報特定部321は、自発的に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を参照して機器管理情報を特定することができる。また、機器管理情報特定部321は、自発的に、所定のキャラクターIDを有するキャラクター8のキャラクター管理情報を家電機器5に参照させることができる。
 次に、機器管理情報特定部321が、キャラクター管理情報を家電機器5に参照させるプロセスを、以下の情報提供処理において、更に詳細に説明する。
 〔情報提供処理〕
 本実施形態に係る表示システム1における情報提供処理(情報提供方法)について、図4を参照して説明する。図4は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム1は、以下に説明するステップS101~S109を実行することによって、情報提供処理を行う。
 ステップS101:図3の(b)に示すキャラクター記憶DB331が更新された場合、まず、サーバ3は、キャラクター記憶DB331を参照する。そして、サーバ3は、キャラクター記憶DB331に新たに追加されたキャラクターID、情報ID及びキャラクター記憶情報を取得する。
 ステップS102:次に、サーバ3は、図3の(a)に示すキャラクター管理DB330を参照し、キャラクターIDに対応するデバイスIDを取得する。
 ステップS103:サーバ3の機器管理情報特定部321は、取得した情報ID及びキャラクター記憶情報から、機器記憶情報を特定する。
 例えば、情報IDが「情報ID1」(ユーザの好物)であり、キャラクター記憶情報が「魚」である場合、サーバ3の機器管理情報特定部321は、機器記憶情報を「ユーザの好物:魚」に特定する。
 ステップS104:サーバ3の機器管理情報特定部321は、図3の(c)に示す機器管理DB332を参照し、デバイスIDと、特定した機器記憶情報とを対応付ける。これにより、サーバ3の機器管理情報特定部321は、機器管理情報を特定し、更新する。その結果、機器管理DB332が更新される。
 このように、サーバ3の機器管理情報特定部321によれば、機器管理情報が既存のものでなくても、キャラクター管理情報を参照して、機器管理情報を更新することができる。このように、サーバ3の機器管理情報特定部321によれば、家電機器5とキャラクター8との相関をより向上させることができる。
 ステップS105:サーバ3の機器管理情報特定部321が、更新した機器管理情報を家電機器5に送信する場合(ステップS105のYES)、ステップS107に進む。サーバ3の機器管理情報特定部321が、更新した機器管理情報を家電機器5に送信しない場合(ステップS105のNO)、ステップS106に進む。
 ステップS106:機器管理情報特定部321が機器管理情報を家電機器5に送信しない場合、情報提供処理を終了する。
 ステップS107:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、更新した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。
 ステップS108:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
 ステップS109:家電機器5は、受信した機器管理情報を参照して作動する。
 〔情報提供処理の変更例1〕
 表示システム1におけるサーバ3の機器管理情報特定部321が、キャラクター管理情報を家電機器5に参照させる情報提供処理は、上述の例に限定されない。サーバ3の機器管理情報特定部321は、キャラクター記憶DB331が更新された場合以外でも、情報提供処理を行うことができる。
 本実施形態に係る表示システム1における情報提供処理の変更例1について、図5を参照して説明する。図5は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム1は、以下に説明するステップS121~S128を実行することによっても、情報提供処理を行うことができる。
 ステップS121:家電機器5の操作部52が、ユーザによるボタン等の押圧を受けつけ、キャラクター管理情報を利用するアプリを起動している場合について説明する。
 ここで、家電機器5が、キャラクター管理情報を参照してユーザに自発的に発話する場合、家電機器5は、まず、家電機器通信部50を介して、自身のデバイスID及び機器動作情報をサーバ3に送信する。
 ステップS122:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、家電機器5からデバイスID及び機器動作情報を受信する。
 ステップS123:サーバ3の機器管理情報特定部321は、図3の(c)に示す機器管理DB332を参照する。ここで、既に機器管理DB332に受信したデバイスID及び機器動作情報が含まれていたとする。この場合、機器管理情報特定部321は、家電機器5が、既に機器管理DB332に存在する機器記憶情報等の情報を取得しようとしているように判断する。そして、機器管理情報特定部321は、デバイスIDに対応する機器記憶情報を取得する。図3の(c)から明らかなように、当該機器記憶情報は、例えば、「ユーザの好物:魚」、「ユーザの嫌いな物:野菜」、「天気:晴れ」及び「ユーザの誕生日:6月6日」等、複数の情報となっている。
 なお、仮に、受信したデバイスID及び機器動作情報が、機器管理DB332に含まれていない場合、機器管理情報特定部321は、家電機器5が、情報の更新を行おうとしていると判断する。この場合、機器管理情報特定部321は、デバイスIDと、それに対応する機器動作情報のうち、機器管理情報特定部321に記載されていない情報を、機器管理DB332に追加する。
 ステップS124:サーバ3の機器管理情報特定部321は、家電機器5から取得した特定の機器動作情報を参照する。そして、機器管理情報特定部321は、複数の機器記憶情報の中から、特定の機器動作情報と相関する機器記憶情報を選択し、特定する。例えば、機器動作情報が「レシピ提案」である場合、サーバ3の機器管理情報特定部321は、上述の複数の機器記憶情報のうち、「ユーザの好物:魚」を機器記憶情報に特定する。
 ステップS125:サーバ3の機器管理情報特定部321は、取得した機器動作情報と、特定した機器記憶情報とを対応付け、機器管理情報を特定する。
 例えば、キャラクターID「CH_0001」に対応するデバイスID「HE_1212」の家電機器5が取得した機器動作情報が「レシピ提案」であるとする。また、特定した機器記憶情報が「ユーザの好物:魚」であるとする。この場合、サーバ3の機器管理情報特定部321は、機器管理情報を「サバの味噌煮はいかがでしょう?」に特定する。
 ステップS126:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、特定した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。
 例えば、サーバ3の機器管理情報特定部321は、家電機器5の家電機器音声出力部521から、「サバの味噌煮はいかがでしょうか?」と音声出力する動作命令を出す。
 ステップS127:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
 ステップS128:家電機器5は、受信した機器管理情報を参照して作動する。
 このように、家電機器5から、デバイスID及び機器動作情報をサーバ3に送信するだけで、機器管理情報特定部321は、家電機器5に、具体的な内容の発話等を行う動作命令をすることができる。
 〔情報提供処理の変更例2〕
 表示システム1におけるサーバ3の機器管理情報特定部321は、以下に示すような場合でも、情報提供処理を行うことができる。
 本実施形態に係る表示システム1における情報提供処理の変更例2について、図6を参照して説明する。図6は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム1は、以下に説明するステップS141~S150を実行することによっても、情報提供処理を行うことができる。
 ステップS141:家電機器5の操作部52が、ユーザによるボタン等の押圧を受けつけ、キャラクター管理情報を利用するアプリを起動している場合について説明する。
 まず、家電機器5が、ユーザから音声による質問等の音声入力を受け付けたとする。これにより、家電機器5の家電機器制御部51は、家電機器音声入力部520を介して音声データを取得する。
 ステップS142:家電機器5の家電機器制御部51は、家電機器通信部50を介して、自身のデバイスID及び取得した音声データを送信する。
 ステップS143:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、家電機器5からデバイスID及び音声データを受信する。
 ステップS144:サーバ3の機器管理情報特定部321は、周知の音声認識システムにより、音声データから機器動作情報を特定する。例えば、音声データが「今日は何作ろうかな?」である場合、サーバ3の機器管理情報特定部321は、音声データからキーワード「何」及び「作ろう」を抽出する。続いて、サーバ3の機器管理情報特定部321は、図3の(c)の機器管理DB332を参照する。そして、サーバ3の機器管理情報特定部321は、複数の機器動作情報の中から、当該キーワードに近い分野の動作情報である「レシピ提案」を機器動作情報として特定する。
 ステップS145:サーバ3の機器管理情報特定部321は、図3の(c)の機器管理DB332を参照し、取得したデバイスIDに対応する複数の機器記憶情報を取得する。例えば、デバイスIDが「HE_1212」である場合、サーバ3の機器管理情報特定部321は、「ユーザの好物:魚」、「ユーザの嫌いな物:野菜」、「天気:晴れ」及び「ユーザの誕生日:6月6日」という機器記憶情報を取得する。
 ステップS146:サーバ3の機器管理情報特定部321は、複数の機器記憶情報の中から、機器動作情報と相関する機器記憶情報を選択し、特定する。例えば、機器動作情報が「レシピ提案」である場合、機器管理情報特定部321は、上述の複数の機器記憶情報のうち、「ユーザの好物:魚」を機器記憶情報として特定する。
 ステップS147:サーバ3の機器管理情報特定部321は、取得した機器動作情報と、特定した機器記憶情報とを対応付け、機器管理情報として特定する。例えば、キャラクターID「CH_0001」に対応するデバイスID「HE_1212」の家電機器5が取得した機器動作情報が「レシピ提案」であるとする。また、特定した機器記憶情報が「ユーザの好物:魚」であるとする。この場合、機器管理情報特定部321は、機器管理情報を「サバの味噌煮はいかがでしょう?」に特定する。
 ステップS148:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、特定した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。例えば、サーバ3の機器管理情報特定部321は、家電機器5の家電機器音声出力部521から、「サバの味噌煮はいかがでしょうか?」と音声出力する動作命令を出す。
 ステップS149:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
 ステップS150:家電機器5は、受信した機器管理情報を参照して作動する。
 以上のことから、表示システム1におけるサーバ3の機器管理情報特定部321は、家電機器5に、音声入力を受け付けたときに、キャラクター管理情報を参照させて発話等の動作をさせることができる。
 〔情報提供処理の変更例3〕
 サーバ3の機器管理情報特定部321は、以下に示すような場合でも、情報提供処理を行うことができる。
 本実施形態に係る表示システム1における情報提供処理の変更例3について、図7を参照して説明する。図7は、本実施形態に係る表示システム1における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム1は、以下に説明するステップS161~S169を実行することによっても、情報提供処理を行うことができる。
 ステップS161:以下、1日毎等、定期的なタイミング、又は、地震速報が流れたとき若しくはユーザの誕生日等、特定のタイミングで、サーバ3が、家電機器5に動作命令を出す形態について説明する。
 まず、サーバ3の機器管理情報特定部321は、図3の(b)のキャラクター記憶DB331の情報IDを決定する。また、サーバ3の機器管理情報特定部321は、当該情報IDに対応するキャラクターID及びキャラクター記憶情報を検索する。
 例えば、ユーザの誕生日が訪れた場合、サーバ3の機器管理情報特定部321は、キャラクター記憶DB331を参照し、「情報ID38」(ユーザの誕生日)に対応するキャラクターID及びキャラクター記憶情報を検索する。
 ステップS162:サーバ3の機器管理情報特定部321が、情報IDに対応するキャラクターID及びキャラクター記憶情報を見つけることができた場合(ステップS162のYES)、ステップS164に進む。サーバ3の機器管理情報特定部321が、情報IDに対応するキャラクターID及びキャラクター記憶情報を見つけることができなかった場合(ステップS162のNO)、ステップS163に進む。
 例えば、情報IDが「情報ID38」(誕生日)である場合、サーバ3の機器管理情報特定部321は、キャラクターIDを「CH_0004」に、キャラクター記憶情報を「6月6日」に特定することができる。
 キャラクターID及びキャラクター記憶情報を見つけることができない場合とは、キャラクター記憶DB331の情報IDに対応するキャラクターID及びキャラクター記憶情報の少なくとも何れかが空欄である場合を指す。
 ステップS163:サーバ3の機器管理情報特定部321が、情報IDに対応するキャラクターID及びキャラクター記憶情報を見つけることができなかった場合、処理を終了する。
 ステップS164:サーバ3の機器管理情報特定部321は、図3の(a)のキャラクター管理DB330を参照し、キャラクターIDに対応するデバイスIDを特定する。
 ステップS165:サーバ3の機器管理情報特定部321は、取得した情報ID及びキャラクター記憶情報から、機器記憶情報を特定する。
 例えば、情報IDが「情報ID38」(ユーザの誕生日)であり、キャラクター記憶情報が「6月6日」である場合、サーバ3の機器管理情報特定部321は、機器記憶情報を「ユーザの誕生日:6月6日」に特定する。
 ステップS166:サーバ3の機器管理情報特定部321は、図3の(c)に示す機器管理DB332を参照し、デバイスIDと、機器記憶情報とを対応付ける。これにより、サーバ3の機器管理情報特定部321は、機器管理情報を特定する。
 例えば、デバイスIDが「HE_1212」であり、機器記憶情報が「ユーザの誕生日6月6日」である場合、サーバ3の機器管理情報特定部321は、機器管理情報を「今日は誕生日でしたよね?御馳走を作りましょう!」に特定する。
 ステップS167:サーバ3の機器管理情報特定部321は、サーバ通信部31を介して、特定した機器管理情報を家電機器5に送信する(機器管理情報特定工程)。すなわち、サーバ3の機器管理情報特定部321は、家電機器5に機器管理情報を参照させ、特定の動作をするように命令する。
 例えば、サーバ3の機器管理情報特定部321は、家電機器5の家電機器音声出力部521から、「今日は誕生日でしたよね?御馳走を作りましょう!」と音声出力する動作命令を出す。
 ステップS168:家電機器5は、家電機器通信部50を介して、サーバ3から機器管理情報を受信する。
 ステップS169:家電機器5は、受信した機器管理情報を参照して作動する。
 このように、サーバ3の機器管理情報特定部321は、特定のタイミングで、家電機器5に、キャラクター管理情報を参照させて自発的に発話等の動作をさせることができる。
 このように、本実施形態に係るサーバ3は、撮像画像7にキャラクター8の画像を重畳して表示する端末装置2に対して情報を提供するサーバ3であって、サーバ通信部31と、サーバ制御部32とを備え、サーバ制御部32は、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して、キャラクター8の提示態様を管理するキャラクター管理情報を特定し、特定したキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信するか、又は、キャラクター管理情報を参照して、家電機器5の提示態様を特定する機器管理情報を特定し、特定した機器管理情報を、サーバ通信部31を介して家電機器5に送信する。
 サーバ3のサーバ制御部32は、機器識別情報を参照して特定したキャラクター管理情報を端末装置2に送信するか、又は、キャラクター管理情報を参照して特定した機器管理情報を家電機器5に送信する。そのため、キャラクター8の提示態様と家電機器5の提示態様とは、相関するものとなる。これにより、サーバ3は、キャラクター8と家電機器5との相関をより向上させることができる。
 また、本実施形態に係るサーバ3では、サーバ制御部32は、機器識別情報を参照して、キャラクター管理情報を更新するか、又は、キャラクター管理情報を参照して、機器管理情報を更新するかの少なくとも何れかの制御を行う。
 サーバ3のサーバ制御部32は、キャラクター管理情報が既存のものでなくても、機器識別情報を参照して、キャラクター管理情報を更新することができる。また、サーバ3のサーバ制御部32は、機器識別情報が既存のものでなくても、キャラクター管理情報を参照して、機器識別情報を更新することができる。これにより、サーバ3は、キャラクター8と家電機器5との相関をより向上させることができる。
 また、本実施形態に係るサーバ3では、機器識別情報は、撮像画像7に含まれる家電機器5の外見から得られる種別情報である機器種別情報を含む。
 サーバ3のサーバ制御部32は、機器識別情報のうち、機器種別情報と相関するキャラクター管理情報を特定することができる。また、サーバ3のサーバ制御部32は、機器種別情報に対応するキャラクター管理情報を端末装置2に送信することができる。これにより、サーバ制御部32を含むサーバ3は、端末装置2に、家電機器5の機器種別情報と相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、サーバ3は、家電機器5とキャラクター8との相関を更に向上させることができる。
 また、本実施形態に係るサーバ3では、機器識別情報は、撮像画像7の撮像位置情報を更に含む。
 サーバ3のサーバ制御部32は、機器識別情報のうち、撮像位置情報に更に相関するキャラクター管理情報を特定することができる。また、サーバ3のサーバ制御部32は、機器種別情報に加え、撮像位置情報に更に対応するキャラクター管理情報を端末装置2に送信することができる。これにより、サーバ制御部32を含むサーバ3は、端末装置2に、家電機器5の撮像位置情報に更に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、サーバ3は、家電機器5とキャラクター8との相関を更に向上させることができる。
 また、本実施形態に係るサーバ3では、機器識別情報は、撮像画像7に含まれる家電機器5との通信により得られるデバイスIDを更に含む。
 サーバ3のサーバ制御部32は、機器識別情報のうち、デバイスIDに更に相関するキャラクター管理情報を特定することができる。また、サーバ3のサーバ制御部32は、機器種別情報に加え、デバイスIDに更に対応するキャラクター管理情報を端末装置2に送信することができる。これにより、サーバ制御部32を含むサーバ3は、端末装置2に、家電機器5のデバイスIDに更に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、サーバ3は、家電機器5とキャラクター8との相関を更に向上させることができる。
 また、本実施形態に係る端末装置2は、撮像部21と提示部25と端末制御部23と端末通信部24とを備える端末装置2であって、提示部25は表示部251を備え、端末制御部23は、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して特定された、キャラクター8の提示態様を管理するキャラクター管理情報を、端末装置2に情報を提供するサーバ3から取得して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させるか、又は、家電機器5の個体を識別する機器識別情報を、端末通信部24を介してサーバ3に送信するかの少なくとも何れかの制御を行う。
 本実施形態に係る端末装置2によれば、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、端末装置2は、家電機器5とキャラクター8との相関をより向上させることができる。
 また、本実施形態に係る端末装置2では、機器識別情報は、家電機器5の提示態様を特定する機器管理情報を特定するために参照されるキャラクター管理情報に対応している。
 機器識別情報が、家電機器5の提示態様を特定する機器管理情報を特定するために参照されるキャラクター管理情報に対応している場合、家電機器5とキャラクター8との相関をさらに向上させることができる。
 また、本実施形態に係る表示システム1は、サーバ3と端末装置2とを含む表示システム1であって、端末装置2は、撮像部21と提示部25と端末制御部23と端末通信部24とを備え、サーバ3は、サーバ通信部31とサーバ制御部32とを備え、サーバ制御部32は、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して、キャラクター8の提示態様を管理するキャラクター管理情報を特定し、特定したキャラクター管理情報を、サーバ通信部31を介して端末装置2に送信するか、又は、キャラクター管理情報を参照して、家電機器5の提示様態を特定する機器管理情報を特定し、特定した機器管理情報を、サーバ通信部31を介して家電機器5に送信するかの、少なくとも何れかの制御を行い、端末制御部23は、キャラクター管理情報を参照して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させる。
 本実施形態に係る表示システム1によれば、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、表示システム1は、家電機器5とキャラクター8との相関をより向上させることができる。
 また、本実施形態に係る情報提供方法は、撮像画像7にキャラクター8の画像を重畳して表示する端末装置2に対して情報を提供する情報提供方法であって、撮像画像7に含まれる家電機器5の個体を特定する機器識別情報を参照して、キャラクター8の提示態様を管理するキャラクター管理情報を特定し、特定したキャラクター管理情報を、端末装置2に送信するキャラクター管理情報特定工程、及び、キャラクター管理情報を参照して、家電機器5の提示態様を特定し、特定した機器識別情報を、家電機器5に送信する機器管理情報特定工程のうちの少なくとも一方の工程を含む。
 本実施形態に係る情報提供方法によれば、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。これにより、情報提供方法は、家電機器5とキャラクター8との相関をより向上させることができる。
 <実施形態2>
 実施形態1では、サーバ3のサーバ制御部32は、キャラクター管理情報を参照して機器管理情報を特定している。ただし、サーバ制御部は、実施形態2のサーバ30(不図示)のサーバ制御部34(不図示)のように、サーバ制御部32の機能の代わりに、又は、サーバ制御部32の機能に加えて、別の機能を備えていてもよい。
 〔表示システム10〕
 本実施形態に係る表示システム10(不図示)は、サーバ3の代わりに、サーバ30を備えている。サーバ30は、サーバ制御部32の代わりに、サーバ制御部34を備えている。サーバ制御部34は、キャラクター管理情報特定部320の代わりに、キャラクター管理情報特定部340を備えている。これらの点以外は、サーバ30は、サーバ3と同様の構成である。
 〔サーバ30〕
 サーバ30は、サーバ制御部34を備えている。
 サーバ制御部34のキャラクター管理情報特定部340は、サーバ制御部32のキャラクター管理情報特定部320の有する機能に加えて、別の機能を備えている。当該別の機能は、機器管理情報を参照して、キャラクター管理情報を特定する機能である。
 キャラクター管理情報特定部340は、機器管理情報を参照してキャラクター管理情報を特定し、端末装置2に送信する。これにより、端末装置2の撮像画像7に重畳して表示されるキャラクター8の画像は、家電機器5の提示態様に相関するものとなる。このように、キャラクター管理情報特定部340は、家電機器5に相関するキャラクター8の画像を撮像画像7に重畳して表示させることができる。
 より具体的には、キャラクター管理情報特定部340は、機器動作情報に応じて、キャラクター8の提示態様を変更する。
 これにより、キャラクター管理情報特定部340は、家電機器5の動作と、キャラクター8の動作とを、リアルタイムで連動させることができる。
 [キャラクター管理情報特定部340の機能の具体例1]
 以下、図3の(a)~(c)を用いて、キャラクター管理情報特定部340の機能の具体例を説明する。
 例えば、家電機器5が音楽再生を開始する場合、家電機器5は、キャラクター管理情報特定部340に、デバイスID「HE_3333」及び機器動作情報「音楽再生」を送信する。
 当該デバイスID及び機器動作情報を取得したキャラクター管理情報特定部340は、図3の(a)のキャラクター管理DB330を参照し、デバイスID「HE_3333」に対応する「CH_0002」をキャラクターIDに特定する。また、キャラクター管理情報特定部340は、機器動作情報「音楽再生」に関連する「情報ID20」(キャラクター8の現在の行動)及び「音楽鑑賞」を情報ID及びキャラクター記憶情報に特定する。
 ここで、キャラクター記憶DB331のキャラクターID「CH_0002」に対し、「情報ID20」と、キャラクター記憶情報「音楽鑑賞」とが対応付けられていないとする。この場合、キャラクター管理情報特定部340は、図3の(b)のキャラクター記憶DB331に示すように、当該対応関係をキャラクター記憶DB331に反映し、キャラクター記憶DB331を更新する。
 このように、キャラクター管理情報特定部340は、キャラクター管理情報が既存のものでなくても、機器管理情報を参照して、キャラクター管理情報を更新することができる。その結果、キャラクター管理情報特定部340は、家電機器5とキャラクター8との相関をより向上させることができる。
 なお、図3の(b)のキャラクター記憶DB331にアプリIDが記載されていない場合、キャラクター記憶DB331のキャラクター管理情報は、キャラクター8自身に関する情報を意味する。アプリIDが記載されている場合は、キャラクター記憶DB331に記載されている情報は、例えば、ユーザとキャラクター8との対話により、更新された情報を意味する。
 キャラクター記憶DB331を更新後、キャラクター管理情報特定部340は、特定した「情報ID20」(キャラクター8の現在の行動)及びキャラクター記憶情報「音楽鑑賞」を端末装置2に送信する。端末装置2の端末制御部23は、家電機器5の音楽再生時に、当該情報ID及びキャラクター記憶情報を参照し、キャラクター8の提示態様を「音楽鑑賞」等に変更する。これにより、キャラクター管理情報特定部340は、家電機器5が音楽再生をしている最中に、キャラクターID「CH_0002」のキャラクター8にも音楽鑑賞させることができる。
 また、家電機器5による音楽再生終了時には、キャラクター管理情報特定部340は、「情報ID20」(キャラクター8の現在の行動)及びキャラクター記憶情報「待機」を端末装置2に送信する。これにより、キャラクター管理情報特定部340は、家電機器5の動作と連動して、キャラクター8の音楽鑑賞の動作を終了させることができる。なお、ここでいう「待機」とは、前回までの動作を止めた状態で、次の状態まで待機するという動作状態を指す。
 [キャラクター管理情報特定部340の機能の具体例2]
 また、キャラクター管理情報特定部340は、1秒毎等、定期的にキャラクター記憶DB331に問い合わせることを繰り返し、キャラクター8の提示態様を変更するか否かを決定してもよい。
 例えば、キャラクターIDが反映されたキャラクター8を表示中であるとき、端末装置2は、定期的に、サーバ30のキャラクター管理情報特定部340にキャラクターIDを送信する。
 キャラクター管理情報特定部340は、キャラクター記憶DB331を参照し、取得したキャラクターIDに対応する情報ID及びキャラクター記憶情報が更新されているかどうかを確認する。また、キャラクター管理情報特定部340は、取得したキャラクターIDに対応する情報ID及びキャラクター記憶情報が、機器動作情報に関連しているかどうかを確認する。
 ここで、取得したキャラクターIDに対応する情報ID及びキャラクター記憶情報が新たに追加されており、当該情報ID及びキャラクター記憶情報が、機器動作情報に関連していたとする。この場合、キャラクター管理情報特定部340は、新たに追加された情報ID及びキャラクター記憶情報を新たなキャラクター管理情報として特定する。そして、キャラクター管理情報特定部340は、当該キャラクター管理情報を端末装置2に送信する。端末装置2の端末制御部23は、当該キャラクター管理情報を参照し、キャラクター8の提示態様を変更する。
 このように、キャラクター管理情報特定部340は、定期的にキャラクター記憶DB331に問い合わせることができる。これにより、キャラクター管理情報特定部340は、家電機器5の動作をキャラクター8の動作によりリアルタイムで反映させることができる。
 〔情報提供処理〕
 本実施形態に係る表示システム10における情報提供処理(情報提供方法)について、図8を参照して説明する。図8は、本実施形態に係る表示システム10における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム10は、以下に説明するステップS201~S211を実行することによって、情報提供処理を行う。
 ステップS201:家電機器5が新たな動作を開始したとする。この場合、家電機器5は、当該家電機器5自身のデバイスID及び機器動作情報を、家電機器通信部50を介してサーバ30に送信する。
 ステップS202:サーバ30の機器管理情報特定部321は、デバイスID及び機器動作情報を、サーバ通信部31を介して家電機器5から受信する。
 ステップS203:サーバ30の機器管理情報特定部321は、図3の(c)の機器管理DB332を参照し、デバイスIDと、機器動作情報とを対応付ける。これにより、サーバ30の機器管理情報特定部321は、機器管理情報を特定し、更新する。その結果、機器管理DB332が更新される。
 ステップS204:サーバ30のキャラクター管理情報特定部340が、更新した機器管理情報における機器動作情報に応じてキャラクター8の提示態様を変更する場合(ステップS204のYES)、ステップS206に進む。サーバ30のキャラクター管理情報特定部340が、更新した機器管理情報における機器動作情報に応じてキャラクター8の提示態様を変更しない場合(ステップS204のNO)、ステップS205に進む。
 ステップS205:サーバ30のキャラクター管理情報特定部340が、更新した機器管理情報における機器動作情報に応じてキャラクター8の提示態様を変更しない場合、情報提供処理を終了する。
 ステップS206:サーバ30のキャラクター管理情報特定部340は、図3の(a)のキャラクター管理DB330を参照し、デバイスIDに対応するキャラクターIDを特定する。
 例えば、デバイスIDが「HE_3333」であるとき、サーバ30のキャラクター管理情報特定部340は、キャラクターIDを「CH_0002」に特定する。
 ステップS207:また、サーバ30のキャラクター管理情報特定部340は、機器動作情報から、情報ID及びキャラクター記憶情報を特定する。
 例えば、機器動作情報が「音楽再生」である場合、サーバ30のキャラクター管理情報特定部340は、機器動作情報「音楽再生」に関連する「情報ID20」(キャラクター8の現在の行動)及び「音楽鑑賞」を情報ID及びキャラクター記憶情報に特定する。
 ステップS208:サーバ30のキャラクター管理情報特定部340は、キャラクターIDと、情報ID及びキャラクター記憶情報とを対応付ける。これにより、サーバ30のキャラクター管理情報特定部340は、キャラクター管理情報を特定し、更新する。その結果、キャラクター記憶DB331が更新される。
 例えば、図3の(b)のキャラクター記憶DB331に示すように、キャラクター管理情報特定部340は、「CH_0002」、「情報ID20」(キャラクター8の現在の行動)及びキャラクター記憶情報「音楽鑑賞」をキャラクター管理情報として特定する。
 ステップS209:サーバ30のキャラクター管理情報特定部340は、サーバ通信部31を介して、特定した情報ID及びキャラクター記憶情報を端末装置2に送信する(キャラクター管理情報特定工程)。
 このように、サーバ30のキャラクター管理情報特定部340は、キャラクター管理情報が既存のものでなくても、機器管理情報を参照して、キャラクター管理情報を更新することができる。このように、サーバ3のキャラクター管理情報特定部340によれば、家電機器5とキャラクター8との相関をより向上させることができる。これにより、サーバ30は、家電機器5とキャラクター8との相関をより向上させることができる。
 ステップS210:端末装置2は、端末通信部24を介して、サーバ30のキャラクター管理情報特定部340から情報ID及びキャラクター記憶情報を受信する。
 ステップS211:端末装置2の端末制御部23は、更新された情報ID及びキャラクター記憶情報を参照して、キャラクター8の提示態様を変更する。これにより、端末装置2の端末制御部23は、キャラクター8の動作に、家電機器5の動作をリアルタイムで反映させることができる。
 また、本実施形態に関わるサーバ30では、サーバ制御部34は、撮像画像7に含まれる家電機器5の動作に関する情報である機器動作情報に応じて、キャラクター8の提示態様を変更する。
 サーバ制御部34は、機器動作情報に応じて、キャラクター8の提示態様を変更する。そのため、サーバ制御部34は、家電機器5の動作と、キャラクター8の動作とを、リアルタイムで連動させることができる。これにより、サーバ30は、家電機器5とキャラクター8との相関を更に向上させることができる。
 また、本実施形態に係る端末装置2では、端末制御部23は、撮像画像7に含まれる家電機器5の動作に関する情報である機器動作情報に応じて変更されたキャラクター8の提示態様を参照して、表示部251に、撮像部21による撮像画像7にキャラクター8の画像が重畳するように表示させる。
 端末制御部23は、機器動作情報に応じて変更されたキャラクター8の提示態様を参照して、表示部251に、キャラクター8の画像を表示させることができる。これにより、端末制御部23は、表示部251に表示されたキャラクター8の動作を、家電機器5の動作に、リアルタイムで連動させることができる。これにより、端末装置2は、家電機器5とキャラクター8との相関を更に向上させることができる。
 <実施形態3>
 実施形態3に係る表示システム100のサーバ制御部35(不図示)のように、サーバ制御部は、サーバ制御部32又は34の機能に加えて、更なる機能を備えていてもよい。
 〔表示システム100〕
 本実施形態に係る表示システム100(不図示)は、サーバ3又は30の代わりに、サーバ300(不図示)を備えている。サーバ300は、サーバ制御部32又は34の代わりに、サーバ制御部35を備えている。サーバ制御部35は、キャラクター管理情報特定部320又は340の代わりに、キャラクター管理情報特定部350を備えている。これらの点以外は、サーバ300は、サーバ3又は30と同様の構成である。
 〔サーバ300〕
 サーバ300は、サーバ制御部35(不図示)を備えている。
 サーバ制御部35のキャラクター管理情報特定部350(不図示)は、アプリID及びパスワード等の端末情報と、キャラクター8とユーザとの対話履歴から得られるキャラクター記憶情報と、を参照する。これにより、キャラクター管理情報特定部350は、キャラクター8の発話内容を決定する。
 キャラクター管理情報特定部350は、決定したキャラクター8の発話内容のデータを端末装置2に送信する。これにより、端末装置2の端末制御部23は、発話内容のデータを、端末音声出力部250又は表示部251等の提示部25から出力することができる。その結果、端末装置2の端末制御部23は、あたかも、キャラクター8が、ユーザとの対話に応じて発話したかのようにユーザに認識させることができる。
 なお、上述したように、キャラクター8の発話内容の出力は、端末音声出力部250による音声出力に限定されず、表示部251からの出力であってもよい。例えば、端末制御部23は、「魚が好きだったよね!」という発話内容を、端末音声出力部250から音声出力してもよいし、テキスト形式で表示部251に表示させてもよい。
 [キャラクター管理情報特定部350の機能の具体例1]
 以下、図3の(a)及び(b)を用いて、キャラクター管理情報特定部350の機能の具体例を説明する。
 例えば、端末制御部23が、キャラクター8によって、「好きな食べ物はなんですか?」とユーザに質問させたとする。また、これに対し、ユーザが端末音声入力部220又はテキスト入力部221等の端末情報入力部22を介して「お魚かな」と回答したとする。この場合、キャラクター管理情報特定部350は、実施形態1及び2と同様に、キャラクターID「CH_0001」と、「情報ID1」(ユーザの好物)とに対応するキャラクター記憶情報を「魚」に特定する。また、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を更新する。
 ここで、キャラクター管理DB330のキャラクターID「CH_0001」に対応するアプリIDの欄に、ユーザが使用中の端末装置2のアプリID「AP_0011」があるとする。この場合、キャラクター管理情報特定部350は、キャラクター8を、ユーザの端末装置2毎に割り当てられる、固有のキャラクター管理情報を有するキャラクター8に特定することができる。すなわち、キャラクター管理情報特定部350は、キャラクター8を、端末装置2に個別に割り当てられるマイキャラに特定することができる。
 このように、キャラクター8がマイキャラに特定された場合、キャラクター管理情報特定部350は、ユーザに対するマイキャラの発話内容を、一般的なキャラクター8と異ならせることができる。
 例えば、ユーザが使用中の端末装置2のアプリIDが「AP_0011」であり、キャラクターID「CH_0001」のキャラクター8が表示部251に表示されているとする。この場合、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331における、キャラクターIDが「CH_0001」であるキャラクター管理情報を参照する。これにより、キャラクター管理情報特定部350は、キャラクター8の発話内容を決定する。
 ここで、キャラクター8がマイキャラであるとする。この場合、キャラクター管理情報特定部350は、プライバシー情報を含むキャラクター管理情報も参照して発話内容を決定することができる。
 例えば、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照し、マイキャラの発話内容を「魚が好きだったよね!」に決定することができる。また、キャラクター管理情報特定部350は、マイキャラの発話内容を「僕レンジ太郎!Aさんの家のレンジに住んでるよ!」に決定することができる。
 また、ユーザがマイキャラに対して「千葉出身」である旨の回答をしたとする。この場合、キャラクター管理情報特定部350は、ユーザの「千葉出身」という情報を、プライバシー情報を含むキャラクター管理情報としてキャラクター記憶DB331に新たに追加することができる。
 以上のように、キャラクター管理情報特定部350は、アプリIDと、キャラクター記憶情報とを参照して、キャラクター8の発話内容を決定する。そのため、キャラクター管理情報特定部350は、端末装置2毎にキャラクター8の発話内容を異ならせることができる。
 [キャラクター管理情報特定部350の機能の具体例2]
 (キャラクター管理情報特定部350の機能の具体例2-1)
 上述の例では、キャラクター8がマイキャラである場合におけるキャラクター管理情報特定部350の機能を説明した。ただし、キャラクター管理情報特定部350の機能は、キャラクター8が他人のマイキャラであって、ユーザ自身のマイキャラでない場合にも応用することができる。
 例えば、ユーザの端末装置2のアプリIDが「AP_0600」であり、キャラクターID「CH_0002」のキャラクター8が表示部251に表示されているとする。また、図3の(a)のキャラクター管理DB330のように、キャラクターID「CH_0002」に対応するアプリIDの欄に、アプリID「AP_0600」がなかったとする。
 この場合、キャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照したとき、プライバシー情報が含まれるものを発話内容に決定しない。すなわち、キャラクター管理情報特定部350は、キャラクターID「CH_0002」に対応するキャラクター管理情報のうち、プライバシー情報を含まないものを参照し、発話内容を決定する。例えば、キャラクター管理情報特定部350は、「僕レンジ太郎!いま音楽鑑賞中だよ!」を発話内容に決定することができるが、「肉が好きだったよね!」を発話内容に決定することができない。
 このような構成によっても、キャラクター管理情報特定部350は、アプリIDと、キャラクター記憶情報とを参照して、キャラクター8の発話内容を決定する。そのため、キャラクター管理情報特定部350は、端末装置2毎にキャラクター8の提示態様を異ならせることができる。
 また、ユーザが、マイキャラでないキャラクター8に「千葉出身」である旨を回答したとする。このように、マイキャラでないキャラクター8にユーザがプライバシー情報を含む回答をした場合、キャラクター管理情報特定部350は、ユーザの「千葉出身」であるという情報を、キャラクター記憶DB331に追加しなくてもよい。
 (キャラクター管理情報特定部350の機能の具体例2-2)
 ここで、キャラクター管理情報特定部350は、キャラクター8が他人のマイキャラである場合でも、ユーザ自身のマイキャラにすることができる場合がある。
 例えば、ユーザの端末装置2のアプリIDが「AP_0600」であり、キャラクターIDが「CH_0002」であるとする。この場合、キャラクター管理情報特定部350は、例えば、キャラクター8に、「僕をマイキャラにしたかったらパスワードを教えてね!」と発話させる。また、キャラクター管理情報特定部350は、端末情報入力部22から、ユーザによるパスワードを受け付ける。パスワードは音声形式によって端末音声入力部220に入力されてもよいし、テキスト形式でテキスト入力部221に入力されてもよい。
 端末情報入力部22がユーザから音声入力又はテキスト入力を受け付けたとき、端末情報取得部234は、当該入力情報から、パスワードを抽出する。端末情報取得部234は、当該パスワードを、端末通信部24を介して、サーバ300のキャラクター管理情報特定部350に送信する。
 キャラクター管理情報特定部350は、当該パスワードが、キャラクターID「CH_0002」に対応するパスワード「□Z△?」と同一かどうかを確認する。当該パスワードが「□Z△?」と一致した場合、キャラクター管理情報特定部350は、キャラクターID「CH_0002」と、パスワード「AP_0600」とを対応付ける。これにより、図3の(a)のキャラクター管理DB330のキャラクターID「CH_0002」に対するアプリIDの欄に、「AP_0600」が追加される。その結果、キャラクター管理情報特定部350は、他人のマイキャラであるキャラクター8を、アプリIDが「AP_0600」の端末装置2を有するユーザのマイキャラとすることができる。
 [キャラクター管理情報特定部350の機能の具体例3]
 上述の例では、キャラクター8が、キャラクターIDが反映されたキャラクター8である場合におけるキャラクター管理情報特定部350の機能を説明した。ただし、キャラクター管理情報特定部350の機能は、表示部251に表示されているキャラクター8が、キャラクターIDが反映されていない一般キャラである場合にも応用することができる。
 ここでいう一般キャラとは、例えば、キャラクターID等の情報が反映されていないキャラクター8のことを指す。例えば、機器種別情報がオーブンレンジである場合、一般キャラの外見は、図2に示すような、レンジに顔がある、擬人化され、デフォルメされたキャラクター(レンジ太郎)の外見となる。また、一般キャラのレンジ太郎の発話内容は「僕!レンジ太郎!」等、固有の情報が含まれていない発話内容となる。
 この場合においても、キャラクター管理情報特定部350は、キャラクター8をユーザ自身のマイキャラにすることができる場合がある。
 この場合、キャラクター管理情報特定部350は、例えば、キャラクター8に、「僕をマイキャラにしたかったらパスワードを教えてね!」と発話させる。これにより、キャラクター管理情報特定部350は、アプリID、並びに、デバイスID及び撮像位置情報をユーザの端末装置2から受け付ける。
 キャラクター管理情報特定部350は、取得したパスワード、並びに、デバイスID及び撮像位置情報のうちの少なくとも1つと、新たなキャラクターIDとを対応付ける。これにより、キャラクター管理DB330が更新される。その結果、一般キャラをユーザのマイキャラにすることができる。
 〔情報提供処理〕
 本実施形態に係る表示システム100における情報提供処理(情報提供方法)について、図9を参照して説明する。図9は、本実施形態に係る表示システム100における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム100は、以下に説明するステップS301~S311を実行することによって、情報提供処理を行う。
 ステップS301:端末装置2の表示部251が、キャラクターIDが反映されているキャラクター8を表示しており、キャラクター管理情報を特定するアプリを起動している場合について説明する。
 まず、端末装置2の端末制御部23は、キャラクターID及び情報IDを、端末通信部24を介してサーバ300に送信する。
 ステップS302:サーバ300のキャラクター管理情報特定部350は、は、サーバ通信部31を介して、端末装置2からキャラクターID及び情報IDを受信する。
 ステップS303:サーバ300のキャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照する。そして、サーバ300のキャラクター管理情報特定部350は、キャラクターID及び情報IDに対応するキャラクター記憶情報を特定する。
 ステップS304:次に、サーバ300のキャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照する。キャラクター記憶情報と、プライバシー情報とが対応付けられていることをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS304のYES)、ステップS305に進む。キャラクター記憶情報と、プライバシー情報とが対応付けられていないことをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS304のNO)、ステップS306に進む。
 ステップS305:サーバ300のキャラクター管理情報特定部350は、図3の(b)のキャラクター記憶DB331を参照する。キャラクターIDと、アプリIDとが対応付けられていることをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS305のYES)、ステップS306に進む。キャラクターIDと、アプリIDとが対応付けられていないことをサーバ300のキャラクター管理情報特定部350が確認した場合(ステップS305のNO)、ステップS309に進む。
 ステップS306:キャラクター管理情報特定部350は、キャラクター8をマイキャラに特定し、キャラクターIDと、アプリIDと、情報IDと、キャラクター記憶情報とを対応付ける。これにより、キャラクター管理情報特定部350は、キャラクター管理情報を特定し、マイキャラの発話内容を決定する。キャラクター管理情報特定部350は、サーバ通信部31を介して、特定したキャラクター管理情報を、端末装置2に送信する。
 例えば、キャラクターIDが「CH_0001」であり、アプリIDが「AP_0011」であり、情報IDが「情報ID1」(ユーザの好物)であり、キャラクター記憶情報が「魚」であるとする。この場合、キャラクター管理情報特定部350は、マイキャラの発話内容を「魚が好きだったよね!」に決定することができる。発話内容を決定後、キャラクター管理情報特定部350は、端末装置2に、当該発話内容のデータを送信し、当該発話内容を出力させる動作命令をする。
 ステップS307:端末装置2の端末制御部23は、端末通信部24を介して、サーバ300からキャラクター管理情報を受信する。
 ステップS308:端末装置2の端末制御部23は、キャラクター管理情報を参照してユーザに発話する。
 ステップS309:キャラクターIDとアプリIDとが対応付けられていない場合、キャラクター管理情報特定部350は、キャラクター管理情報を一般的なものに特定する。すなわち、キャラクター管理情報特定部350は、キャラクター8の発話内容を、プライバシー情報を含まない一般的なものに特定する。発話内容を決定後、キャラクター管理情報特定部350は、端末装置2に当該発話内容のデータを送信し、当該発話内容を出力する動作命令をする。
 例えば、キャラクター管理情報特定部350は、キャラクター8の発話内容を「僕レンジ太郎!」に決定し、端末装置2に当該発話内容のデータを送信する。
 ステップS310:端末装置2の端末制御部23は、端末通信部24を介して、サーバ300から一般的なキャラクター管理情報を受信する。
 ステップS311:端末装置2の端末制御部23は、一般的なキャラクター管理情報を参照して、ユーザに発話する。
 〔情報提供処理の変更例1〕
 表示システム100におけるサーバ300のキャラクター管理情報特定部350は、以下に示すような場合でも、情報提供処理を行うことができる。
 本実施形態に係る表示システム100における情報提供処理の変更例1について、図10を参照して説明する。図10は、本実施形態に係る表示システム100における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム100は、以下に説明するステップS321~S326を実行することによっても、情報提供処理を行うことができる。
 ステップS321:端末装置2の表示部251が、キャラクターIDが反映されている、他人のマイキャラを表示しており、端末装置2が、キャラクター管理情報を特定するアプリを起動している場合について説明する。
 この場合、端末装置2の端末制御部23は、端末情報入力部22を介して、ユーザから入力されたパスワードを取得する。端末装置2の端末制御部23は、取得したパスワードとともに、キャラクターID及びアプリIDをサーバ300に送信する。
 ステップS322:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、端末装置2からパスワード、キャラクターID及びアプリIDを受信する。
 ステップ323:サーバ300のキャラクター管理情報特定部350は、図3の(a)に示すキャラクター管理DB330を参照する。サーバ300のキャラクター管理情報特定部350は、取得したパスワードが、図3の(a)のキャラクター管理DB330のキャラクターIDに対応付けられたものと同一であるかどうかを確認する。
 取得したパスワードと、図3の(a)のキャラクター管理DB330のパスワードとが同一であると、サーバ300のキャラクター管理情報特定部350が判断した場合(ステップS323のYES)、ステップS326に進む。サーバ300のキャラクター管理情報特定部350が、同一でないと判断した場合(ステップS323のNO)、ステップS324に進む。
 ステップS324:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、パスワードが間違えている旨を端末装置2に送信する。
 ステップS325:端末装置2は、端末通信部24を介して、サーバ300からパスワードが間違えている旨の通知を受信する。端末装置2は、端末情報入力部22を介して、再びユーザからのパスワードの入力を受け付ける。
 例えば、端末装置2は、提示部25の端末音声出力部250又は表示部251から、音声又はテキストの形式で、パスワードが間違えている旨を出力する。
 ステップS326:サーバ300のキャラクター管理情報特定部350は、キャラクターIDと、アプリIDと、パスワードとを対応付ける。すなわち、サーバ300のキャラクター管理情報特定部350は、キャラクターIDに対応するアプリIDに、上述の情報提供処理を行った端末装置2のユーザのアプリIDを追加する。これにより、キャラクター管理DB330が更新され、他人のマイキャラだったキャラクター8が、上述の情報提供処理を行った端末装置2のユーザのマイキャラとなる。
 〔情報提供処理の変更例2〕
 表示システム100におけるサーバ300のキャラクター管理情報特定部350は、以下に示すような場合でも、情報提供処理を行うことができる。
 本実施形態に係る表示システム100における情報提供処理の変更例2について、図11を参照して説明する。図11は、本実施形態に係る表示システム100における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム100は、以下に説明するステップS341~S349を実行することによっても、情報提供処理を行うことができる。
 ステップS341:端末装置2の表示部251が、キャラクターIDが反映されていない一般キャラを表示しており、端末装置2が、新規なキャラクター8を作成するアプリを起動している場合について説明する。
 この場合、端末装置2の端末制御部23は、端末情報入力部22を介して、ユーザからパスワードを取得する。当該パスワードは、ユーザによって任意に設定される。
 ステップS342:次に、端末装置2の端末制御部23は、デバイスID及び撮像位置情報の少なくとも何れかを取得できているかどうかを確認する。端末装置2の端末制御部23が、デバイスID及び撮像位置情報の少なくとも何れかを取得できていると判断した場合(ステップS342のYES)、ステップS344に進む。端末装置2の端末制御部23が、家電機器5のデバイスID及び撮像位置情報の何れも取得できていないと判断した場合(ステップS342のNO)、ステップS343に進む。
 ステップS343:端末装置2の端末制御部23が、デバイスID及び撮像位置情報の何れも取得できていないと判断した場合、情報提供処理を終了する。
 ステップS344:端末装置2の端末制御部23は、端末通信部24を介して、デバイスID及び撮像位置情報のうち、取得した各情報と、アプリIDと、パスワードとをサーバ300に送信する。
 ステップS345:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、端末装置2から各情報と、アプリIDと、パスワードとを端末装置2から受信する。
 ステップS346:サーバ300のキャラクター管理情報特定部350は、各情報と、アプリIDと、パスワードと、機器種別情報と、キャラクターの外見とを対応付け、キャラクター管理情報を特定する。サーバ300のキャラクター管理情報特定部350は、当該キャラクター管理情報をキャラクター管理DB330に反映し、追加する。これにより、新規なキャラクター8が作成され、上述の情報提供処理を行った端末装置2に表示される一般キャラが、マイキャラとなる。
 なお、キャラクター管理情報特定部350は、デバイスID及び撮像位置情報に関しては、取得できた情報のみ、図3の(a)のキャラクター管理DB330に追加する。
 ステップS347:サーバ300のキャラクター管理情報特定部350は、サーバ通信部31を介して、特定したキャラクター管理情報を端末装置2に送信する。
 ステップS348:端末装置2の端末制御部23は、端末通信部24を介して、キャラクター管理情報を受信する。
 ステップS349:端末装置2の端末制御部23は、キャラクター管理情報を参照して、表示部251に、マイキャラの画像を撮像画像7に重畳して表示させる。
 このように、本実施形態に係るサーバ300では、サーバ制御部35は、端末装置2と他の端末装置とを識別するためのアプリIDと、キャラクター8とユーザとの対話履歴から得られるキャラクター記憶情報と、を参照してキャラクター8の発話内容を決定する。
 サーバ300のサーバ制御部35は、アプリIDと、キャラクター記憶情報とを参照して、キャラクター8の発話内容を決定する。そのため、キャラクター管理情報特定部350は、端末装置2毎にキャラクター8の発話内容を異ならせることができる。
 また、本実施形態に係る端末装置2では、端末制御部23は、端末装置2と他の端末装置とを識別するためのアプリIDと、キャラクター8とユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して決定されたキャラクター8の発話内容を、提示部25から出力させる。
 端末装置2の端末制御部23は、アプリIDと、キャラクター記憶情報とを参照して決定されたキャラクター8の発話内容を提示部25から出力させる。そのため、端末制御部23は、端末装置2毎に異なる発話内容を提示部25から出力させることができる。
 <実施形態4>
 実施形態4のサーバ3000(不図示)のサーバ制御部36(不図示)のように、サーバ制御部は、サーバ制御部32、34又は35の機能に加えて、更なる機能を備えていてもよい。
 〔表示システム500〕
 本実施形態に係る表示システム500(不図示)は、サーバ3、30又は300の代わりに、サーバ3000(不図示)を備えている。サーバ3000は、サーバ制御部32、34又は35の代わりに、サーバ制御部36を備えている。サーバ制御部36は、キャラクター管理情報特定部320、340又は350の代わりに、キャラクター管理情報特定部360(不図示)を備えている。これらの点以外は、サーバ3000は、サーバ3、30又は300と同様の構成である。
 〔サーバ3000〕
 サーバ3000は、サーバ制御部36を備えている。
 サーバ制御部36のキャラクター管理情報特定部360(不図示)は、サーバ制御部32、34又は35の有する機能に加えて、更なる機能を備えている。当該更なる機能は、互いに異なる複数の機器識別情報に対して、同一のキャラクター特定情報が対応付けられている対応情報を更に参照してキャラクター管理情報を特定する機能である。
 ここで、新たに取得した機器識別情報が、既にキャラクター管理DB330内に存在する機器識別情報と異なっていたとする。また、新たに取得したアプリIDが、既にキャラクター管理DB330内に存在するアプリIDと同一であったとする。
 この場合、キャラクター管理情報特定部360は、新たに取得した機器識別情報と、キャラクター管理DB330内に存在するアプリIDに対応するキャラクター管理情報とを対応付ける。すなわち、キャラクター管理情報特定部360は、新たに取得した機器識別情報と、既存のキャラクターID及びキャラクターの外見とを対応付ける。そして、キャラクター管理情報特定部360は、当該対応関係をキャラクター管理DB330内に反映し、追加する。
 続いて、キャラクター管理情報特定部360は、追加された機器識別情報に対応するキャラクターID及びキャラクターの外見を、キャラクター管理情報として決定する。これにより、新規なキャラクター8が作成される。
 このように、キャラクター管理情報特定部360は、機器識別情報が異なる家電機器5に対しても、同一のキャラクター管理情報であるように特定することができる。これにより、キャラクター管理情報特定部360は、一つのキャラクター管理情報に、複数の家電機器5を対応付けてグループ化することができる。その結果、キャラクター管理情報特定部360は、同一のキャラクター8を複数の家電機器5で共有することができる。
 例えば、キャラクター管理情報特定部360は、ユーザ同士のデバイスIDが異なる場合でも、各ユーザの端末装置2に表示されるキャラクター8の外見及びキャラクターIDを同一にできる。すなわち、キャラクター管理情報特定部360は、各ユーザの端末装置2に表示されるキャラクター8の内部情報を同一にすることができる。その結果、例えば、「お魚が好きなんだよね!」等、各ユーザの端末装置2に表示されるキャラクター8の発話内容を同一にすることができる。
 〔情報提供処理〕
 本実施形態に係る表示システム500における情報提供処理(情報提供方法)について、図12を参照して説明する。図12は、本実施形態に係る表示システム500における情報提供処理の流れの一例を示すシーケンス図である。
 本実施形態に係る表示システム500は、以下に説明するステップS401~S415を実行することによって、情報提供処理を行う。
 ステップS401:端末装置2の表示部251が、キャラクターIDが反映されていない一般キャラを表示している場合について説明する。また、この場合、端末装置2は、別の家電機器5に対応付けられているマイキャラを共有するアプリを起動している。
 まず、端末装置2は、端末通信部24を介して、アプリIDをサーバ3000に送信する。
 ステップS402:サーバ3000は、サーバ通信部31を介して、端末装置2からアプリIDを受信する。
 ステップS403:サーバ3000のキャラクター管理情報特定部360は、図3の(a)のキャラクター管理DB330を参照し、新たに取得したアプリIDと同一のアプリIDを持つキャラクター管理情報を特定する。
 ステップS404:キャラクター管理情報特定部360は、サーバ通信部31を介して、キャラクター管理情報を端末装置2に送信する。
 ステップS405:端末装置2の端末制御部23は、端末通信部24を介して、サーバ3000からキャラクター管理情報を受信する。
 ステップS406:端末装置2の端末制御部23は、受信したキャラクター管理情報を参照する。そして、端末制御部23は、アプリIDとキャラクターIDとが対応付けられているキャラクター管理情報を1組以上取得できているかどうかを確認する。端末装置2の端末制御部23が、当該キャラクター管理情報を1組以上取得できていると判断した場合(ステップS406のYES)、ステップS407に進む。端末装置2の端末制御部23が、当該キャラクター管理情報を1組も取得できていないと判断した場合(ステップS406のNO)、ステップS409に進む。
 ステップS407:端末装置2の端末制御部23が、取得したキャラクター管理情報のうち、参照するものを選択する場合(ステップS407のYES)、ステップS408に進む。端末装置2の端末制御部23が、取得したキャラクター管理情報のうち、参照するものを選択しない場合(ステップS407のNO)、ステップS409に進む。
 ステップS408:次に、端末装置2の端末制御部23は、デバイスID及び撮像位置情報のうちの少なくとも何れかを取得できているかどうかを確認する。端末装置2の端末制御部23が、デバイスID及び撮像位置情報のうちの少なくとも何れかを取得できていると判断した場合(ステップS408のYES)、ステップS410に進む。端末装置2の端末制御部23が、デバイスID及び撮像位置情報のうちの何れも取得できていないと判断した場合(ステップS408のNO)、ステップS409に進む。
 ステップS409:端末装置2の端末制御部23が、デバイスID及び撮像位置情報のうちの何れも取得できていないと判断した場合、情報提供処理を終了する。
 ステップS410:端末装置2の端末制御部23は、端末通信部24を介して、デバイスID及び撮像位置情報のうち、取得した各情報と、アプリIDと、パスワードとをサーバ3000に送信する。
 ステップS411:サーバ3000のキャラクター管理情報特定部360は、サーバ通信部31を介して、各情報と、アプリIDと、パスワードとを受信する。
 ステップS412:サーバ3000のキャラクター管理情報特定部360は、各情報と、アプリIDと、キャラクター管理情報とを対応付ける。すなわち、サーバ3000のキャラクター管理情報特定部360は、新たに取得した機器識別情報と、既存のキャラクターID及びキャラクターの外見とを対応付ける。そして、キャラクター管理情報特定部360は、当該対応関係をキャラクター管理DB330内に反映し、追加する。
 続いて、サーバ3000のキャラクター管理情報特定部360は、追加された機器識別情報に対応するキャラクターID及びキャラクターの外見を、キャラクター管理情報として決定する。これにより、新規なキャラクター8が作成される。
 なお、サーバ3000のキャラクター管理情報特定部360は、デバイスID及び撮像位置情報に関しては、取得できた情報のみ、図3の(a)のキャラクター管理DB330に追加する。また、キャラクター管理情報特定部360は、新規なキャラクター8を作成する際に機器識別情報を同一にしない。すなわち、キャラクター管理情報特定部360は、アプリIDが同一である場合も、機器識別情報を既存のものと同一にしない。キャラクター管理情報特定部360は、端末装置2で新たに取得した機器識別情報をそのままキャラクター管理DB330に反映する。
 そのため、キャラクター管理情報特定部360によれば、機器識別情報が異なっていても、同一のキャラクターID及びキャラクターの外見を有するキャラクター管理情報のキャラクター8を作成することができる。これにより、キャラクター管理情報特定部360は、異なる機器識別情報に対し、同一のアプリIDを有している場合は、キャラクター管理情報を、同一に特定することができる。
 ステップS413:サーバ3000のキャラクター管理情報特定部360は、サーバ通信部31を介して、キャラクター管理情報を端末装置2に送信する。
 ステップS414:端末装置2の端末制御部23は、端末通信部24を介して、キャラクター管理情報をサーバ3000から受信する。
 ステップS415:端末装置2の端末制御部23は、新たなキャラクター8を撮像画像7に重畳して表示させる。
 <実施形態5>
 上述した例では、端末装置2、及び、サーバ3、30、300又は3000を備える表示システム1、10、100及び500について説明したが、端末装置2、及び、サーバ3、30、300又は3000の何れかを含まなくてもよい。
 すなわち、全ての部材を端末装置2が含んでいてもよく、全ての部材をサーバ3、30、300又は3000が含んでいてもよい。
 以下に、サーバ3、30、300又は3000を含まない表示システム1000について説明する。
 〔表示システム1000〕
 本実施形態に係る表示システム1000は、端末装置20を備えている。
 図13は、本実施形態に係る表示システム1000の要部構成を示すブロック図である。図13に示すように、本実施形態に係る端末装置20は、上述した端末装置2の構成に加えて、実施形態1においてサーバ3が備えている記憶部33を備えている。また、端末装置20は、端末制御部23の各部材に加え、実施形態1におけるサーバ3のサーバ制御部32のキャラクター管理情報特定部320及び機器管理情報特定部321も含む端末制御部26を備えている。
 実施形態5に係る表示システム1000においても、実施形態1に係る表示システム1と同様の効果を奏することができる。
 上述の実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
 〔情報提供処理〕
 本実施形態に係る表示システム1000における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ3のサーバ制御部32の代わりに、端末装置20の端末制御部26で制御する。これらの点以外は、当該情報提供処理は、実施形態1に係る表示システム1の情報提供処理と同様に行うことができる。
 <実施形態6>
 実施形態5では、端末装置20の端末制御部26は、キャラクター管理情報を参照して機器管理情報を特定している。ただし、端末制御部は、実施形態6の端末装置200(不図示)の端末制御部27(不図示)のように、端末制御部26の機能の代わりに、又は、端末制御部26の機能に加えて、別の機能を備えていてもよい。当該別の機能は、機器管理情報を参照して、キャラクター管理情報を特定する機能である。
 〔表示システム1500〕
 本実施形態に係る表示システム1500(不図示)は、端末装置200(不図示)を備えている。
 本実施形態に係る端末装置200は、上述した端末装置2の端末制御部23の各部材に加え、実施形態2におけるサーバ30のサーバ制御部34のキャラクター管理情報特定部340も含む端末制御部27を備えている。
 実施形態6に係る表示システム1500においても、実施形態2に係る表示システム10と同様の効果を奏することができる。
 〔情報提供処理〕
 本実施形態に係る表示システム1500における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ30のサーバ制御部34の代わりに、端末装置200の端末制御部27で制御する。これらの点以外は、当該情報提供処理は、実施形態2に係る表示システム10の情報提供処理と同様に行うことができる。
 〔実施形態7〕
 実施形態7に係る表示システム2000(不図示)の端末制御部28(不図示)のように、端末制御部は、端末制御部26又は27の機能に加えて、更なる機能を備えていてもよい。
 〔表示システム2000〕
 本実施形態に係る表示システム2000は、端末装置400(不図示)を備えている。
 本実施形態に係る端末装置400は、上述した端末装置2の端末制御部23の各部材に加え、実施形態3に係るサーバ300のサーバ制御部35のキャラクター管理情報特定部350も含む端末制御部28を備えている。
 実施形態7に係る表示システム2000においても、実施形態3に係る表示システム100と同様の効果を奏することができる。
 〔情報提供処理〕
 本実施形態に係る表示システム2000における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ300のサーバ制御部35の代わりに、端末装置400の端末制御部28で制御する。これらの点以外は、当該情報提供処理は、実施形態3に係る表示システム100の情報提供処理と同様に行うことができる。
 〔実施形態8〕
 実施形態8に係る表示システム2500(不図示)の端末制御部29(不図示)のように、端末制御部は、端末制御部26、27又は28の機能に加えて、更なる機能を備えていてもよい。
 〔表示システム2500〕
 本実施形態に係る表示システム2500は、端末装置600(不図示)を備えている。
 本実施形態に係る端末装置600は、上述した端末装置2の端末制御部23の各部材に加え、実施形態4に係るサーバ3000のサーバ制御部36のキャラクター管理情報特定部360も含む端末制御部29を備えている。
 実施形態8に係る表示システム2500においても、実施形態4に係る表示システム500と同様の効果を奏することができる。
 〔情報提供処理〕
 本実施形態に係る表示システム2500における情報提供処理(情報提供方法)では、端末通信部24とサーバ通信部31とのデータのやり取りがない。また、当該情報提供処理では、サーバ3000のサーバ制御部36の代わりに、端末装置600の端末制御部29で制御する。これらの点以外は、当該情報提供処理は、実施形態4に係る表示システム500の情報提供処理と同様に行うことができる。
 <実施形態9>
 端末装置2、20、200、400、600及びサーバ3、30、300、3000の各ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、1以上のプロセッサにより実行されるソフトウェアによって実現してもよい。後者の場合、端末装置2、20、200、400、600及びサーバ3、30、300、3000のそれぞれを、図14に示すようなコンピュータ(電子計算機)を用いて構成することができる。
 図14は、端末装置2、20、200、400、600又はサーバ3、30、300、3000として利用可能なコンピュータ910の構成を例示したブロック図である。コンピュータ910は、バス911を介して互いに接続された演算装置912と、主記憶装置913と、補助記憶装置914と、入出力インターフェース915と、通信インターフェース916とを備えている。演算装置912、主記憶装置913、及び補助記憶装置914は、それぞれ、例えば1以上のプロセッサ、RAM(random access memory)、ハードディスクドライブ及びフラッシュメモリ等のストレージであってもよい。入出力インターフェース915には、ユーザがコンピュータ910に各種情報を入力するための入力装置920、及び、コンピュータ910がユーザに各種情報を出力するための出力装置930が接続される。入力装置920及び出力装置930は、コンピュータ910に内蔵されたものであってもよいし、コンピュータ910に接続された(外付けされた)ものであってもよい。例えば、入力装置920は、キーボード、マウス、タッチセンサ等であってもよく、出力装置930は、ディスプレイ、プリンタ、スピーカ等であってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置920及び出力装置930の双方の機能を有する装置を適用してもよい。そして、通信インターフェース916は、コンピュータ910が外部の装置と通信するためのインターフェースである。
 補助記憶装置914には、コンピュータ910を端末装置2、20、200、400、600又はサーバ3、30、300、3000として動作させるための各種のプログラムが格納されている。そして、演算装置912は、補助記憶装置914に格納された上記プログラムを主記憶装置913上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ910を、端末装置2、20、200、400、600又はサーバ3、30、300、3000が備える各部として機能させる。なお、補助記憶装置914が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路等であってもよい。
 また、上記プログラムは、コンピュータ910の外部から取得してもよく、この場合、任意の伝送媒体(通信ネットワークや放送波等)を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 このように、本実施形態に係るコンピュータ910をサーバ制御部32、34、35又は36として機能させるためのプログラムは、サーバ3、30、300又は3000としてコンピュータ910を機能させるためのプログラムである。
 コンピュータ910を機能させるためのプログラムは、サーバ3、30、300又は3000のサーバ制御部32、34、35又は36として好適に機能させることができる。
 また、本実施形態に係るコンピュータ910を端末制御部23、26、27、28又は29として機能させるためのプログラムは、端末装置2、20、200、400又は600を機能させるためのプログラムである。
 コンピュータ910を機能させるためのプログラムは、端末装置2、20、200、400又は600の端末制御部23、26、27、28又は29として好適に機能させることができる。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
 1、10、100、500、1000、1500、2000、2500 表示システム
 2、20、200、400、600 端末装置
 3、30、300、3000 サーバ(情報提供装置)
 4 ネットワーク
 5 家電機器(機器)
 6 無線LANルータ
 7 撮像画像
 8 キャラクター
 21 撮像部
 22 端末情報入力部
 23、26、27、28、29 端末制御部(制御部)
 24 端末通信部(通信部)
 25 提示部
 31 サーバ通信部(通信部)
 32、34、35、36 サーバ制御部(制御部)
 33 記憶部
 50 家電機器通信部
 51 家電機器制御部
 52 操作部
 220 端末音声入力部
 221 テキスト入力部
 230 機器識別情報特定部
 231 画像認識部
 232 固有情報取得部
 233 位置情報取得部
 234 端末情報取得部
 235 重畳画像生成部
 250 端末音声出力部
 251 表示部
 320、340、350、360 キャラクター管理情報特定部
 321 機器管理情報特定部
 330 キャラクター管理DB
 331 キャラクター記憶DB
 332 機器管理DB
 520 家電機器音声入力部
 521 家電機器音声出力部

Claims (15)

  1.  撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供装置であって、
     通信部と、制御部とを備え、
     上記制御部は、
      上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、
      特定した上記キャラクター管理情報を、上記通信部を介して上記端末装置に送信するか、
     又は、
      上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、
      特定した上記機器識別情報を、上記通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行う
    ことを特徴とする情報提供装置。
  2.  上記制御部は、
      上記機器識別情報を参照して、上記キャラクター管理情報を更新するか、又は、
      上記キャラクター管理情報を参照して、上記機器管理情報を更新するかの少なくとも何れかの制御を行う
    ことを特徴とする請求項1に記載の情報提供装置。
  3.  上記制御部は、
      上記端末装置と他の端末装置とを識別するための端末識別情報と、上記キャラクターとユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して上記キャラクターの発話内容を決定する
    ことを特徴とする請求項1又は2に記載の情報提供装置。
  4.  上記制御部は、上記撮像画像に含まれる機器の動作に関する情報である機器動作情報に応じて、上記キャラクターの提示態様を変更する
    ことを特徴とする請求項1~3の何れか1項に記載の情報提供装置。
  5.  上記機器識別情報は、上記撮像画像に含まれる機器の外見から得られる種別情報である機器種別情報を含む
    ことを特徴とする請求項1~4の何れか1項に記載の情報提供装置。
  6.  上記機器識別情報は、上記撮像画像の撮像位置情報を更に含む
    ことを特徴とする請求項5に記載の情報提供装置。
  7.  上記機器識別情報は、上記撮像画像に含まれる機器との通信により得られる固有情報を更に含む
    ことを特徴とする請求項5又は6に記載の情報提供装置。
  8.  撮像部と提示部と制御部と通信部とを備える端末装置であって、
     上記提示部は表示部を備え、
     上記制御部は、
      撮像画像に含まれる機器の個体を特定する機器識別情報を参照して特定された、キャラクターの提示態様を管理するキャラクター管理情報を、上記端末装置に情報を提供する情報提供装置から取得して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させるか、又は、
      上記機器の個体を識別する機器識別情報を、上記通信部を介して上記情報提供装置に送信するかの少なくとも何れかの制御を行う
    ことを特徴とする端末装置。
  9.  上記機器識別情報は、上記機器の提示態様を特定する機器管理情報を特定するために参照される上記キャラクター管理情報に対応している
    ことを特徴とする請求項8に記載の端末装置。
  10.  上記制御部は、上記端末装置と他の端末装置とを識別するための端末識別情報と、上記キャラクターとユーザとの対話履歴から得られるキャラクター記憶情報と、を参照して決定された上記キャラクターの発話内容を、上記提示部から出力させる
    ことを特徴とする請求項9に記載の端末装置。
  11.  上記制御部は、上記撮像画像に含まれる機器の動作に関する情報である機器動作情報に応じて変更された上記キャラクターの提示態様を参照して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させる
    ことを特徴とする請求項9又は10に記載の端末装置。
  12.  情報提供装置と端末装置とを含む表示システムであって、
     上記端末装置は、撮像部と提示部と端末制御部と端末通信部とを備え、
      上記提示部は表示部を備え、
     上記情報提供装置は、サーバ通信部とサーバ制御部とを備え、
     上記サーバ制御部は、
      撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、キャラクターの提示態様を管理するキャラクター管理情報を特定し、
      特定した上記キャラクター管理情報を、上記サーバ通信部を介して上記端末装置に送信するか、
     又は、
      上記キャラクター管理情報を参照して、上記機器の提示様態を特定する機器管理情報を特定し、
      特定した上記機器識別情報を、上記サーバ通信部を介して上記機器に送信するかの、少なくとも何れかの制御を行い、
     上記端末制御部は、
      上記キャラクター管理情報を参照して、上記表示部に、上記撮像部による撮像画像にキャラクターの画像が重畳するように表示させる
    ことを特徴とする表示システム。
  13.  請求項1~7の何れか1項に記載の情報提供装置としてコンピュータを機能させるためのプログラムであって、上記制御部としてコンピュータを機能させるためのプログラム。
  14.  請求項9~11の何れか1項に記載の端末装置としてコンピュータを機能させるためのプログラムであって、上記制御部としてコンピュータを機能させるためのプログラム。
  15.  撮像画像にキャラクターの画像を重畳して表示する端末装置に対して情報を提供する情報提供方法であって、
      上記撮像画像に含まれる機器の個体を特定する機器識別情報を参照して、上記キャラクターの提示態様を管理するキャラクター管理情報を特定し、
      特定した上記キャラクター管理情報を、上記端末装置に送信するキャラクター管理情報特定工程、
     及び、
      上記キャラクター管理情報を参照して、上記機器の提示態様を特定する機器管理情報を特定し、
      特定した上記機器識別情報を、上記機器に送信する機器管理情報特定工程のうちの少なくとも一方の工程を含む
    ことを特徴とする情報提供方法。
PCT/JP2017/043354 2017-03-31 2017-12-01 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法 WO2018179591A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019508555A JP6746775B2 (ja) 2017-03-31 2017-12-01 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法
US16/486,060 US20210279961A1 (en) 2017-03-31 2017-12-01 Information providing device, terminal device, display system, storage medium, and information providing method
CN201780089287.1A CN110476203A (zh) 2017-03-31 2017-12-01 信息提供装置、终端装置、显示系统、程序及信息提供方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-071774 2017-03-31
JP2017071774 2017-03-31

Publications (1)

Publication Number Publication Date
WO2018179591A1 true WO2018179591A1 (ja) 2018-10-04

Family

ID=63674659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043354 WO2018179591A1 (ja) 2017-03-31 2017-12-01 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法

Country Status (4)

Country Link
US (1) US20210279961A1 (ja)
JP (1) JP6746775B2 (ja)
CN (1) CN110476203A (ja)
WO (1) WO2018179591A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11662722B2 (en) * 2016-01-15 2023-05-30 Irobot Corporation Autonomous monitoring robot systems
JP7416500B1 (ja) 2022-11-18 2024-01-17 合同会社Straid 情報システムおよび通信端末

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7379139B2 (ja) * 2019-12-20 2023-11-14 東芝ライフスタイル株式会社 情報処理システム、家電機器、およびプログラム
US11669215B2 (en) * 2020-09-11 2023-06-06 Future Dial, Inc. Computing device identifier retrieval

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069011A (ja) * 2011-09-21 2013-04-18 Casio Comput Co Ltd 画像通信システム及び端末装置並びにプログラム
CN104423797A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 机器人清洁器系统及其控制方法
JP2015115649A (ja) * 2013-12-09 2015-06-22 三菱電機株式会社 機器制御システム、および、機器制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419768B2 (ja) * 2004-09-21 2010-02-24 日本ビクター株式会社 電子機器の制御装置
CN101729735B (zh) * 2008-10-20 2012-08-22 深圳富泰宏精密工业有限公司 数码照片合成系统及方法
US9117008B2 (en) * 2010-08-31 2015-08-25 Canon Kabushiki Kaisha Display apparatus and display method for displaying the radiographing range of a human body to be examined
JP5337915B2 (ja) * 2010-09-30 2013-11-06 富士フイルム株式会社 情報提示装置、デジタルカメラ、ヘッドマウントディスプレイ、プロジェクタ、情報提示方法、情報提示プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013069011A (ja) * 2011-09-21 2013-04-18 Casio Comput Co Ltd 画像通信システム及び端末装置並びにプログラム
CN104423797A (zh) * 2013-09-05 2015-03-18 Lg电子株式会社 机器人清洁器系统及其控制方法
JP2015115649A (ja) * 2013-12-09 2015-06-22 三菱電機株式会社 機器制御システム、および、機器制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MIYAKE SHINJI ET AL.: "Evaluation of voice interaction agent that uses augmented reality", PROCEEDINGS OF THE 2012 SPRING MEETING OF THE ACOUSTICAL SOCIETY OF JAPAN, 6 March 2012 (2012-03-06), pages 117 - 118, ISSN: 1880-7658 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11662722B2 (en) * 2016-01-15 2023-05-30 Irobot Corporation Autonomous monitoring robot systems
JP7416500B1 (ja) 2022-11-18 2024-01-17 合同会社Straid 情報システムおよび通信端末

Also Published As

Publication number Publication date
JPWO2018179591A1 (ja) 2019-11-07
JP6746775B2 (ja) 2020-08-26
US20210279961A1 (en) 2021-09-09
CN110476203A (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
JP7198861B2 (ja) ホームオートメーションのためのインテリジェントアシスタント
US20210050013A1 (en) Information processing device, information processing method, and program
KR102444709B1 (ko) 디바이스들 간의 상태 상호작용의 캡슐화 및 동기화
CN107135443B (zh) 一种信号处理方法及电子设备
KR102325697B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2018179591A1 (ja) 情報提供装置、端末装置、表示システム、プログラム及び情報提供方法
JP6440513B2 (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
KR102264600B1 (ko) 적응적 통지 네트워크용 시스템 및 방법
JP2019109510A (ja) 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム
CN110335601A (zh) 语音助手设备及其语音唤醒方法
US10403272B1 (en) Facilitating participation in a virtual meeting using an intelligent assistant
CN110399474B (zh) 一种智能对话方法、装置、设备及存储介质
US11267121B2 (en) Conversation output system, conversation output method, and non-transitory recording medium
JPWO2016067765A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
KR20190079791A (ko) 인공지능 기기에서의 복수의 호출 용어를 이용한 서비스 제공 방법 및 그 시스템
KR20190084202A (ko) 복수의 호출 용어를 이용하여 인공지능 기기를 제어하는 방법 및 시스템
CN112151013A (zh) 智能设备交互方法
WO2021064747A1 (en) System and method for location relevant augmented reality based communication
WO2012032714A1 (en) User device, server, and operating conditions setting system
JP6973380B2 (ja) 情報処理装置、および情報処理方法
US20190044985A1 (en) Method, system and non-transitory computer-readable recording medium for providing a multilateral communication service
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
CN113518297A (zh) 音箱交互方法、装置、系统和音箱
JP2019056913A (ja) 音声認識機能を用いた情報提供方法および機器の制御方法
CN112820265B (zh) 一种语音合成模型训练方法和相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17903392

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508555

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17903392

Country of ref document: EP

Kind code of ref document: A1