WO2020175115A1 - 情報処理装置、及び情報処理方法 - Google Patents

情報処理装置、及び情報処理方法 Download PDF

Info

Publication number
WO2020175115A1
WO2020175115A1 PCT/JP2020/005026 JP2020005026W WO2020175115A1 WO 2020175115 A1 WO2020175115 A1 WO 2020175115A1 JP 2020005026 W JP2020005026 W JP 2020005026W WO 2020175115 A1 WO2020175115 A1 WO 2020175115A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
information
modal
user
information processing
Prior art date
Application number
PCT/JP2020/005026
Other languages
English (en)
French (fr)
Inventor
典子 戸塚
浩明 小川
悠希 武田
寛 黒田
幸徳 前田
裕一郎 小山
高橋　晃
和也 立石
智恵 鎌田
衣未留 角尾
啓 福井
秀明 渡辺
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2021501870A priority Critical patent/JP7452524B2/ja
Priority to US17/431,717 priority patent/US11936718B2/en
Priority to EP20763857.8A priority patent/EP3933828A1/en
Priority to CN202080015269.0A priority patent/CN113454709A/zh
Priority to KR1020217024632A priority patent/KR20210131324A/ko
Publication of WO2020175115A1 publication Critical patent/WO2020175115A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems
    • G10L13/02—Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04—Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047—Architecture of speech synthesisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y30/00—IoT infrastructure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/2809—Exchanging configuration information on appliance services in a home automation network indicating that an appliance service is present in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2807—Exchanging configuration information on appliance services in a home automation network
    • H04L12/281—Exchanging configuration information on appliance services in a home automation network indicating a format for calling an appliance service function in a home automation network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Definitions

  • the present technology relates to an information processing apparatus and an information processing method, and more particularly to an information processing apparatus and an information processing method capable of outputting information in a more optimal output modal manner.
  • Patent Document 1 Japanese Patent Laid-Open No. 2011-253375
  • the present technology has been made in view of such a situation, and is to enable information to be output with a more optimal output modal.
  • An information processing apparatus obtains device information regarding output modalities of electronic devices, and outputs the information from a plurality of electronic devices based on the acquired device information.
  • a processing unit that selects an electronic device having an output and outputs the information from the output modal of the selected electronic device. ⁇ 2020/175 115 2 ⁇ (:171? 2020 /005026
  • An information processing method is that an information processing apparatus acquires device information regarding an output modal for each electronic device, and based on the acquired device information, selects from among a plurality of electronic devices. It is an information processing method of selecting an electronic device having an output modal to output information, and outputting the information from the output modal of the selected electronic device.
  • device information regarding outgoing modalities for each electronic device is acquired, and based on the acquired device information, a plurality of electronic devices are selected.
  • An electronic device having an output modal that outputs information is selected, and the information is output from the output modal that the selected electronic device has.
  • An information processing apparatus is configured to select the desired one from a plurality of electronic devices based on user information including a desired output modal of a user and device information regarding the output modal for each electronic device. Select an electronic device that has an outgoing modal that corresponds to the outgoing modal, and send an output command that outputs information from the outgoing modal that corresponds to the desired outgoing modal to the selected electronic device that is sent from another information processing device.
  • An information processing apparatus including a processing unit that receives the output instruction via a network and outputs the information from an output modal corresponding to the desired output modal based on the received output instruction. is there.
  • an information processing device uses a plurality of electronic devices based on user information including a desired output modal of a user and device information regarding an output modal for each electronic device. From the devices, select an electronic device having an output modal corresponding to the desired output modal, and send an output command for outputting information from the output modal corresponding to the desired output modal to the selected electronic device.
  • An information processing method comprising: receiving the output command transmitted from an information processing device via a network, and outputting the information from an output camodal corresponding to the desired output camodal based on the received output command.
  • an electronic device having an output modal corresponding to the desired output modal is selected from a plurality of electronic devices, and
  • the output command sent from another information processing device that sends an output command that outputs information from the output modal corresponding to the desired output modal to the electronic device selected is received via the network and received.
  • the information is output from the output modal corresponding to the desired output modal.
  • the information processing device may be an independent device, or may be an internal block configuring one device.
  • FIG. 1 is a block diagram showing an example of a configuration of an embodiment of a system including an electronic device to which the present technology is applied.
  • FIG. 2 A block diagram showing an example of a configuration of an electronic device to which the present technology is applied.
  • FIG. 3 is a block diagram showing an example of a functional configuration of an electronic device that operates as its own device.
  • FIG. 4 is a block diagram showing an example of a functional configuration of an electronic device that operates as a linked device.
  • FIG. 5 This is a flowchart explaining the flow of outgoing modal decision processing.
  • FIG. 6 is a diagram showing an example of a user information table.
  • FIG. 7 is a diagram showing a first example of a linked device information table.
  • FIG. 8 is a diagram showing a second example of a linked device information table.
  • Fig. 9 is a diagram showing an example of a case in which an own device capable of reading aloud sounds outputs.
  • FIG. 10 is a diagram showing an example of a case in which an output is requested from a linked device capable of reading aloud.
  • Fig. 11 is a diagram showing an example of a case in which an own device capable of screen output outputs.
  • Fig. 12 is a diagram showing an example of a case of requesting output to a linked device capable of screen output.
  • FIG. 13 A flow chart for explaining the flow of linked device selection processing. ⁇ 2020/175 115 4 ⁇ (: 171? 2020 /005026
  • FIG. 14 A flowchart for explaining the flow of the second candidate modal selection process.
  • FIG. 15 A flow chart explaining the flow of the optimum output modal selection process.
  • FIG. 16 A flow chart explaining the flow of the optimum output modal selection process.
  • Fig. 17 is a diagram showing an example of a user attribute/output camoral correspondence table.
  • FIG. 18 is a diagram showing another example of the user information table.
  • FIG. 19 is a diagram showing an example of a user information setting screen.
  • FIG. 20 is a diagram showing an example of cooperation confirmation information at the time of device cooperation.
  • FIG. 21 is a block diagram showing an example of another configuration of an embodiment of a system including an electronic device to which the present technology is applied.
  • FIG. 22 is a block diagram showing a first example of a configuration of an embodiment of a system to which the present technology is applied.
  • FIG. 23 is a block diagram showing a second example of the configuration of an embodiment of a system to which the present technology is applied.
  • FIG. 24 is a block diagram showing a third example of the configuration of an embodiment of a system to which the present technology is applied.
  • FIG. 25 A block diagram showing a fourth example of the configuration of an embodiment of a system to which the present technology is applied.
  • FIG. 26 is a diagram showing a distributed system as another specific example of the configuration of the embodiment of the system to which the present technology is applied.
  • FIG. 27 is a diagram showing an example of the configuration of a computer.
  • FIG. 1 shows an example of the configuration of an embodiment of a system including an electronic device to which the present technology is applied.
  • Fig. 1 electronic devices 10-1 to 10- (1 ⁇ !: an integer of 2 or more) and a router 20 are connected to each other via a home network 30.
  • This home network 30 is composed of, for example, a network of wireless 1_8 1_003 [8"63").
  • the electronic device 10_1 is configured as a device such as an information device, a video device, an audio device, or a home electric appliance.
  • the information devices include, for example, smartphones, mobile phones, smart watches, tablet terminals, game consoles, personal computers, and the like.
  • the video equipment includes, for example, a television receiver, a projector, a display device, and the like.
  • examples of the audio equipment include a smart speaker, a speaker, a headphone, and the like.
  • examples of home appliances include white goods such as washing machines, refrigerators, and microwave ovens.
  • the devices listed here are examples, and may include, for example, animal-type or human-type household robots, robots such as robot vacuum cleaners, and the like.
  • the electronic device 10_1 can output information in an optimal output modal.
  • the output modal is a means of expressing (of information) that each of the electronic devices 10-1 to 10-1 ⁇ 1 has.
  • the electronic device 10_1 can exchange information with other electronic devices 10 such as the electronic devices 10_2 to 10_1_! via the home network 30. ..
  • the electronic devices 10_2 to 10_! ⁇ 1 are each configured as a device such as an information device, like the electronic device 10_1.
  • Electronic devices 1 0 _ 2 to 1 0 _ 1 ⁇ 1 It can output information in an optimal output modal.
  • each of the electronic devices 10-2 to 10-1 ⁇ 1 can exchange information with another electronic device 10.
  • the router 20 is connectable to the internet 50. Therefore, each of the electronic devices 10-1 to 10-N can exchange various kinds of information with the server 40 via the Internet 50.
  • the server 40 is composed of, for example, one or a plurality of servers and is installed in a data center or the like.
  • the server 40 manages information about users and devices by a database, and responds to requests from any of electronic devices 10-1 to 10-N via the Internet 50. Information can be provided.
  • the electronic devices 10-1 to 10-N are simply referred to as the electronic device 10 unless it is necessary to distinguish them.
  • the electronic device 10 that operates as its own device is also referred to as the electronic device 10 A, while the electronic device 10 that operates as the linked device is also referred to as the electronic device 10 B. To distinguish.
  • FIG. 2 shows an example of the configuration of the electronic device 10 shown in FIG.
  • the electronic device 10 includes a processing unit 100, an input unit 101, and an output unit 1.
  • a sensor unit 103 a sensor unit 103, a communication unit 10 4, and a storage unit 105.
  • the processing unit 100 is composed of, for example, a processor such as a CPU (Central Process Engine) or a micro controller, or an FPGA (Fie Id Prog ramma le Gate Ar ray).
  • the processing unit 100 is a central processing device that controls the operation of each unit and performs various arithmetic processes.
  • the input unit 101 includes, for example, a microphone 1101-1 and a button 1101-2 as an input interface with the user.
  • the microphone 1 0 1 _ 1 converts an external sound including a user's voice and ambient sound into an electric signal, and supplies the resulting voice information to the processing unit 100.
  • the button 1 10 _ 2 is a physical button, and supplies operation information according to the user's operation to the processing unit 100.
  • the input unit 101 includes a microphone 101-1 and a button 101_2 is exemplified, but for example, a touch panel combined with a display 102_2_1 described later, Other input means such as a keyboard and mouse may be included.
  • the output unit 102 is, for example, a display 102-1, a speaker 102-2, an electronic sound buzzer 102-3, a vibrating element 102-2, and a lamp as an output interface with the user. Including 1 02—5.
  • the display 102_2 is a display device such as a liquid crystal display (LCD) or an OLED (Organic Light Emitting Diode) display.
  • the display 102-1 displays information according to the output instruction supplied from the processing unit 100.
  • the speaker 102_2 is a voice output device that reproduces sounds such as voice and music.
  • the speaker 102-2 outputs a sound corresponding to the output command supplied from the processing unit 100.
  • the electronic sound buzzer 102-2 is a sounding device capable of outputting electronic sounds such as "beep”.
  • the electronic sound buzzer 102-3 outputs an electronic sound according to the output command supplied from the processing unit 100.
  • the vibrating element 102_4 gives a vibration stimulus to the user by vibrating in accordance with the output command supplied from the processing unit 100.
  • the lamp 102-5 is a light emitting device including a light source such as an LED (Light Emitting Diode).
  • the lamp 1 0 2-5 is turned on according to the output command supplied from the processing unit 100.
  • the output section 102 includes the display 102-1 and the speech force 102-2 in this example, for example, the driving part of the robot (for example, the head or the hand). ) And other output means.
  • the sensor unit 103 is composed of, for example, various sensor devices and the like.
  • This sensor device includes, for example, the measurement sensor 103-1 and the image sensor 103-2.
  • the measurement sensor 103-1 includes, for example, a magnetic sensor that detects the magnitude and direction of a magnetic field (magnetic field), an acceleration sensor that detects acceleration, an angle (posture), an angular velocity, and an angular velocity. ⁇ 2020/175 115 8 ⁇ (:171? 2020 /005026
  • a gyro sensor that detects acceleration, a proximity sensor that detects an object in proximity, and the like can be included.
  • the measurement sensor 103-1 senses the user and the surrounding area, and supplies the environmental information (including sensing information) obtained as a result to the processing section 100.
  • the image sensor 103-2 is configured to include, for example, an image sensor and a signal processing unit.
  • the image sensor 103-2 generates image information by performing various kinds of signal processing on the image pickup signal obtained by picking up an image of a subject by the image sensor, and supplies the image information to the processing section 100. To do.
  • the sensor unit 103 includes the measurement sensor 103-1, the image sensor 1032, and the like has been described.
  • a temperature sensor for detecting temperature or a temperature sensor for detecting temperature may be used.
  • Other sensors such as a humidity sensor that detects humidity, an ambient light sensor that detects the brightness of the surroundings, and other biosensors that detect biological information such as respiration, pulse, fingerprints, and iris Sensor device may be included.
  • the communication unit 104 is composed of a communication module or the like compatible with wireless communication or wire communication conforming to a predetermined standard.
  • This communication module is, for example, wireless !_8 1 ⁇ 1 or cellular communication (for example, It is said that it corresponds to the communication method such as or.
  • the communication unit 104 exchanges various kinds of information with another electronic device 10 or the server 40.
  • the storage unit 105 is, for example, a semiconductor memory or
  • the storage unit 105 stores various kinds of information under the control of the processing unit 100.
  • the configuration of the electronic device 10 shown in FIG. 2 is an example, and it is not necessary to include all the configuration elements, and for example, a part of the input unit 10 1 or the sensor unit 10 3 is included.
  • the configuration may be removed from the constituent elements of.
  • other components may be added to the configuration of the electronic device 10 shown in FIG.
  • FIG. 3 shows an example of the functional configuration of the electronic device 10 that operates as its own device. ⁇ 2020/175 115 9 boxes (:171? 2020 /005026
  • the processing section 100 includes a user identification section 1 21, an output modal determination section 1 2 2 and an environment identification section 1 2 3.
  • the user identification unit 1 21 has a function of identifying a user who is an information output destination.
  • the user identification unit 1 2 1 includes a speaker identification unit 1 3 1, a face identification unit 1 3 2, and an identification result integration unit 1 3 3.
  • the speaker identification unit 1 3 1 performs a speaker recognition process using the voice information supplied from the microphone 1 0 1 _ 1, and supplies the identification result to the identification result integration unit 1 3 3. ..
  • a known technique such as a speaker recognition algorithm for extracting a feature amount from voice information, modeling the feature amount, and recognizing an individual voice using the feature amount can be used.
  • the face identification unit 1 3 2 performs face recognition processing using the image information supplied from the image sensor 1 0 3 -2, and supplies the identification result to the identification result integration unit 1 3 3.
  • a known technique such as a face recognition algorithm for extracting a salient feature from image information, searching for an image having a matching feature, and recognizing a face of an individual can be used.
  • the identification result integration unit 1 3 3 integrates the identification result of the speaker supplied from the speaker identification unit 1 3 1 and the face identification result supplied from the face identification unit 1 3 2, The user who is the output destination of the information (the user who is present) is identified, and the user identification result is supplied to the outgoing modal decision unit 1 2 2.
  • the user identification result for example, the user assigned to the identified user can be used.
  • the outgoing modal decision unit 1 2 2 refers to the user information registered in advance and acquires the desired outgoing modal according to the user identification result (user) supplied from the identification result integration unit 1 3 3. To do.
  • the output modal decision unit 1 2 2 has the desired output modal of the identified user as the output modal of the own device, it outputs an information output command to the own device corresponding to the desired output modal. Supply to the output unit 102.
  • the output unit 102 corresponding to the desired output modal outputs the information according to the output command from the output modal determination unit 1 2 2. ⁇ 2020/175 115 10 boxes (:171? 2020 /005026
  • the output modal determination unit 1 2 2 when the output modal determination unit 1 2 2 does not have the desired output modal of the identified user as the output modal of the own device, the output modal determination unit 1 2 2 refers to (acquires) the linked device information registered in advance. , Select the linked device that has the desired output modal of the identified user.
  • the outgoing modal decision unit 1 2 2 controls the communication unit 10 4 to output an information output command via the home network 30 to the output unit 1 0 2 corresponding to the desired outgoing modal.
  • the output unit 10 2 corresponding to the desired output modal will output the information according to the output command transmitted from the electronic device 10 8 that operates as its own device. Output.
  • the information according to the output command from the output modal determination unit 1 2 2 is output to the output device of the own device (output unit 1 0 2) to output.
  • the output modal decision unit 1 22 2 can control the communication unit 10 4 to acquire the user information and the linked device information from the server 4 0 via the Internet 50.
  • the server 40 has a user information storage unit 401, which stores a user information table, and a linked device information storage unit 402, which stores a linked device information table. It is possible to provide the user information stored in the user information table or the linked device information stored in the linked device information table in response to a request from the user. In other words, it can be said that the user information table and the linked device information table are information shared among a plurality of electronic devices 10 connected to the home network 30.
  • the user identification unit 1 21 needs to identify at least _ of speaker identification and face identification, and when only _ identification is performed, the identification result integration unit. It is not necessary to integrate the identification results by 1 3 3 and the user identification result (user) according to the identification result of _ is supplied to the output modal decision unit 1 2 2. ⁇ 02020/175 115 11 (: 17 2020/005026
  • the timing at which the electronic device 108 identifies the user is, for example, as follows.
  • the electronic device 108 wants to notify the user of information. Examples of such cases include incoming call and email notifications, alarms and reminders, and error notifications.
  • the user identification unit 1 2 In addition, in the electronic device 108 that operates as its own device, the user identification unit 1 2
  • the user identification information is acquired from the electronic device 1 0, through the home network 30 in cooperation with the electronic device 1 0, which operates as a linked device.
  • the user may be identified using this user identification information.
  • the environment identification unit 1 2 3 is an environment using the environmental information (including sensing information) supplied from the sensor unit 10 3 (for example, the measurement sensor 10 3 _ 1 etc.) or the communication unit 10 4 etc. Identification processing is performed, and the identification result is supplied to the output modal decision unit 1 2 2.
  • the environmental information includes, for example, information about the user (for example, information indicating the position of the user), information about other devices (for example, information about other devices such as smartwatch activity information, and other devices). Information indicating the usage status), information about the surrounding area, and various other types of information.
  • an environmental identification algorithm that uses environmental information is executed, so that it is possible to obtain an identification result, for example, in which room the user is currently, or what device is near the user. it can.
  • the electronic device 108 that operates as its own device is In the case where the device (camera or microphone) is not provided, the user identification process may be performed using the information from the other electronic device 10 that is linked with the device.
  • the smart speaker outputs information, and the user is identified using image information of a camera built in a television receiver in the same room.
  • a television receiver outputs information, but whether or not the user is in the room is determined using GPS (Global Posit on i ng System) information on the smartphone.
  • the outgoing modal determining unit 1 2 2 takes into consideration the environmental identification result supplied from the environmental identifying unit 1 2 3 and outputs the outgoing modal. Then, the output command can be notified to the output unit 102 of the own device or the cooperation device.
  • FIG. 4 shows an example of the functional configuration of the electronic device 10B that operates as a cooperating device.
  • the processing unit 100 includes an output command analysis unit 1 41 and an output control unit 1 4 2. Further, in the electronic device 10B, when the communication unit 104 receives an output command from the electronic device 10A operating as its own device via the home network 30, it outputs the output command to the output command analysis unit. Supply to 1 4 1
  • the output instruction analysis unit 1 41 1 analyzes the output instruction supplied from the communication unit 1 04, and supplies the analysis result to the output control unit 1 4 2.
  • the output control unit 1 4 2 supplies a control signal to the output unit 1 0 2 corresponding to the desired output modal based on the analysis result of the output command from the output instruction analysis unit 1 4 1.
  • the output unit 102 that supports the desired camodal will output information that corresponds to the output command transmitted from the electronic device 10A that operates as its own device. Will be output.
  • the electronic device 10 is configured as described above. ⁇ 2020/175 115 13 ⁇ (:171? 2020 /005026
  • step 311 the output modal decision unit 1 22 2 refers to the user information table and determines whether the output destination of the information is a registered user.
  • FIG. 6 shows an example of the user information table.
  • the user name, gender, age, and desired output modal are stored for each user.
  • Hiroshi has already registered that he is male and is 38 years of age, but he has not registered the desired camouflage. Yuki, a 38-year-old woman, is registered as a desired output modal, "always want screen output.”
  • Yuta has already been registered as a 10-year-old male, he has not registered the desired camodal. Yuzo, a 75-year-old man, is registered as a desired modal that "speech is slowed down.”
  • the user information is registered by timing, for example, when the electronic device 10 is purchased. For example, by displaying the setting screen on an electronic device 10 such as a smartphone or a television receiver, and the user performing an operation such as inputting or selecting information in the items on the setting screen, the user information is stored in the server 40. Registered in (user information table of) user information storage unit 401.
  • a desired output modal can be set for each user. This setting is linked to the user's account and shared by all electronic devices 10.
  • the desired output modal for example, the following (3) to () can be exemplified.
  • step S11 determines that the information output destination is a registered user. If it is determined in the determination processing in step S11 that the information output destination is a registered user, the processing proceeds to step S12.
  • step S 12 2 the outgoing modal decision unit 1 22 2 refers to the linked device information table and determines whether or not the desired outgoing modal is registered.
  • FIG. 7 shows an example of a linked device information table.
  • a device name and an output modal item are provided for each device ID assigned to the electronic device 10, and information corresponding to each item is stored.
  • a television receiver a smartphone A, a smartphone B, a smart speaker, a robot vacuum cleaner, a refrigerator, and a washing machine are registered.
  • screen means screen output
  • voice means reading aloud (for example, TTS (Text To Speech))
  • electronic sound means electronic sound output.
  • the TV receiver, smartphone A, and smartphone M include the display 10 2-1 and the speaker 1 0 2-2 in the output unit 102, so that the output screen 10 2 has the "screen” and the "voice". "including. Since the smart speaker and the robot sweeper include the speaker 102-2 in the output section 102, they include “voice” as the output modal. Refrigerators and washing machines include an electronic sound buzzer 1 0 2 _ 3 in the output unit 102, and thus include “electronic sound” as an output modal.
  • the registration of the linked device information is performed manually or automatically at the timing of purchasing the electronic device 10, for example. ⁇ 2020/175 115 15 ⁇ (:171? 2020/005026
  • the setting screen is displayed on the electronic device 10 such as a smartphone and the setting operation is performed by the user.
  • the setting information including the device, device name, outgoing modal, etc. It is sent to the server 40 via and is stored in the linked device information table.
  • step 312 if it is determined in the determination processing in step 312 that the desired outgoing modal is registered, the processing proceeds to step 313.
  • step 313 the outgoing modal determination unit 1 2 2 refers to the linked device information table to determine whether or not the desired outgoing modal exists in the own device.
  • step 3 13 When it is determined in the determination process of step 3 13 that the desired outgoing modal exists in the self device, the process proceeds to step 3 14.
  • the output modal decision unit 1 2 2 outputs information from its own device in the output modal desired by the user.
  • the output unit 10 2 corresponding to the desired output modal outputs the information according to the output command from the output modal determination unit 1 2 2.
  • step 3 13 when it is determined in the determination process of step 3 13 that the desired outgoing modal does not exist in the self device, the process proceeds to step 3 15.
  • step 315 the outgoing modal determination unit 1 22 2 refers to the linked device information table and determines whether or not a linked device having the desired outgoing modal exists.
  • step 3 15 If it is determined in the determination processing of step 3 15 that there is a linked device having the desired outgoing modal, the processing proceeds to step 3 16.
  • the output modal decision unit 1 2 2 outputs information from the linked device in the output modal desired by the user.
  • the output unit 102 corresponding to the desired output modal responds to the output command transmitted from the electronic device 108 that operates as its own device.
  • step 311 If it is determined in the determination processing in step 311 that the information output destination is not a registered user, the desired out-modal is registered in the determination processing in step 312. If it is determined that there is no cooperating device having the desired outgoing modal in the determination process of step 315, the process proceeds to step 317.
  • step 317 the output modal decision unit 1 2 2 outputs information from its own device in the default output modal.
  • the output unit 102 corresponding to the preset default output modal information outputs the information according to the output command from the output modal determination unit 1 2 2. Output.
  • FIG. 8 shows another example of the linked device information table referred to in the processing of steps 3 1 2, 3 1 3 and 3 1 5 of FIG.
  • Fig. 8 in the linked device information table, items of device name, screen feedback, sound feedback, optical feedback, vibration, and operation are provided for each device, and information corresponding to each item is stored. Has been done.
  • the screen feedback items include moving image output and alphanumeric output (for example, only digital alphanumeric characters can be output) items, and the sound feedback items include voice reading and electronic sound output items.
  • the items of optical feedback include the items of emitting light in multiple colors and the items of emitting light in single color. ⁇ 2020/175 115 17 ⁇ (:171? 2020/005026
  • the white circles ( ⁇ ) in the figure indicate that the output modal indicated by each item can be dealt with. That is, the linked device information table in FIG. 8 is a subdivided representation of the outgoing modal compared to the linked device information table in FIG. 7 described above.
  • the television receiver includes the display 1 02-1 and the speaker 1 0-2-2, as output modal, "moving image output” and “alphanumeric output”, and “speech reading” and “speech reading” Electronic sound output” is included.
  • Smartphone Hachi, Mitsumi includes display 10 2 _ 1, speaker 10 2-2, electronic sound buzzer 1 0 2-3, vibrating element 1 0 2-4, and lamp 1 0 2-5.
  • the output modal includes "moving image output” and “alphanumeric output”, “speech reading” and “electronic sound output”, “single color emission”, and “vibration”, respectively.
  • the smart speaker includes a speaker 10 2-2, an electronic sound buzzer 10 2-3, and a lamp 10 2-5. Therefore, as the output modal, "speech reading", “electronic sound output”, And “light emission in multiple colors”. Since the robot vacuum cleaner includes an electronic sound buzzer 1 0 2-3 and a driving part, it includes “electronic sound output” and "operation” as output modal. In other words, the robot vacuum cleaner can output information by the movement of its own device.
  • Refrigerators and washing machines have displays 1 0 2 — 1 and electronic sound buzzer 1 0 2 —
  • microwave oven includes the display 10 2 _ 1 and the electronic sound buzzer 1 0 2-3, it includes “alphanumeric output” and “electronic sound output” as output modal.
  • the smartwatch includes a display 1 0 2 — 1, a speaker 1 0 2 — 2, an electronic sound buzzer _ 1 0 2 — 3, a vibrating element 1 0 2 — 4, and a lamp 1 0 2 — 5.
  • the output modal includes "moving image output” and “alphanumeric output”, “speech reading” and “electronic sound output”, “emission in multiple colors”, and “vibration”, respectively.
  • screen feedback may be categorized by functions such as screen size and resolution.
  • the electronic devices 10-1 to 10-6 are smart speakers, smartphones, TV sets, washing machines, refrigerators, and smart watches
  • the smart speakers 10- 1, Smartphone 10-2, TV receiver 10-3, washing machine 10-4, refrigerator 10-5, smart watch 10-6 are also described.
  • the smart speaker 10-1, the smart phone 10-2, and the television receiver 10-3 are devices capable of reading aloud information, including "voice" as an output modal.
  • the smart speaker 1081-1 operates as its own device because it includes "voice” as outgoing modal, and it is "weekly weather. It is sunny from Monday to Wednesday, Friday and Saturday. It will rain. The maximum temperature is "," text is read aloud and output from the speaker 102-2 that supports the desired output modal.
  • the device when the user's device that can read aloud corresponds to the user who wants to read aloud, the device itself outputs the information by reading aloud without performing device cooperation.
  • the smart speaker 10 81 1 reads aloud voice is illustrated.
  • the smartphone 10 2 or the television receiver 10-3 reads aloud voice according to environmental information. You can go. ⁇ 2020/175 115 19 ⁇ (:171? 2020/005026
  • the washing machine 10-4 and the refrigerator 10-5 contain “electronic sounds” as output modal, but do not contain “speech” and can read out information aloud. is not.
  • the washing machine 1084 operates as its own device, but since it does not include "voice” as an output modal, it refers to the linked device information table and outputs "voice” as an output modal.
  • the smart speaker 10 1 1 will be decided as the cooperation device including.
  • the washing machine 1084 sends an output command for outputting the end of washing to the smart speaker 1 0 1 1 1 via the home network 30.
  • the smart speaker 10 1 1 receives the output command sent from the washing machine 10 8 1 4 and reads aloud the text "Washing is completed" and makes a request. you output from the spin _ a force 1 0 2 2 corresponding to duck _ Dar out.
  • the device collaborates and requests the output from the device to the collaborative device.
  • the device outputs the information by reading aloud.
  • smartphones 10 -2, TV receivers 10 -3, and smart watches 10 -6 are devices capable of outputting information screens, including "screens" as output modal.
  • the television receiver 10813 includes the "screen" as the output modal, and thus operates as its own device and displays the information about the weekly weather as a display corresponding to the output desired modal. Output from 1 0 2 — 1.
  • the device capable of screen output corresponds to the user who desires screen output
  • the device outputs the information by screen output without performing device cooperation. ..
  • the case where the television receiver 10-3 outputs the screen is illustrated, but even if the smartphone 10_2 or the smartwatch 10_6 outputs the screen depending on the environmental information, for example. Good.
  • smart spin _ force 1 0 _ 1 include a "voice” as the duck _ Dar out, does not contain “screen”, is not a screen output that can be device information.
  • the smart speaker 1081 1 operates as its own device, but does not include the "screen” as an output modal. Therefore, referring to the linked device information table, the "screen” as an output modal is displayed. Television receivers 10 and 1 3 will be decided as the cooperation devices including this.
  • the smart speaker 10 81 1 receives an output command for outputting information about the weekly weather on the television via the home network 30. Send to.
  • the television receiver 1 0 3 receives the output command sent from the smart speaker 10 8 1 1 and displays the information about the weekly weather on the display corresponding to the desired output modal. Output from 1 0 2 — 1.
  • information can be output in an optimal output modal for each user.
  • This linked device selection process is a process corresponding to step 316 of Fig. 5, and when there are a plurality of linked devices having the output modal desired by the user, the linked devices are selected from the linked devices. This is a process of selecting a cooperation device as an output destination.
  • a linked device having an output modal desired by the user (for example, screen output or voice reading)
  • a smartphone 1 0__2 and a television receiver for example, a smartphone 1 0__2 and a television receiver
  • the television receiver 10_3 is set as the default output destination
  • the smartphone 10_12 is selected here as the output destination depending on the situation.
  • the user who receives the information is described as User8.
  • step 3 3 1 the output modal decision unit 1 2 2 determines whether the television receiver 10 1 3 and the smartphone 10 1 2 are based on the information such as the environmental information and the user. Get distance information about distance.
  • the distance information between the television receiver 10 Miichi 3 and the user 8 and the distance information between the smart phone 10 Mi_2 and the user are obtained, respectively.
  • it may be calculated by the electronic device 108 as its own device, or may be obtained from another electronic device 10.
  • step 3 32 the output modal decision unit 1 2 2 determines that the user 8 is within a predetermined range (for example, within a radius of 5) of the television receiver 10_3 based on the distance information. Determine if it exists. It should be noted that the predetermined range such as a radius of 5 or less can be appropriately set by the designer or the user.
  • step 3 32 the TV receiver If it is determined that the user 8 is within the predetermined range of, the process proceeds to step 3333.
  • step 3 3 3 the output modal decision unit 1 2 2 determines the vicinity of the TV receiver 10_3 (for example, the front position based on information such as image information and environmental information). ⁇ 2020/175 115 23 ⁇ (: 171? 2020 /005026
  • step 3333 If it is determined in the determination processing of step 3333 that there are only eight users in the vicinity, the processing proceeds to step 3334.
  • step 334 the output modal decision unit 1 2 2 selects the TV receiver 1 0 1 1 3 as the output destination cooperation device, and sends the output command via the home network 30. By doing so, detailed information is output from the TV receiver 10 1 3 (for example, screen output). Thereby, the user 8 can see the detailed information displayed on, for example, the television receiver 10_3.
  • step 3333 If it is determined in the determination processing of step 3333 that there is another person other than the user 8 in the vicinity thereof, the processing proceeds to steps 3335 and 3336.
  • the output modal decision unit 1 2 2 sends an output command to the television receiver 1 0 Mi 1 3 via the home network 30 so that the television receiver 1 0 Mi 1 3 sends the output command.
  • the outgoing modal decision unit 1 2 2 sends an output command to the smartphone 1 0 1 2 via the home network 30 so that the smartphone 10 owned by the user 8 1
  • the detailed information is output from 2 (screen output) (3 3 6).
  • step 337 the processing proceeds to step 337.
  • step 337 the outgoing modal decision unit 1 2 2 determines whether the user 8 exists within a predetermined range (for example, within a radius of 5) of the smartphone 10__2 based on the distance information.
  • a predetermined range for example, within a radius of 5
  • the predetermined range can be set appropriately by the designer or user.
  • step 3 3 7 the smartphone If it is determined that the user eight is within the predetermined range of, the process proceeds to step 336.
  • step 336 the output modal decision unit 1 2 2 sends an output command to the smartphone 1 0 1 2 via the home network 30 so that the smartphone 1 owned by the user 8 0 Detailed information is output from 2 (screen output).
  • step 337 If it is determined in the determination process of step 337 that the user 8 does not exist within the predetermined range of the smartphone 10 _ 1 12 2, the process proceeds to step 338.
  • step 338 the output modal decision unit 1 2 2 sends an output command to the television receiver 1 0 3 via the home network 30 to cause the television receiver 1 0 2.
  • Output summary information from 3 (screen output).
  • the priority order of the devices can be decided in advance by some rule.
  • the screen output and the voice reading are set as the output modal desired by the user.
  • the information will be output from the television receiver 10.
  • the output desired by the user ⁇ 2020/175 115 25 ⁇ (: 171? 2020 /005026
  • the devices can be selected in ascending order of the devices stored in the cooperating device information table (Fig. 7).
  • information on whether or not there is a device near the user when selecting a linked device for example, information such as image information and environment information (including sensing information) is used. It is sufficient to calculate the positional relationship between the user and the device by using. Further, for example, when the information of who is using the device is taken into consideration, it is possible to perform user recognition by face or voice using image information and voice information.
  • the sensing information for example, by calculating information indicating the user's face direction and line of sight, information such as whether the device is in the user's field of view or the device is focused It can be taken into consideration when selecting a device. Also, the content of the information (message) to be notified may be added. For example, if the information includes personal information, it may not be desired to be seen or heard by other users, so it is necessary to select linked devices in consideration of it.
  • the output modal desired by the user is taken into consideration, for example, if screen output is desired, it is important that the display is within the user's field of view, and information such as image information and environmental information is required. Based on, it is possible to preferentially select (the display of) the linked device in the user's field of view. Furthermore, for example, if the user wants to read aloud the voice, it is important that the voice output from the linked device (speaker) has a distance and a volume that reach the user's ear. Based on information such as image information and environment information, it is possible to preferentially select (the speaker of) the cooperating device near the user.
  • an electric home appliance (own device) is installed as a linked device capable of reading aloud in a living room, with a TV receiver 1 0__ 3 installed in the bedroom. It is assumed that the output of information can be requested to the smart speaker 10 1 that has been created. At this time, the user has set aloud reading as the desired output modal. ⁇ 2020/175 115 26 ⁇ (:171? 2020 /005026
  • the smart speaker 1081-1 as its own device selects the TV receiver 10_3 as the linked device, and outputs information from the TV receiver 10_3 (for example, Screen output), but assume that User 8 is not near the TV receiver 10_3. However, at this time, "light” (notification by light emission pattern) is set as the second candidate output modal.
  • step 3 51 the output modal decision unit 1 2 2 acquires distance information related to the distance between the television receiver 10_3 and the user based on the information such as the environmental information.
  • This distance information may be calculated by the smart speaker 108_1 as its own device, or may be obtained from another electronic device 10 such as the television receiver 10_3.
  • step 3 52 the output modal decision unit 1 2 2 determines that the user 8 is within a predetermined range (for example, within a radius of 5) of the television receiver 10_3 based on the distance information. Determine if it exists.
  • a predetermined range for example, within a radius of 5
  • step 3 52 the TV receiver If it is determined that the user eight exists within the predetermined range of, the process proceeds to step 353, and the information is output (screen output) from the television receiver 10_3. As a result, the user 8 can, for example, You can see the information displayed in 3.
  • step 3 52 determines whether the user 8 does not exist within the predetermined range of the television receiver 10_3. If it is determined in the determination processing of step 3 52 that the user 8 does not exist within the predetermined range of the television receiver 10_3, the processing proceeds to step 3 5 4 ⁇ 2020/175 115 27 ⁇ (:171? 2020 /005026
  • step 3 54 the output modal decision unit 1 2 2 sets the smart speaker 1 0 2 based on distance information obtained from information such as environmental information. It is determined whether or not the user exists within the predetermined range of 1 (for example, within a radius of 5).
  • smart speaker 1 08 1 1 and smart watch 1 0-6 are set as the devices having the second candidate output modal that is "light", but the smart speaker as its own device is set.
  • 1 0-1 8 is trying to output information (screen output) through the TV receiver 1 0__ 3 as a linked device, so the smart speaker 1 0 8 1 1 Check whether it can be notified with.
  • step 3554 If it is determined in the determination processing in step 3554 that the user 8 exists within the predetermined range of the smart speaker 1081-1, the processing proceeds to step 35.5 and step 3555. , 3 5 3 is performed.
  • the output modal decision unit 1 2 2 selects its own device as the device having the second candidate output modal, and supplies the output command to the lamps 1 0 2-5, so that the smart speaker 1 0 8 1 Turns on No. 1 and prompts user 8 to watch TV receiver No. 1 10 3 (3 5 5).
  • the outgoing modal decision unit 1 2 2 sends the output command to the home network 3
  • Information is output (screen output) from the TV receiver 10_3 by transmitting it to the TV receiver 10_3 via 0 (3 5 3). This allows user 8 to, for example, When the lighting of is confirmed, the TV receiver 10 You can see the information displayed in 3.
  • step 3554 If it is determined in step 3554 that the user 8 does not exist within the predetermined range of the smart speaker 1081-1, the process proceeds to step 3556.
  • step 3 5 6 the outgoing modal decision unit 1 2 2 determines whether the smartwatch 1 0 _ 6 is within a predetermined range (for example, within a radius of 5) based on distance information obtained from information such as environmental information. It is determined whether there is a user eight in the. ⁇ 2020/175 115 28 ⁇ (: 171? 2020 /005026
  • step 356 If it is determined in the determination processing in step 356 that the user 8 exists within the predetermined range of the smart watch 1 0-6, the processing proceeds to step 3 5 7 and step 3 5 7 , 3 5 3 is performed.
  • the output modal decision unit 1 2 2 selects the smart watch 1 0 1 6 as the output destination cooperating device having the output candidate modal 2 and selects it via the home network 30.
  • the smart watch 10 Lights up and prompts User 8 to watch TV receiver 10 Miichi 3 (3 5 7).
  • the output modal decision unit 1 2 2 outputs the output command to the home network 3
  • Information is output (screen output) from the TV receiver 10_3 by transmitting it to the TV receiver 10_3 via 0 (3 5 3). This allows user 8 to, for example, When the lighting of is confirmed, the TV receiver 10 You can see the information displayed in 3.
  • step 3556 If it is determined in step 3556 that the user 8 does not exist within the predetermined range of the smart watch 10_11_6, the process proceeds to step 353 and the TV Outputs information (screen output) from receiver 1_3. In other words, in this case, it is difficult to notify the user even if the second candidate is a modal modality, so that the TV receiver 10 Only the screen output by 3 is output.
  • step 353 When the processing of step 353 is completed, the second candidate modal selection processing is terminated.
  • Information can be output from the cooperating device that has the second candidate's output modal even if it does not exist near Z.
  • the following information can be included as the information necessary for selecting the second candidate outgoing modal.
  • This smart speaker lights up, for example, in a peculiar pattern to make the user recognize the presence of information notification and urge them to return to the living room. Thereby, the user who returns to the living room can confirm the screen output output from the smartphone or the television receiver.
  • a user in cooperation with a self-propelled device such as an animal-type or human-type household robot or a robot vacuum cleaner, a user may be placed near the device to which information is to be notified. If not, for example, a dog-shaped robot can chase the user and recognize the presence of the information notification.
  • a self-propelled device such as an animal-type or human-type household robot or a robot vacuum cleaner
  • this optimal outgoing modal selection processing is, for example, the outgoing modal determination processing of Fig. 5, and in the determination processing of step 311 it is determined that the information output destination is not a registered user. (“N0” in 3 11 of FIG. 5), or when it is determined in the determination process of step 3 12 that the desired outgoing modal is not registered (“N0” in 3 12 of 3). To be executed.
  • the optimal outgoing modal is selected by using information such as image information and environmental information.
  • the optimal outgoing modal is selected from the user and the surrounding states.
  • the flow of the optimum outgoing modal selection process to be performed will be described with reference to the flowchart of FIG.
  • step 371 the environment identification unit 1 23 acquires the sensing information of the user and its surroundings as environment information.
  • step 372 the environment identification unit 1 23 determines whether the user can see the screen based on the environment identification result.
  • step 3732 If it is determined that the user can see the screen in the determination process of step 3732, the process proceeds to step 3732.
  • step 373 the output modal decision unit 1 2 2 supplies an output command to the display 1 0 2 _ 1 and outputs the information by screen output. With this, when the user can see the screen, the information is output by the screen output.
  • the device cooperates and outputs the output command to the cooperative device via the home network 30 to output the information to the screen from the cooperative device. To do.
  • step 3732 determines whether the user cannot see the screen. If it is determined in step 3732 that the user cannot see the screen, the process proceeds to step 374. That is, for example, when the user is paying attention to the book, it is assumed that the user may not notice even if the information is displayed on the screen, so that the voice reading is selected here.
  • step 374 the environment identification unit 1 2 3 determines whether the noise level around the user is higher than a predetermined threshold value based on the environment identification result.
  • Step 37.4 If it is determined that the noise level around the user is higher than the threshold value in the determination process of Step 37.4, the process proceeds to Step 37.5.
  • step 3 7 5 the output modal decision unit 1 2 2 supplies an output command to the display 1 0 2 — 1 and the speaker 1 0 2 — 2, respectively, and the information is output as a voice reading screen output. Is output.
  • the device does not have at least one of the voice reading and screen display functions, device cooperation is performed and information is output from the device by sending an output command to the device. Reading ⁇ 2020/175 115 32 units (: 171-1? 2020 /005026
  • step 3774 If it is determined that the noise level around the user is lower than the threshold value in the determination process of step 3774, the process proceeds to step 376.
  • step 376 the output modal decision unit 1 2 2 supplies an output command to the speaker 1 0 2-2, and outputs the information by reading aloud.
  • the device if the device itself does not have the voice-to-speech function, the device collaborates and the output command is sent to the collaborative device, so that the information is output from the collaborative device as read-aloud
  • the user identification unit 1 21 estimates the attribute of the user based on the image information and the audio information.
  • the attributes of this user include, for example, information such as age and sex.
  • the outgoing modal decision unit 1 2 2 refers to the user attribute ⁇ outgoing modal correspondence table.
  • this user attribute/outgoing model correspondence table is provided by the server 40 via the Internet 50.
  • Step 393 the output modal decision unit 1 2 2 sets the user attribute ⁇ 2020/175 115 33 ⁇ (:171? 2020 /005026
  • step 393 If it is determined in the determination processing in step 393 that the change in the output model corresponding to the estimated user attribute is described, the processing is advanced to step 394.
  • step 394 the output modal decision unit 1 2 2 outputs information reflecting the changes in the output modal described in the user attribute/output modal correspondence table.
  • FIG. 17 shows an example of the user attribute/outgoing modal correspondence table.
  • This user attribute-outgoing modal correspondence table stores the outgoing modal changes for each user attribute such as age and gender.
  • step 393 if it is determined in the determination processing in step 393 that the change of the outgoing modal corresponding to the estimated user attribute is not described, the processing is performed in step 393. Go to 5.
  • step 395 the output modal decision unit 1 2 2 outputs the information in the default output modal.
  • step 394 or 395 When either of the processes of step 394 or 395 is completed, the optimum output modal selection process is completed.
  • a more optimal outgoing modal can be selected instead of the default outgoing modal for users who are not registered or have not set the desired outgoing modal.
  • the information necessary for selecting the optimal outgoing modal for example, the following information can be included. That is, information on the user's behavior history (for example, tracking of the line of sight and face, object recognition, etc.), information on the estimation result of the user's attributes such as age and gender, and recognition of the surrounding environment (for example, surrounding noise conditions). Information can be included.
  • multiple output modalities can be selected, such as a television set 10-3 installed in the living room, and when multiple people (for example, a family member) use one electronic device 10.
  • the output modal when the whole family watches TV can be selected by referring to the user information table shown in FIG. That is, in the user information table of FIG. 18, priority is added as an item for each user, and the priority is set in the order of Yuki, Hiroshi, Yuta, and Yuzo.
  • the priority of user 02 Yuki (which always wants to output the screen) is set to the highest priority, so the subtitle mode is always turned on. If there is no Yuki in the living room, the setting of Hiroshi of User 01, which has the next highest priority, will be given priority.
  • the user information is registered at the timing when the electronic device 10 is purchased or the like, but it is performed by displaying the setting screen on the electronic device 10.
  • FIG. 19 shows an example of the user information setting screen 2 10 displayed on the display 1 0 2-1 of the smartphone 1 0-2.
  • Fig. 19 in the user information setting screen 210, the items of user name, gender, age and desired output modal are displayed corresponding to the items of the user information table.
  • the user information is registered in (the user information table of) the user information storage unit 4 0 1 of the server 40 by performing an operation of inputting or selecting information according to the above.
  • Figure 20 shows an example of cooperation confirmation information when devices are linked.
  • the television receivers 10-3 output information by reading aloud in response to a request from the main device.
  • the TV receiver 10-3 displays information (for example, an ear icon) for notifying that the audio is being read out in response to a request from the main device, as the cooperation confirmation information 220.
  • information for example, an ear icon
  • FIG. 21 shows an example of another configuration of the embodiment of the system including the electronic device to which the present technology is applied.
  • Electronic devices 1 0 _ 1 are configured as devices such as information devices, but user information ⁇ 2020/175 115 36 ⁇ (:171? 2020 /005026
  • the electronic device 10-1 sends user information or linked device information via the home network 30 in response to a request from any one of the electronic devices 10-2 to 1-10-1 ⁇ 1. ..
  • the output modal decision described above is made based on the user information and the linked device information received from the electronic device 10_1 through the home network 30. Processing such as processing (Fig. 5) can be performed.
  • the electronic device 10 _ 1 reads the user information and the cooperation device information stored in the user information storage unit 401 and the cooperation device information storage unit 402, and outputs the above-mentioned output modal. Processing such as decision processing (Fig. 5) can be performed.
  • the electronic device 10-1 executes the process such as the above-mentioned output modal decision process (Fig. 5) instead of the electronic devices 10-2 to 10-, and outputs the process result to the electronic device. May be sent to devices 10-2 to 1-10!.
  • the electronic device 10_1 may be configured as a server that manages the user information storage unit 401 and the linked device information storage unit 402 as a database.
  • the predetermined electronic device 10 is used as a host, and another electronic device 10 makes an inquiry to the host, so that The information and linked device information are acquired, and linked devices are performed.
  • each of the user identification unit 1 2 1 to the environment identification unit 1 2 3 may be incorporated in either of the electronic device 108 on the oral side and the server 40 on the cloud side. ..
  • the voice 81 assistant service is a service that understands the intention of the user's utterance and provides an appropriate output according to the content.
  • a smart speaker is a speaker that has an 81 assist function that supports interactive voice operations. What is a smartwatch? ⁇ 2020/175 115 37 ⁇ (:171? 2020/005026
  • the electronic device 10 to which the present technology is applied includes the processing unit 100, the input unit 101, and the output unit 102, and these constituent elements include one or more information items. It is realized by the processing device.
  • the processing device includes the input unit 101, and the output unit 102, and these constituent elements include one or more information items. It is realized by the processing device.
  • examples of combinations of information processing devices that realize the electronic device 10 configured as a system will be described together with more specific examples.
  • FIG. 22 shows a first example of the configuration of an embodiment of a system to which the present technology is applied.
  • the system 1 includes the information processing device 10.
  • the processing section 100, the input section 101, and the output section 102 are all realized in the information processing apparatus 10.
  • the information processing device 10 can be a terminal device or a server as described below.
  • the information processing device 10 may be a stand-alone device that does not communicate with an external device via a network to realize the functions according to the embodiments of the present technology. Good. It should be noted that the information processing device 10 may communicate with an external device for other functions, and thus is not necessarily a stand-alone device.
  • the interface between the input unit 1 0 1 and the processing unit 1 0 0 15 and the interface between the processing unit 1 0 0 and the output unit 1 0 2 are both It can be an interface within the device.
  • the information processing device 10 is configured as, for example, a terminal device.
  • the input unit 101 may include an input device, a sensor, software that acquires information from an external service, and the like.
  • the software that acquires information from the external service acquires data from application software of the service executed on the terminal device, for example.
  • the processing unit 100 has a processor or a processing circuit included in the terminal device as a memory or ⁇ 2020/175 115 38 ⁇ (: 171? 2020 /005026
  • the output unit 102 may include an output device, a control device, software for providing information to external services, and the like.
  • Software that provides information to an external service can provide information to application software of the service executed on the terminal device, for example.
  • the information processing device 10 may be a server.
  • the input unit 101 may include software that acquires information from an external service.
  • the software that acquires information from the external service acquires data from, for example, the server of the external service (may be the information processing apparatus 10 itself).
  • the processing unit 100 is realized by the processor provided in the terminal device operating according to a program stored in the memory or the storage device.
  • the output unit 102 may include software that provides information to external services.
  • the software that provides information to the external service provides the information to, for example, the server of the external service (may be the information processing device 10 itself).
  • FIG. 23 shows a second example of the configuration of the embodiment of the system to which the present technology is applied.
  • the system 1 includes information processing devices 10 and 11.
  • Processing unit 10 includes information processing devices 10 and 11.
  • the input unit 10 1 and the output unit 10 2 are realized in the information processing device 11.
  • the information processing device 10 and the information processing device 11 communicate with each other via a network in order to realize the functions according to the embodiments of the present technology.
  • the interface 150 between the input unit 1 0 1 and the processing unit ⁇ 1 0 0 and the interface between the processing unit 1 0 0 and the output unit 1 0 2 are both between the devices. It can be a communication interface.
  • the information processing device 11 is configured as, for example, a terminal device.
  • the input unit 101 is the same as in the first example above, and the input device, sensor ⁇ 2020/175 115 39 (:171? 2020/005026
  • the output unit 102 may also include an output device, a control device, software for providing information to an external service, and the like, as in the first example described above.
  • the information processing device 11 may be a server for exchanging information with an external service.
  • the input unit 101 may include software that acquires information from an external service.
  • the output unit 102 may include software that provides information to an external service.
  • the information processing device 10 is configured as a server or a terminal device.
  • the processing unit 100 is realized by a processor or a processing circuit included in the information processing apparatus 10 operating according to a program stored in a memory or a storage device.
  • the information processing device 10 may be, for example, a dedicated device configured as a server. In this case, the information processing device 10 may be installed in a data center or the like, or may be installed in the home.
  • the information processing apparatus 10 can be used as a terminal device for other functions, but realizes the input unit 10 1 and the output unit 10 2 for the functions according to the embodiments of the present technology. It may be a device that does not. In the following example, the information processing device 10 may be a server or a terminal device in the above sense.
  • the information processing device 11 is a wearable device, and Consider a case where the device is a mobile device connected by (registered trademark) or the like.
  • the wearable device receives an operation input by the user (input unit 101), the mobile device executes a process based on the request transmitted based on the operation input (processing unit 100), and the process is performed.
  • the wearable device functions as the information processing device 11 in the second example and the mobile device functions as the information processing device 10 respectively.
  • FIG. 24 shows a third example of the configuration of the embodiment of the system to which the present technology is applied.
  • the system 1 includes information processing devices 10 1, 1 1, 8 and 1 1.
  • the processing unit 100 is implemented in the information processing device 10. Further, the input unit 101 is realized in the information processing device 11.
  • the output unit 10 2 is realized in the information processing device 11 1.
  • the information processing device 10 and the information processing devices 11 and 11 1 communicate with each other via a network in order to realize the functions according to the embodiments of the present technology.
  • the interface 150 between the input section 1 0 1 and the processing section 1 0 0, and the interface between the processing section ⁇ 1 0 0 and the output section 1 0 2 are both between the devices. Communication interface.
  • the interfaces 150 5 and 1600 are different types. It may include an interface.
  • the information processing devices 11 and 11 are configured as, for example, terminal devices.
  • the input unit 101 may include an input device, a sensor, software that acquires information from an external service, and the like, as in the first example above.
  • the output unit 102 may also include an output device, a control device, software for providing information to an external service, and the like, as in the first example.
  • one or both of the information processing devices 11 and 11 may be a server for acquiring information from an external service and providing information to an external service.
  • the input unit 101 may include software that acquires information from an external service.
  • the output unit 102 may include software that provides information to an external service.
  • the information processing apparatus 10 is configured as a server or a terminal device, as in the second example.
  • the processing unit 100 is configured such that the processor or processing circuit included in the information processing device 10 is stored in a memory or a storage device. ⁇ 2020/175 115 41 ⁇ (:171? 2020 /005026
  • the information processing device 11 that realizes the input unit 10 1 and the information processing device 11 that realizes the output unit 10 2 are separate devices. Therefore, for example, the result of the processing based on the input obtained by the information processing apparatus 1 18 which is a terminal device possessed or used by the first user, is obtained or used by a second user different from the first user. It is possible to realize a function such as outputting from the information processing device 11 1 which is a terminal device that operates.
  • the result of the processing based on the input acquired by the information processing apparatus 1 18 which is the terminal apparatus possessed or used by the first user does not have the result of the processing based on the input at that time (for example, It is also possible to realize a function such as outputting from the information processing device 11 1 which is a terminal device (installed in the home where the user is away).
  • the information processing device 11 and the information processing device 11 1 may both be terminal devices possessed or used by the same user.
  • the information processing devices 11 1 and 11 1 are wearable devices that are worn on different parts of the user, or if they are a combination of wearable devices and mobile devices, these devices can be used.
  • the linked function can be provided to the user.
  • FIG. 25 shows a fourth example of the configuration of the embodiment of the system to which the present technology is applied.
  • the system 1 includes information processing devices 10 and 11.
  • the processing unit 100 is realized by being distributed to the information processing device 10 and the information processing device 11.
  • the input unit 101 and the output unit 102 are realized in the information processing device 11.
  • the information processing device 10 and the information processing device 11 communicate with each other via a network in order to realize the functions according to the embodiments of the present technology.
  • the processing units 100 are realized in a distributed manner between the information processing devices 10 and 11. More specifically, the processing unit 1 ⁇ 2020/175 115 42 (:171? 2020 /005026
  • Reference numeral 0 0 includes a processing unit 100 0 realized by the information processing apparatus 10 and processing units 1 800, 1 0 0 ( 3) realized by the information processing apparatus 11.
  • the processing unit 1008 executes processing based on the information provided from the input unit 1 01 via the interface 1508, and provides the processing result to the processing unit 10000. .. In this sense, it can be said that the processing unit 100 executes preprocessing.
  • the processing unit 100 ( 3 executes processing based on the information provided by the processing unit 100 and outputs the result of the processing to the output unit 1 0 2 via the interface 1600. In this sense, the processing unit 100 ( 3 can also be said to execute post-processing.
  • both the processing unit 100 that executes pre-processing and the processing unit 100 ⁇ 3 that executes post-processing are shown. Only one of them may be present.
  • the information processing device 11 realizes the processing unit 10000 that executes preprocessing, but does not realize the processing unit 10000 ⁇ 3 that executes postprocessing, and the processing unit 100
  • the information provided by Tomomi may be provided to the output unit 102 as it is.
  • the information processing apparatus 11 realizes the processing unit 100 ⁇ 3 that executes post-processing, but does not need to realize the processing unit 100 that executes pre-processing.
  • the interface 150 is an interface in the device.
  • the interface 1608 is an interface in the device.
  • one or both of the processing unit 108 and the processing unit 100,000 is realized by the processor or the processing circuit included in the information processing apparatus 11. It is similar to the second example above, except that In other words, information processing ⁇ 2020/175 115 43 ⁇ (: 171? 2020 /005026
  • the processing device 11 is configured as a server for exchanging information with a terminal device or an external service.
  • the information processing device 10 is configured as a server or a terminal device.
  • FIG. 26 shows a distributed system as another specific example of the configuration of the embodiment of the system to which the present technology is applied.
  • the information processing device 10 (or the information processing devices 11 1 and 11 1) is a node, and these information processing devices 10 are connected to each other via a network. ing.
  • the distributed system shown in Fig. 26 does not require a server in a centralized system, and it is possible to mutually monitor data to ensure its authenticity.
  • transaction information can be shared by all participants (each information processing device 10) to strictly maintain the legitimacy (so-called block chain).
  • FIG. 27 is a block diagram showing a configuration example of hardware of a computer that executes the series of processes described above by a program.
  • a CPU Central Processing Unit
  • R0M Read Only Memory
  • RAM Random Access Memory
  • the bus 1004 is further connected with an entrance/exit interface 1005.
  • the input/output interface 1005 is connected to an input unit 1006, an output unit 1007, a recording unit 1008, a communication unit 1009, and a drive 1100.
  • the input unit 1006 includes a microphone, a keyboard, a mouse, and the like.
  • the output unit 1007 is composed of a speaker, a display, and the like.
  • the recording unit 1008 is composed of a hard disk or a non-volatile memory.
  • the communication unit 1009 includes a network interface and the like.
  • the drive 1101 drives a removable recording medium 1101, such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 1001 loads the program recorded in the ROM 1002 or the recording unit 1008 into the RAM1003 via the input/output interface 1005 and the bus 1004.
  • the above-described series of processing is performed by executing the operation in a silent manner.
  • the program executed by the computer can be provided by being recorded on, for example, a removable recording medium 1 011 as a package medium.
  • the program includes oral-area network and internet ⁇ 2020/175 115 45 ⁇ (: 171-1? 2020 /005026
  • It can be provided via a wired or wireless transmission medium such as a network or digital satellite broadcasting.
  • the program is installed in the recording unit 1 0 0 8 via the input/output interface 1 0 0 5 by mounting the removable recording medium 1 0 1 1 in the drive 1 0 1 0. be able to. Also, the program can be received by the communication unit 109 through a wired or wireless transmission medium and installed in the recording unit 108. In addition, the program can be pre-installed in 11/112 or the recording section 108.
  • the processing performed by the computer according to the program does not necessarily have to be performed in time series in the order described as the flow chart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor) or may be processed in a distributed manner by a plurality of computers.
  • each step of the processing shown in the above-mentioned flow chart can be executed by one device or shared by a plurality of devices. Further, when one step includes multiple processes, the multiple processes included in the one step can be executed by one device or shared among multiple devices. ..
  • the present technology may have the following configurations.
  • the processing unit is
  • an electronic device having an outgoing modal corresponding to the user information is selected from the plurality of electronic devices.
  • the information processing device according to (1).
  • the user information includes a desired modal of the user
  • the processing unit selects an electronic device having an output modal corresponding to the desired output modal.
  • the plurality of electronic devices include a self-device that is a main body of operation and a cooperative device that operates in cooperation with the self-device.
  • the processing unit selects a cooperation device having an outgoing camodal corresponding to the desired outgoing camodal.
  • the information processing device according to (4).
  • the processing unit transmits an output command for outputting the information from an output modal corresponding to the desired output modal to the selected cooperation device via a network.
  • the processing unit is
  • the own device has an outgoing modal corresponding to the desired outgoing modal, select the own device,
  • the processing unit when a plurality of linked devices having an output modal corresponding to the desired output modal is selected, based on sensing information obtained by sensing the surroundings of the user, the processing unit selects a plurality of linked devices. Select the best compatible device from
  • the information processing apparatus according to any one of (4) to (7) above.
  • the user information further includes a desired candidate modal of the second candidate of the user,
  • the processing unit selects the electronic device having the output modal corresponding to the second candidate desired output modal.
  • the user information includes a priority for each user
  • the processing unit selects an electronic device having an output modal corresponding to a desired output modal according to the priority.
  • the information processing apparatus according to any one of (3) to (9) above.
  • the processing unit is
  • the information processing apparatus according to any one of (1) to (10) above.
  • the output modal includes at least one of a screen feedback, a sound feedback, an optical feedback, a vibration, and a motion.
  • the information processing apparatus according to any one of (1) to (11) above.
  • the processing unit is
  • the information processing apparatus according to any one of (3) to (10) above.
  • the information processing apparatus according to any one of (4) to (10) above.
  • At least one of the device information and the user information is acquired from the server via the Internet.
  • the information processing apparatus according to any one of (2) to (10) above.
  • the information processing device includes
  • the electronic device having the output modal corresponding to the desired output modal is selected from the plurality of electronic devices.
  • An output command for outputting information from an output camodal corresponding to the desired output camodal is selected, the output command transmitted from another information processing device to be transmitted to the electronic device is received via a network,
  • the information is output from the output modal corresponding to the desired output modal.
  • the output command is transmitted from the own device.
  • the information processing device includes
  • the electronic device having the output modal corresponding to the desired output modal is selected from the plurality of electronic devices.
  • An output command for outputting information from an output camodal corresponding to the desired output camodal is selected, the output command transmitted from another information processing device to be transmitted to the electronic device is received via a network,

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本技術は、より最適な出力モーダルで情報を出力することができるようにする情報処理装置、及び情報処理方法に関する。 電子機器ごとの出力モーダルに関する機器情報を取得し、取得した機器情報に基づいて、複数の電子機器の中から、情報を出力する出力モーダルを有する電子機器を選択し、選択した電子機器が有する出力モーダルから情報を出力する処理を行う処理部を備える情報処理装置が提供される。本技術は、例えば、情報機器、映像機器、音響機器、又は家電機器などの電子機器に適用することができる。

Description

\¥02020/175115 1 卩（：17 2020/005026
明 細 書
発明の名称 ： 情報処理装置、 及び情報処理方法
技術分野
[0001 ] 本技術は、 情報処理装置、 及び情報処理方法に関し、 特に、 より最適な出 カモーダルで情報を出力することができるようにした情報処理装置、 及び情 報処理方法に関する。
背景技術
[0002] ユーザが電子機器を使用する際に、 電子機器の出カモーダルを指定したい 場合がある。
[0003] また、 音声や画像から得られたユーザ情報とシステム状態に応じて、 情報 提供レベルと出力態様を切り替える技術が開示されている （例えば、 特許文 献 1参照） 。
先行技術文献
特許文献
[0004] 特許文献 1 :特開 201 1 -253375号公報
発明の概要
発明が解決しようとする課題
[0005] ところで、 電子機器の出カモーダルを指定したい場合に、 出カモーダルが 限られている電子機器も存在し、 より最適な出カモーダルで情報を出力する ための技術が求められている。
[0006] 本技術はこのような状況に鑑みてなされたものであり、 より最適な出カモ —ダルで情報を出力することができるようにするものである。
課題を解決するための手段
[0007] 本技術の一側面の情報処理装置は、 電子機器ごとの出カモーダルに関する 機器情報を取得し、 取得した前記機器情報に基づいて、 複数の電子機器の中 から、 情報を出力する出カモーダルを有する電子機器を選択し、 選択した前 記電子機器が有する出カモーダルから前記情報を出力する処理を行う処理部 〇 2020/175115 2 卩（：171? 2020 /005026
を備える情報処理装置である。
[0008] 本技術の一側面の情報処理方法は、 情報処理装置が、 電子機器ごとの出力 モーダルに関する機器情報を取得し、 取得した前記機器情報に基づいて、 複 数の電子機器の中から、 情報を出力する出カモーダルを有する電子機器を選 択し、 選択した前記電子機器が有する出カモーダルから前記情報を出力する 情報処理方法である。
[0009] 本技術の一側面の情報処理装置、 及び情報処理方法においては、 電子機器 ごとの出カモーダルに関する機器情報が取得され、 取得された前記機器情報 に基づいて、 複数の電子機器の中から、 情報を出力する出カモーダルを有す る電子機器が選択され、 選択された前記電子機器が有する出カモーダルから 前記情報が出力される。
[0010] 本技術の一側面の情報処理装置は、 ユーザの希望出カモーダルを含むユー ザ情報、 及び電子機器ごとの出カモーダルに関する機器情報に基づいて、 複 数の電子機器の中から、 前記希望出カモーダルに対応した出カモーダルを有 する電子機器を選択し、 前記希望出カモーダルに対応した出カモーダルから 情報を出力する出力命令を選択した前記電子機器に送信する他の情報処理装 置から送信された前記出力命令を、 ネッ トワークを介して受信し、 受信した 前記出力命令に基づいて、 前記希望出カモーダルに対応した出カモーダルか ら前記情報を出力する処理を行う処理部を備える情報処理装置である。
[001 1 ] 本技術の一側面の情報処理方法は、 情報処理装置が、 ユーザの希望出カモ —ダルを含むユーザ情報、 及び電子機器ごとの出カモーダルに関する機器情 報に基づいて、 複数の電子機器の中から、 前記希望出カモーダルに対応した 出カモーダルを有する電子機器を選択し、 前記希望出カモーダルに対応した 出カモーダルから情報を出力する出力命令を選択した前記電子機器に送信す る他の情報処理装置から送信された前記出力命令を、 ネッ トワークを介して 受信し、 受信した前記出力命令に基づいて、 前記希望出カモーダルに対応し た出カモーダルから前記情報を出力する情報処理方法。
[0012] 本技術の一側面の情報処理装置、 及び情報処理方法においては、 ユーザの 〇 2020/175115 3 卩（：171? 2020 /005026
希望出カモーダルを含むユーザ情報、 及び電子機器ごとの出カモーダルに関 する機器情報に基づいて、 複数の電子機器の中から、 前記希望出カモーダル に対応した出カモーダルを有する電子機器を選択し、 前記希望出カモーダル に対応した出カモーダルから情報を出力する出力命令を選択した前記電子機 器に送信する他の情報処理装置から送信された前記出力命令が、 ネッ トワー クを介して受信され、 受信された前記出力命令に基づいて、 前記希望出カモ —ダルに対応した出カモーダルから前記情報が出力される。
［0013］ なお、 本技術の一側面の情報処理装置は、 独立した装置であってもよいし 、 1つの装置を構成している内部ブロックであってもよい。
図面の簡単な説明
［0014］ ［図 1］本技術を適用した電子機器を含むシステムの一実施の形態の構成の例を 示すブロック図である。
［図 2］本技術を適用した電子機器の構成の例を示すブロック図である。
［図 3］自機器として動作する電子機器の機能的構成の例を示すブロック図であ る。
［図 4］連携機器として動作する電子機器の機能的構成の例を示すブロック図で ある。
［図 5］出カモーダル決定処理の流れを説明するフローチヤートである。
［図 6］ユーザ情報テーブルの例を示す図である。
［図 7］連携機器情報テーブルの第 1の例を示す図である。
［図 8］連携機器情報テーブルの第 2の例を示す図である。
［図 9］音声読み上げ可能な自機器が出力するケースの例を示す図である。
［図 10］音声読み上げ可能な連携機器に出力を依頼するケースの例を示す図で ある。
［図 1 1］画面出力可能な自機器が出力するケースの例を示す図である。
［図 12］画面出力可能な連携機器に出力を依頼するケースの例を示す図である
［図 13］連携機器選択処理の流れを説明するフローチヤートである。 〇 2020/175115 4 卩（：171? 2020 /005026
［図 14］第 2候補モーダル選択処理の流れを説明するフローチヤートである。 ［図 15］最適出カモーダル選択処理の流れを説明するフローチヤートである。 ［図 16］最適出カモーダル選択処理の流れを説明するフローチヤートである。 ［図 17］ユーザ属性 ·出カモータル対応テーブルの例を示す図である。
［図 18］ユーザ情報テーブルの他の例を示す図である。
［図 19］ユーザ情報設定画面の例を示す図である。
［図 20］機器連携時における連携確認情報の例を示す図である。
［図 21］本技術を適用した電子機器を含むシステムの一実施の形態の他の構成 の例を示すブロック図である。
［図 22］本技術を適用したシステムの一実施の形態の構成の第 1の例を示すブ ロック図である。
［図 23］本技術を適用したシステムの一実施の形態の構成の第 2の例を示すブ ロック図である。
［図 24］本技術を適用したシステムの一実施の形態の構成の第 3の例を示すブ ロック図である。
［図 25］本技術を適用したシステムの一実施の形態の構成の第 4の例を示すブ ロック図である。
［図 26］本技術を適用したシステムの一実施の形態の構成の他の具体的な例の —つとして、 分散型システムを示す図である。
［図 27］コンビュータの構成例を示す図である。
発明を実施するための形態
［0015］ 以下、 図面を参照しながら本技術の実施の形態について説明する。 なお、 説明は以下の順序で行うものとする。
［0016］ 1 . 本技術の実施の形態
2 . システムの構成
3 . コンビユータの構成
［0017］ < 1 . 本技術の実施の形態 >
［0018］ （システムの構成） 〇 2020/175115 5 卩（：171? 2020 /005026
図 1は、 本技術を適用した電子機器を含むシステムの一実施の形態の構成 の例を示している。
[0019] 図 1 において、 電子機器 1 0— 1乃至 1 0— （1\! : 2以上の整数） とル —夕 2 0は、 ホームネッ トワーク 3 0を介して相互に接続されている。 この ホームネッ トワーク 3 0は、 例えば、 無線 1_八 1_003 [ 八「63 士 〇 ）等のネッ トワークから構成される。
[0020] 電子機器 1 0 _ 1は、 例えば、 情報機器、 映像機器、 音響機器、 又は家電 機器などの機器として構成される。
[0021 ] なお、 情報機器としては、 例えば、 スマートフォンや携帯電話機、 スマー トウォッチ、 タブレッ ト型端末、 ゲーム機、 パーソナルコンビュータ等を含 む。 また、 映像機器としては、 例えば、 テレビ受像機、 プロジェクタ、 ディ スプレイ装置等を含む。
[0022] さらに、 音響機器としては、 例えば、 スマートスピーカ、 スピーカ、 へッ ドフォン等を含む。 また、 家電機器としては、 例えば、 洗濯機や冷蔵庫、 電 子レンジ等の白物家電を含む。 なお、 ここに列挙した機器は一例であって、 例えば、 動物型や人型の家庭用ロボッ トや、 ロボッ ト掃除機等のロボッ トな どを含めてもよい。
[0023] 電子機器 1 0 _ 1は、 最適な出カモーダルで情報を出力することができる 。 ここで、 出カモーダルとは、 電子機器 1 0— 1乃至 1 0— 1\1のそれぞれが 有する （情報の） 表現手段である。 また、 電子機器 1 〇_ 1は、 ホームネッ トワーク 3 0を介して、 電子機器 1 0 _ 2乃至1 0 _ 1\!等の他の電子機器 1 0との間で情報をやりとりすることができる。
[0024] 電子機器 1 0 _ 2乃至 1 0 _ !\1は、 電子機器 1 0 _ 1 と同様に、 情報機器 等の機器としてそれぞれ構成される。 電子機器 1 0 _ 2乃至1 0 _ 1\1のそれ それは、 最適な出カモーダルで情報を出力することができる。 また、 電子機 器 1 0— 2乃至 1 0— 1\1のそれぞれは、 他の電子機器 1 0との間で情報をや りとりすることができる。
[0025] また、 図 1 において、 ルータ 2 0は、 インターネッ ト 5 0に接続可能であ り、 電子機器 1 0— 1乃至 1 0— Nのそれぞれは、 インターネッ ト 5 0を介 してサーバ 4 0と各種の情報をやりとりすることができる。
[0026] サーバ 4 0は、 例えば 1又は複数のサーバから構成され、 データセンタ等 に設置される。 サーバ 4 0は、 ユーザや機器に関する情報等をデータべース により管理しており、 電子機器 1 0— 1乃至 1 0— Nのいずれからの要求に 応じて、 インターネッ ト 5 0を介して各種の情報を提供することができる。
[0027] なお、 以下の説明では、 電子機器 1 0— 1乃至 1 0— Nを、 特に区別する 必要がない場合には、 単に電子機器 1 0と記載する。
[0028] また、 詳細は後述するが、 電子機器 1 0には、 その動作内容に応じて、 動 作の主体となる自機器と、 自機器と連携して動作する連携機器の 2種類が存 在するため、 以下の説明では、 自機器として動作する電子機器 1 0を、 電子 機器 1 0 Aとも記載する一方で、 連携機器として動作する電子機器 1 0を、 電子機器 1 〇 Bとも記載して区別する。
[0029] (電子機器の構成)
図 2は、 図 1の電子機器 1 0の構成の例を示している。
[0030] 図 2において、 電子機器 1 0は、 処理部 1 0 0、 入力部 1 0 1、 出力部 1
0 2、 センサ部 1 0 3、 通信部 1 0 4、 及び記憶部 1 0 5を含んで構成され る。
[0031 ] 処理部 1 0 0は、 例えば、 CPU (Cent ra l Process i ng Un i t)やマイクロコン トローラ等のプロセッサ、 FPGA(F i e Id Prog rammab le Gate Ar ray)などから構 成される。 処理部 1 0 0は、 各部の動作の制御や各種の演算処理を行う中心 的な処理装置である。
[0032] 入力部 1 0 1は、 ユーザとの間の入カインターフェースとして、 例えば、 マイクロフォン 1 0 1 — 1や、 ボタン 1 0 1 — 2などを含む。
[0033] マイクロフォン 1 0 1 _ 1は、 ユーザの音声や周囲の音を含む外部からの 音を電気信号に変換し、 その結果得られる音声情報を、 処理部 1 〇〇に供給 する。 また、 ボタン 1 0 1 _ 2は、 物理的なボタンであり、 ユーザの操作に 応じた操作情報を、 処理部 1 0 0に供給する。 [0034] なお、 ここでは、 入力部 1 01 として、 マイクロフオン 1 01 — 1 とボタ ン 1 01 _ 2を含む場合を例示したが、 例えば、 後述のディスプレイ 1 02 _ 1 と組み合わせたタッチパネルや、 キーボード、 マウス等の他の入力手段 を含めてもよい。
[0035] 出力部 1 02は、 ユーザとの間の出カインターフエースとして、 例えば、 ディスプレイ 1 02— 1、 スピーカ 1 02— 2、 電子音ブザー 1 02— 3、 振動素子 1 02— 4、 ランプ 1 02— 5を含む。
[0036] ディスプレイ 1 02_ 1は、 例えば液晶ディスプレイ (LCD : liquid cryst a I display)や OLED(Organic Light Emitting Diode)ディスプレイ等の表示装 置である。 ディスプレイ 1 02- 1は、 処理部 1 00から供給される出力命 令に応じた情報を表示する。
[0037] スピーカ 1 02_2は、 例えば音声や音楽等の音を再生する音声出力装置 である。 スピーカ 1 02-2は、 処理部 1 00から供給される出力命令に応 じた音を出力する。 電子音ブザー 1 02— 3は、 例えば 「ピー」 等の電子音 を出力可能な発音装置である。 電子音ブザー 1 02— 3は、 処理部 1 00か ら供給される出力命令に応じた電子音を出力する。
[0038] 振動素子 1 02_4は、 処理部 1 00から供給される出力命令に応じて振 動することで、 ユーザに対して振動刺激を与える。 ランプ 1 02— 5は、 例 えば LED(Light Emitting Diode)等の光源を含む発光装置である。 ランプ 1 0 2— 5は、 処理部 1 00から供給される出力命令に応じて点灯する。
[0039] なお、 ここでは、 出力部 1 02として、 ディスプレイ 1 02— 1やスピー 力 1 02— 2等を含む場合を例示したが、 例えば、 ロボッ トの駆動部位 (例 えば頭部や手等) などの他の出力手段を含めてもよい。
[0040] センサ部 1 03は、 例えば、 各種のセンサデバイス等から構成される。 こ のセンサデバイスとしては、 例えば、 測定センサ 1 03— 1や、 画像センサ 1 03— 2などを含む。
[0041] 測定センサ 1 03- 1は、 例えば、 磁場 (磁界) の大きさや方向を検出す る磁気センサ、 加速度を検出する加速度センサ、 角度 (姿勢) や角速度、 角 〇 2020/175115 8 卩（：171? 2020 /005026
加速度を検出するジャイロセンサ、 近接するものを検出する近接センサなど を含めることができる。 測定センサ 1 0 3— 1 は、 ユーザやその周辺などの センシングを行い、 その結果得られる環境情報 （センシング情報を含む） を 、 処理部 1 0 0に供給する。
[0042] 画像センサ 1 0 3— 2は、 例えばイメージセンサと信号処理部を含んで構 成される。 画像センサ 1 0 3— 2は、 イメージセンサにより被写体を撮像し て得られる撮像信号に対して、 信号処理部により各種の信号処理を行うこと で画像情報を生成し、 処理部 1 0 0に供給する。
[0043] なお、 ここでは、 センサ部 1 0 3として、 測定センサ 1 0 3— 1 や画像セ ンサ 1 0 3— 2等を含む場合を説明したが、 例えば、 温度を検出する温度セ ンサや、 湿度を検出する湿度センサ、 周囲の明るさを検出する環境光センサ などの周囲の環境を測定するためのセンサや、 呼吸や脈拍、 指紋、 虹彩など の生体情報を検出する生体センサ等の他のセンサデバイスを含めてもよい。
[0044] 通信部 1 0 4は、 所定の規格に準拠した無線通信又は有線通信に対応した 通信モジュールなどから構成される。 この通信モジュールとしては、 例えば 無線 !_八1\1や、 セルラ方式の通信 （例えば
Figure imgf000010_0001
や 5〇 等の通信方式に対 応したものとされる。 通信部 1 0 4は、 処理部 1 0 0からの制御に従い、 各 種の情報を、 他の電子機器 1 0又はサーバ 4 0との間でやりとりする。
[0045] 記憶部 1 0 5は、 例えば半導体メモリや
Figure imgf000010_0002
装置から構成される。 記憶部 1 0 5は、 処理部 1 0 0からの制御に従い、 各 種の情報を記憶する。
[0046] なお、 図 2に示した電子機器 1 0の構成は一例であって、 すべての構成要 素を備える必要はなく、 例えば、 入力部 1 0 1 やセンサ部 1 0 3などの一部 の構成要素を除いた構成としてもよい。 あるいは、 図 2に示した電子機器 1 〇の構成に対して、 他の構成要素を加えてもよい。
[0047] （自機器の機能的構成）
図 3は、 自機器として動作する電子機器 1 0 の機能的構成の例を示して いる。 〇 2020/175115 9 卩（：171? 2020 /005026
[0048] 電子機器 1 0八において、 処理部 1 0 0は、 ユーザ識別部 1 2 1、 出カモ —ダル決定部 1 2 2、 及び環境識別部 1 2 3を含む。
[0049] ユーザ識別部 1 2 1は、 情報の出力先となるユーザを識別する機能を有す る。 ユーザ識別部 1 2 1は、 話者識別部 1 3 1、 顔識別部 1 3 2、 及び識別 結果統合部 1 3 3を含む。
[0050] 話者識別部 1 3 1は、 マイクロフォン 1 0 1 _ 1から供給される音声情報 を用いた話者認識処理を行い、 その識別結果を、 識別結果統合部 1 3 3に供 給する。 この話者認識処理では、 例えば、 音声情報から特徴量を抽出してモ デル化し、 それを使って個人の声の認識を行う話者認識アルゴリズムなど、 公知の技術を用いることができる。
[0051 ] 顔識別部 1 3 2は、 画像センサ 1 0 3— 2から供給される画像情報を用い た顔認識処理を行い、 その識別結果を、 識別結果統合部 1 3 3に供給する。 この顔認識処理では、 例えば、 画像情報から目立つ特徴を抽出して一致する 特徴のある画像を検索して個人の顔の認識を行う顔認識アルゴリズムなど、 公知の技術を用いることができる。
[0052] 識別結果統合部 1 3 3は、 話者識別部 1 3 1から供給される話者の識別結 果と、 顔識別部 1 3 2から供給される顔の識別結果を統合して、 情報の出力 先となるユーザ （その場にいるユーザ） を識別し、 そのユーザ識別結果を、 出カモーダル決定部 1 2 2に供給する。 このユーザ識別結果としては、 例え ば、 識別したユーザに割り当てられたユーザ を用いることができる。
[0053] 出カモーダル決定部 1 2 2は、 あらかじめ登録されているユーザ情報を参 照して、 識別結果統合部 1 3 3から供給されるユーザ識別結果 （ユーザ ） に応じた希望出カモーダルを取得する。
[0054] また、 出カモーダル決定部 1 2 2は、 自機器の出カモーダルとして、 識別 したユーザの希望出カモーダルを有している場合、 情報の出力命令を、 希望 出カモーダルに対応した自機器の出力部 1 0 2に供給する。 これにより、 自 機器として動作する電子機器 1 0八において、 希望出カモーダルに対応した 出力部 1 0 2は、 出カモーダル決定部 1 2 2からの出力命令に応じた情報を 〇 2020/175115 10 卩（：171? 2020 /005026
出力する。
[0055] 一方、 出カモーダル決定部 1 2 2は、 自機器の出カモーダルとして、 識別 したユーザの希望出カモーダルを有していない場合、 あらかじめ登録されて いる連携機器情報を参照 （取得） して、 識別したユーザの希望出カモーダル を有する連携機器を選択する。
[0056] そして、 出カモーダル決定部 1 2 2は、 通信部 1 0 4を制御して、 情報の 出力命令を、 ホームネッ トワーク 3 0を介して、 希望出カモーダルに対応し た出力部 1 〇 2を有する連携機器に送信する。 これにより、 連携機器として 動作する電子機器 1 0巳において、 希望出カモーダルに対応した出力部 1 0 2は、 自機器として動作する電子機器 1 0八から送信されてくる出力命令に 応じた情報を出力する。
[0057] ここで、 識別したユーザが希望出カモーダルを設定していない場合には、 出カモーダル決定部 1 2 2からの出力命令に応じた情報を、 自機器の出カモ —ダル （出力部 1 0 2） から出力すればよい。
[0058] また、 出カモーダル決定部 1 2 2は、 通信部 1 0 4を制御して、 ユーザ情 報と連携機器情報を、 インターネッ ト 5 0を介してサーバ 4 0から取得する ことができる。
[0059] すなわち、 サーバ 4 0は、 ユーザ情報テーブルを記憶したユーザ情報記憶 部 4 0 1 と、 連携機器情報テーブルを記憶した連携機器情報記憶部 4 0 2を 有しており、 電子機器 1 〇八からの要求に応じて、 ユーザ情報テーブルに格 納されたユーザ情報、 又は連携機器情報テーブルに格納された連携機器情報 を提供することができる。 換言すれば、 ユーザ情報テーブルと連携機器情報 テーブルは、 ホームネッ トワーク 3 0に接続された複数の電子機器 1 0の間 で共有されている情報であると言える。
[0060] なお、 ユーザ識別部 1 2 1では、 話者識別及び顔識別のうち、 少なくとも _方の識別が行われればよく、 _方の識別のみが行われる場合には、 識別結 果統合部 1 3 3による識別結果の統合を行う必要がなく、 _方の識別結果に 応じたユーザ識別結果 （ユーザ ） が出カモーダル決定部 1 2 2に供給され \¥02020/175115 11 卩（：17 2020/005026
る。
[0061 ] また、 電子機器 1 0八がユーザの識別を行うタイミングは、 例えば、 次の
2パターンが想定される。 第 1 に、 電子機器 1 〇八がユーザに情報を通知し たいときである。 このケースとしては、 例えば、 電話やメールの着信通知、 アラームやリマインダ、 エラー通知などが含まれる。
[0062] 第 2に、 ユーザが電子機器 1 〇八に情報を求めたときである。 ここでは、 例えば、 ユーザによるリモートコントローラの操作や、 マイクロフォンによ る音声入力が行われた場合が含まれる。 具体的には、 例えば、 ユーザが、 音 声八1アシスタントサービスを利用する場合における、 「明日の天気を教えて ほしい」 、 「予定を登録したい」 、 「情報を検索したい」 などの音声発話が 含まれる。
[0063] また、 自機器として動作する電子機器 1 0八において、 ユーザ識別部 1 2
1 によるユーザの識別が困難である場合には、 ホームネッ トヮーク 3 0を介 して、 連携機器として動作する電子機器 1 〇巳と連携して、 電子機器 1 〇巳 からユーザ識別情報を取得し、 このユーザ識別情報を用いたユーザの識別が 行われるようにしてもよい。
[0064] 環境識別部 1 2 3は、 センサ部 1 0 3 （例えば測定センサ 1 0 3 _ 1等） 又は通信部 1 0 4等から供給される環境情報 （センシング情報を含む） を用 いた環境識別処理を行い、 その識別結果を、 出カモーダル決定部 1 2 2に供 給する。
[0065] この環境情報としては、 例えば、 ユーザに関する情報 （例えば、 ユーザの 位置を示す情報） や、 他の機器に関する情報 （例えば、 スマートウォッチの 活動情報など他の機器の情報や、 他の機器の使用状況を示す情報） 、 その周 辺に関する情報など、 様々な情報を含めることができる。 また、 この環境識 別処理では、 環境情報を用いた環境識別アルゴリズムが実行されることで、 例えば、 現在ユーザがどの部屋にいるか、 ユーザの近くにある機器は何かな どの識別結果を得ることができる。
[0066] すなわち、 自機器として動作する電子機器 1 0八に、 ユーザ識別のための デバイス （カメラやマイクロフォン） が備わっていない場合には、 機器連携 している他の電子機器 1 0からの情報を用いてユーザ識別などの処理を行っ てもよい。
[0067] 具体的には、 スマートスピーカが情報を出力するのに、 同じ部屋にあるテ レビ受像機に内蔵されたカメラの画像情報を使ってユーザ識別を行うケース がある。 また、 テレビ受像機が情報を出力するのに、 ユーザが在室している かどうかを、 スマートフォンの GPS（G loba l Pos i t i on i ng System）情報を使っ て判断するといったケースもある。
[0068] 出カモーダル決定部 1 2 2は、 識別したユーザの希望出カモーダルに応じ た出カモーダルの決定を行うに際し、 環境識別部 1 2 3から供給される環境 の識別結果を加味して出カモーダルを決定し、 自機器の出力部 1 0 2、 又は 連携機器に対して出力命令を通知することができる。
[0069] （連携機器の機能的構成）
図 4は、 連携機器として動作する電子機器 1 0 Bの機能的構成の例を示し ている。
[0070] 電子機器 1 0 Bにおいて、 処理部 1 0 0は、 出力命令解析部 1 4 1及び出 力制御部 1 4 2を含む。 また、 電子機器 1 0 Bにおいて、 通信部 1 0 4は、 自機器として動作する電子機器 1 0 Aから、 ホームネッ トワーク 3 0を介し て出力命令を受信した場合、 出力命令を、 出力命令解析部 1 4 1 に供給する
[0071 ] 出力命令解析部 1 4 1は、 通信部 1 0 4から供給される出力命令を解析し 、 その解析結果を、 出力制御部 1 4 2に供給する。
[0072] 出力制御部 1 4 2は、 出力命令解析部 1 4 1からの出力命令の解析結果に 基づいて、 希望出カモーダルに対応した出力部 1 0 2に対し、 制御信号を供 給する。 これにより、 連携機器として動作する電子機器 1 0 Bにおいて、 希 望出カモーダルに対応した出力部 1 0 2は、 自機器として動作する電子機器 1 0 Aから送信されてくる出力命令に応じた情報を出力することになる。
[0073] 電子機器 1 0は、 以上のように構成される。 〇 2020/175115 13 卩（：171? 2020 /005026
[0074] （出カモーダル決定処理の流れ）
次に、 図 5のフローチャートを参照して、 電子機器 1 〇八 （の処理部 1 0 0） により実行される出カモーダル決定処理の流れを説明する。
[0075] ステップ 3 1 1 において、 出カモーダル決定部 1 2 2は、 ユーザ情報テー ブルを参照して、 情報の出力先は登録済みのユーザであるかどうかを判定す る。
[0076] ここで、 図 6は、 ユーザ情報テーブルの例を示している。 このユーザ情報 テーブルでは、 ユーザ ごとに、 ユーザ名、 性別、 年齢、 及び希望出カモー ダルが格納されている。
[0077] 具体的には、 ” 01”乃至” 04”のユーザ として、 ”ヒロシ”、 ”ユキ”、 ”ユウタ ”、 ”ユウゾウ”の 4人のユーザが登録済みである。
[0078] ヒロシは、 性別が男性で、 年齢が 38歳であることは登録済みであるが、 希 望出カモーダルは未登録である。 ユキは、 38歳の女性で、 希望出カモーダル として、 ”常に画面出力を希望”することが登録されている。
[0079] また、 ユウタは、 10歳の男性であることは登録済みであるが、 希望出カモ —ダルは未登録である。 ユウゾウは、 75歳の男性で、 希望出カモーダルとし て、 ”音声読み上げは話速を遅く”することが登録されている。
[0080] なお、 このユーザ情報の登録は、 例えば電子機器 1 0の購入時などのタイ ミングで行われる。 例えば、 スマートフォンやテレビ受像機等の電子機器 1 0に、 設定画面を表示して、 ユーザが設定画面の項目に情報を入力又は選択 する操作などを行うことで、 ユーザ情報が、 サーバ 4 0のユーザ情報記憶部 4 0 1 （のユーザ情報テーブル） に登録される。
[0081 ] また、 このユーザ情報の登録時には、 ユーザごとに、 希望出カモーダルを 設定することができる。 この設定は、 ユーザのアカウントに紐付いて、 すべ ての電子機器 1 〇により共有される。 希望出カモーダルのバリエーションと しては、 例えば、 次の （3） 乃至 ） に示すものを例示することができる
[0082] （a） すべての通知で音声読み上げ （電子音の翻訳を含む） を設定 ( b ) すべての通知で画面や光での出力を設定
( c ) 音声読み上げする際の音量や話速の設定
( d ) 画面出力する際の文字の色や大きさの設定
( e ) 振動 (バイブレーション) で通知する際の振幅や振動パターンの設定 ( f ) 光で通知する際の色や点灯パターンの設定
[0083] 図 5の説明に戻り、 ステップ S 1 1の判定処理で、 情報の出力先は登録済 みのユーザであると判定された場合、 処理は、 ステップ S 1 2に進められる
[0084] ステップ S 1 2において、 出カモーダル決定部 1 2 2は、 連携機器情報テ -ブルを参照して、 希望の出カモーダルが登録されているかどうかを判定す る。
[0085] ここで、 図 7は、 連携機器情報テーブルの例を示している。 この連携機器 情報テーブルでは、 電子機器 1 0に割り当てられる機器 IDごとに、 機器名、 及び出カモーダルの項目が設けられ、 各項目に応じた情報が格納されている
[0086] 具体的には、 ” 00”乃至” 06”の機器 IDとして、 テレビ受像機、 スマートフォ ン A、 スマートフォン B、 スマートスピーカ、 ロボッ ト掃除機、 冷蔵庫、 洗 濯機が登録されている。 なお、 ここでは、 出カモーダルとして、 ”画面”は画 面出力、 ”音声”は音声読み上げ (例えば TTS (Text To Speech) ) 、 ”電子音”は 電子音出力をそれぞれ意味している。
[0087] テレビ受像機、 スマートフォン A、 及びスマートフォン巳は、 デイスプレ イ 1 0 2— 1及びスピーカ 1 0 2— 2を出力部 1 0 2に含むため、 出カモー ダルとして、 ”画面”及び”音声”を含む。 スマートスピーカ、 及びロボッ ト掃 除機は、 スピーカ 1 0 2 - 2を出力部 1 0 2に含むため、 出カモーダルとし て、 ”音声”を含む。 冷蔵庫及び洗濯機は、 電子音ブザー 1 〇 2 _ 3を出力部 1 0 2に含むため、 出カモーダルとして、 ”電子音”を含む。
[0088] なお、 この連携機器情報の登録は、 例えば、 電子機器 1 0の購入時などの タイミングで手動又は自動で行われる。 〇 2020/175115 15 卩（：171? 2020 /005026
[0089] 手動で登録する場合には、 例えば、 スマートフォン等の電子機器 1 〇に設 定画面を表示してユーザにより設定の操作が行われる。 また、 自動で登録す る場合には、 例えば、 新たな電子機器 1 0がホームネッ トワーク 3 0に接続 したとき、 機器 、 機器名、 出カモーダルなどの情報を含む設定情報が、 イ ンターネッ ト 5 0を介してサーバ 4 0に送信され、 連携機器情報テーブルに 格納される。
[0090] 図 5の説明に戻り、 ステップ 3 1 2の判定処理で、 希望の出カモーダルが 登録されていると判定された場合、 処理は、 ステップ 3 1 3に進められる。
[0091 ] ステップ 3 1 3において、 出カモーダル決定部 1 2 2は、 連携機器情報テ -ブルを参照して、 希望の出カモーダルが自機器に存在しないかどうかを判 定する。
[0092] ステップ 3 1 3の判定処理で、 希望の出カモーダルが自機器に存在すると 判定された場合、 処理は、 ステップ 3 1 4に進められる。
[0093] ステップ 3 1 4において、 出カモーダル決定部 1 2 2は、 ユーザが希望す る出カモーダルで自機器から情報を出力する。 この場合、 自機器として動作 する電子機器 1 〇八では、 希望出カモーダルに対応した出力部 1 0 2が、 出 カモーダル決定部 1 2 2からの出力命令に応じた情報を出力する。
[0094] また、 ステップ 3 1 3の判定処理で、 希望の出カモーダルが自機器に存在 しないと判定された場合、 処理は、 ステップ 3 1 5に進められる。
[0095] ステップ 3 1 5において、 出カモーダル決定部 1 2 2は、 連携機器情報テ -ブルを参照して、 希望の出カモーダルを有する連携機器が存在するかどう かを判定する。
[0096] ステップ 3 1 5の判定処理で、 希望の出カモーダルを有する連携機器が存 在すると判定された場合、 処理は、 ステップ 3 1 6に進められる。
[0097] ステップ 3 1 6において、 出カモーダル決定部 1 2 2は、 ユーザが希望す る出カモーダルで連携機器から情報を出力する。 この場合、 連携機器として 動作する電子機器 1 〇巳では、 希望出カモーダルに対応した出力部 1 0 2が 、 自機器として動作する電子機器 1 0八から送信されてくる出力命令に応じ 〇 2020/175115 16 卩（：171? 2020 /005026
た情報を出力する。
[0098] また、 ステップ 3 1 1の判定処理で、 情報の出力先は登録済みのユーザで はないと判定された場合、 ステップ 3 1 2の判定処理で、 希望の出カモーダ ルが登録されていないと判定された場合、 又はステップ 3 1 5の判定処理で 、 希望の出カモーダルを有する連携機器が存在しないと判定された場合、 処 理は、 ステップ 3 1 7に進められる。
[0099] ステップ 3 1 7において、 出カモーダル決定部 1 2 2は、 デフォルトの出 カモーダルで自機器から情報を出力する。 この場合、 自機器として動作する 電子機器 1 〇八では、 あらかじめ設定されたデフォルトの出カモーダルに対 応した出力部 1 0 2が、 出カモーダル決定部 1 2 2からの出力命令に応じた 情報を出力する。
[0100] ステップ 3 1 4 , 3 1 6 , 又は 3 1 7の処理のいずれかが終了すると、 出 カモーダル決定処理は終了される。
[0101 ] 以上、 出カモーダル決定処理の流れを説明した。 この出カモーダル決定処 理では、 ユーザ情報と連携機器情報が取得され、 取得されたユーザ情報と連 携機器情報に基づいて、 複数の電子機器 1 〇の中から、 情報を出力する出力 モーダルを有する電子機器 1 〇が選択され、 選択された電子機器が有する出 カモーダルから情報が出力される。
[0102] （連携機器情報テーブルの他の例）
図 8は、 図 5のステップ 3 1 2 , 3 1 3 , 3 1 5の処理で参照される連携 機器情報テーブルの他の例を示している。
[0103] 図 8において、 連携機器情報テーブルは、 機器 ごとに、 機器名、 画面フ イードバック、 音フイードバック、 光フイードバック、 振動、 及び動作の項 目が設けられ、 各項目に応じた情報が格納されている。
[0104] また、 画面フイードバックの項目は、 動画像出力と英数字出力 （例えばデ ジタル英数字のみ出力可能等） の項目を含み、 音フイードバックの項目は、 音声読み上げと電子音出力の項目を含み、 光フイードバックの項目は、 複数 色で発光と単色で発光の項目を含んでいる。 〇 2020/175115 17 卩（：171? 2020 /005026
[0105] また、 図 8では、 図中の白丸 （〇） が、 各項目で表された出カモーダルに 対応可能であることを示している。 すなわち、 図 8の連携機器情報テーブル は、 上述した図 7の連携機器情報テーブルと比べて、 出カモーダルを細分化 して表している。
[0106] テレビ受像機は、 ディスプレイ 1 0 2— 1及びスピーカ 1 0 2— 2を含む ため、 出カモーダルとして、 ”動画像出力”及び”英数字出力”、 並びに”音声読 み上げ”及び”電子音出力”を含む。
[0107] スマートフォン八， 巳は、 ディスプレイ 1 0 2 _ 1、 スピーカ 1 0 2— 2 、 電子音ブザー 1 0 2— 3、 振動素子 1 0 2— 4、 及びランプ 1 0 2— 5を 含むため、 出カモーダルとして、 ”動画像出力”及び”英数字出力”、 ”音声読み 上げ”及び”電子音出力”、 ”単色で発光”、 並びに”振動”をそれぞれ含む。
[0108] スマートスピーカは、 スピーカ 1 0 2— 2、 電子音ブザー 1 0 2— 3、 及 びランプ 1 0 2— 5を含むため、 出カモーダルとして、 ”音声読み上げ”、 ”電 子音出力”、 及び”複数色で発光”を含む。 ロボッ ト掃除機は、 電子音ブザー 1 0 2— 3及び駆動部位を含むため、 出カモーダルとして、 ”電子音出力”及び” 動作”を含む。 つまり、 ロボッ ト掃除機は、 自機器の動きで情報の出力が可能 とされる。
[0109] 冷蔵庫は及び洗濯機は、 ディスプレイ 1 0 2— 1、 電子音ブザー 1 0 2—
3、 及びランプ 1 0 2— 5を含むため、 出カモーダルとして、 ”英数字出力”
、 ”電子音出力”、 及び”単色で発光”をそれぞれ含む。 電子レンジは、 ディス プレイ 1 0 2 _ 1及び電子音ブザー 1 0 2— 3を含むため、 出カモーダルと して、 ”英数字出力”及び”電子音出力”を含む。
[01 10] スマートウォッチは、 ディスプレイ 1 0 2— 1、 スピーカ 1 0 2— 2、 電 子音ブザ _ 1 0 2— 3、 振動素子 1 0 2— 4、 及びランプ 1 0 2— 5を含む ため、 出カモーダルとして、 ”動画像出力”及び”英数字出力”、 ”音声読み上げ ”及び”電子音出力”、 ”複数色で発光”、 並びに”振動”をそれぞれ含む。
[01 1 1 ] なお、 図 8の連携機器情報テーブルは一例であって、 他の出カモーダルを 追加したり、 あるいは削除したりしてもよい。 さらに、 出カモーダルを細分 〇 2020/175115 18 卩（：171? 2020 /005026
化したものとしては、 他の情報を含めてもよい。 例えば、 画面フィードバッ クを、 画面サイズや解像度などの機能ごとに分類してもよい。
[0112] (出カモーダル決定の具体例)
次に、 図 9乃至図 1 2を参照して、 出カモーダルの選択と出力機器の決定 の例を説明する。
[0113] 以下の説明では、 電子機器 1 0— 1 乃至 1 0— 6が、 スマートスピーカ、 スマートフォン、 テレビ受像機、 洗濯機、 冷蔵庫、 スマートウォッチである 場合を例示するため、 スマートスピーカ 1 0- 1、 スマートフォン 1 0- 2 、 テレビ受像機 1 0— 3、 洗濯機 1 0— 4、 冷蔵庫 1 0— 5、 スマートウォ ッチ 1 0- 6とも記載する。
[0114] (a)音声読み上げ可能な自機器が出力するケース
図 9において、 スマートスピーカ 1 0— 1 と、 スマートフオン 1 0— 2と 、 テレビ受像機 1 0— 3は、 出カモーダルとして”音声”を含み、 情報の音声 読み上げが可能な機器である。
[0115] 例えば、 ユーザが 「今週の天気教えて」 である発話を行った場合に、 当該 ユーザが希望出カモーダルとして、 ”常に音声読み上げを希望”を登録してい た場合を想定する。
[0116] このとき、 例えば、 スマートスピーカ 1 0八一 1 は、 出カモーダルとして” 音声”を含んでいるため、 自機器として動作し、 「週間天気です。 月曜から水 曜は晴れ、 金曜と土曜は雨が降るでしょう 最高気温は、 」 であるテキ ストを音声読み上げし、 希望出カモーダルに対応したスピーカ 1 02— 2か ら出力する。
[0117] このように、 音声読み上げを希望するユーザに対し、 音声読み上げ可能な 自機器が対応する場合には、 機器連携を行わずに、 自機器が音声読み上げで 情報を出力することになる。 なお、 この例では、 スマートスピーカ 1 0八一 1 が音声読み上げを行う場合を例示したが、 例えば環境情報等に応じてスマ —トフォン 1 0— 2又はテレビ受像機 1 0— 3が音声読み上げを行ってもよ い。 〇 2020/175115 19 卩（：171? 2020 /005026
[01 18] ( 13 ) 音声読み上げ可能な連携機器に出力を依頼するケース
図 1 0において、 洗濯機 1 0— 4と、 冷蔵庫 1 0— 5は、 出カモーダルと して”電子音”を含むが、 ”音声”を含んでおらず、 情報の音声読み上げが可能 な機器ではない。
[01 19] 例えば、 洗濯機 1 0— 4で洗濯が終了した場合、 この洗濯を行っているユ —ザが、 希望出カモーダルとして、 ”常に音声読み上げを希望”を登録してい た場合を想定する。
[0120] このとき、 洗濯機 1 0八一4は、 自機器として動作するが、 出カモーダル として”音声”を含んでいないため、 連携機器情報テーブルを参照して、 出力 モーダルとして”音声”を含む連携機器として、 スマートスピーカ 1 〇巳一 1 を決定する。 洗濯機 1 0八一4は、 洗濯が終了した旨を出力するための出力 命令を、 ホームネッ トワーク 3 0を介してスマートスピーカ 1 0巳一 1 に送 信する。
[0121 ] これにより、 スマートスピーカ 1 0巳一 1は、 洗濯機 1 0八一4から送信 されてくる出力命令を受信し、 「洗濯が終了しました」 であるテキストを音 声読み上げし、 希望出カモ_ダルに対応したスピ _力 1 0 2— 2から出力す る。
[0122] このように、 音声読み上げを希望するユーザに対し、 音声読み上げができ ない自機器が対応する場合には、 機器連携を行って、 自機器から連携機器に 出力を依頼することで、 連携機器が音声読み上げで情報を出力することにな る。
[0123] (〇) 画面出力可能な自機器が出力するケース
図 1 1 において、 スマートフォン 1 0 - 2と、 テレビ受像機 1 0 - 3と、 スマートウォッチ 1 0— 6は、 出カモーダルとして”画面”を含み、 情報の画 面出力が可能な機器である。
[0124] 例えば、 ユーザが 「今週の天気教えて」 である発話を行った場合に、 当該 ユーザが希望出カモーダルとして、 ”常に画面出力を希望”を登録していた場 合を想定する。 〇 2020/175115 20 卩（：171? 2020 /005026
[0125] このとき、 例えば、 テレビ受像機 1 0八一3は、 出カモーダルとして”画面 ”を含んでいるため、 自機器として動作し、 週間天気に関する情報を、 出力希 望モーダルに対応したディスプレイ 1 0 2— 1から出力する。
[0126] このように、 画面出力を希望するユーザに対し、 画面出力可能な自機器が 対応する場合には、 機器連携を行わずに、 自機器が画面出力で情報を出力す ることになる。 なお、 この例では、 テレビ受像機 1 0 - 3が画面出力を行う 場合を例示したが、 例えば環境情報等に応じてスマートフォン 1 0 _ 2又は スマートウォッチ 1 0 _ 6が画面出力を行ってもよい。
[0127] （¢0 画面出力可能な連携機器に出力を依頼するケース
図 1 2において、 スマートスピ _力 1 0 _ 1は、 出カモ _ダルとして”音声 ”を含むが、 ”画面”を含んでおらず、 情報の画面出力が可能な機器ではない。
[0128] 例えば、 ユーザが 「今週の天気教えて」 である発話を行った場合に、 当該 ユーザが希望出カモーダルとして、 ”常に画面出力を希望”を登録していた場 合を想定する。
[0129] このとき、 スマートスピーカ 1 0八一 1は、 自機器として動作するが、 出 カモーダルとして”画面”を含んでいないため、 連携機器情報テーブルを参照 して、 出カモーダルとして”画面”を含む連携機器として、 テレビ受像機 1 0 巳一 3を決定する。 スマートスピーカ 1 0八一 1は、 週間天気に関する情幸艮 を出力するための出力命令を、 ホームネッ トワーク 3 0を介してテレビ受像
Figure imgf000022_0001
に送信する。
[0130] これにより、 テレビ受像機 1 0巳一 3は、 スマートスピーカ 1 0八一 1か ら送信されてくる出力命令を受信し、 週間天気に関する情報を、 出力希望モ —ダルに対応したディスプレイ 1 0 2— 1から出力する。
[0131 ] このように、 画面出力を希望するユーザに対し、 画面出力をできない自機 器が対応する場合には、 機器連携を行って、 自機器から連携機器に出力を依 頼することで、 連携機器が画面出力で情報を出力することになる。
[0132] 以上のように、 本技術では、 ある機器 （自機器） が、 他の機器 （連携機器 ） の出カモーダルを借りることで、 出カモーダルが限られた機器であっても 〇 2020/175115 21 卩（：171? 2020 /005026
、 機器連携によって、 ユーザごとに最適な出カモーダルで情報を出力するこ とができる。
[0133] すなわち、 アクセシビリティを考慮したり、 最適な出カモーダルを選択し たりすることは、 一般的に行われているが、 その機器自体に画面出力や音声 読み上げなどの出カモーダルが備わっていることが前提であったため、 特に 家電機器などでは、 出カモーダルが限られていることもあり、 その場合にア クセシビリティの設定が困難であった。
[0134] 特に、 電子機器 1 0を使用するユーザの中には、 視覚や聴覚など身体に障 がいがある人や、 子供やお年寄りなど、 アクセシビリティへの配慮が必要な ユーザが存在する。 これらのユーザにとっては、 電子機器 1 0の出カモーダ ルが限られていると、 機器からのフィードバックを適切に受け取れない可能 性がある。
[0135] 例えば、 視覚に障がいを持つユーザが、 出カモーダルとして”画面”のみを 有する機器に対し、 週間天気を問い合わせた場合に、 週間天気に関する情報 が画面出力のみで出力されると、 当該ユーザは、 画面に表示された情報を確 認することができない。 それに対し、 本技術では、 出カモーダルとして”画面 ”のみを有する機器 （自機器） であっても、 他の機器 （連携機器） の出カモー ダルを借りて、 週間天気を音声で出力できるため、 アクセシビリティへの十 分な配慮が可能となる。
[0136] また、 例えば、 聴覚に障がいを持つユーザに対し、 出カモーダルとして”音 声”のみを有する機器からメッセージが音声読み上げされた場合、 当該ユーザ は、 読み上げられた音声を確認することができない。 それに対し、 本技術で は、 出カモーダルとして”音声”のみを有する機器 （自機器） であっても、 他 の機器 （連携機器） の出カモーダルを借りて、 週間天気に関する情報を画面 出力できる。
[0137] 次に、 本技術を適用した電子機器を用いた様々なユースケースの例を説明 する。
[0138] （連携機器選択処理の流れ） 〇 2020/175115 22 卩（：171? 2020 /005026
まず、 図 1 3のフローチヤートを参照して、 電子機器 1 〇八 （の処理部 1 〇〇） により実行される連携機器選択処理の流れを説明する。
[0139] この連携機器選択処理は、 図 5のステップ 3 1 6に対応する処理であって 、 ユーザが希望する出カモーダルを有する連携機器が複数存在する場合に、 それらの連携機器の中から、 出力先の連携機器を選択する処理である。
[0140] ここでは、 ユーザが希望する出カモーダル （例えば画面出力や音声読み上 げ等） を有する連携機器として、 スマートフォン 1 〇巳_ 2とテレビ受像機
Figure imgf000024_0001
[0141 ] ただし、 デフォルトの出力先としてテレビ受像機 1 0巳_ 3が設定されて いるため、 ここでは、 状況に応じてスマートフォン 1 0巳一 2が出力先とし て選択されることになる。 さらに、 情報を受け取るユーザを、 ユーザ八と記 載している。
[0142] ステップ 3 3 1 において、 出カモーダル決定部 1 2 2は、 環境情報等の情 報に基づいて、 テレビ受像機 1 0巳一 3とスマートフォン 1 0巳一 2のそれ それで、 ユーザ との距離に関する距離情報を取得する。
[0143] ここでは、 テレビ受像機 1 0巳一 3とユーザ八との距離情報、 及びスマー トフォン 1 0巳_ 2とユ_ザ との距離情報がそれぞれ取得されるが、 この 距離情報は、 例えば、 自機器としての電子機器 1 0八が算出してもよいし、 あるいは他の電子機器 1 0から取得してもよい。
[0144] ステップ 3 3 2において、 出カモーダル決定部 1 2 2は、 距離情報に基づ いて、 テレビ受像機 1 0巳_ 3の所定の範囲内 （例えば半径 5 以内） にユ _ザ八が存在するかどうかを判定する。 なお、 半径 5 以内等の所定の範囲 は、 設計者やユーザにより適宜設定可能である。
[0145] ステップ 3 3 2の判定処理で、 テレビ受像機
Figure imgf000024_0002
の所定の範囲内に ユーザ八が存在すると判定された場合、 処理は、 ステップ 3 3 3に進められ る。
[0146] ステップ 3 3 3において、 出カモーダル決定部 1 2 2は、 画像情報や環境 情報等の情報に基づいて、 テレビ受像機 1 0巳_ 3の周辺 （例えば前方の位 〇 2020/175115 23 卩（：171? 2020 /005026
置） にはユーザ八しかいないかどうかを判定する。
[0147] ステップ 3 3 3の判定処理で、 その周辺にはユーザ八しかいないと判定さ れた場合、 処理は、 ステップ 3 3 4に進められる。
[0148] ステップ 3 3 4において、 出カモーダル決定部 1 2 2は、 出力先の連携機 器として、 テレビ受像機 1 〇巳一 3を選択し、 ホームネッ トワーク 3 0を介 して出力命令を送信することで、 テレビ受像機 1 0巳一 3から詳細情報を出 力 （例えば画面出力） する。 これにより、 ユーザ八は、 例えばテレビ受像機 1 0巳 _ 3に表示された詳細情報を見ることができる。
[0149] また、 ステップ 3 3 3の判定処理で、 その周辺にユーザ八以外の他の人が いると判定された場合、 処理は、 ステップ 3 3 5 , 3 3 6に進められる。
[0150] すなわち、 出カモーダル決定部 1 2 2は、 出力命令を、 ホームネッ トワー ク 3 0を介してテレビ受像機 1 0巳一 3に送信することで、 テレビ受像機 1 0巳一 3からユーザ八に対し、 スマートフォン 1 〇巳一 2を見るように促す （3 3 5） 。 また、 出カモーダル決定部 1 2 2は、 出力命令を、 ホームネッ トワーク 3 0を介してスマートフォン 1 0巳一2に送信することで、 ユーザ 八の所持するスマートフォン 1 0
Figure imgf000025_0001
2から詳細情報を出力 （画面出力） す る （3 3 6） 。
[0151 ] このように、 他の人がいる前で、 ユーザ八の情報を出力 （画面出力） する のを避けるために、 テレビ受像機 1 0巳一 3の出力は簡単な通知にとどめて 、 情報の詳細は、 ユーザ八の所持するスマートフォン 1 0巳_ 2から出力 （ 画面出力） されるようにしている。
[0152] —方で、 ステップ 3 3 2の判定処理で、 テレビ受像機 1 0巳_ 3の所定の 範囲内にユーザ八が存在しないと判定された場合、 処理は、 ステップ 3 3 7 に進められる。
[0153] ステップ 3 3 7において、 出カモーダル決定部 1 2 2は、 距離情報に基づ いて、 スマートフォン 1 0巳_ 2の所定の範囲内 （例えば半径 5 以内） に ユーザ八が存在するかどうかを判定する。 なお、 半径 5 以内等の所定の範 囲は、 設計者やユーザにより適宜設定可能である。 〇 2020/175115 24 卩（：171? 2020 /005026
[0154] ステップ 3 3 7の判定処理で、 スマートフォン
Figure imgf000026_0001
の所定の範囲内 にユーザ八が存在すると判定された場合、 処理は、 ステップ 3 3 6に進めら れる。
[0155] ステップ 3 3 6において、 出カモーダル決定部 1 2 2は、 出力命令を、 ホ —ムネッ トワーク 3 0を介してスマートフォン 1 0巳一 2に送信することで 、 ユーザ八の所持するスマートフォン 1 0
Figure imgf000026_0002
2から詳細情報を出力 （画面 出力） する。
[0156] また、 ステップ 3 3 7の判定処理で、 スマートフォン 1 0巳一 2の所定の 範囲内にユーザ八が存在しないと判定された場合、 処理は、 ステップ 3 3 8 に進められる。
[0157] ステップ 3 3 8において、 出カモーダル決定部 1 2 2は、 出力命令を、 ホ —ムネッ トワーク 3 0を介してテレビ受像機 1 0巳一 3に送信することで、 テレビ受像機 1 〇
Figure imgf000026_0003
3から概要情報を出力 （画面出力） する。
[0158] すなわち、 この場合には、 テレビ受像機 1 0巳_ 3とスマートフォン 1 0 巳一 2のどちらの機器も、 ユーザ八から遠い位置にあるため、 デフォルトの 出力先として設定されているテレビ受像機 1 0巳_ 3から、 情報の概要のみ が出力されるようにしている。
[0159] ステップ 3 3 4 , 3 3 5 , 3 3 6 , 又は 3 3 8の処理が終了すると、 連携 機器選択処理は終了される。
[0160] 以上、 連携機器選択処理の流れを説明した。 この連携機器選択処理では、 同 _の出カモーダルを有する連携機器が複数存在する場合には、 ユーザの周 辺の環境をセンシングして最適な連携機器を選択することができる。
[0161 ] ここで、 複数の連携機器の中から最適な連携機器を選択するに際しては、 あらかじめ何らかのルールで機器の優先順位を決めておくことができる。
[0162] 例えば、 上述したように、 デフォルトの出力先としてテレビ受像機 1 0巳 _ 3を設定しておくことで、 ユーザが希望する出カモーダルとして、 画面出 力や音声読み上げが設定されている場合には、 まず、 テレビ受像機 1 0巳一 3から情報を出力することになる。 あるいは、 例えば、 ユーザが希望する出 〇 2020/175115 25 卩（：171? 2020 /005026
カモーダルを有する連携機器が複数存在する場合には、 連携機器情報テーブ ル （図 7） に格納された機器 の若い順に機器を選択することができる。
[0163] また、 複数の連携機器の中から最適な連携機器を選択するに際しては、 音 声情報、 画像情報、 環境情報等の各種の情報を用いることができる。
[0164] 例えば、 ユーザの近くに機器が存在するかどうかの情報を、 連携機器の選 択の際に加味する場合には、 例えば、 画像情報や環境情報 （センシング情報 を含む） などの情報を用い、 ユーザと機器との位置関係を算出すればよい。 また、 例えば、 機器を使用しているのが誰かの情報を加味する場合、 画像情 報や音声情報を用い、 顔や声によるユーザ認識を行うことができる。
[0165] さらに、 センシング情報に基づき、 例えばユーザの顔向きや視線を示す情 報を算出することで、 ユーザの視界に機器が入っているか、 又は機器を注目 しているかなどの情報を、 連携機器の選択の際に加味することができる。 ま た、 通知する情報 （メッセージ） の内容を加味してもよい。 例えば、 個人情 報を含む情報であれば、 他のユーザに見られたくない又は聞かれたくない可 能性があるため、 それを考慮して連携機器を選択する必要がある。
[0166] また、 ユーザの希望する出カモーダルを加味する場合、 例えば、 画面出力 を希望していれば、 ユーザの視界にディスプレイが入っていることが重要で あり、 画像情報や環境情報等の情報に基づき、 ユーザの視界にある連携機器 （のディスプレイ） を優先的に選択することができる。 さらに、 例えば、 ユ —ザが音声読み上げを希望していれば、 連携機器 （のスピーカ） から出力さ れる音声が、 ユーザの耳に届く距離、 音量であることが重要であり、 音声情 報や画像情報、 環境情報等の情報に基づき、 ユーザの近くにある連携機器 （ のスピーカ） を優先的に選択することができる。
[0167] 具体的には、 ユーザの自宅において、 ある家電機器 （自機器） が、 音声読 み上げ可能な連携機器として、 リビングに設置されたテレビ受像機 1 〇巳_ 3と、 寝室に設置されたスマートスピーカ 1 0巳一 1 に対し、 情報の出力を 依頼できる場合を想定する。 このとき、 ユーザは、 希望出カモーダルとして 音声読み上げを設定している。 〇 2020/175115 26 卩（：171? 2020 /005026
[0168] この場合において、 ユーザがリビングにいるときには、 テレビ受像機 1 0 巳一 3に内蔵された画像センサ 1 0 3 - 2によって、 その様子が撮影され、 テレビ受像機 1 〇
Figure imgf000028_0001
3が連携機器として選択される。 これにより、 リピン グ内で、 ユーザは、 テレビ受像機 1 0
Figure imgf000028_0002
3により読み上げられた音声の内 容 （情報） を確認することができる。
[0169] （第 2候補モーダル選択処理の流れ）
次に、 図 1 4のフローチヤートを参照して、 電子機器 1 〇八 （の処理部 1 〇〇） により実行される第 2候補モーダル選択処理の流れを説明する。
[0170] ここでは、 自機器としてのスマートスピーカ 1 0八一 1が、 連携機器とし てテレビ受像機 1 0巳 _ 3を選択し、 テレビ受像機 1 0巳 _ 3から情報を出 力 （例えば画面出力） したいが、 ユーザ八がテレビ受像機 1 0巳_ 3の近く にいない場面を想定する。 ただし、 このとき、 第 2候補の出カモーダルとし て”光” （発光パターンで通知） が設定されている。
[0171 ] ステップ 3 5 1 において、 出カモーダル決定部 1 2 2は、 環境情報等の情 報に基づいて、 テレビ受像機 1 0巳_ 3とユーザ との距離に関する距離情 報を取得する。 この距離情報は、 自機器としてのスマートスピーカ 1 0八_ 1が算出してもよいし、 あるいはテレビ受像機 1 0巳_ 3等の他の電子機器 1 0から取得してもよい。
[0172] ステップ 3 5 2において、 出カモーダル決定部 1 2 2は、 距離情報に基づ いて、 テレビ受像機 1 0巳_ 3の所定の範囲内 （例えば半径 5 以内） にユ _ザ八が存在するかどうかを判定する。
[0173] ステップ 3 5 2の判定処理で、 テレビ受像機
Figure imgf000028_0003
の所定の範囲内に ユーザ八が存在すると判定された場合、 処理は、 ステップ 3 5 3に進められ 、 テレビ受像機 1 〇巳_ 3から情報を出力 （画面出力） する。 これにより、 ユーザ八は、 例えばテレビ受像機 1 0
Figure imgf000028_0004
3に表示された情報を見ることが できる。
[0174] —方で、 ステップ 3 5 2の判定処理で、 テレビ受像機 1 0巳_ 3の所定の 範囲内にユーザ八が存在しないと判定された場合、 処理は、 ステップ 3 5 4 〇 2020/175115 27 卩（：171? 2020 /005026
に進められる。
[0175] ステップ 3 5 4において、 出カモーダル決定部 1 2 2は、 環境情報等の情 報から得られる距離情報に基づいて、 スマートスピーカ 1 0
Figure imgf000029_0001
1の所定の 範囲内 （例えば半径 5 以内） にユーザ が存在するかどうかを判定する。
[0176] ここでは、 ”光”である第 2候補の出カモーダルを有する機器として、 スマ —トスピーカ 1 〇八一 1 とスマートウォッチ 1 0— 6が設定されているが、 自機器としてのスマートスピーカ 1 0 - 1 八が、 連携機器としてのテレビ受 像機 1 〇巳_ 3を通じて情報を出力 （画面出力） しようとしているため、 先 にスマートスピーカ 1 0八一 1の
Figure imgf000029_0002
で通知可能かがチェックされる。
[0177] ステップ 3 5 4の判定処理で、 スマートスピーカ 1 0八一 1の所定の範囲 内にユーザ八が存在すると判定された場合、 処理は、 ステップ 3 5 5に進め られ、 ステップ 3 5 5 , 3 5 3の処理が行われる。
[0178] すなわち、 出カモーダル決定部 1 2 2は、 第 2候補の出カモーダルを有す る機器として自機器を選択し、 出力命令をランプ 1 0 2— 5に供給すること で、 スマートスピーカ 1 0八一 1のし巳 を点灯して、 ユーザ八に対し、 テレビ 受像機 1 〇巳一 3を見るように促す （3 5 5） 。
[0179] また、 出カモーダル決定部 1 2 2は、 出力命令を、 ホームネッ トワーク 3
0を介してテレビ受像機 1 0巳一 3に送信することで、 テレビ受像機 1 0巳 _ 3から情報を出力 （画面出力） する （3 5 3） 。 これにより、 ユーザ八は 、 例えば、 スマートスピーカ 1 0八一 1の
Figure imgf000029_0003
の点灯を確認したとき、 その点 灯に反応して、 テレビ受像機 1 0
Figure imgf000029_0004
3に表示された情報を見ることができ る。
[0180] また、 ステップ 3 5 4の判定処理で、 スマートスピーカ 1 0八一 1の所定 の範囲内にユーザ八が存在しないと判定された場合、 処理は、 ステップ 3 5 6に進められる。
[0181 ] ステップ 3 5 6において、 出カモーダル決定部 1 2 2は、 環境情報等の情 報から得られる距離情報に基づいて、 スマートウォッチ 1 0 _ 6の所定の範 囲内 （例えば半径 5 以内） にユーザ八が存在するかどうかを判定する。 〇 2020/175115 28 卩（：171? 2020 /005026
[0182] ここでは、 ”光”である第 2候補の出カモーダルを有する機器として、 先に チェックされたスマートスピーカ 1 0八_ 1では
Figure imgf000030_0001
での通知ができないため 、 続いて、 スマートウォッチ 1 0— 6の
Figure imgf000030_0002
で通知可能かがチェックされる。
[0183] ステップ 3 5 6の判定処理で、 スマートウォッチ 1 0— 6の所定の範囲内 にユーザ八が存在すると判定された場合、 処理は、 ステップ 3 5 7に進めら れ、 ステップ 3 5 7 , 3 5 3の処理が行われる。
[0184] すなわち、 出カモーダル決定部 1 2 2は、 第 2候補の出カモーダルを有す る出力先の連携機器として、 スマートウォッチ 1 0巳一 6を選択し、 ホーム ネッ トワーク 3 0を介して出力命令を送信することで、 スマートウォッチ 1 0巳一 6の
Figure imgf000030_0003
を点灯して、 ユーザ八に対し、 テレビ受像機 1 0巳一 3を見る ように促す （3 5 7） 。
[0185] また、 出カモーダル決定部 1 2 2は、 出力命令を、 ホームネッ トワーク 3
0を介してテレビ受像機 1 0巳一 3に送信することで、 テレビ受像機 1 0巳 _ 3から情報を出力 （画面出力） する （3 5 3） 。 これにより、 ユーザ八は 、 例えば、 スマートウォッチ 1 0巳一6の
Figure imgf000030_0004
の点灯を確認したとき、 その点 灯に反応して、 テレビ受像機 1 0
Figure imgf000030_0005
3に表示された情報を見ることができ る。
[0186] また、 ステップ 3 5 6の判定処理で、 スマートウォッチ 1 0巳一 6の所定 の範囲内にユーザ八が存在しないと判定された場合、 処理は、 ステップ 3 5 3に進められ、 テレビ受像機 1 0巳_ 3から情報を出力 （画面出力） する。 すなわち、 この場合には、 第 2候補の出カモーダルによっても、 ユーザへの 通知が困難であるため、 テレビ受像機 1 0
Figure imgf000030_0006
3による画面出力のみでの出 力が行われる。
[0187] ステップ 3 5 3の処理が終了すると、 第 2候補モーダル選択処理は終了さ れる。
[0188] 以上、 第 2候補モーダル選択処理の流れを説明した。 この第 2候補モーダ ル選択処理では、 ユーザが希望出カモーダルを設定する際に、 第 2候補の出 カモーダルを設定しておくことで、 希望出カモーダルを有する連携機器がユ 〇 2020/175115 29 卩（：171? 2020 /005026
—ザの近くに存在しない場合でも、 第 2候補の出カモーダルを有する連携機 器から情報を出力することができる。
[0189] 上述した例では、 希望出カモーダルとして”画面出力”を設定した場合に、 第 2候補の出カモーダルとして、 ”光”を設定しているが、 これに限らず、 例 えば、 希望出カモーダルとして”音声読み上げ”を設定した場合に、 第 2候補 の出カモーダルとして、 ”電子音” （音の高さやパターンで通知） を設定する など、 任意の組み合わせを用いることができる。
[0190] ここで、 第 2候補の出カモーダルを選択するために必要な情報としては、 例えば、 次のような情報を含めることができる。
[0191 ] すなわち、 画像情報や環境情報等の情報に基づき、 ユーザと、 当該ユーザ が希望する出カモーダルを有する連携機器との位置関係を示す情報を加味す ることができる。 さらには、 ユーザと、 自機器 （情報を出力したい機器） と の位置関係や、 ユーザと、 第 2候補の出カモーダルを有する連携機器との位 置関係を示す情報を加味することができる。
[0192] なお、 通知する情報の内容としては、 重要度が高い場合には、 ユーザが近 くに存在しなくても、 当該通知に気付かせる必要がある。
[0193] また、 ユーザが希望する出カモーダルを有する連携機器がどれもユーザの 近くにいない場合に、 第 2候補の出カモーダルを設定していないときでも、 例えば、 次のような対応をとることができる。
[0194] すなわち、 機器がユーザに対して自発的に情報を通知する場合に、 ユーザ がその機器の近くにいない可能性がある。 この場合には、 複数の機器が連携 してユーザの気を引き、 ユーザに対して積極的に情報を取りに行かせること ができる。
[0195] 例えば、 画面出力を希望出カモーダルとして設定しているユーザが、 スマ —トフォンを置いたまま、 テレビ受像機が設置された部屋から出ていつた状 態で、 機器がユーザに情報を通知しようとしている場面を想定する。 つまり 、 この場面では、 ユーザの近くに、 画面出力できる機器が存在していない。
[0196] このとき、 ユーザの移動先の部屋には、 スマートスピーカが設置されてお 〇 2020/175115 30 卩（：171? 2020 /005026
り、 このスマートスピーカが、 例えば を特異なパターンで点灯させること で、 ユーザに対して情報の通知の存在を認識させて、 リビングに戻るように 促す。 これにより、 リビングに戻ったユーザは、 スマートフォン又はテレビ 受像機から出力される画面出力を確認することができる。
[0197] また、 動物型や人型の家庭用ロボッ トや、 ロボッ ト掃除機などの自走可能 な機器と連携して、 上記のように、 情報を通知しようとしている機器の近く にユーザがいない場合に、 例えば、 犬型のロボッ トがユーザを追いかけて情 報の通知の存在を認識させる、 といったことも可能である。
[0198] （最適出カモーダル選択処理の流れ）
次に、 図 1 5及び図 1 6のフローチャートを参照して、 電子機器 1 〇八 （ の処理部 1 0 0） により実行される最適出カモーダル選択処理の流れを説明 する。
[0199] なお、 この最適出カモーダル選択処理は、 例えば、 図 5の出カモーダル決 定処理で、 ステップ 3 1 1の判定処理で、 情報の出力先は登録済みのユーザ ではないと判定された場合 （図 5の 3 1 1の 「N0」 ） 、 又はステップ 3 1 2 の判定処理で、 希望の出カモーダルが登録されていないと判定された場合 （ 図 5の 3 1 2の 「N0」 ） に実行される。
[0200] すなわち、 図 5の出カモーダル決定処理では、 ユーザ登録されていない場 合や、 希望出カモーダルが設定されていない場合には、 ステップ 3 1 7の処 理で、 デフォルトの出カモーダルが選択されていたが、 これらの場合でも、 画像情報や環境情報等の情報を用いて、 最適な出カモーダルが選択されるよ うにする。
[0201 ] ここでは、 まず、 情報の出力先が未登録ユーザである、 又は登録ユーザで あっても希望出カモーダルが設定されていない場合に、 ユーザとその周辺の 状態から最適な出カモーダルを選択する最適出カモーダル選択処理の流れを 、 図 1 5のフローチャートを参照しながら説明する。
[0202] ステップ 3 7 1 において、 環境識別部 1 2 3は、 環境情報としてユーザと その周辺のセンシング情報を取得する。 これにより、 環境識別部 1 2 3では 〇 2020/175115 31 卩（：171? 2020 /005026
、 取得したセンシング情報に基づき、 ユーザとその周辺の状態を識別するこ とができる。
[0203] ステップ 3 7 2において、 環境識別部 1 2 3は、 環境の識別結果に基づい て、 ユーザが画面を見ることができるか判定する。
[0204] ステップ 3 7 2の判定処理で、 ユーザが画面を見ることができると判定さ れた場合、 処理は、 ステップ 3 7 3に進められる。
[0205] ステップ 3 7 3において、 出カモーダル決定部 1 2 2は、 出力命令を、 デ イスプレイ 1 0 2 _ 1 に供給し、 画面出力で情報を出力する。 これにより、 ユーザが画面を見られる状態である場合には、 画面出力で情報が出力される
[0206] なお、 このとき、 自機器に画面出力機能がない場合には、 機器連携を行い 、 ホームネッ トワーク 3 0を介して出力命令を連携機器に送信することで、 連携機器から情報を画面出力する。
[0207] —方で、 ステップ 3 7 2の判定処理で、 ユーザが画面を見ることができな いと判定された場合、 処理は、 ステップ 3 7 4に進められる。 すなわち、 例 えば、 ユーザが本に注目している場合には、 情報を画面出力しても、 気付か ないことが想定されるため、 ここでは、 音声読み上げが選択されるようにす る。
[0208] ステップ 3 7 4において、 環境識別部 1 2 3は、 環境の識別結果に基づい て、 ユーザ周辺のノイズレベルが所定の閾値よりも高いかどうかを判定する
[0209] ステップ 3 7 4の判定処理で、 ユーザ周辺のノイズレベルが閾値よりも高 いと判定された場合、 処理は、 ステップ 3 7 5に進められる。
[0210] ステップ 3 7 5において、 出カモーダル決定部 1 2 2は、 出力命令を、 デ イスプレイ 1 0 2— 1 とスピーカ 1 0 2— 2にそれぞれ供給し、 音声読み上 げ画面出力とで情報を出力する。 なお、 このとき、 自機器に音声読み上げと 画面表示機能のうち、 少なくとも一方の機能がない場合には、 機器連携を行 い、 出力命令を連携機器に送信することで、 連携機器から情報を音声読み上 〇 2020/175115 32 卩（：171? 2020 /005026
げ又は画面出力で出力する。
[021 1 ] また、 ステップ 3 7 4の判定処理で、 ユーザ周辺のノイズレベルが閾値よ りも低いと判定された場合、 処理は、 ステップ 3 7 6に進められる。
[0212] ステップ 3 7 6において、 出カモーダル決定部 1 2 2は、 出力命令を、 ス ピーカ 1 0 2— 2に供給し、 音声読み上げで情報を出力する。 なお、 このと き、 自機器に音声読み上げ機能がない場合には、 機器連携を行い、 出力命令 を連携機器に送信することで、 連携機器から情報を音声読み上げで出力する
[0213] これにより、 周囲のノイズレベルが低い場合には、 ユーザが音声を聞き取 りやすいため、 音声読み上げのみで情報を出力する （3 7 6） 。 一方で、 例 えば、 ユーザがヘッ ドフォンをしていて音を聞き取れなかった場合や、 周囲 のノイズレベルが高い場合には、 音声読み上げよりも、 画面出力を選択した りして、 複数の出カモーダルで情報を出力することも可能とされる （3 7 5
[0214] ステップ 3 7 3 , 3 7 5 , 又は 3 7 6の処理のいずれかが終了すると、 最 適出カモーダル選択処理は終了する。
[0215] 次に、 情報の出力先が未登録ユーザである、 又は登録ユーザであっても希 望出カモーダルが設定されていない場合に、 ユーザ属性から最適な出カモー ダルを選択する最適出カモーダル選択処理の流れを、 図 1 6のフローチヤー 卜を参照しながら説明する。
[0216] ステップ 3 9 1 において、 ユーザ識別部 1 2 1は、 画像情報や音声情報に 基づいて、 ユーザの属性を推定する。 このユーザの属性としては、 例えば、 年齢や性別などの情報を含む。
[0217] ステップ 3 9 2において、 出カモーダル決定部 1 2 2は、 ユーザ属性 ·出 カモーダル対応テーブルを参照する。 例えば、 このユーザ属性 ·出カモーダ ル対応テーブルは、 インターネッ ト 5 0を介してサーバ 4 0により提供され る。
[0218] ステップ 3 9 3において、 出カモーダル決定部 1 2 2は、 ユーザ属性 ·出 〇 2020/175115 33 卩（：171? 2020 /005026
カモーダル対応テーブルに、 推定したユーザ属性に対応した出カモーダルの 変更点が記載されているかどうかを判定する。
[0219] ステップ 3 9 3の判定処理で、 推定したユーザ属性に対応した出カモーダ ルの変更点が記載されていると判定された場合、 処理は、 ステップ 3 9 4に 進められる。
[0220] ステップ 3 9 4において、 出カモーダル決定部 1 2 2は、 ユーザ属性 ·出 カモーダル対応テーブルに記載された出カモーダルの変更点を反映して情報 を出力する。
[0221 ] ここで、 図 1 7は、 ユーザ属性 ·出カモーダル対応テーブルの例を示して いる。 このユーザ属性 ·出カモーダル対応テーブルでは、 年齢や性別等のユ —ザ属性ごとに、 出カモーダル変更点が格納されている。
[0222] 具体的には、 ”推定年齢が 70歳以上”であるユーザ属性に対し、 出カモーダ ル変更点として、 ”電子音より音声読み上げで出力する”と、 ”このとき、 音量 を 1 . 2倍にする”が登録されている。 また、 ”推定年齢が 10歳未満”であるユー ザ属性に対し、 出カモーダル変更点として、 ”画面出力する場合は、 漢字では なく、 ひらがなを使う”が登録されている。
[0223] このように、 例えば、 未登録又は希望出カモーダルを設定していないユー ザの属性が、 高齢者 （例えば 70歳以上） である推定 （認識） された場合に、 音声読み上げを行うときには、 その音量を通常時の 1 . 2倍にして出力すること になる。 なお、 音量を何倍にするかなどの設定は、 例えば、 設計者により決 定される。
[0224] 図 1 6の説明に戻り、 ステップ 3 9 3の判定処理で、 推定したユーザ属性 に対応した出カモーダルの変更点が記載されていないと判定された場合、 処 理は、 ステップ 3 9 5に進められる。 ステップ 3 9 5において、 出カモーダ ル決定部 1 2 2は、 デフォルトの出カモーダルで情報を出力する。
[0225] ステップ 3 9 4 , 又は 3 9 5の処理のいずれかが終了すると、 最適出カモ -ダル選択処理は終了する。
[0226] 以上、 最適出カモーダル選択処理の流れを説明した。 この最適出カモーダ 〇 2020/175115 34 卩（：171? 2020 /005026
ル選択処理では、 未登録又は希望出カモーダルを設定していないユーザに対 し、 デフォルトの出カモーダルの代わりに、 より最適な出カモーダルを選択 することができる。
[0227] ここで、 最適な出カモーダルを選択するために必要な情報としては、 例え ば、 次のような情報を含めることができる。 すなわち、 ユーザの行動履歴 （ 例えば、 視線や顔向きのトラッキング、 物体認識等） に関する情報や、 年齢 や性別等のユーザの属性の推定結果の情報、 周辺環境の認識 （例えば周辺の 雑音状況等） に関する情報を含めることができる。
[0228] （複数人で使用する機器の例）
例えば、 リビングに設置されたテレビ受像機 1 0— 3など、 複数の出カモ —ダルが選択可能であり、 かつ、 複数人 （例えば家族等） で 1台の電子機器 1 〇を使用する場合には、 ユーザごとに優先順位をつけて、 その優先順位に 従った希望出カモーダルでの出力を行うことができる。
[0229] —方で、 電子メールやメッセージ等の通知、 明日の天気、 今日の予定など の一時的な通知に関しては、 連携機器の使用状況に応じて情報の出力先を振 り分けることが可能である。
[0230] 例えば、 家族全員でテレビを見る場合の出カモーダルは、 図 1 8に示した ユーザ情報テーブルを参照して選択することができる。 すなわち、 図 1 8の ユーザ情報テーブルでは、 ユーザ ごとの項目として、 優先度が追加され、 ユキ、 ヒロシ、 ユウタ、 ユウゾウの順に優先度が設定されている。
[0231 ] ここでは、 ユーザ 02のユキ （常に画面出力を希望） の優先度が最も高く 設定されているため、 常時字幕モードがオンになる。 なお、 リビングにユキ がいない場合には、 その次に優先度が高いユーザ 01のヒロシの設定が優先 される。
[0232] また、 例えば、 ユキがテレビを視聴中である場合、 ユキへの情報の通知は 、 画面出力、 例えば、 画面に情報がポップアップして表示される。 一方で、 ユキ以外の家族がテレビを視聴している場合には、 ユキへの情報の通知は、 例えばユキが所持するスマートフォン 1 0— 2の画面出力で行われる。 〇 2020/175115 35 卩（：171? 2020 /005026
[0233] （ユーザ情報設定画面の例）
上述したように、 ユーザ情報は、 電子機器 1 0の購入時などのタイミング で登録されるが、 電子機器 1 0に、 設定画面を表示させることで行われる。 図 1 9は、 スマートフォン 1 0 - 2のディスプレイ 1 0 2 - 1 に表示された ユーザ情報設定画面 2 1 0の例を示している。
[0234] 図 1 9において、 ユーザ情報設定画面 2 1 0には、 ユーザ情報テーブルの 項目に対応して、 ユーザ名、 性別、 年齢、 希望出カモーダルの項目が表示さ れており、 それらの項目に応じた情報を入力又は選択する操作などを行うこ とで、 ユーザ情報が、 サーバ 4 0のユーザ情報記憶部 4 0 1 （のユーザ情報 テーブル） に登録される。
[0235] （連携確認情報の例）
また、 機器連携時において、 主機器からの依頼に応じて連携機器から情報 を出力する場合には、 ユーザに対して、 連携機器からの情報の出力であるこ とを確認させるために、 連携確認情報を通知してもよい。 図 2 0は、 機器連 携時における連携確認情報の例を示している。
[0236] 図 2 0において、 例えば、 テレビ受像機 1 0 - 3は、 主機器からの依頼に 応じて音声読み上げで情報を出力している。 このとき、 テレビ受像機 1 〇— 3は、 連携確認情報 2 2 0として、 主機器からの依頼に応じて音声読み上げ を行っていることを通知するための情報 （例えば耳のアイコン等） を表示す る。 これにより、 ユーザは、 連携確認情報 2 2 0を見て、 テレビ受像機 1 0 - 3が主機器からの依頼に応じて音声読み上げを実施していることを確認す ることができる。
[0237] （システムの他の構成）
図 2 1は、 本技術を適用した電子機器を含むシステムの一実施の形態の他 の構成の例を示している。
[0238] 図 2 1 において、 電子機器 1 0— 1乃至 1 0— （N = 2以上の整数） は 、 ホームネッ トワーク 3 0を介して相互に接続されている。
[0239] 電子機器 1 0 _ 1は、 情報機器等の機器として構成されるが、 ユーザ情報 〇 2020/175115 36 卩（：171? 2020 /005026
記憶部 4 0 1及び連携機器情報記憶部 4 0 2を記憶している。 電子機器 1 0 — 1は、 電子機器 1 0— 2乃至 1 0— 1\1のいずれかからの要求に応じて、 ホ —ムネッ トワーク 3 0を介して、 ユーザ情報又は連携機器情報を送信する。
[0240] 電子機器 1 0 - 2乃至 1 0 - 1\1では、 ホームネッ トワーク 3 0を介して電 子機器 1 〇_ 1から受信したユーザ情報及び連携機器情報に基づいて、 上述 した出カモーダル決定処理 （図 5） 等の処理を行うことができる。
[0241 ] なお、 電子機器 1 0 _ 1は、 ユーザ情報記憶部 4 0 1及び連携機器情報記 憶部 4 0 2に記憶されているユーザ情報及び連携機器情報を読み出して、 上 述した出カモーダル決定処理 （図 5） 等の処理を行うことができる。
[0242] また、 電子機器 1 0 - 1は、 電子機器 1 0 - 2乃至 1 0 - の代わりに、 上述した出カモーダル決定処理 （図 5） 等の処理を実行し、 その処理結果を 、 電子機器 1 0— 2乃至 1 0— 1\!に送信してもよい。 さらに、 電子機器 1 0 _ 1は、 データベースとしてのユーザ情報記憶部 4 0 1及び連携機器情報記 憶部 4 0 2を管理するサーバとして構成されてもよい。
[0243] このように、 電子機器 1 0 - 1乃至 1 0 - 1\1のうち、 所定の電子機器 1 0 をホストとして、 他の電子機器 1 0がホストに対して問い合わせることで、 ユ _ザ情報と連携機器情報が取得され、 機器連携が行われる。
[0244] なお、 上述した説明では、 口ーカル側の電子機器 1 0八において、 処理部
1 0 0が、 ユーザ識別部 1 2 1、 出カモーダル決定部 1 2 2、 及び環境識別 部 1 2 3を有するとして説明したが、 ユーザ識別部 1 2 1乃至環境識別部 1 2 3の機能の全部又は一部が、 クラウド側のサーバ 4 0に組み込まれてもよ い。 すなわち、 ユーザ識別部 1 2 1乃至環境識別部 1 2 3のそれぞれは、 口 —カル側の電子機器 1 0八と、 クラウド側のサーバ 4 0のうち、 どちらの機 器に組み込まれてもよい。
[0245] また、 上述した説明において、 音声八1アシスタントサービスとは、 ユーザ の発話の意図を理解し、 その内容に応じた適切な出力を提供するサービスで ある。 さらに、 スマートスピーカとは、 対話型の音声操作に対応した八1アシ スタント機能を有するスピーカである。 スマートウォッチとは、 小型のディ 〇 2020/175115 37 卩（：171? 2020 /005026
スプレイと〇 リを搭載した多機能な腕時計型のウェアラブルデ/《イスである。
[0246] < 2 . システムの構成 >
[0247] 以上、 本技術の実施の形態について説明した。 上述したように、 本技術を 適用した電子機器 1 〇は、 処理部 1 0 0と、 入力部 1 0 1 と、 出力部 1 0 2 とを含み、 これらの構成要素は、 1又は複数の情報処理装置によって実現さ れる。 以下、 システムとして構成される電子機器 1 0を実現する情報処理装 置の組み合わせの例について、 より具体的な例とともに説明する。
[0248] （第 1の例）
図 2 2は、 本技術を適用したシステムの一実施の形態の構成の第 1の例を 示している。
[0249] 図 2 2において、 システム 1は、 情報処理装置 1 0を含む。 処理部 1 0 0 、 入力部 1 〇 1、 及び出力部 1 0 2は、 いずれも情報処理装置 1 0において 実現される。 情報処理装置 1 〇は、 以下で説明するように端末装置又はサー バとすることができる。
[0250] この第 1の例において、 情報処理装置 1 0は、 本技術の実施の形態に係る 機能の実現のためにネツ トワークを介して外部装置と通信しない、 スタンド アロンの装置であってもよい。 なお、 情報処理装置 1 0は、 他の機能のため に外部装置と通信してもよく、 従って必ずしもスタンドアロンの装置でなく てもよい。
[0251 ] 入力部 1 0 1 と処理部 1 0 0との間のインターフェース 1 5 0八、 及び処 理部 1 0 0と出力部 1 0 2との間のインターフェース 1 6 0八は、 いずれも 装置内のインターフェースとすることができる。
[0252] 第 1の例において、 情報処理装置 1 0は、 例えば端末装置として構成され る。 この場合、 入力部 1 〇 1は、 入力装置、 センサ、 外部サービスから情報 を取得するソフトウェアなどを含めてもよい。 外部サービスから情報を取得 するソフトウェアは、 例えば、 端末装置で実行されているサービスのアプリ ケーシヨンソフトウェアからデータを取得する。
[0253] 処理部 1 0 0は、 端末装置が備えるプロセツサ又は処理回路がメモリ又は 〇 2020/175115 38 卩（：171? 2020 /005026
ストレージ装置に格納されたプログラムに従って動作することによって実現 される。 出力部 1 0 2は、 出力装置、 制御装置、 外部サービスに情報を提供 するソフトウェアなどを含めてもよい。 外部サービスに情報を提供するソフ トウェアは、 例えば、 端末装置で実行されているサービスのアプリケーシヨ ンソフトウェアに情報を提供可能である。
[0254] あるいは、 第 1の例において、 情報処理装置 1 0は、 サーバであってもよ い。 この場合、 入力部 1 0 1は、 外部サービスから情報を取得するソフトウ ェアを含めてもよい。 外部サービスから情報を取得するソフトウェアは、 例 えば、 外部サービスのサーバ （情報処理装置 1 0自身であってもよい） から データを取得する。
[0255] 処理部 1 0 0は、 端末装置が備えるプロセッサがメモリ又はストレージ装 置に格納されたプログラムに従って動作することによって実現される。 出力 部 1 0 2は、 外部サービスに情報を提供するソフトウェアなどを含めてもよ い。 外部サービスに情報を提供するソフトウェアは、 例えば、 外部サービス のサーバ （情報処理装置 1 〇自身であってもよい） に情報を提供する。
[0256] （第 2の例）
図 2 3は、 本技術を適用したシステムの一実施の形態の構成の第 2の例を 示している。
[0257] 図 2 3において、 システム 1は、 情報処理装置 1 0 , 1 1 を含む。 処理部
1 0 0は、 情報処理装置 1 0において実現される。 一方、 入力部 1 0 1及び 出力部 1 0 2は、 情報処理装置 1 1 において実現される。
[0258] 情報処理装置 1 0と情報処理装置 1 1 とは、 本技術の実施の形態に係る機 能を実現するために、 ネッ トワークを介して通信する。 入力部 1 0 1 と処理 咅^ 1 0 0との間のインターフェース 1 5 0巳、 及び処理部 1 0 0と出力部 1 0 2との間のインターフェース 1 6 0巳は、 いずれも装置間の通信インター フェースとすることができる。
[0259] 第 2の例において、 情報処理装置 1 1は、 例えば端末装置として構成され る。 この場合、 入力部 1 0 1は、 上記の第 1の例と同様に、 入力装置、 セン 〇 2020/175115 39 卩（：171? 2020 /005026
サ、 外部サービスから情報を取得するソフトウェアなどを含めてもよい。 出 力部 1 0 2も、 上記の第 1の例と同様に、 出力装置、 制御装置、 外部サービ スに情報を提供するソフトウェアなどを含めてもよい。
[0260] あるいは、 情報処理装置 1 1は、 外部サービスとの間で情報をやりとりす るためのサーバであってもよい。 この場合、 入力部 1 0 1は、 外部サービス から情報を取得するソフトウェアを含めてもよい。 また、 出力部 1 0 2は、 外部サービスに情報を提供するソフトウェアを含めてもよい。
[0261 ] また、 第 2の例において、 情報処理装置 1 0は、 サーバ又は端末装置とし て構成される。 処理部 1 〇〇は、 情報処理装置 1 0が備えるプロセッサ又は 処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作 することによって実現される。
[0262] 情報処理装置 1 0は、 例えばサーバとして構成される専用の装置であって もよい。 この場合、 情報処理装置 1 0は、 データセンタなどに設置されても よいし、 家庭内に設置されてもよい。
[0263] あるいは、 情報処理装置 1 0は、 他の機能については端末装置として利用 可能であるが、 本技術の実施の形態に係る機能に関しては入力部 1 0 1及び 出力部 1 0 2を実現しない装置であってもよい。 以下の例において、 情報処 理装置 1 0は、 上記のような意味において、 サーバであってもよいし、 端末 装置であってもよい。
[0264] ここでは、 一例として、 情報処理装置 1 1がウェアラブルデバイスであり 、 情報処理装置
Figure imgf000041_0001
（登録商標） などで 接続されたモバイルデバイスであるような場合を考える。
[0265] ウェアラブルデバイスがユーザによる操作入力を受け付け （入力部 1 0 1 ） 、 当該操作入力に基づいて送信されたリクエストに基づいてモバイルデバ イスが処理を実行し （処理部 1 0 0） 、 処理の結果をウェアラブルデバイス から出力する （出力部 1 0 2） ような場合、 ウェアラブルデバイスは上記の 第 2の例における情報処理装置 1 1 として、 モバイルデバイスは情報処理装 置 1 0として、 それぞれ機能していると言える。 〇 2020/175115 40 卩（：171? 2020 /005026
[0266] （第 3の例）
図 2 4は、 本技術を適用したシステムの一実施の形態の構成の第 3の例を 示している。
[0267] 図 2 4において、 システム 1は、 情報処理装置 1 0 , 1 1 八， 1 1 巳を含 む。 処理部 1 〇〇は、 情報処理装置 1 0において実現される。 また、 入力部 1 〇 1は、 情報処理装置 1 1 において実現される。 出力部 1 0 2は、 情報 処理装置 1 1 巳において実現される。
[0268] 情報処理装置 1 0と情報処理装置 1 1 ， 1 1 巳とは、 本技術の実施の形 態に係る機能を実現するために、 ネッ トワークを介してそれぞれ通信する。 入力部 1 0 1 と処理部 1 0 0との間のインターフェース 1 5 0巳、 及び処理 咅^ 1 0 0と出力部 1 0 2との間のインターフェース 1 6 0巳は、 いずれも装 置間の通信インターフェースとすることができる。
[0269] ただし、 第 3の例では、 情報処理装置 1 1 と情報処理装置 1 1 巳とが別 個の装置であるために、 インターフェース 1 5 0巳， 1 6 0巳は、 それぞれ 異なる種類のインターフェースを含めてもよい。
[0270] 第 3の例において、 情報処理装置 1 1 ， 1 1 巳は、 例えば端末装置とし て構成される。 この場合、 入力部 1 〇 1は、 上記の第 1の例と同様に、 入力 装置、 センサ、 外部サービスから情報を取得するソフトウェアなどを含めて もよい。 出力部 1 0 2も、 上記の第 1の例と同様に、 出力装置、 制御装置、 外部サービスに情報を提供するソフトウェアなどを含めてもよい。
[0271 ] あるいは、 情報処理装置 1 1 ， 1 1 巳のうちの一方又は両方は、 外部サ -ビスからの情報の取得、 及び外部サービスへの情報の提供のためのサーバ であってもよい。 この場合、 入力部 1 0 1は、 外部サービスから情報を取得 するソフトウェアを含めてもよい。 また、 出力部 1 0 2は、 外部サービスに 情報を提供するソフトウェアを含めてもよい。
[0272] また、 第 3の例において、 情報処理装置 1 0は、 上記の第 2の例と同様に 、 サーバ又は端末装置として構成される。 処理部 1 0 0は、 情報処理装置 1 〇が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納され 〇 2020/175115 41 卩（：171? 2020 /005026
たプログラムに従って動作することによって実現される。
[0273] 上記の第 3の例では、 入力部 1 0 1 を実現する情報処理装置 1 1 と、 出 力部 1 0 2を実現する情報処理装置 1 1 巳とが別個の装置である。 従って、 例えば、 第 1のユーザが所持又は使用する端末装置である情報処理装置 1 1 八によって取得された入力に基づく処理の結果を、 第 1のユーザとは異なる 第 2のユーザが所持又は使用する端末装置である情報処理装置 1 1 巳から出 力するといったような機能が実現できる。
[0274] また、 第 1のユーザが所持又は使用する端末装置である情報処理装置 1 1 八によって取得された入力に基づく処理の結果を、 その時点では第 1のユー ザの手元にない （例えば留守中の自宅に設置されている） 端末装置である情 報処理装置 1 1 巳から出力するといったような機能も実現できる。
[0275] あるいは、 情報処理装置 1 1 と情報処理装置 1 1 巳は、 いずれも同じユ —ザによって所持又は使用される端末装置であってもよい。 例えば、 情報処 理装置 1 1 ， 1 1 巳が、 ユーザの異なる部位に装着されるウェアラブルデ バイスである場合や、 ウェアラブルデバイスとモバイルデバイスとの組み合 わせであるような場合、 これらのデバイスを連携させた機能をユーザに提供 することができる。
[0276] （第 4の例）
図 2 5は、 本技術を適用したシステムの一実施の形態の構成の第 4の例を 示している。
[0277] 図 2 5において、 システム 1は、 情報処理装置 1 0 , 1 1 を含む。 第 4の 例において、 処理部 1 〇〇は、 情報処理装置 1 0及び情報処理装置 1 1 に分 散して実現される。 一方で、 入力部 1 〇 1及び出力部 1 0 2は、 情報処理装 置 1 1 において実現される。
[0278] 情報処理装置 1 0と情報処理装置 1 1 とは、 本技術の実施の形態に係る機 能を実現するために、 ネッ トワークを介して通信する。
[0279] 上記のように、 この第 4の例では、 処理部 1 0 0が、 情報処理装置 1 0と 情報処理装置 1 1 との間で分散して実現される。 より具体的には、 処理部 1 〇 2020/175115 42 卩（：171? 2020 /005026
0 0は、 情報処理装置 1 0で実現される処理部 1 0 0巳と、 情報処理装置 1 1で実現される処理部 1 〇〇八， 1 0 0 (3とを含む。
[0280] 処理部 1 0 0八は、 入力部 1 0 1からインターフェース 1 5 0八を介して 提供される情報に基づいて処理を実行し、 処理の結果を処理部 1 〇 0巳に提 供する。 この意味において、 処理部 1 0 0 は、 前処理を実行するとも言え る。
[0281 ] 一方、 処理部 1 0 0 (3は、 処理部 1 0 0巳から提供される情報に基づいて 処理を実行し、 処理の結果を、 インターフェース 1 6 0 を介して出力部 1 0 2に提供する。 この意味において、 処理部 1 0 0 (3は、 後処理を実行する とも言える。
[0282] なお、 図示された例では、 前処理を実行する処理部 1 0 0 と後処理を実 行する処理部 1 0 0 <3とが両方示されているが、 実際にはこのうちのいずれ か一方だけが存在してもよい。
[0283] つまり、 情報処理装置 1 1は、 前処理を実行する処理部 1 〇〇 を実現す るが、 後処理を実行する処理部 1 〇〇<3を実現せず、 処理部 1 0 0巳から提 供される情報は、 そのまま出力部 1 0 2に提供されてもよい。 同様に、 情報 処理装置 1 1は、 後処理を実行する処理部 1 0 0 <3を実現するが、 前処理を 実行する処理部 1 0 0 を実現しなくてもよい。
[0284] 処理部 1 0 0 と処理部 1 0 0巳との間、 及び処理部 1 0 0巳と処理部 1
0 0〇との間には、 それぞれインターフェース 1 7 0巳が介在する。 インタ _フェ _ス 1 7 0巳は、 装置間の通信インターフェースである。
[0285] 一方、 情報処理装置 1 1が処理部 1 〇〇 を実現する場合、 インターフェ —ス 1 5 0 は、 装置内のインターフヱースである。 同様に、 情報処理装置 1 1が処理部 1 〇〇 <3を実現する場合、 インターフェース 1 6 0八は、 装置 内のインターフェースである。
[0286] なお、 上述した第 4の例は、 処理部 1 0 0八又は処理部1 〇〇〇のうちの 一方又は両方が、 情報処理装置 1 1が備えるプロセッサ又は処理回路によっ て実現される点を除いては、 上記の第 2の例と同様である。 つまり、 情報処 〇 2020/175115 43 卩（：171? 2020 /005026
理装置 1 1は、 端末装置、 又は外部サービスとの間で情報をやり取りするた めのサーバとして構成される。 また、 情報処理装置 1 0は、 サーバ又は端末 装置として構成される。
[0287] （分散型システムの例）
次に、 システム 1の他の構成例について、 図 2 6を参照して説明する。 図 2 6は、 本技術を適用したシステムの一実施の形態の構成の他の具体的な例 の一つとして、 分散型システムを示している。
[0288] 図 2 6においては、 情報処理装置 1 0 （又は、 情報処理装置 1 1 ， 1 1 巳） がノードであって、 これらの情報処理装置 1 0は、 ネッ トワークを介し て互いに接続している。
[0289] 図 2 6に示した分散型システムでは、 装置相互間で個別に連携動作したり 、 データを分散管理したり、 処理を分散したりすることが可能である。 これ により、 処理負担の軽減、 リアルタイム性の向上 （応答時間や処理速度の向 上） 、 セキュリティの担保を実現することが可能となる。
[0290] また、 この分散型システムでは、 分散協調的に機械学習を行うことも可能 であって、 大量のデータを処理することができる。
[0291 ] また、 図 2 6に示す分散型システムでは、 集中型システムにおけるサーバ を必要とせず、 互いにデータの監視を行ってその信憑性を確保することも可 能である。 具体的には、 例えば、 取引情報 （台帳） を参加者全員 （各情報処 理装置 1 0） で共有して正当性を厳密に維持することができる （いわゆるブ ロックチェーン） 。
[0292] ブロックチェーンにおいては、 参加者全員の台帳を全て改ざんすることは 実質的に不可能なため、 より確実に信憑性を確保可能となる。 また、 ブロッ クチェーンにおいて、 過去のブロックに含まれるデータを改ざんする場合、 そのブロック以降のブロックに含まれるハッシュ値を全て再計算する必要が あるため、 処理負荷が高く実質的に不可能であるため、 より確実に信憑性を 確保可能となる。
[0293] また、 ブロックチェーンでは、 参加者全員が取引情報を共有し （分散デー タベース) 、 かかる分散データベースへの書き込みを特定の合意形成により 行うため、 特定の参加者による不正を防ぎ、 公平性が保たれる。
[0294] <3. コンビュータの構成 >
[0295] 上述した一連の処理 (例えば、 図 5の出カモーダル決定処理等) は、 ハー ドウェアにより実行することもできるし、 ソフトウェアにより実行すること もできる。 一連の処理をソフトウェアにより実行する場合には、 そのソフト ウェアを構成するプログラムが、 各装置のコンピュータにインストールされ る。 図 27は、 上述した一連の処理をプログラムにより実行するコンピュー 夕のハードウェアの構成例を示すブロック図である。
[0296] コンピュータにおいて、 CPU(Central Processing Unit) 1 001、 R0M(Rea d Only Memory) 1 002、 RAM(Random Access Memory) 1 003は、 バス 1 0 04により相互に接続されている。 バス 1 004には、 さらに、 入出カイン 夕ーフェース 1 005が接続されている。 入出カインターフェース 1 005 には、 入力部 1 006、 出力部 1 007、 記録部 1 008、 通信部 1 009 、 及び、 ドライブ 1 01 0が接続されている。
[0297] 入力部 1 006は、 マイクロフォン、 キーボード、 マウスなどよりなる。
出力部 1 007は、 スピーカ、 ディスプレイなどよりなる。 記録部 1 008 は、 ハードディスクや不揮発性のメモリなどよりなる。 通信部 1 009は、 ネッ トワークインターフェースなどよりなる。 ドライブ 1 01 0は、 磁気デ ィスク、 光ディスク、 光磁気ディスク、 又は半導体メモリなどのリムーバブ ル記録媒体 1 01 1 を駆動する。
[0298] 以上のように構成されるコンビュータでは、 CPU 1 001が、 ROM 1 002 や記録部 1 008に記録されているプログラムを、 入出カインターフェース 1 005及びバス 1 004を介して、 RAM1 003に口ードして実行すること により、 上述した一連の処理が行われる。
[0299] コンビュータ (CPU 1 001 ) が実行するプログラムは、 例えば、 パッケー ジメディア等としてのリムーバブル記録媒体 1 01 1 に記録して提供するこ とができる。 また、 プログラムは、 口ーカルエリアネッ トワーク、 インター 〇 2020/175115 45 卩（：171? 2020 /005026
ネッ ト、 デジタル衛星放送といった、 有線又は無線の伝送媒体を介して提供 することができる。
[0300] コンビュータでは、 プログラムは、 リムーバブル記録媒体 1 0 1 1 をドラ イブ 1 0 1 0に装着することにより、 入出カインターフェース 1 0 0 5を介 して、 記録部 1 0 0 8にインストールすることができる。 また、 プログラム は、 有線又は無線の伝送媒体を介して、 通信部 1 〇〇 9で受信し、 記録部 1 0 0 8にインストールすることができる。 その他、 プログラムは、 11/1 1 0 0 2や記録部 1 0 0 8に、 あらかじめインストールしておくことができる。
[0301 ] ここで、 本明細書において、 コンピュータがプログラムに従って行う処理 は、 必ずしもフローチヤートとして記載された順序に沿って時系列に行われ る必要はない。 すなわち、 コンビュータがプログラムに従って行う処理は、 並列的あるいは個別に実行される処理 （例えば、 並列処理あるいはオブジェ クトによる処理） も含む。 また、 プログラムは、 1のコンビュータ （プロセ ッサ） により処理されてもよいし、 複数のコンピュータによって分散処理さ れてもよい。
[0302] なお、 本技術の実施の形態は、 上述した実施の形態に限定されるものでは なく、 本技術の要旨を逸脱しない範囲において種々の変更が可能である。
[0303] また、 上述したフローチヤートに示した処理の各ステップは、 1つの装置 で実行する他、 複数の装置で分担して実行することができる。 さらに、 1つ のステップに複数の処理が含まれる場合には、 その 1つのステップに含まれ る複数の処理は、 1つの装置で実行する他、 複数の装置で分担して実行する ことができる。
[0304] なお、 本技術は、 以下のような構成をとることができる。
[0305] （ 1）
電子機器ごとの出カモーダルに関する機器情報を取得し、
取得した前記機器情報に基づいて、 複数の電子機器の中から、 情報を出力 する出カモーダルを有する電子機器を選択し、
選択した前記電子機器が有する出カモーダルから前記情報を出力する 〇 2020/175115 46 卩（：171? 2020 /005026
処理を行う処理部を備える
情報処理装置。
(2)
前記処理部は、
ユーザに関するユーザ情報をさらに取得し、
取得した前記ユーザ情報及び前記機器情報に基づいて、 前記複数の電子 機器の中から、 前記ユーザ情報に対応した出カモーダルを有する電子機器を 選択する
前記 ( 1 ) に記載の情報処理装置。
(3)
前記ユーザ情報は、 前記ユーザの希望出カモーダルを含み、
前記処理部は、 前記希望出カモーダルに対応した出カモーダルを有する電 子機器を選択する
前記 (2) に記載の情報処理装置。
(4)
前記複数の電子機器は、 動作の主体となる自機器と、 前記自機器と連携し て動作する連携機器を含む
前記 (3) に記載の情報処理装置。
(5)
前記処理部は、 自機器が前記希望出カモーダルに対応した出カモーダルを 有していない場合、 前記希望出カモーダルに対応した出カモーダルを有する 連携機器を選択する
前記 (4) に記載の情報処理装置。
(6)
前記処理部は、 前記希望出カモーダルに対応した出カモーダルから前記情 報を出力する出力命令を、 ネッ トワークを介して、 選択した前記連携機器に 送信する
前記 (5) に記載の情報処理装置。 20/175115 47 卩（：171? 2020 /005026
（7）
前記処理部は、
自機器が前記希望出カモーダルに対応した出カモーダルを有する場合、 前記自機器を選択し、
前記出力命令を、 選択した前記自機器の出カモーダルに出力する 前記 （6） に記載の情報処理装置。
（8）
前記処理部は、 前記希望出カモーダルに対応した出カモーダルを有する連 携機器が複数選択された場合、 前記ユーザの周辺をセンシングして得られる センシング情報に基づいて、 選択された複数の連携機器の中から、 最適な連 携機器を選択する
前記 （4） 乃至 （7） のいずれかに記載の情報処理装置。
（9）
前記ユーザ情報は、 前記ユーザの第 2候補の希望出カモーダルをさらに含 み、
前記処理部は、 前記希望出カモーダルに対応した出カモーダルを有する電 子機器を選択できない場合に、 前記第 2候補の希望出カモーダルに対応した 出カモーダルを有する電子機器を選択する
前記 （3） 乃至 （8） のいずれかに記載の情報処理装置。
（1 0）
前記ユーザ情報は、 ユーザごとに優先度を含み、
前記処理部は、 前記優先度に応じた希望出カモーダルに対応した出カモー ダルを有する電子機器を選択する
前記 （3） 乃至 （9） のいずれかに記載の情報処理装置。
（1 1）
前記処理部は、
ユーザの属性を推定し、
推定した前記属性に応じて出カモーダルの内容を変更する 〇 2020/175115 48 卩（：171? 2020 /005026
前記 （1） 乃至 （1 0） のいずれかに記載の情報処理装置。
（1 2）
前記出カモーダルは、 画面フイードバック、 音フイードバック、 光フイー ドバック、 振動、 及び動作のうち少なくとも 1つを含む
前記 （1） 乃至 （1 1） のいずれかに記載の情報処理装置。
（1 3）
前記出カモーダルのうち少なくとも 1つは、 より細分化された機能を含む 前記 （1 2） に記載の情報処理装置。
（1 4）
前記処理部は、
前記ユーザの識別情報に基づいて、 前記ユーザを識別し、
識別した前記ユーザの希望出カモーダルに対応した出カモーダルを有す る電子機器を選択する
前記 （3） 乃至 （1 0） のいずれかに記載の情報処理装置。
（1 5）
前記複数の電子機器に含まれ、
前記自機器として動作する
前記 （4） 乃至 （1 0） のいずれかに記載の情報処理装置。
（1 6）
前記機器情報及び前記ユーザ情報の少なくとも一方の情報は、 インターネ ッ トを介してサーバから取得される
前記 （2） 乃至 （1 0） のいずれかに記載の情報処理装置。
（1 7）
情報処理装置が、
電子機器ごとの出カモーダルに関する機器情報を取得し、
取得した前記機器情報に基づいて、 複数の電子機器の中から、 情報を出力 する出カモーダルを有する電子機器を選択し、
選択した前記電子機器が有する出カモーダルから前記情報を出力する 20/175115 49 卩（：171? 2020 /005026
情報処理方法。
( 1 8 )
ユーザの希望出カモーダルを含むユーザ情報、 及び電子機器ごとの出カモ —ダルに関する機器情報に基づいて、 複数の電子機器の中から、 前記希望出 カモーダルに対応した出カモーダルを有する電子機器を選択し、 前記希望出 カモーダルに対応した出カモーダルから情報を出力する出力命令を選択した 前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、 ネッ トワークを介して受信し、
受信した前記出力命令に基づいて、 前記希望出カモーダルに対応した出力 モ _ダルから前記情報を出力する
処理を行う処理部を備える
情報処理装置。
( 1 9 )
前記複数の電子機器に含まれ、
動作の主体となる自機器と連携する連携機器として動作し、
前記出力命令は、 前記自機器から送信される
前記 ( 1 8 ) に記載の情報処理装置。
( 2 0 )
情報処理装置が、
ユーザの希望出カモーダルを含むユーザ情報、 及び電子機器ごとの出カモ —ダルに関する機器情報に基づいて、 複数の電子機器の中から、 前記希望出 カモーダルに対応した出カモーダルを有する電子機器を選択し、 前記希望出 カモーダルに対応した出カモーダルから情報を出力する出力命令を選択した 前記電子機器に送信する他の情報処理装置から送信された前記出力命令を、 ネッ トワークを介して受信し、
受信した前記出力命令に基づいて、 前記希望出カモーダルに対応した出力 モーダルから前記情報を出力する
情報処理方法。 \¥02020/175115 50 卩（：17 2020/005026
符号の説明
[0306] 1 0, 1 0— 1乃至 1 0— 電子機器， 1 〇八 自機器， 1 0巳 連携機器， 20 ルータ， 30 ホームネッ トワーク， 40 サーバ
, 50 インターネッ ト， 1 00 処理部， 1 01 入力部， 1 0
1 - 1 マイクロフオン， 1 01 -2 ボタン， 1 02- 1 ディスプ レイ， 1 02— 2 スピーカ， 1 02— 3 電子音ブザー， 1 02— 4 振動素子， 1 02— 5 ランプ， 1 02 出力部， 1 03 セン サ部， 1 04 通信部， 1 05 記憶部， 1 2 1 ユーザ識別部， 1 22 出カモーダル決定部， 1 23 環境識別部， 1 3 1 話者識別 部， 1 32 顔識別部， 1 33 識別結果統合部， 1 4 1 出力命令 解析部， 1 42 出力制御部， 401 ユーザ情報記憶部， 402 連携機器情報記憶部， 1 001
Figure imgf000052_0001

Claims

〇 2020/175115 51 卩（：171? 2020 /005026 請求の範囲
[請求項 1 ] 電子機器ごとの出カモーダルに関する機器情報を取得し、
取得した前記機器情報に基づいて、 複数の電子機器の中から、 情報 を出力する出カモーダルを有する電子機器を選択し、 選択した前記電子機器が有する出カモーダルから前記情報を出力す る
処理を行う処理部を備える
情報処理装置。
[請求項 2] 前記処理部は、
ユーザに関するユーザ情報をさらに取得し、 取得した前記ユーザ情報及び前記機器情報に基づいて、 前記複数 の電子機器の中から、 前記ユーザ情報に対応した出カモーダルを有す る電子機器を選択する
請求項 1 に記載の情報処理装置。
[請求項 3] 前記ユーザ情報は、 前記ユーザの希望出カモーダルを含み、
前記処理部は、 前記希望出カモーダルに対応した出カモーダルを有 する電子機器を選択する
請求項 2に記載の情報処理装置。
[請求項 4] 前記複数の電子機器は、 動作の主体となる自機器と、 前記自機器と 連携して動作する連携機器を含む
請求項 3に記載の情報処理装置。
[請求項 5] 前記処理部は、 自機器が前記希望出カモーダルに対応した出カモー ダルを有していない場合、 前記希望出カモーダルに対応した出カモー ダルを有する連携機器を選択する
請求項 4に記載の情報処理装置。
[請求項 6] 前記処理部は、 前記希望出カモーダルに対応した出カモーダルから 前記情報を出力する出力命令を、 ネッ トワークを介して、 選択した前 記連携機器に送信する 〇 2020/175115 52 卩（：171? 2020 /005026
請求項 5に記載の情報処理装置。
[請求項 7] 前記処理部は、
自機器が前記希望出カモーダルに対応した出カモーダルを有する 場合、 前記自機器を選択し、
前記出力命令を、 選択した前記自機器の出カモーダルに出力する 請求項 6に記載の情報処理装置。
[請求項 8] 前記処理部は、 前記希望出カモーダルに対応した出カモーダルを有 する連携機器が複数選択された場合、 前記ユーザの周辺をセンシング して得られるセンシング情報に基づいて、 選択された複数の連携機器 の中から、 最適な連携機器を選択する
請求項 4に記載の情報処理装置。
[請求項 9] 前記ユーザ情報は、 前記ユーザの第 2候補の希望出カモーダルをさ らに含み、
前記処理部は、 前記希望出カモーダルに対応した出カモーダルを有 する電子機器を選択できない場合に、 前記第 2候補の希望出カモーダ ルに対応した出カモーダルを有する電子機器を選択する
請求項 3に記載の情報処理装置。
[請求項 10] 前記ユーザ情報は、 ユーザごとに優先度を含み、
前記処理部は、 前記優先度に応じた希望出カモーダルに対応した出 カモーダルを有する電子機器を選択する
請求項 3に記載の情報処理装置。
[請求項 1 1 ] 前記処理部は、
ユーザの属性を推定し、
推定した前記属性に応じて出カモーダルの内容を変更する 請求項 1 に記載の情報処理装置。
[請求項 12] 前記出カモーダルは、 画面フイードバック、 音フイードバック、 光 フイードバック、 振動、 及び動作のうち少なくとも 1つを含む 請求項 1 に記載の情報処理装置。 〇 2020/175115 53 卩（：171? 2020 /005026
[請求項 13] 前記出カモーダルのうち少なくとも 1つは、 より細分化された機能 を含む
請求項 1 2に記載の情報処理装置。
[請求項 14] 前記処理部は、
前記ユーザの識別情報に基づいて、 前記ユーザを識別し、 識別した前記ユーザの希望出カモーダルに対応した出カモーダル を有する電子機器を選択する
請求項 3に記載の情報処理装置。
[請求項 15] 前記複数の電子機器に含まれ、
前記自機器として動作する
請求項 4に記載の情報処理装置。
[請求項 16] 前記機器情報及び前記ユーザ情報の少なくとも一方の情報は、 イン 夕—ネッ トを介してサーバから取得される
請求項 2に記載の情報処理装置。
[請求項 17] 情報処理装置が、
電子機器ごとの出カモーダルに関する機器情報を取得し、 取得した前記機器情報に基づいて、 複数の電子機器の中から、 情報 を出力する出カモーダルを有する電子機器を選択し、 選択した前記電子機器が有する出カモーダルから前記情報を出力す る
情報処理方法。
[請求項 18] ユーザの希望出カモーダルを含むユーザ情報、 及び電子機器ごとの 出カモーダルに関する機器情報に基づいて、 複数の電子機器の中から 、 前記希望出カモーダルに対応した出カモーダルを有する電子機器を 選択し、 前記希望出カモーダルに対応した出カモーダルから情報を出 力する出力命令を選択した前記電子機器に送信する他の情報処理装置 から送信された前記出力命令を、 ネッ トワークを介して受信し、 受信した前記出力命令に基づいて、 前記希望出カモーダルに対応し 〇 2020/175115 54 卩（：171? 2020 /005026
た出カモーダルから前記情報を出力する
処理を行う処理部を備える
情報処理装置。
[請求項 19] 前記複数の電子機器に含まれ、
動作の主体となる自機器と連携する連携機器として動作し、 前記出力命令は、 前記自機器から送信される
請求項 1 8に記載の情報処理装置。
[請求項 20] 情報処理装置が、
ユーザの希望出カモーダルを含むユーザ情報、 及び電子機器ごとの 出カモーダルに関する機器情報に基づいて、 複数の電子機器の中から 、 前記希望出カモーダルに対応した出カモーダルを有する電子機器を 選択し、 前記希望出カモーダルに対応した出カモーダルから情報を出 力する出力命令を選択した前記電子機器に送信する他の情報処理装置 から送信された前記出力命令を、 ネッ トワークを介して受信し、 受信した前記出力命令に基づいて、 前記希望出カモーダルに対応し た出カモーダルから前記情報を出力する
情報処理方法。
PCT/JP2020/005026 2019-02-25 2020-02-10 情報処理装置、及び情報処理方法 WO2020175115A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2021501870A JP7452524B2 (ja) 2019-02-25 2020-02-10 情報処理装置、及び情報処理方法
US17/431,717 US11936718B2 (en) 2019-02-25 2020-02-10 Information processing device and information processing method
EP20763857.8A EP3933828A1 (en) 2019-02-25 2020-02-10 Information processing device and information processing method
CN202080015269.0A CN113454709A (zh) 2019-02-25 2020-02-10 信息处理设备和信息处理方法
KR1020217024632A KR20210131324A (ko) 2019-02-25 2020-02-10 정보 처리 장치 및 정보 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019031295 2019-02-25
JP2019-031295 2019-02-25

Publications (1)

Publication Number Publication Date
WO2020175115A1 true WO2020175115A1 (ja) 2020-09-03

Family

ID=72239450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005026 WO2020175115A1 (ja) 2019-02-25 2020-02-10 情報処理装置、及び情報処理方法

Country Status (6)

Country Link
US (1) US11936718B2 (ja)
EP (1) EP3933828A1 (ja)
JP (1) JP7452524B2 (ja)
KR (1) KR20210131324A (ja)
CN (1) CN113454709A (ja)
WO (1) WO2020175115A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112835447A (zh) * 2021-01-22 2021-05-25 哈尔滨工业大学 穿戴式计算机多通道人机交互方法、装置、设备及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253375A (ja) 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
WO2016158792A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030073411A1 (en) * 2001-10-16 2003-04-17 Meade William K. System and method for automatically applying a user preference from a mobile computing device to an appliance
JP5862475B2 (ja) * 2012-06-18 2016-02-16 株式会社リコー 出力管理装置、出力管理システム、プログラム
US10469892B2 (en) * 2016-09-13 2019-11-05 Dvdo, Inc. Gesture-based multimedia casting and slinging command method and system in an interoperable multiple display device environment
KR101925034B1 (ko) * 2017-03-28 2018-12-04 엘지전자 주식회사 스마트 컨트롤링 디바이스 및 그 제어 방법
KR102447381B1 (ko) * 2017-12-08 2022-09-27 삼성전자주식회사 통화 중 인공지능 서비스를 제공하기 위한 방법 및 그 전자 장치
US10616726B1 (en) * 2018-02-22 2020-04-07 Amazon Technologies, Inc. Outputing notifications using device groups
US10778786B2 (en) * 2018-10-29 2020-09-15 International Business Machines Corporation Intelligent multi-device user interaction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011253375A (ja) 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
WO2016158792A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム

Also Published As

Publication number Publication date
EP3933828A1 (en) 2022-01-05
JPWO2020175115A1 (ja) 2021-12-23
JP7452524B2 (ja) 2024-03-19
US11936718B2 (en) 2024-03-19
US20220141283A1 (en) 2022-05-05
KR20210131324A (ko) 2021-11-02
CN113454709A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
US11424947B2 (en) Grouping electronic devices to coordinate action based on context awareness
JP6760267B2 (ja) 情報処理装置、制御方法、およびプログラム
US20200050861A1 (en) Wearable Apparatus for Name Tagging
US9794355B2 (en) Systems and methods for adaptive notification networks
CN102498725B (zh) 自动确定操作模式的移动设备
US8812419B1 (en) Feedback system
US20130188032A1 (en) Method and Apparatus for Communication Between Humans and Devices
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
US20130145272A1 (en) System and method for providing an interactive data-bearing mirror interface
CN111163906B (zh) 能够移动的电子设备及其操作方法
AU2004221365B2 (en) Method and apparatus for communication between humans and devices
US10511818B2 (en) Context aware projection
US10778826B1 (en) System to facilitate communication
US20190042188A1 (en) Information processing device, information processing method, and program
CN106303353A (zh) 一种视频会话控制方法及终端
JP6973380B2 (ja) 情報処理装置、および情報処理方法
WO2018139036A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN110178159A (zh) 具有集成式投影仪的音频/视频可穿戴式计算机系统
WO2020175115A1 (ja) 情報処理装置、及び情報処理方法
US20190036720A1 (en) Method and device to select an electronic device based on delivery attributes
CN111352501A (zh) 业务交互方法及装置
JP2019208167A (ja) テレプレゼンスシステム
CN111033606A (zh) 信息处理装置、信息处理方法和程序
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
US20200151796A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20763857

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021501870

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020763857

Country of ref document: EP

Effective date: 20210927