WO2020213116A1 - 情報処理装置およびデジタルアシスタントシステム - Google Patents

情報処理装置およびデジタルアシスタントシステム Download PDF

Info

Publication number
WO2020213116A1
WO2020213116A1 PCT/JP2019/016597 JP2019016597W WO2020213116A1 WO 2020213116 A1 WO2020213116 A1 WO 2020213116A1 JP 2019016597 W JP2019016597 W JP 2019016597W WO 2020213116 A1 WO2020213116 A1 WO 2020213116A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
main device
digital assistant
sound data
destination
Prior art date
Application number
PCT/JP2019/016597
Other languages
English (en)
French (fr)
Inventor
橋本　康宣
貞雄 鶴賀
Original Assignee
マクセル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マクセル株式会社 filed Critical マクセル株式会社
Priority to PCT/JP2019/016597 priority Critical patent/WO2020213116A1/ja
Priority to US17/604,507 priority patent/US20220208199A1/en
Priority to CN201980095537.1A priority patent/CN113711177A/zh
Priority to JP2021514736A priority patent/JP7244628B2/ja
Publication of WO2020213116A1 publication Critical patent/WO2020213116A1/ja
Priority to JP2023036259A priority patent/JP7483970B2/ja

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/028—Voice signal separating using properties of sound source
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals

Definitions

  • the present invention relates to a digital assistant technology that performs a required task and provides a result to the user through dialogue with the user.
  • it relates to the technology for realizing the digital assistant function remotely.
  • Patent Document 1 provides "one or more techniques and / or systems for providing personal assistant information.
  • a primary device can establish a communication channel with a secondary device.
  • the primary device can receive the context associated with the user.
  • the primary device enabled by the Digital Personal Assistant feature or capable of accessing such features calls the Digital Personal Assistant feature to open the context.
  • the personal assistant results can be evaluated and the personal assistant results can be provided from the primary device to the secondary device for presentation to the user. In this way, the secondary device has such a function.
  • a system that appears to provide digital personal assistant functionality without the need for, or in the absence of access to such functionality, is disclosed.
  • the digital assistant function When using the digital assistant function by voice command on a portable device such as a smartphone, if the device is at hand, it can be used without problems. However, even though it is a portable device, it is often placed away from the user. For example, when a user returns home, he / she is often taken away from his / her hand for charging or the like.
  • Patent Document 1 is premised on one user. However, in homes and the like, each householder holds a main device having a digital assistant function such as a smartphone. An individual householder may also have multiple primary devices. That is, there can be multiple users and more than the number of primary devices. However, the technique disclosed in Patent Document 1 is not supposed to be used in such an environment.
  • the present invention has been made in view of the above circumstances, and provides a technique capable of providing the digital assistant function to individual users even when the device having the digital assistant function is located away from the user's hand.
  • the purpose is to do.
  • the present invention is an information processing device that relays sound data to a main device that executes digital assistant processing, a sound acquisition unit that acquires ambient sound as the sound data, and the main device to which the sound data is transmitted.
  • the sound data is transmitted to the destination device determination unit that determines the destination main device, and the destination device, and the result of digital assistant processing executed in response to the sound data is used as an answer to the destination. It is characterized by including a transmission / reception unit that receives from the main device and an answer presentation unit that presents the answer received by the transmission / reception unit.
  • the present invention is a digital assistant system including a sub device and a main device, and providing the result of the digital assistant processing executed through the sub device.
  • the sub device acquires ambient sounds as sound data.
  • the sound data is transmitted to the sound acquisition unit, the destination device determination unit that determines the destination main device that is the main device to which the sound data is transmitted, and the destination main device, and the sound data.
  • the main device includes a transmission / reception unit that receives the result of digital assistant processing executed in response to the response from the destination main device as an answer, and an answer presentation unit that presents the answer received by the transmission / reception unit.
  • a data receiving unit that receives the sound data from the device, an assistant unit that executes the digital assistant processing according to the sound data received by the data receiving unit and outputs the processing result as the answer, and the assistant unit. It is characterized by including an answer transmission unit that returns the output answer to the sub-device that is the source of the sound data.
  • the digital assistant function can be provided to individual users even when the device having the digital assistant function is located away from the user's hand. Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
  • (A) and (b) are explanatory views for explaining the outline of the 1st Embodiment. It is a system block diagram of the assistant system of 1st Embodiment. It is a hardware block diagram of the secondary device of 1st Embodiment. It is a hardware block diagram of the main device of 1st Embodiment. It is a functional block diagram of the sub device of the first embodiment.
  • (A) is an explanatory diagram for explaining the cooperation information database of the first embodiment, and (b) is an explanatory diagram for explaining the user information database of the first embodiment.
  • (A) is a functional block diagram of the main device of the first embodiment, and (b) is an explanatory diagram for explaining the sub-device management database of the first embodiment.
  • 1 (a) and 1 (b) are diagrams for explaining an outline of the processing of the present embodiment.
  • a digital assistant function that executes a required task and provides a result to the user is remotely provided through a dialogue with the user.
  • a relay device that relays voice commands from the user and provides the result to the user is provided to a portable information processing device such as a smartphone having a digital assistant function.
  • a portable information processing device having a digital assistant function will be referred to as a main device.
  • the main device may be placed in a place away from the user.
  • the user is in the living room and the main device is connected to the charger in a room separate from the living room.
  • a video display device such as a television (TV) arranged in the living room is made to function as a relay device for the digital assistant function. That is, the television relays the voice command to the smartphone of the voice commander of the voice command.
  • a device that functions as a relay device is referred to as a sub device.
  • FIG. 1A it is assumed that a plurality of users A, B, and C possess their own main devices 300a, 300b, and 300c, respectively. Then, the television functions as the auxiliary device 100.
  • the sub-device that functions as a relay device for the digital assistant function may be, for example, the smart speaker 101.
  • FIG. 1 (b) A schematic diagram of this embodiment in this case is shown in FIG. 1 (b).
  • the sub-device 100 when the sub-device 100 (or 101) receives a voice command from the user A, the sub-device 100 (or 101) relays the voice command to the main device 300a of the user A. Then, the response from the main device 300a is received and output.
  • the voice command is relayed to the main device 300b of the user B, and the answer received from the main device 300b is output.
  • the voice command is relayed to the main device 300c of user C, and the obtained answer is output.
  • the output of the answer is, for example, when the sub device is the television 100, the audio output from the speaker, the display on the display, and the like. Further, when the sub device is the smart speaker 101, it is an audio output from the speaker or the like.
  • the sub device is the smart speaker 101, it is an audio output from the speaker or the like.
  • FIG. 2 is an overall configuration diagram of the assistant system 900 of the present embodiment.
  • the assistant system 900 of the present embodiment includes a sub device 100, a main device 300, and an access point (AP) 510.
  • the assistant system 900 of the present embodiment may further include a server 530 connected to the access point 510 via the external network 520. Further, a charging stand 511 for charging the main device 300 may be provided.
  • the main device 300 is a device that provides an individual user with a digital assistant function. Any device having a communication function, a user interface, and an information processing function may be used.
  • main device 300 for example, portable information processing devices 300a, 300b, 300c such as a smartphone, a smart watch 301, a head-mounted display (HMD) 302, a wireless headphone 303, and the like are used.
  • portable information processing devices 300a, 300b, 300c such as a smartphone, a smart watch 301, a head-mounted display (HMD) 302, a wireless headphone 303, and the like are used.
  • HMD head-mounted display
  • main device 300 for example, portable information processing devices 300a, 300b, 300c such as a smartphone, a smart watch 301, a head-mounted display (HMD) 302, a wireless headphone 303, and the like are used.
  • HMD head-mounted display
  • the sub-device 100 is a device that serves as an interface for individual users.
  • the voice by the user is received, the utterer of the voice is specified, and the voice is transferred to the main device 300 of the specified utterer. Further, when the processing result is received from the main device 300, it is presented to the user.
  • the number of sub-devices 100 is also not limited.
  • a television, a smart speaker 101, or the like is used as the auxiliary device 100.
  • a television having a display as a display device is used as the sub-device 100 will be described as an example.
  • the access point 510 is a device that connects wireless LAN clients to each other or connects to another network.
  • the main device 300 and the sub device 100 are connected.
  • FIG. 3 is a hardware configuration diagram of the sub-device 100 of the present embodiment.
  • the sub-device 100 of the present embodiment includes a controller 110, a TV unit 120, a microphone (microphone) 130, a display 140, a sound output unit 150, and a communication unit 160. Further, a camera 181 may be provided.
  • the controller 110 controls the entire sub-device 100.
  • the controller 110 includes a CPU 111 and a memory 112.
  • the memory 112 includes a RAM and a ROM, and the ROM stores the program 113 and the data 114.
  • the TV unit 120 realizes a normal function as a video display device. For example, it includes a reception channel selection unit 121, a signal separation unit 122, a video processing unit 123, an audio processing unit 124, a digital interface (I / F) unit 125, and a user interface (I / F) unit 126. ..
  • the reception channel selection unit 121 receives the broadcast signal and outputs it to the signal separation unit 122.
  • the reception channel selection unit 121 includes an RF tuner and the like, and selects a channel from the broadcast signal that the user designates by the remote controller or the like via the user I / F unit 126. Then, the selected broadcast signal is demodulated and sent to the signal separation unit 122 as reception data of the broadcast program.
  • the received data of a broadcast program is a plurality of video data, audio data, broadcast data, and the like.
  • the signal separation unit 122 separates the video data and the audio data from the received data and sends them to the video processing unit 123 and the audio processing unit 124, respectively.
  • the video data and audio data are encoded to compress the amount of information in the original data.
  • the video processing unit 123 performs decompression / decoding processing on the video data, obtains the video data of the TV broadcast program, and outputs the video data from the display 140.
  • the video data to be displayed may be managed in plane units, and for example, the OSD (On Screen Display) plane may be superimposed on the video data of the broadcast program.
  • the audio processing unit 124 performs decompression / decoding processing on the audio data, obtains the audio data of the TV broadcast program, and outputs the audio data from the sound output unit 150.
  • the digital I / F unit 125 has, for example, HDMI (registered trademark) or USB digital I / F function.
  • the digital I / F unit 125 accepts video and audio content data as external inputs and outputs them to the display 140 and the sound output unit 150 via the video processing unit 123 and the audio processing unit 124.
  • the microphone 130 acquires the sound of the outside world.
  • the display 140 displays the video data processed in the sub device 100.
  • the sound output unit 150 outputs the sound data processed in the sub device 100.
  • the sound output unit 150 may include, for example, a speaker 151 and an earphone 152.
  • the communication unit 160 includes a code circuit, a decoding circuit, an antenna, and the like, and transmits / receives data to / from another device (data communication).
  • the communication unit 160 includes a communication interface 162 that transmits / receives data to / from another device via the AP 510, and a proximity communication interface 161 that directly communicates with the other device.
  • the connection with the AP510 is performed by, for example, a wireless communication method such as Wi-Fi (registered trademark) or another communication method.
  • the camera 181 acquires an image around the sub device 100.
  • FIG. 4 is a hardware configuration diagram of the main device 300 of the present embodiment.
  • the main device 300 of the present embodiment measures the controller 310, the microphone 330, the display 340, the audio output unit 350, the communication unit 360, the position detection unit 370, and the camera 381.
  • a distance sensor 382 is provided.
  • the position detection unit 370 detects the current position, tilt, speed, etc. of the main device 300.
  • a sensor for detecting such information for example, an acceleration sensor 371, a gyro sensor 372, a geomagnetic sensor 373, and a GPS receiver 374 are provided.
  • the camera 381 acquires an image around the main device 300.
  • the camera 381 may include two types of cameras in which the orientation of the central axis of the shooting range differs by 180 degrees, for example, an outward-facing camera and an inward-facing camera.
  • the ranging sensor 382 acquires the distance to an object around the main device 300.
  • the sub-device 100 of the present embodiment functions as a user interface of the digital assistant function in addition to the function as a normal television. That is, the user's voice is relayed to the user's main device 300.
  • the function of the sub device 100 as the user I / F of the digital assistant function of the main device 300 is referred to as digital assistant cooperation between the sub device 100 and the main device 300, or simply cooperation.
  • the main device 300 performs digital assistant processing only on the sound data received from the sub-device 100 in the linked state, and provides an answer.
  • the state in which the sub-device 100 can cooperate with the digital assistant is called a cooperation mode.
  • the state in which the main device 300 can cooperate with the digital assistant is called a cooperation mode.
  • the sub-device 100 of the present embodiment includes a sub-device side cooperation unit 210 as a digital assistant cooperation function.
  • the sub-device side cooperation unit 210 includes a cooperation setting unit 211, a sound acquisition unit 212, a transmission destination device determination unit 213, a transmission / reception unit 214, and an answer presentation unit 215.
  • Each of these functions is realized by the CPU 111 loading the program 113 stored in the memory 112, for example, the ROM, into the memory 112, for example, the RAM, and executing the program 113.
  • the memory 112 further stores the cooperation information database (DB) 230 and the user information database (DB) 240 as the data 114 used for these processes.
  • DB cooperation information database
  • DB user information database
  • the cooperation setting unit 211 manages the cooperation state of the main device 300 that may perform digital assistant cooperation. In this embodiment, it is managed by the cooperation information DB 230.
  • the cooperation information DB 230 stores information on the main device 300 of the user and information on whether or not the cooperation with the main device 300 is established for each user.
  • the main device ID 232, the access information 233, and the cooperation flag 234 are registered for each user ID 231.
  • the user ID 231 is information that identifies the user.
  • the main device ID 232 is information that identifies the main device 300 used by the user.
  • the access information 233 is information for accessing the main device 300 via the AP 510, for example, an IP address or the like.
  • the user ID 231 and the main device ID 232 and the access information 233 are registered in advance by the user. For example, as will be described later, it is set by performing the cooperation initial setting process in the main device 300. This information is stored in the memory 112 after being set at the time of initial setting.
  • main device type 235 and the main device name 236 may be further registered as the information of the main device 300.
  • the main device type 235 is the type of the main device. For example, smartphones, tablets, smart watches, etc. are registered.
  • main device name 236 is a name of the main device 300. It may be given to the main device 300 in advance, or may be given by the user independently. This information is also registered by the user in advance.
  • the cooperation flag 234 stores information indicating whether or not the main device 300 is in a cooperation state.
  • a cooperation request command is transmitted to the sub device 100 via the AP 510.
  • the cooperation setting unit 211 sets the cooperation flag 234 of the data of the source main device 300 in the cooperation information DB 230, and returns the cooperation establishment command to the source main device 300.
  • the data in which the cooperation flag 234 is set shows the cooperation flag 234 ON
  • the data in which the cooperation flag 234 is not set shows the cooperation flag 234 OFF.
  • the main device 300 in which the cooperation flag 234 is ON is the main device 300 in which digital assistant cooperation is established.
  • the cooperation request command includes the main device ID 232 and the access information 233 of the main device 300.
  • the cooperation setting unit 211 specifies the data for setting the cooperation flag 234 based on the information.
  • the cooperation establishment command returned includes the sub-device ID and access information which are the identification information of the sub-device 100.
  • the sound acquisition unit 212 generates sound data from the sound acquired by the microphone 130 and outputs it to the transmission destination device determination unit 213. Further, the sound data is output to the transmission / reception unit 214 in response to the instruction from the transmission destination device determination unit 213.
  • the sound acquisition unit 212 performs noise removal processing on the sound acquired by the microphone 130 to generate sound data.
  • the noise removal process performed here is, for example, a process of removing sounds having a certain volume or less, removing components outside a predetermined frequency domain (low frequency, high frequency), and the like.
  • the sound acquisition unit 212 may perform noise removal processing using a known technique such as a spectrum subtraction method.
  • the destination device determination unit 213 determines the main device 300 of the sound data transmission destination as the destination main device. First, when sound data is received from the sound acquisition unit 212, the sound is analyzed, the user information DB 240 is referred to, and the user who is the utterer is specified. If the user cannot be specified, it is determined that the data is not voice data, and the destination main device is not determined.
  • the user information DB 240 stores information for identifying a user by sound.
  • the voice information 242 is registered in association with the user ID 241 which is the information for identifying the user.
  • the face image 243 may be registered.
  • the voice information 242 may be, for example, the actual voice data of the user.
  • the transmission destination device determination unit 213 collates the voice information 242 with the received sound data by using a voiceprint, a frequency, or the like, and identifies the user. Therefore, the voice information 242 does not have to be the user's voice data itself, but may be information that can compare voiceprints, frequencies, and the like. Further, the actual voice data may be stored in another area and may be access information to the area.
  • the voice information 242 is registered in advance by the user. The same applies to the face image 243.
  • the destination device determination unit 213 of the present embodiment refers to the user information DB 240 and identifies the voice information 242 that matches the received sound data within a predetermined allowable range. Then, the user ID 241 associated with the specified voice information 242 is extracted from the user information DB 240.
  • the destination device determination unit 213 identifies the user's main device 300 and determines it as the destination main device.
  • the cooperation information DB 230 is referred to, and the main device 300 registered in association with the same user ID 231 as the extracted user ID 241 is determined as the destination main device.
  • the determination result is output to the sound acquisition unit 212.
  • the main device ID 232 and the access information 233 are output to the sound acquisition unit 212 as the determination result.
  • the destination device determination unit 213 does not indicate that the acquired sound data is the voice of the user. Judge and output nothing.
  • the transmission destination device determination unit 213 may notify the user to that effect. For example, the display 140 shows that the cooperation has not been established.
  • the sound acquisition unit 212 When the sound acquisition unit 212 receives the main device ID 232 and the access information 233 from the transmission destination device determination unit 213, the sound acquisition unit 212 instructs the transmission / reception unit 214 to transmit the sound data to the main device 300.
  • the transmission / reception unit 214 transmits / receives data via the communication interface 162.
  • the sound data is transmitted to the main device 300 as a relay voice according to the instruction from the sound acquisition unit 212.
  • the processing result is received from the main device 300, it is output to the answer presentation unit 215.
  • the answer presentation unit 215 outputs the processing result to the user via the display 140 and / or the sound output unit 150.
  • the main device 300 of the present embodiment includes an assistant unit 410 and a main device side cooperation unit 420 as a function for realizing digital assistant cooperation.
  • the main device side cooperation unit 420 includes a data reception unit 421, an answer transmission unit 422, a cooperation management unit 423, and an initial setting unit 424.
  • Each of these functions is realized by the CPU 311 loading the program 313 stored in the memory 312, for example, the ROM, into the memory 312, for example, the RAM, and executing the program 313.
  • the memory 312 further stores the sub-device management database (DB) 430 as the data 314 used for these processes.
  • DB sub-device management database
  • the initial setting unit 424 performs the linkage initial setting process.
  • the information of the own device (main device 300) is registered in the sub-device 100 to be linked prior to the execution of the digital assistant linkage process.
  • Registration is performed, for example, by transmitting the above information to the sub-device 100 together with the registration request via the proximity communication interfaces 161 and 361 in the vicinity of the sub-device 100.
  • the sub-device ID and the access information which are the information for identifying the sub-device 100, may be acquired as the information on the sub-device 100 side.
  • These acquired information may be managed in, for example, the sub-device management DB 430 described later.
  • the sub-device management DB 430 stores information necessary for cooperation for each sub-device 100. Specifically, the access information 432 and the cooperation flag 433 indicating whether or not the cooperation is set are stored in association with the sub device ID 431 which is the information for identifying the sub device 100. The cooperation flag 433 is set by the cooperation management unit 423, which will be described later.
  • the sub device ID 431 and the access information 432 may also be set by the cooperation management unit 423 described later. That is, the identification information and access information of the sub-device included in the cooperation establishment command returned in response to the cooperation request command may be stored. Further, for the data in which the cooperation establishment command is received and the sub device ID and the access information 432 are set, the cooperation flag 433 is set to ON until the cooperation is canceled.
  • the cooperation management unit 423 manages the sub-device 100 to be linked, and also manages whether or not the digital assistant is in the linked state with the sub-device 100.
  • the cooperation management unit 423 first manages whether or not the main device 300, which is its own device, is in a state in which digital assistant cooperation is possible. In the present embodiment, for example, it is determined whether or not the AP 510 of the assistant system 900 can be accessed, that is, whether or not the AP 510 is recognized.
  • the cooperation management unit 423 When the cooperation management unit 423 recognizes the AP510, it determines that the digital assistant can be linked.
  • the link management unit 423 When it is determined that the digital assistant can be linked, that is, when the AP 510 is recognized, the link management unit 423 outputs a link request command via the AP 510.
  • the cooperation establishment command is transmitted to the transmission source main device 300 as described above.
  • each sub-device 100 transmits a cooperation establishment command.
  • the cooperation management unit 423 When the cooperation management unit 423 receives the cooperation establishment command from the sub device 100, the cooperation management unit 423 establishes the cooperation with the sub device 100 and puts it in the cooperation state with the sub device 100. Specifically, the data linkage flag 433 of the source sub-device 100 is set (turned on). The data of the sub-device 100 of the transmission source is specified by the sub-device ID and access information included in the cooperation establishment command.
  • the cooperation flag 433 is set in, for example, a RAM or the like so that it is released when the power is turned off.
  • the data receiving unit 421 receives the relay voice via the communication interface 362, and outputs the received relay voice to the assistant unit 410 when it is in a cooperative state with the sub-device 100 of the transmission source. Whether or not it is in the linked state is determined by the linked flag 433 of the sub-device management DB 430. When the data receiving unit 421 receives the relay voice from the sub-device 100 in the linked state and the communication path is not established, the data receiving unit 421 establishes a communication path with the source sub-device 100. ..
  • the assistant unit 410 analyzes the relay voice in the same manner as the sound acquired by the normal microphone 330, performs assistant processing, and outputs an answer. At this time, if necessary, information may be acquired from the server 530 or the like connected to the external network 520 via the AP 510.
  • the answer transmission unit 422 transmits the answer output by the assistant unit 410 to the sub-device 100 for which the communication path is established. Transmission is done via communication interface 362.
  • the answer transmission unit 422 may transmit not only the content of the answer but also the information such as the voice type and the character of the assistant set in the assistant function of the main device 300 by superimposing it on the answer.
  • the answer presentation unit 215 of the sub device 100 presents the answer with the voice type of the main device 300 and superimposes the character information.
  • FIG. 8 is a processing flow of the digital assistant cooperation processing of the present embodiment.
  • a case where cooperation is performed between the main device 300a and the sub device 100 among the main devices 300 will be described as an example.
  • the cooperation management unit 423 of the main device 300a recognizes the AP510, it transmits a cooperation request command (step S1101).
  • a cooperation request command is transmitted to AP510.
  • the sub-device 100 may be specified and a cooperation request command may be transmitted.
  • the sub-device 100 that has received the cooperation request command from the main device 300a starts cooperation with the source main device 300a (step S1202).
  • the cooperation setting unit 211 refers to the cooperation information DB 230 and sets the cooperation flag 234 of the data of the main device 300a. Further, the cooperation setting unit 211 returns the cooperation establishment command to the main device 300a of the transmission source.
  • the cooperation management unit 423 of the main device 300a that has received the cooperation establishment command turns on the cooperation mode with the sub device 100 (step S1102).
  • the cooperation management unit 423 sets the cooperation flag 433 of the data of the corresponding sub device 100 in the sub device management DB 430.
  • the digital assistant cooperation is established between the main device 300a and the sub device 100.
  • the sub-device 100 determines whether or not the sound data has been acquired by the sound acquisition unit 212 at predetermined time intervals (step S1203).
  • the sub-device side cooperation unit 210 determines whether or not the main power supply of the sub-device 100 has been turned off (step S1210), and when it is determined that the sub-device 100 has been turned off. , End the process. If it is not turned off, the process returns to step S1203 and the process is continued.
  • the destination device determination unit 213 determines whether the user can be identified from the sound data (step S1204).
  • it is collated with each voice information 242 stored in the user information DB 240, and it is determined whether or not there is a record that can be determined to match.
  • step S1210 If it is determined that the user cannot be specified (S1204; No), that is, if there is no record that can be determined to match the voice information 242, the process proceeds to step S1210.
  • the destination device determination unit 213 identifies the utterer of the sound data and identifies the associated main device 300 (step S1205).
  • the transmission destination device determination unit 213 extracts the user ID 241 registered in association with the voice information 242 that can be determined to match.
  • the cooperation information DB 230 is referred to, the corresponding main device ID 232 and the access information 233 are extracted, and the sound acquisition unit 212 is notified.
  • the sound acquisition unit 212 sends sound data to the transmission / reception unit 214 toward the main device 300a. Instruct to send as relay sound.
  • the transmission / reception unit 214 transmits the relay voice to the main device 300a (step S1206).
  • the transmission / reception unit 214 transmits the relay voice to the main device 300 of the determined user and receives the answer (step S1207).
  • step S1103 when the data receiving unit 421 receives the relay voice (step S1103), it outputs the relay sound to the assistant unit 410.
  • the assistant unit 410 performs digital assistant processing (step S1104) and generates an answer. If the assistant unit 410 determines that the transmitted relay voice is not the target of digital assistant processing, the assistant unit 410 does not perform the processing.
  • the reply transmission unit 422 returns the obtained reply to the sub-device 100 of the transmission source (step S1105). After that, in the main device 300a, the cooperation management unit 423 returns to step S1103 until it detects that the cooperation has been canceled (step S1106), and waits for the reception of the relay voice. On the other hand, when it is detected that the cooperation has been canceled, the process ends.
  • the release of cooperation means, for example, a state of going out or turning off the main power supply.
  • the answer presentation unit 215 presents the answer (step S1209).
  • the answer presentation unit 215 generates video data and audio data from the answers, and outputs them from the display 140 and the sound output unit 150, respectively.
  • FIG. 9A An example of output to the display 140 at this time is shown in FIG. 9A.
  • FIG. 9A is an example in which the sound data inquires about the schedule, such as "Please tell me the schedule for next week".
  • the displayed screen example 610 includes an answer display area 611 and a main device information display area 612.
  • the video data obtained as an answer is displayed in the answer display area 611.
  • the assistant unit 410 of the main device 300a displays the video data generated from the schedule information extracted from the memory 312.
  • main device information display area 612 information that identifies the main device 300a that is the source of the response, for example, the main device ID and the like is displayed.
  • step S1205 Even if it is determined in step S1205 that the user is not the user A and an answer is received from the determined user's main device 300, the answer presenting unit 215 presents the answer.
  • a display indicating that the cooperation is not established is displayed. For example, as shown in FIG. 9B, a display such as "Main device not found" is displayed, and similar audio data is output. At this time, since the respondent is the sub device 100, the sub device 100 is displayed in the main device information display area 612.
  • the video data and audio data are stored in a memory 112 or the like in advance.
  • step S1210 After presenting the answer in step S1209, the sub-device side cooperation unit 210 proceeds to step S1210. After transmitting the relay voice in step S1206, the sub-device side cooperation unit 210 starts measuring the time. Then, if an answer cannot be obtained within the predetermined time, it is determined that the time-out has occurred, and the process proceeds to step S1210 as it is.
  • the assistant system 900 of the present embodiment is a sub-device 100 that relays sound data to a main device that executes digital assistant processing, and includes a sound acquisition unit 212 that acquires ambient sounds as sound data.
  • a digital assistant that transmits sound data to the destination device determination unit 213 that determines the destination main device, which is the main device 300 to which the sound data is transmitted, and the destination main device, and is executed according to the sound data. It has a sub-device including a transmission / reception unit 214 that receives the processing result as an answer from the destination main device, and an answer presentation unit 215 that presents the answer received by the transmission / reception unit 214.
  • the sound data can be relayed to the appropriate main device 300 even when there are a plurality of main devices 300.
  • a desired digital assistant result can be obtained.
  • the destination device determination unit 213 analyzes the sound data to determine the user who is the speaker, and determines the main device 300 registered in association with the determined user as the destination main device. Therefore, according to the present embodiment, it is possible to provide each user with a digital assistant function by the main device 300 of each user.
  • ⁇ Modification example 1> when the main device 300 itself recognizes the AP 510, the main device 300 determines that the digital assistant can be linked. Then, the cooperation request command is transmitted to the sub-device 100, and the mode shifts to the cooperation mode.
  • the trigger for the transition to the cooperative mode is not limited to this. For example, when it is detected that it is placed on the charging stand 511, the mode may be shifted to the cooperation mode.
  • the cooperation management unit 423 determines whether or not the AP 510 is mounted on the charging stand 511 instead of determining whether or not the AP 510 is recognized. Then, when it is detected that it is mounted on the charging stand 511, the cooperation management unit 423 determines that the digital assistant can be linked, and outputs a cooperation request command to the AP 510.
  • the charging stand 511 may be provided with a control unit and a communication interface. In this case, when it is detected that the main device 300 is mounted on the charging stand 511 side, a cooperation request command is output to the sub device 100 via the AP 510.
  • the charging stand 511 transmits the main device ID of the main device 300 to be linked and the access information together.
  • the access information of the charging stand 511 itself may be transmitted, and then data may be transmitted / received between the sub device 100 and the main device 300 via the charging stand 511.
  • the cooperation management unit 423 may determine that the digital assistant can be linked.
  • the predetermined area is home, etc.
  • the cooperation management unit 423 receives the above-mentioned determination result by the position detection unit 370, the cooperation management unit 423 outputs a cooperation request command and establishes the cooperation.
  • control can be performed so that the main device 300 is in the linked state.
  • ⁇ Modification example 3> For example, when the user wears a wearable device and performs short-range communication with the main device 300, it may be determined that the digital assistant can be linked by another method.
  • the cooperation management unit 423 detects that the short-range communication with the wearable device is interrupted, it may determine that the digital assistant can be linked.
  • the short-range communication between the wearable device and the main device 300 is interrupted because the distance between them is increased. Therefore, it can be determined that the user has left the main device 300.
  • the cooperation management unit 423 When the cooperation management unit 423 receives an output indicating that the communication has been interrupted from the short-range communication interface 361, it outputs a cooperation request command and establishes the cooperation.
  • the wearable device is, for example, a smart watch 301, an HMD 302, a wireless headphone 303, or the like.
  • the cooperation management unit 423 detects that the user has removed the HMD 302 by the sensor of the HMD 302, it may be determined that the digital assistant can be linked.
  • the main device 300 side turns on the link mode.
  • the main device 300 may be configured to always turn on the cooperation mode. That is, when the initial setting unit 424 performs the initial setting, the cooperation flag 433 is turned ON.
  • the initial setting unit 424 registers in advance the information of the device that functions as the sub device 100 in the sub device management DB 430.
  • the sub device management DB 430 does not have to be set.
  • the main device side cooperation unit 420 manages the access information of the transmission source sub device 100. Then, after obtaining the reply, the reply transmission unit 422 transmits the reply based on the managed access information.
  • the transmission destination device determination unit 213 of the sub device 100 analyzes the sound data and determines the user.
  • the destination device determination unit 213 may identify the user based on the face image.
  • the sub-device 100 includes a camera 181 that acquires a user's face image. Further, as shown in FIG. 6B, a face image 243 for collation of each user is registered in advance in the user information DB 240 in association with the user ID 241.
  • the transmission destination device determination unit 213 analyzes the image acquired by the camera 181 in synchronization with the acquisition of sound data by the sound acquisition unit 212. Then, it collates with the face image 243 and extracts the user ID 241 associated with the matching face image. Then, the main device ID 232 and the access information 233 associated with the user ID 231 matching the extracted user ID 241 are output to the sound acquisition unit 212 as a determination result.
  • the destination device determination unit 213 outputs the main device ID 232 and the access information 233 of all the main devices 300 for which the cooperation flag 234 is set in the cooperation information DB 230 to the sound acquisition unit 212.
  • the sound acquisition unit 212 transmits the acquired sound data to all the main devices 300 for which the cooperation flag 234 is set.
  • Each main device 300 performs a personal authentication process using the received sound data in the data receiving unit 421. Then, when the person is authenticated, the received sound data is output to the assistant unit 410, and digital assistant processing is requested.
  • the main device 300 performs digital assistant processing and outputs an answer. Therefore, in this case, a desired answer can be obtained on the sub-device 100 side without sorting the transmission destination based on the sound data.
  • ⁇ Modification 8> For example, one user may be using a plurality of main devices 300.
  • the information of the plurality of main devices 300 may be registered in the cooperation information DB 230 in association with the same user ID 231.
  • the main device ID 232 is 300a-1 and 300a-2 are the main devices 300 of the same user.
  • the destination device determination unit 213 presents the information of the main device 300 extracted from the cooperation information DB 230 to the user, and selects from the user. Accept.
  • main device name 236 when the name of each main device (main device name 236) is registered in the cooperation information DB 230, the name is displayed.
  • main device name 236 When the main device name 236 is not registered, for example, the main device ID 232 or the like is displayed.
  • FIG. 10A shows a display example of the selection screen 620 displayed when accepting a selection.
  • the selection screen 620 includes, for example, a message display area 621 and a selection reception area 622.
  • the selection reception area 622 is an area for receiving selection by the user. For example, when the sub device 100 is a television, the user selects the main device 300 via the selection reception area 622 by operating the remote controller or the like.
  • the transmission destination device determination unit 213 determines the main device 300 received via the selection reception area 622 as the transmission destination main device 300. Then, the transmission / reception unit 214 transmits the sound data to the main device 300 as a relay voice.
  • the destination device determination unit 213 notifies the transmission / reception unit 214 of the information of the user's main device 300 extracted from the cooperation information DB 230. Then, the transmission / reception unit 214 transmits sound data to all the extracted main devices 300. Then, the transmission / reception unit 214 may receive all the obtained answers and have the response presentation unit 215 present them.
  • the desired answer can be obtained from the smartphone, and the answer cannot be answered or the answer can be obtained from the tablet. Absent. Therefore, in any case, the user can obtain the desired answer.
  • the transmission / reception unit 214 may transmit sound data to the extracted main device 300 in a predetermined order.
  • the predetermined order is, for example, the registration order of the cooperation information DB 230. Sound data is transmitted to the main device 300 of 1. Then, if the reply of the reply is not received within the predetermined period, or if the reply that the reply cannot be answered is received, the sound data is transmitted to the next main device 300. Then, when an answer is obtained, the answer presentation unit 215 is made to present it. On the other hand, if no answer is obtained from any of the main devices 300, the answer presentation unit 215 is asked to present the answer.
  • the priority order of sound data transmission may be set in the cooperation information DB 230.
  • the transmission / reception unit 214 transmits sound data in the order of priority.
  • the sub-device 100 is a television provided with the display 140 has been described as an example.
  • the sub-device 100 is not limited to this.
  • the smart speaker 101 may not have the display 140.
  • the smart speaker 101 includes a corresponding device registration DB 250.
  • a nearby device including the display 140 is registered in advance as a video output device.
  • An example of the corresponding device registration DB 250 in this case is shown in FIG. 10 (b).
  • the sub-device ID 251 which is the identification information of the sub-device 100 and the video output destination device ID 252 which is the identification information of the video output device are registered in the corresponding device registration DB 250 in association with each other.
  • the corresponding device registration DB 250 is registered in the memory 112, for example.
  • the answer presentation unit 215 analyzes the data obtained as an answer. Then, when the data can be output only by voice, it is output from its own sound output unit 150. On the other hand, when the answer includes video data and needs to be output to the display 140, the corresponding device registration DB 250 is referred to to specify the device including the associated display 140. Then, the video data is transferred to the device and output.
  • the smart speaker 101 which is the sub-device 100, may be configured to output the display destination of the answer by voice.
  • the corresponding device registration DB 250 does not have to be provided.
  • the specification database for example, whether or not each sub-device 100 has a display device, the arrangement position of each sub-device 100, and the like are stored.
  • the answer presentation unit 215 extracts a nearby device and the device including the display 140 from this database, and transfers the video data to the device.
  • the data receiving unit 421 of the main device 300 receives the sound data from each sub-device 100.
  • the data receiving unit 421 instructes the same processing, the digital assistant processing by the voice acquired by itself and the digital assistant processing by the sound data via the sub device 100 compete with each other.
  • the data receiving unit 421 establishes a communication path with the sub-device 100 that is the source of the earliest sound data.
  • the sub-device 100 is a relay device that relays sound data to the main device 300.
  • the sub-device 100 also has an assistant function.
  • the sub-device 100 of the present embodiment receives the sound data, it analyzes it with the assistant function and determines whether or not the request from the user based on the sound data requires the personal information of the user in order to obtain an answer.
  • the sub-device 100 performs an assistant process and presents the answer to the user.
  • the personal information of the user is a necessary request
  • the sound data is transferred to the main device 300, the answer is generated by the main device 300, and the answer is presented to the user by the sub device 100, as in the first embodiment.
  • the main device 300 is the same as that of the first embodiment.
  • the hardware configuration of the sub-device 100 is the same as that of the first embodiment.
  • the functional block is different from the first embodiment.
  • FIG. 12 is a functional block of the sub-device 100 of the present embodiment.
  • the sub-device 100 of the present embodiment includes the sub-device side cooperation unit 210 as in the first embodiment.
  • the sub-device side cooperation unit 210 includes a cooperation setting unit 211, a sound acquisition unit 212, a transmission destination device determination unit 213, a transmission / reception unit 214, and an answer presentation unit 215. Further, an assistant unit 220 on the sub-device side is provided.
  • the sound acquisition unit 212 of the present embodiment When the sound acquisition unit 212 of the present embodiment generates sound data, it first transmits it to the sub-device side assistant unit 220.
  • the sub-device side assistant unit 220 analyzes sound data, performs assistant processing, and outputs an answer, like the assistant unit 410 of the main device 300. However, when the sub-device side assistant unit 220 determines that the personal information of each user is necessary as a result of analyzing the sound data, it outputs to that effect to the transmission destination device determination unit 213.
  • the transmission destination device determination unit 213 determines the user and determines the transmission destination main device 300 as described above. ..
  • FIG. 13 is a processing flow of digital assistant cooperation processing in the sub-device 100 of the present embodiment. Here, it is assumed that it is linked with at least one main device 300.
  • the sound acquisition unit 212 determines whether or not sound data has been acquired at predetermined time intervals (step S1203). When the sound data is acquired (S1203; Yes), the sound data is transmitted to the assistant unit 220 on the sub-device side.
  • the sub-device side assistant unit 220 analyzes the sound data (step S2101) and determines whether or not personal information is required in order to give an answer (step S2102).
  • the sub-device side assistant unit 220 determines that the personal information is necessary (S2102; Yes)
  • the sub-device side assistant unit 220 notifies the destination device determination unit 213 to that effect.
  • the destination device determination unit 213 performs the processes after step S1204 of the first embodiment.
  • step S2103 the assistant process is performed as it is based on the sound data (step S2103), an answer is generated, and the process proceeds to step S1209. To do. Subsequent processing is the same as that of the first embodiment.
  • personal information is not required, for example, when asked about the weather at a specific place.
  • An output example in such a case is shown in FIG.
  • the answer is displayed in the answer display area 611.
  • the main device information display area 612 information for identifying the sub device 100 is displayed as information indicating that the sub device 100 has processed the information.
  • the sub device 100 is a TV, for example, TV is displayed in the main device information display area 612.
  • the sub-device 100 of the assistant system 900 of the present embodiment includes a sub-device side assistant unit 220 that executes digital assistant processing in addition to the functions of the sub-device 100 of the first embodiment. Then, the sub-device side assistant unit 220 analyzes the sound data and determines whether or not personal information is required in order to execute the digital assistant process. The destination device determination unit 213 determines the destination main device when the sub-device side assistant unit 220 determines that personal information is required. Further, when the sub-device side assistant unit 220 executes the digital assistant process, the answer presentation unit 215 further presents the digital assistant process result.
  • the digital assistant processing result by the main device 300 of each user can be presented to each user. .. Further, according to the present embodiment, when the personal information stored in the main device 300 of each user is an unnecessary assistant request, the digital assistant process is executed on the sub device 100 side to respond. Therefore, a quick answer can be obtained.
  • the sub-device side assistant unit 220 determines whether or not personal information is necessary for performing assistant processing. However, it is not limited to this. For example, it may be determined whether or not the sound data is a voice command.
  • the destination device determination unit 213 is made to identify the user and determine the destination main device 300, regardless of the content of the assistant request from the user, as in the first embodiment. Then, the transmission / reception unit 214 transmits the sound data to the determined main device 300.
  • the sub-device side assistant unit 220 may generate a command for digital assistant processing after analyzing the sound data, and cause the transmission / reception unit 214 to transmit the generated command to the main device 300. ..
  • the transmission destination device determination unit 213 is made to determine the user who is the uttering person of the sound by using the sound data, and the transmission destination main device 300 is determined. Then, the transmission / reception unit 214 transmits a command instead of sound data to the determined main device 300.
  • the assistant unit 410 on the main device 300 side does not need to analyze the sound data.
  • the sub-device 100 may be configured to transmit the sound data to the main device specified by the user's call.
  • the assistant unit 220 on the sub-device side analyzes this sound data and specifies the destination of the sound data. That is, when the sound data includes, for example, the voice corresponding to the main device name 236, the transmission destination device determination unit 213 is notified to that effect.
  • the destination device determination unit 213 determines the data main device 300 including the main device name 236 notified from the sub device side assistant unit 220 as the destination main device 300.
  • the name of each main device 300 is registered in advance in the cooperation information DB 230 as the main device name 236.
  • the destination main device 300 can be determined more accurately. As a result, it is possible to obtain an answer that responds appropriately to the user's assistant request.
  • a communication path is established between the main device 300 and the sub-device 100 only between the transmission and reception of a pair of questions and answers.
  • the communication path may be established until an explicit instruction to cancel the communication path is received from the user or until a predetermined time elapses.
  • the user first inquires about the schedule for a specific period.
  • the sub-device 100 analyzes the sound data, determines the user, and determines the main device 300 of the transmission destination. Then, the sub-device 100 transmits the sound data or the command to the main device 300.
  • the main device 300 returns a reply to the sub device 100 of the transmission source accordingly.
  • the sub-device 100 presents the answer to the user.
  • the user sees it and issues a new voice command. For example, adding a new schedule to a specific date, changing the schedule for a specific date, and so on.
  • the sub-device 100 acquires this sound data, it transmits it to the main device 300 in which the communication path is established, without performing the user discrimination and the determination process of the destination main device.
  • sound data is analyzed and processed.
  • the assistant system 900 may be composed of a portable information processing device such as a smartphone and a wearable device.
  • the wearable device is used as the sub device 100
  • the portable information processing device is used as the main device 300.
  • the user puts the main device 300a, which is a portable information processing device, in a bag or the like, and wears a wearable device (smart watch 301) that functions as a sub device 100 and goes out. During this time, the user issues a voice command to the smartwatch 301.
  • the main device 300a which is a portable information processing device, in a bag or the like
  • a wearable device smart watch 301 that functions as a sub device 100 and goes out.
  • the user issues a voice command to the smartwatch 301.
  • the smart watch 301 transmits the acquired voice command of the user to the portable information processing device which is the main device 300, and executes the assistant process. Then, the result is received by the smart watch 301.
  • the smartwatch 301 and the portable information processing device are switched to a home LAN connection via the AP510. After that, the smart watch 301 is used as one of the 100 sub-devices in the home.
  • ⁇ Modification 14> the case where the voice by one user is received and the assistant result by the main device 300 or the sub device 100 of that user is output will be described as an example.
  • the number of main devices 300 is not limited. Therefore, a plurality of users may request the digital assistant function at short time intervals.
  • the timing at which the answers are obtained is substantially the same, and the answer presentation unit 215 outputs the answer, which is the processing result received from each main device 300, to the user via the display 140 or the sound output unit 150. ..
  • the answer presentation unit 215 divides the display area of the display 140 according to the number of received processing results (answers) and displays each answer.
  • FIG. 16A shows an example of displaying answers when two users, User A and User B, try to use the assistant function at substantially the same time.
  • the answer presentation unit 215 divides the display area into two, and displays the answer together with the information that identifies the main device 300 that is the source of the answer.
  • the answer presentation unit 215 divides, for example, the display area of the display 140 into a first display area 630a for displaying the answer to the user A and a second display area 630b for displaying the answer to the user B. Then, in each display area (630a, 630b), the main device information display area 612 (612a, 612b) and the answer display area 611 (611a, 611b) are provided as in the above embodiment. Then, in each display area, information and an answer that identifies the main device 300 that is the source of the answer are displayed.
  • the existing multi-viewer may be externally attached to the sub-device 100, and the answers from the plurality of main devices 300 may be displayed on one display 140 by this multi-viewer.
  • the answer presentation unit 215 may assign an answer from a different source to each channel and output the answer. At this time, if there are more sources than the number of channels, they may be output with a time lag.
  • the sub-device 100 of the present embodiment separates the voice and relays the voice or voice command to each main device 300.
  • the sound acquisition unit 212 of the sub-device side cooperation unit 210 has a voice separation function that separates sound data for each sound source.
  • the sound acquisition unit 212 first separates sound data that may be a mixture of voices of a plurality of people for each sound source. In this modification, for example, it is separated into individual voice data and / or non-voice sound data. Then, the sound data separated for each sound source is transmitted to the transmission destination device determination unit 213.
  • the sound acquisition unit 212 classifies each voice component based on the characteristics by deep learning. Then, the voice components classified by the clustering process are grouped into individual voice data and / or sound data other than voice.
  • the transmission destination device determination unit 213 analyzes each of the sound data separated for each sound source received from the sound acquisition unit 212 independently and independently, and determines the transmission destination device for each of the audio data in the sound data. Since the determination method is the same as each of the above embodiments, it will not be described here. Then, as in each of the above embodiments, the main device ID 232 and the access information 233 are notified to the sound acquisition unit 212 for each voice data.
  • the sound acquisition unit 212 instructs the transmission / reception unit 214 to transmit the voice data separated for each sound source to the main device 300 determined by the transmission destination device determination unit 213.
  • the flow of processing until the acquired voice data is transmitted to each main device 300 is basically the same as in each of the above embodiments.
  • step S1203 and step S1204 of the digital assistant cooperation process of FIG. 8 are changed as follows.
  • the sound acquisition unit 212 separates the sound data for each sound source by the above method. Then, the transmission destination device determination unit 213 determines in S1204 whether or not the user can be identified for each of the separated sound data.
  • the sound acquisition unit 212 separates the sound data for each sound source by the above method. Then, the sub-device side assistant unit 220 analyzes each sound data after separation and determines whether or not personal information is required to give an answer. Then, when it is determined that the personal information is necessary, the sound data after the separation is notified to the transmission destination device determination unit 213. The process of the destination device determination unit 213 after receiving the notification is the same.
  • the assistant unit 220 on the sub-device side generates an answer based on the sound data as it is, and the answer presentation unit is made to present the answer.
  • each user can request the digital assistant function.
  • the digital assistant function by the main device 300 can be provided.
  • the server 530 includes a controller 540 and a communication interface 562.
  • the controller 540 includes a CPU 541 and a memory 542, and the memory 542 stores the program 543 and the data 544.
  • the function realized by the server 530 is previously stored in the memory 542 as a program 543.
  • each function is realized by the CPU 541 loading the program 543 stored in the memory 542 in advance into the work area provided in the memory 542 and executing the program 543 while using the data 544.
  • the present invention is not limited to the above-described embodiments and modifications, and includes various modifications.
  • the above-described embodiments and modifications have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be placed in a memory unit, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, SD card, or DVD. ..
  • SSD Solid State Drive
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily shown on the product. In practice, it can be considered that almost all configurations are interconnected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

デジタルアシスタント機能を有する主デバイスがユーザの手元から離れた場所にある場合であっても、個々のユーザにデジタルアシスタント機能を提供する。デジタルアシスタント処理を実行する主デバイス３００に音データを中継する情報処理装置であって、周囲の音を音データとして取得する音取得部２１２と、音データの送信先の主デバイス３００である送信先主デバイスを決定する送信先デバイス決定部２１３と、送信先主デバイスに、音データを送信するとともに、音データに応じて実行されたデジタルアシスタント処理結果を回答として送信先主デバイスから受信する送受信部２１４と、送受信部で受信した回答を提示する回答提示部２１５と、を備える。

Description

情報処理装置およびデジタルアシスタントシステム
　本発明は、ユーザとの対話を通じて、必要とされるタスクを実行し、結果をユーザに提供するデジタルアシスタント技術に関する。特に、リモートでデジタルアシスタント機能を実現する技術に関する。
　デジタルアシスタント機能を有する主デバイスと、デジタルアシスタント機能を持たない副デバイスとによりアシスタント機能を実現するシステムがある。例えば、特許文献１には、「パーソナルアシスタント情報を提供するための１つまたは複数の技法および／またはシステムが提供される。例えば、主デバイスが、副デバイスとの通信チャネルを確立することができる。主デバイスは、ユーザに関連付けられたコンテキストを受け取ることができる。デジタルパーソナルアシスタント機能により使用可能となるまたはそのような機能にアクセスすることができる主デバイスは、デジタルパーソナルアシスタント機能を呼び出してコンテキストを評価し、パーソナルアシスタント結果を生成することができる。パーソナルアシスタント結果は、ユーザへの提示のために主デバイスから副デバイスに提供することができる。このようにして、副デバイスは、そのような機能を備えなくても、またはそのような機能にアクセスすることができなくても、デジタルパーソナルアシスタント機能を提供するように見える（要約抜粋）」システムが開示される。
特表２０１７－５３８９８５号公報
　スマートフォン等、携帯型デバイスにおいて、音声コマンドによるデジタルアシスタント機能を利用する場合、手元にデバイスがある場合は、問題なく使用できる。しかしながら、携帯型デバイスとはいえ、ユーザから離れた場所に置かれることも多い。例えば、ユーザは、帰宅すると、充電等のため、手元から離すことが多い。
　特許文献１に開示の技術によれば、ユーザによる音声コマンドの受け取りは、デジタルアシスタント機能を備える主デバイスを介して行われる。従って、主デバイスがユーザの手元から離れた場合は、使用できない。
　また、特許文献１に開示の技術は、ユーザは１人であることが前提である。しかしながら、家庭などでは、個々の家人がスマートフォン等のデジタルアシスタント機能を有する主デバイスを保持する。また、個々の家人は、複数の主デバイスを所持することもある。つまり、複数のユーザとユーザの数以上の主デバイスが存在し得る。しかしながら、特許文献１に開示の技術では、このような環境での使用は想定されていない。
　本発明は、上記事情に鑑みてなされたもので、デジタルアシスタント機能を有するデバイスがユーザの手元から離れた場所にある場合であっても、個々のユーザにデジタルアシスタント機能を提供可能な技術を提供することを目的とする。
　本発明は、デジタルアシスタント処理を実行する主デバイスに音データを中継する情報処理装置であって、周囲の音を前記音データとして取得する音取得部と、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定部と、前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信部と、前記送受信部で受信した回答を提示する回答提示部と、を備えることを特徴とする。
　また、本発明は、副デバイスと主デバイスとを備え、前記副デバイスを通して、実行したデジタルアシスタント処理の結果を提供するデジタルアシスタントシステムであって、前記副デバイスは、周囲の音を音データとして取得する音取得部と、前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定部と、前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行したデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信部と、前記送受信部で受信した前記回答を提示する回答提示部と、を備え、前記主デバイスは、前記副デバイスから前記音データを受信するデータ受信部と、前記データ受信部で受信した前記音データに応じて前記デジタルアシスタント処理を実行し、処理結果を前記回答として出力するアシスタント部と、前記アシスタント部が出力した前記回答を、前記音データの送信元の前記副デバイスに返信する回答送信部と、を備えることを特徴とする。
　本発明によれば、デジタルアシスタント機能を有するデバイスがユーザの手元から離れた場所にある場合であっても、個々のユーザにデジタルアシスタント機能を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。
（ａ）および（ｂ）は、第一実施形態の概要を説明するための説明図である。 第一実施形態のアシスタントシステムのシステム構成図である。 第一実施形態の副デバイスのハードウェア構成図である。 第一実施形態の主デバイスのハードウェア構成図である。 第一実施形態の副デバイスの機能ブロック図である。 （ａ）は、第一実施形態の連携情報データベースを、（ｂ）は、第一実施形態のユーザ情報データベースを、それぞれ説明するための説明図である。 （ａ）は、第一実施形態の主デバイスの機能ブロック図であり、（ｂ）は、第一実施形態の副デバイス管理データベースを説明するための説明図である。 第一実施形態のデジタルアシスタント連携処理のフローチャートである。 （ａ）および（ｂ）は、第一実施形態の画面例をそれぞれ説明するための説明図である。 （ａ）は、第一実施形態の変形例の画面例を、（ｂ）は、第一実施形態の変形例の対応装置登録データベース例を、（ｃ）は、第一実施形態の変形例の副デバイスの出力例を、それぞれ、説明するための説明図である。 第二実施形態の概要を説明するための説明図である。 第二実施形態の副デバイスの機能ブロック図である。 第二実施形態の副デバイスのデジタルアシスタント連携処理のフローチャートである。 第二実施形態の出力例を説明するための説明図である。 本発明の実施形態の変形例の概要を説明するための説明図である。 （ａ）は、本発明の実施形態の変形例の画面例を、（ｂ）は、同変形例の処理の概要を、それぞれ説明するための説明図である。 本発明の実施形態の変形例のサーバのハードウェア構成図である。
　＜＜第一実施形態＞＞
　以下、本発明の第一実施形態を説明する。全明細書において、同じ機能を有するものには、同じ符号を付し、繰り返しの説明は省略する。
　まず、本実施形態の処理の概要を説明する。図１（ａ）および図１（ｂ）は、本実施形態の処理の概要を説明するための図である。
　本実施形態では、ユーザとの対話を通じて、必要とされるタスクを実行し、結果をユーザに提供するデジタルアシスタント機能を、リモートで提供する。具体的には、デジタルアシスタント機能を備えるスマートフォン等の携帯型の情報処理装置に対し、ユーザからの音声コマンドを中継するとともに、ユーザに結果を提供する中継装置を設ける。以下、デジタルアシスタント機能を備える携帯型の情報処理装置を、主デバイスと呼ぶ。
　自宅等では、主デバイスがユーザから離れた場所に置かれることがある。例えば、ユーザは、居間にいて、主デバイスは居間とは別の部屋で充電器に接続されている場合等である。
　本実施形態では、このような時、居間に配置される、例えば、テレビ（ＴＶ）等の映像表示装置を、デジタルアシスタント機能の中継装置として機能させる。すなわち、テレビは、音声コマンドを、音声コマンドの音声の発声主のスマートフォンに中継する。以下、中継装置として機能する装置を、副デバイスと呼ぶ。
　本実施形態では、図１（ａ）に示すように、複数のユーザＡ、Ｂ、Ｃが、それぞれ、自身の主デバイス３００ａ、３００ｂ、３００ｃを所持しているものとする。そして、テレビが副デバイス１００として機能する。なお、デジタルアシスタント機能の中継装置として機能する副デバイスは、例えば、スマートスピーカ１０１であってもよい。この場合の、本実施形態の概要図を、図１（ｂ）に示す。
　図１（ａ）および図１（ｂ）に示すように、副デバイス１００（または、１０１）は、ユーザＡから音声コマンドを受信すると、ユーザＡの主デバイス３００ａにその音声コマンドを中継する。そして、主デバイス３００ａからの回答を受信し、出力する。また、ユーザＢから音声コマンドを受信すると、ユーザＢの主デバイス３００ｂにその音声コマンドを中継し、主デバイス３００ｂから受信した回答を出力する。ユーザＣの場合も同様に、音声コマンドを受信すると、ユーザＣの主デバイス３００ｃにその音声コマンドを中継し、得られた回答を出力する。
　回答の出力は、例えば、副デバイスがテレビ１００の場合、スピーカからの音声出力、ディスプレイ上への表示等である。また、副デバイスがスマートスピーカ１０１の場合、スピーカからの音声出力等である。以下、上記機能を実現するアシスタントシステムを説明する。
　［システムの全体構成］
　まず、本実施形態のアシスタントシステム９００の全体構成を説明する。図２は、本実施形態のアシスタントシステム９００の全体構成図である。
　本図に示すように、本実施形態のアシスタントシステム９００は、副デバイス１００と、主デバイス３００と、アクセスポイント（ＡＰ）５１０と、を備える。なお、本実施形態のアシスタントシステム９００は、さらに、外部ネットワーク５２０を介して、アクセスポイント５１０と接続されるサーバ５３０を備えてもよい。また、主デバイス３００を充電する充電台５１１を備えてもよい。
　主デバイス３００は、個々のユーザにデジタルアシスタント機能を提供する装置である。通信機能、ユーザインタフェース、情報処理機能を備える装置であればよい。
　本実施形態では、主デバイス３００として、例えば、スマートフォン等の携帯型情報処理装置３００ａ、３００ｂ、３００ｃや、スマートウォッチ３０１、ヘッドマウントディスプレイ（ＨＭＤ）３０２や、ワイヤレスヘッドフォン３０３等が用いられる。以下、本実施形態では、主デバイス３００として、スマートフォンを用いる場合を例にあげて説明する。なお、主デバイス３００の個数は限定されない。
　副デバイス１００は、個々のユーザのインタフェースとなるデバイスである。本実施形態では、ユーザによる音声を受け付け、音声の発声主を特定し、特定した発声主の主デバイス３００に当該音声を転送する。また、主デバイス３００から処理結果を受信すると、ユーザに提示する。副デバイス１００の個数も限定されない。
　本実施形態では、例えば、副デバイス１００として、テレビ、スマートスピーカ１０１等が用いられる。以下、本実施形態では、副デバイス１００として、表示装置であるディスプレイを有するテレビを用いる場合を例にあげて説明する。
　アクセスポイント５１０は、無線ＬＡＮクライアントを相互に接続したり、他のネットワークに接続したりするデバイスである。本実施形態では、主デバイス３００と副デバイス１００とを接続する。
　［副デバイスのハードウェア構成］
　次に、副デバイス１００について説明する。図３は、本実施形態の副デバイス１００のハードウェア構成図である。
　本図に示すように、本実施形態の副デバイス１００は、コントローラ１１０と、ＴＶ部１２０と、マイクロフォン（マイク）１３０と、ディスプレイ１４０と、音出力部１５０と、通信部１６０と、を備える。さらに、カメラ１８１を備えてもよい。
　コントローラ１１０は、副デバイス１００の全体の制御を行う。本実施形態では、コントローラ１１０は、ＣＰＵ１１１と、メモリ１１２とを備える。メモリ１１２は、ＲＡＭとＲＯＭとを備え、ＲＯＭには、プログラム１１３とデータ１１４とが格納される。
　ＴＶ部１２０は、映像表示装置としての通常の機能を実現する。例えば、受信選局部１２１と、信号分離部１２２と、映像処理部１２３と、音声処理部１２４と、デジタルインタフェース（Ｉ／Ｆ）部１２５と、ユーザインタフェース（Ｉ／Ｆ）部１２６と、を備える。
　受信選局部１２１は、放送信号を受信し、信号分離部１２２に出力する。受信選局部１２１は、ＲＦチューナー等を含み、ユーザがユーザＩ／Ｆ部１２６を介してリモコン等により指定するチャンネルを放送信号から選択する。そして、選択した放送信号を復調して放送番組の受信データとして、信号分離部１２２に送る。放送番組の受信データは、映像データ、音声データ、放送データなどが多重されたものである。
　信号分離部１２２は、受信データから映像データと音声データを分離し、それぞれ映像処理部１２３、音声処理部１２４に送る。映像データ、音声データは、オリジナルデータの情報量を圧縮する符号化がなされている。
　映像処理部１２３は、映像データに対し、伸張・復号処理を行い、ＴＶ放送番組の映像データを得、ディスプレイ１４０から出力する。なお、このとき、表示する映像データをプレーン単位で管理し、例えば、ＯＳＤ（Ｏｎ　Ｓｃｒｅｅｎ　Ｄｉｓｐｌａｙ）プレーンを放送番組の映像データに重畳してもよい。
　音声処理部１２４は、音声データに対し、伸張・復号処理を行い、ＴＶ放送番組の音声データを得、音出力部１５０から出力する。
　デジタルＩ／Ｆ部１２５は、例えばＨＤＭＩ（登録商標）、もしくはＵＳＢのデジタルＩ／Ｆ機能を有する。デジタルＩ／Ｆ部１２５は、映像及び音声のコンテンツデータを外部入力として受け付け、映像処理部１２３および音声処理部１２４を介してディスプレイ１４０および音出力部１５０に出力する。
　マイク１３０は、外界の音を取得する。
　ディスプレイ１４０は、副デバイス１００内で処理された映像データを表示する。
　音出力部１５０は、副デバイス１００内で処理された音データを出力する。音出力部１５０は、例えば、スピーカ１５１と、イヤホン１５２とを備えてもよい。
　通信部１６０は、符号回路や復号回路、アンテナ等を備え、他装置とのデータの送受信（データ通信）を行う。通信部１６０は、ＡＰ５１０を介して他装置とのデータの送受信を行う通信インタフェース１６２と、直接他装置と通信を行う近接通信インタフェース１６１とを備える。ＡＰ５１０との接続は、例えば、Ｗｉ－Ｆｉ（登録商標）等の無線通信方式やその他の通信方式により行われる。
　カメラ１８１は、副デバイス１００の周囲の画像を取得する。
　［主デバイスのハードウェア構成］
　次に、主デバイス３００のハードウェア構成を説明する。図４は、本実施形態の主デバイス３００のハードウェア構成図である。
　本図に示すように、本実施形態の主デバイス３００は、コントローラ３１０と、マイク３３０と、ディスプレイ３４０と、音声出力部３５０と、通信部３６０と、位置検出部３７０と、カメラ３８１と、測距センサ３８２とを備える。
　各構成は、副デバイス１００の同名の構成と基本的に同様の機能を有するため、ここでは、詳細は説明しない。
　なお、位置検出部３７０は、主デバイス３００の現在位置、傾き、速度等を検出する。これらの情報を検出するためのセンサとして、例えば、加速度センサ３７１と、ジャイロセンサ３７２と、地磁気センサ３７３と、ＧＰＳ受信器３７４とを備える。
　カメラ３８１は、主デバイス３００の周囲の画像を取得する。なお、カメラ３８１として、撮影範囲の中心軸の向きが１８０度異なる２種のカメラ、例えば、外向きカメラと、内向きカメラとを備えてもよい。測距センサ３８２は、主デバイス３００の周囲の物体までの距離を取得する。
　［副デバイスの機能ブロック］
　次に、本実施形態の副デバイス１００の機能構成について説明する。上述のように、本実施形態の副デバイス１００は、通常のテレビとしての機能に加え、デジタルアシスタント機能のユーザインタフェースとして機能する。すなわち、ユーザの音声を、当該ユーザの主デバイス３００に中継する。
　以下、副デバイス１００が、主デバイス３００のデジタルアシスタント機能のユーザＩ／Ｆとして機能することを、副デバイス１００と主デバイス３００とのデジタルアシスタント連携、あるいは、単に、連携、と呼ぶ。主デバイス３００は、例えば、連携状態である副デバイス１００から受信した音データについてのみ、デジタルアシスタント処理を行い、回答を提供する。なお、副デバイス１００が、デジタルアシスタント連携可能な状態を連携モードと呼ぶ。主デバイス３００も同様に、デジタルアシスタント連携可能な状態を連携モードと呼ぶ。
　以下、上記デジタルアシスタント連携機能を実現する本実施形態の副デバイス１００の機能ブロックを説明する。ここでは、副デバイス１００の機能のうち、デジタルアシスタント連携機能にのみ主眼をおいて説明する。
　本実施形態の副デバイス１００は、図５に示すように、デジタルアシスタント連携機能として、副デバイス側連携部２１０を備える。副デバイス側連携部２１０は、連携設定部２１１と、音取得部２１２と、送信先デバイス決定部２１３と、送受信部２１４と、回答提示部２１５と、を備える。
　これらの各機能は、メモリ１１２の例えばＲＯＭに保存されたプログラム１１３を、ＣＰＵ１１１がメモリ１１２の例えばＲＡＭにロードして実行することにより、実現される。
　また、メモリ１１２には、さらに、これらの処理に用いるデータ１１４として、連携情報データベース（ＤＢ）２３０と、ユーザ情報データベース（ＤＢ）２４０とが格納される。
　連携設定部２１１は、デジタルアシスタント連携を行う可能性のある主デバイス３００の連携状態を管理する。本実施形態では、連携情報ＤＢ２３０により管理する。
　連携情報ＤＢ２３０の一例を、図６（ａ）に示す。連携情報ＤＢ２３０は、ユーザ毎に、当該ユーザの主デバイス３００の情報と、当該主デバイス３００との連携が確立されているか否かの情報が格納される。
　具体的には、本図に示すように、ユーザＩＤ２３１毎に、主デバイスＩＤ２３２と、アクセス情報２３３と、連携フラグ２３４と、が登録される。
　ユーザＩＤ２３１は、ユーザを特定する情報である。主デバイスＩＤ２３２は、そのユーザが使用する主デバイス３００を識別する情報である。また、アクセス情報２３３は、ＡＰ５１０を介して、その主デバイス３００にアクセスするための情報、例えば、ＩＰアドレス等である。
　ユーザＩＤ２３１、主デバイスＩＤ２３２およびアクセス情報２３３は、予め、ユーザにより登録される。例えば、後述するように、主デバイス３００において、連携初期設定処理を行うことにより、設定される。これらの情報は、初期設定時に設定された後、メモリ１１２に保持される。
　なお、主デバイス３００の情報として、さらに、主デバイス種別２３５および主デバイス名称２３６が登録されてもよい。主デバイス種別２３５は、主デバイスの種類である。例えば、スマートフォン、タブレット、スマートウォッチ等が登録される。また、主デバイス名称２３６は、主デバイス３００の呼称である。予め主デバイス３００に付与されたものであってもよいし、ユーザが独自に付与したものであってもよい。これらの情報も、予めユーザにより登録される。
　また、連携フラグ２３４は、その主デバイス３００と連携状態であるか否かを示す情報が格納される。
　本実施形態では、後述するように、主デバイス３００がＡＰ５１０を認識すると、ＡＰ５１０を介して連携要求コマンドを副デバイス１００に送信する。連携設定部２１１は、主デバイス３００から連携要求コマンドを受信すると、連携情報ＤＢ２３０の、送信元の主デバイス３００のデータの連携フラグ２３４を設定し、送信元の主デバイス３００に連携確立コマンドを返信する。なお、本図では、連携フラグ２３４が設定されているデータは、連携フラグ２３４をＯＮで示し、設定されていないデータは、連携フラグ２３４をＯＦＦで示す。連携フラグ２３４がＯＮの主デバイス３００とは、デジタルアシスタント連携が確立されている主デバイス３００である。
　なお、連携要求コマンドには、主デバイス３００の主デバイスＩＤ２３２およびアクセス情報２３３が含まれる。連携設定部２１１は、これらの情報に基づき、連携フラグ２３４を設定するデータを特定する。
　また、返信される連携確立コマンドには、副デバイス１００の識別情報である副デバイスＩＤおよびアクセス情報が含まれる。
　音取得部２１２は、マイク１３０で取得した音から音データを生成し、送信先デバイス決定部２１３に出力する。また、送信先デバイス決定部２１３からの指示に応じて音データを送受信部２１４に出力する。
　本実施形態では、音取得部２１２は、マイク１３０で取得した音に対し、ノイズ除去処理を行い、音データを生成する。ここで行うノイズ除去処理は、たとえば、一定音量以下の音を除く、所定の周波数領域外（低周波、高周波）成分を除く等の処理である。なお、音取得部２１２は、スペクトル減算法など公知の技術を用いてノイズ除去処理を行ってもよい。
　送信先デバイス決定部２１３は、音データの送信先の主デバイス３００を送信先主デバイスとして決定する。まず、音取得部２１２から音データを受け取ると、当該音を解析し、ユーザ情報ＤＢ２４０を参照し、発声主であるユーザを特定する。なお、ユーザが特定できない場合は、音声データでないと判別し、送信先主デバイスは決定しない。
　ここで、送信先デバイス決定部２１３がユーザを特定する際に用いるユーザ情報ＤＢ２４０の一例を説明する。ユーザ情報ＤＢ２４０は、音によりユーザを特定するための情報が格納される。本実施形態では、ユーザを特定する情報であるユーザＩＤ２４１に対応づけて、音声情報２４２が登録される。なお、さらに顔画像２４３が登録されてもよい。
　音声情報２４２は、例えば、ユーザの実際の音声データであってもよい。なお、送信先デバイス決定部２１３は、声紋や周波数等を用いて、音声情報２４２と受け取った音データとを照合し、ユーザを特定する。従って、音声情報２４２は、ユーザの音声データそのものでなくても、声紋や周波数等が比較できる情報であればよい。また、実際の音声データは、別の領域に格納し、当該領域へのアクセス情報であってもよい。
　なお、音声情報２４２は、予めユーザにより登録される。顔画像２４３も同様である。
　本実施形態の送信先デバイス決定部２１３は、ユーザ情報ＤＢ２４０を参照し、受け取った音データに、所定の許容範囲内で合致する音声情報２４２を特定する。そして、特定した音声情報２４２に対応付けられたユーザＩＤ２４１をユーザ情報ＤＢ２４０から抽出する。
　音データの発声主であるユーザを特定すると、送信先デバイス決定部２１３は、そのユーザの主デバイス３００を特定し、送信先主デバイスと決定する。ここでは、連携情報ＤＢ２３０を参照し、抽出したユーザＩＤ２４１と同じユーザＩＤ２３１に対応づけて登録されている主デバイス３００を、送信先主デバイスと決定する。決定結果は、音取得部２１２に出力される。本実施形態では、例えば、主デバイスＩＤ２３２およびアクセス情報２３３を決定結果として音取得部２１２に出力する。
　なお、受け取った音データに所定の許容範囲内で合致する音声情報２４２がユーザ情報ＤＢ２４０に登録されていない場合は、送信先デバイス決定部２１３は、取得された音データはユーザによる音声ではないと判断し、何も出力しない。
　また、送信先主デバイスと決定した主デバイス３００の連携フラグ２３４がＯＦＦである場合、当該主デバイス３００は、この副デバイス１００との間で、連携が確立されていない。従って、この場合、送信先デバイス決定部２１３は、その旨、ユーザに通知してもよい。例えば、ディスプレイ１４０に、連携が未確立であることを表示する。
　なお、音取得部２１２は、送信先デバイス決定部２１３から主デバイスＩＤ２３２およびアクセス情報２３３を受信した場合、当該主デバイス３００に向けて、音データを送信するよう送受信部２１４に指示を行う。
　送受信部２１４は、通信インタフェース１６２を介してデータの送受信を行う。本実施形態では、音取得部２１２からの指示に従って、音データを、中継音声として主デバイス３００に送信する。また、主デバイス３００から処理結果を受信すると、回答提示部２１５に出力する。
　回答提示部２１５は、処理結果を、ディスプレイ１４０および／または音出力部１５０を介してユーザに出力する。
　［主デバイスの機能ブロック］
　次に、上記デジタルアシスタント連携機能を実現する、本実施形態の主デバイス３００の機能ブロックを説明する。ここでは、主デバイス３００の機能のうち、デジタルアシスタント連携機能にのみ主眼をおいて説明する。
　本実施形態の主デバイス３００は、図７（ａ）に示すように、アシスタント部４１０と、デジタルアシスタント連携を実現する機能として、主デバイス側連携部４２０と、を備える。主デバイス側連携部４２０は、データ受信部４２１と、回答送信部４２２と、連携管理部４２３と、初期設定部４２４と、を備える。
　これらの各機能は、メモリ３１２の例えばＲＯＭに保存されたプログラム３１３を、ＣＰＵ３１１がメモリ３１２の例えばＲＡＭにロードして実行することにより、実現される。
　また、メモリ３１２には、さらに、これらの処理に用いるデータ３１４として、副デバイス管理データベース（ＤＢ）４３０が格納される。
　初期設定部４２４は、連携初期設定処理を行う。本実施形態では、デジタルアシスタント連携処理の実行に先立ち、連携を行う副デバイス１００に、自装置（主デバイス３００）の情報を登録する。上述のように、自装置である主デバイス３００の、主デバイスＩＤ２３２と、アクセス情報２３３とを登録する。
　登録は、例えば、副デバイス１００の近傍で、近接通信インタフェース１６１および３６１を介して上記情報を副デバイス１００に、登録要求とともに送信することにより行う。このとき、副デバイス１００側の情報として副デバイス１００を特定する情報である副デバイスＩＤとアクセス情報とを取得してもよい。取得したこれらの情報は、例えば、後述する副デバイス管理ＤＢ４３０に管理してもよい。
　ここで、副デバイス管理ＤＢ４３０の例を、図７（ｂ）に示す。本図に示すように、副デバイス管理ＤＢ４３０は、副デバイス１００毎の連携に必要な情報が格納される。具体的には、副デバイス１００を特定する情報である副デバイスＩＤ４３１に対応づけて、そのアクセス情報４３２と、連携が設定されているか否かを示す連携フラグ４３３が格納される。連携フラグ４３３は、後述する連携管理部４２３により設定される。
　なお、副デバイスＩＤ４３１およびアクセス情報４３２も、後述する連携管理部４２３により設定されてもよい。すなわち、連携要求コマンドに応じて返信された連携確立コマンドに含まれる副デバイスの識別情報およびアクセス情報を格納してもよい。また、連携確立コマンドを受信し、副デバイスＩＤとアクセス情報４３２とが設定されたデータについては、連携が解除されるまでは、連携フラグ４３３をＯＮに設定する。
　連携管理部４２３は、連携する副デバイス１００を管理するとともに、当該副デバイス１００との間でデジタルアシスタント連携状態であるか否かを管理する。
　連携管理部４２３は、まず、自装置である主デバイス３００が、デジタルアシスタント連携可能状態であるか否かを管理する。本実施形態では、例えば、アシスタントシステム９００のＡＰ５１０にアクセス可能か、すなわち、ＡＰ５１０を認識したか否かを判別する。
　連携管理部４２３は、ＡＰ５１０を認識した場合、デジタルアシスタント連携可能状態であると判別する。
　デジタルアシスタント連携可能状態と判別した場合、すなわち、ＡＰ５１０を認識した場合、連携管理部４２３は、ＡＰ５１０を介して、連携要求コマンドを出力する。
　副デバイス１００側では、連携要求コマンドを受信すると、上述のように、連携確立コマンドを、送信元の主デバイス３００に送信する。なお、副デバイス１００として機能するデバイスがＡＰ５１０を介して複数接続されている場合、各副デバイス１００から連携確立コマンドが送信される。
　連携管理部４２３は、副デバイス１００から連携確立コマンドを受信すると、当該副デバイス１００との連携を確立し、当該副デバイス１００との間で連携状態とする。具体的には、送信元の副デバイス１００のデータの連携フラグ４３３を設定する（ＯＮにする）。なお、送信元の副デバイス１００のデータは、連携確立コマンドに含まれる副デバイスＩＤおよびアクセス情報で特定する。
　また、連携管理部４２３は、ＡＰ５１０を認識しなくなると、連携フラグ４３３を解除する。なお、連携フラグ４３３は、電源がＯＦＦされると、解除されるよう、例えば、ＲＡＭ等に設定する。
　データ受信部４２１は、通信インタフェース３６２を介して中継音声を受信し、送信元の副デバイス１００との間で連携状態である場合、受信した中継音声をアシスタント部４１０に出力する。連携状態であるか否かは、副デバイス管理ＤＢ４３０の連携フラグ４３３により判別する。なお、データ受信部４２１は、連携状態である副デバイス１００であって、通信路が未確立の副デバイス１００から中継音声を受信すると、送信元の副デバイス１００との間に通信路を確立させる。
　アシスタント部４１０は、中継音声を、通常のマイク３３０で取得した音と同様に解析し、アシスタント処理を行い、回答を出力する。このとき、必要に応じて、ＡＰ５１０を介して、外部ネットワーク５２０に接続されたサーバ５３０等から情報を取得してもよい。
　回答送信部４２２は、通信路が確立されている副デバイス１００に対し、アシスタント部４１０が出力した回答を送信する。送信は、通信インタフェース３６２を介して行われる。
　回答送信部４２２は、回答の内容だけでなく、主デバイス３００のアシスタント機能において設定されている、アシスタントの音声種、キャラクタ等の情報も、回答に重畳して送信してもよい。
　副デバイス１００の回答提示部２１５は、これらの情報に基づき、主デバイス３００の音声種で回答を提示したり、キャラクタ情報を重畳したりする。
　［デジタルアシスタント連携処理］
　本実施形態のデジタルアシスタント連携処理の流れを説明する。図８は、本実施形態のデジタルアシスタント連携処理の処理フローである。ここでは、主デバイス３００のうち主デバイス３００ａと、副デバイス１００との間で連携を行う場合を例にあげて説明する。なお、ここでは、初期設定部４２４と連携設定部２１１とにより、連携情報ＤＢ２３０および副デバイス管理ＤＢ４３０の登録は完了しているものとする。
　まず、主デバイス３００ａの連携管理部４２３は、ＡＰ５１０を認識すると、連携要求コマンドを送信する（ステップＳ１１０１）。ここでは、ＡＰ５１０に向けて連携要求コマンドを送信する。副デバイス管理ＤＢ４３０に登録されている副デバイス１００が１つの場合は、副デバイス１００を特定して、連携要求コマンドを送信してもよい。
　主デバイス３００ａから連携要求コマンドを受信した副デバイス１００は（ステップＳ１２０１）、送信元の主デバイス３００ａとの連携を開始する（ステップＳ１２０２）。ここでは、連携設定部２１１は、連携情報ＤＢ２３０を参照し、主デバイス３００ａのデータの連携フラグ２３４を設定する。また、連携設定部２１１は、連携確立コマンドを、送信元の主デバイス３００ａに返信する。
　連携確立コマンドを受信した主デバイス３００ａの連携管理部４２３は、副デバイス１００との連携モードをＯＮにする（ステップＳ１１０２）。ここでは、連携管理部４２３は、副デバイス管理ＤＢ４３０の、該当する副デバイス１００のデータの連携フラグ４３３を設定する。
　以上の処理により、主デバイス３００ａと、副デバイス１００との間にデジタルアシスタント連携が確立される。
　デジタルアシスタント連携が確立された後、副デバイス１００は、音取得部２１２により音データが取得されたか否かを、所定の時間間隔で判別する（ステップＳ１２０３）。
　音データが取得されていない場合（Ｓ１２０３；Ｎｏ）、副デバイス側連携部２１０は、副デバイス１００の主電源がＯＦＦされたか否かを判別し（ステップＳ１２１０）、ＯＦＦされたと判別された場合は、処理を終了する。ＯＦＦされていない場合は、ステップＳ１２０３へ戻り、処理を継続する。
　一方、音データを取得した場合、送信先デバイス決定部２１３は、音データからユーザを特定可能か判別する（ステップＳ１２０４）。ここでは、上述のように、ユーザ情報ＤＢ２４０に格納されている各音声情報２４２と照合し、合致と判定可能なレコードがあるか否かを判別する。
　ユーザ特定不可能と判別された場合（Ｓ１２０４；Ｎｏ）、すなわち、音声情報２４２に合致と判定可能なレコードが無い場合は、ステップＳ１２１０へ移行する。
　一方、合致と判定可能なレコードが有る場合（Ｓ１２０４；Ｙｅｓ）、送信先デバイス決定部２１３は、音データの発声主を特定し、対応付けられた主デバイス３００を特定する（ステップＳ１２０５）。ここでは、送信先デバイス決定部２１３は、合致と判定可能な音声情報２４２に対応づけて登録されているユーザＩＤ２４１を抽出する。そして、連携情報ＤＢ２３０を参照し、対応する主デバイスＩＤ２３２とアクセス情報２３３とを抽出し、音取得部２１２に通知する。
　例えば、主デバイスＩＤ２３２で特定される主デバイス３００が、ユーザＡの主デバイス３００である主デバイス３００ａである場合、音取得部２１２は、送受信部２１４に、主デバイス３００ａに向けて、音データを中継音声として送信するよう指示を行う。指示を受けて、送受信部２１４は、主デバイス３００ａに向けて中継音声を送信する（ステップＳ１２０６）。
　なお、送信先デバイス決定部２１３が判別したユーザが、ユーザＡ以外である場合、送受信部２１４は、判別されたユーザの主デバイス３００に中継音声を送信し、回答を受信する（ステップＳ１２０７）。
　主デバイス３００ａ側では、データ受信部４２１は、中継音声を受信すると（ステップＳ１１０３）、アシスタント部４１０に出力する。
　アシスタント部４１０は、デジタルアシスタント処理を行い（ステップＳ１１０４）、回答を生成する。なお、アシスタント部４１０は、送られてきた中継音声が、デジタルアシスタント処理対象ではないと判別した場合、処理を行わない。
　回答送信部４２２は、得られた回答を、送信元の副デバイス１００に返信する（ステップＳ１１０５）。その後、主デバイス３００ａでは、連携管理部４２３が、連携が解除されたことを検出するまで（ステップＳ１１０６）、ステップＳ１１０３へ戻り、中継音声の受信を待つ。一方、連携が解除されたことを検出すると、処理を終了する。なお、連携が解除されるとは、例えば、外出または主電源がＯＦＦされた状態である。
　また、副デバイス１００では、送受信部２１４が主デバイス３００ａから回答を受信すると（ステップＳ１２０８）、回答提示部２１５は、回答を提示する（ステップＳ１２０９）。ここでは、回答提示部２１５は、回答から映像データおよび音声データを生成し、それぞれ、ディスプレイ１４０および音出力部１５０から出力する。
　このときのディスプレイ１４０への出力例を図９（ａ）に示す。図９（ａ）は、音データが「来週の予定を教えて欲しい」といった、スケジュールを問い合わせるものである場合の例である。本図に示すように、表示される画面例６１０は、回答表示領域６１１と、主デバイス情報表示領域６１２とを備える。
　回答表示領域６１１には、回答として得た映像データが表示される。本例の場合、主デバイス３００ａのアシスタント部４１０が、メモリ３１２から抽出したスケジュール情報から生成された映像データが表示される。
　主デバイス情報表示領域６１２には、回答の送信元の主デバイス３００ａを特定する情報、例えば、主デバイスＩＤ等が表示される。
　なお、ステップＳ１２０５で、ユーザＡ以外と判別され、判別されたユーザの主デバイス３００から回答を受信した場合も、回答提示部２１５は、その回答を提示する。
　ただし、判別されたユーザの主デバイス３００との間で連携が確立されていない場合は、連携が確立されていないことを意味する表示を行う。例えば、図９（ｂ）に示すように、「主デバイスが見つかりません」等の表示を行うとともに、同様の音声データを出力する。このとき、回答主は、副デバイス１００であるため、主デバイス情報表示領域６１２には、副デバイス１００を表示する。なお、この映像データおよび音声データは、予めメモリ１１２等に記憶させておく。
　ステップＳ１２０９による回答提示の後、副デバイス側連携部２１０は、ステップＳ１２１０へ進む。なお、ステップＳ１２０６において中継音声を送信後、副デバイス側連携部２１０は、時間の計測を開始する。そして、所定時間内に回答を得られない場合は、タイムアウトと判断し、そのまま、ステップＳ１２１０へ進む。
　以上説明したように、本実施形態のアシスタントシステム９００は、デジタルアシスタント処理を実行する主デバイスに音データを中継する副デバイス１００であって、周囲の音を音データとして取得する音取得部２１２と、音データの送信先の主デバイス３００である送信先主デバイスを決定する送信先デバイス決定部２１３と、送信先主デバイスに、音データを送信するとともに、音データに応じて実行されたデジタルアシスタント処理結果を回答として送信先主デバイスから受信する送受信部２１４と、送受信部２１４で受信した回答を提示する回答提示部２１５と、を備える副デバイスを有する。
　音データの中継先である主デバイス３００を決定する送信先デバイス決定部２１３を備えるため、主デバイス３００が複数ある場合であっても、適切な主デバイス３００に向けて、音データを中継できる。これにより、ユーザの手元から離れた場所にある主デバイス３００であって、デジタルアシスタント機能を有する主デバイス３００が複数ある場合であっても、所望のデジタルアシスタント結果を得ることができる。
　例えば、送信先デバイス決定部２１３は、音データを解析して発声主であるユーザを判別し、判別したユーザに対応づけて登録されている主デバイス３００を、送信先主デバイスと決定する。従って、本実施形態によれば、個々のユーザに、個々のユーザの主デバイス３００によるデジタルアシスタント機能を提供できる。
　＜変形例１＞
　なお、上記実施形態では、主デバイス３００自身がＡＰ５１０を認識すると、主デバイス３００は、デジタルアシスタント連携可能と判別する。そして、連携要求コマンドを副デバイス１００に送信し、連携モードに移行する。しかしながら、連携モードへの移行のきっかけは、これに限定されない。例えば、充電台５１１に置かれたことを検出した場合、連携モードに移行してもよい。
　この場合、連携管理部４２３は、ＡＰ５１０を認識したか否かを判別する代わりに、充電台５１１に載置されたか否かを判別する。そして、充電台５１１に載置されたことを検出した場合、連携管理部４２３は、デジタルアシスタント連携可能であると判別し、連携要求コマンドをＡＰ５１０に向けて出力する。
　なお、充電台５１１に制御部および通信インタフェースを持たせてもよい。この場合、充電台５１１側で、主デバイス３００が載置されたことを検出すると、ＡＰ５１０を介して副デバイス１００に対し、連携要求コマンドを出力する。
　このとき、充電台５１１は、連携対象とする主デバイス３００の主デバイスＩＤとアクセス情報とを合わせて送信する。
　あるいは、充電台５１１自体のアクセス情報を送信し、その後、充電台５１１を介して副デバイス１００と主デバイス３００との間のデータの送受信を行うよう構成してもよい。
　＜変形例２＞
　また、上記実施形態および変形例では、連携管理部４２３は、何らかの装置を検出した場合、デジタルアシスタント連携可能と判別している。しかしながら、デジタルアシスタント連携可能か否かの判別は、これに限定されない。
　例えば、主デバイス３００の位置検出部３７０により、主デバイス３００が予め定めた領域内に存在すると判別された場合、連携管理部４２３は、デジタルアシスタント連携可能と判別してもよい。
　例えば、予め定めた領域は、自宅等とする。連携管理部４２３は、位置検出部３７０による上記判別結果を受信すると、連携要求コマンドを出力し、連携を確立する。
　これにより、主デバイス３００のユーザが自宅に帰宅した場合、その主デバイス３００を連携状態とするよう制御を行うことができる。
　＜変形例３＞
　例えば、ユーザがウェアラブルデバイスを装着し、主デバイス３００との間で近距離通信を行っている場合は、他の方法でデジタルアシスタント連携可能と判別してもよい。
　すなわち、連携管理部４２３は、ウェアラブルデバイスとの間で近距離通信が途絶えたことを検出した場合、デジタルアシスタント連携可能と判別してもよい。ウェアラブルデバイスと主デバイス３００との間の近距離通信が途絶えるのは、両者の間の距離が離れたことによる。従って、ユーザが主デバイス３００から離れたと判別できる。
　連携管理部４２３は、近距離通信インタフェース３６１から通信が途絶えたことを示す出力を受信すると、連携要求コマンドを出力し、連携を確立する。
　なお、ウェアラブルデバイスは、例えば、スマートウォッチ３０１、ＨＭＤ３０２、ワイヤレスヘッドフォン３０３等である。
　なお、主デバイス３００がＨＭＤ３０２の場合、ＨＭＤ３０２のセンサにより、ユーザがＨＭＤ３０２を取り外したことを連携管理部４２３が検出した場合、デジタルアシスタント連携可能と判別してもよい。
　＜変形例４＞
　なお、上記実施形態では、デジタルアシスタント連携可能な状態で、副デバイス１００から連携確立コマンドを受信した場合、主デバイス３００側は、連携モードをＯＮにしている。しかしながら、これに限定されない。主デバイス３００側では、常に連携モードをＯＮにするよう構成してもよい。すなわち、初期設定部４２４が初期設定を行った時点で、連携フラグ４３３をＯＮにする。
　この場合、上記連携処理において、ステップＳ１１０１、Ｓ１１０２、Ｓ１２０１、およびＳ１２０２の処理は不要である。
　ただし、この場合、主デバイス３００の位置によっては、ステップＳ１２０６において当該主デバイス３００にＡＰ５１０を介して中継音声を送信した際、送達できないことがある。このような場合は、ユーザにその旨出力する。
　＜変形例５＞
　また、上記実施形態では、初期設定部４２４が、予め、副デバイス１００として機能する装置の情報を副デバイス管理ＤＢ４３０に登録する。しかしながら、主デバイス３００側が常に連携モードＯＮとする場合、副デバイス管理ＤＢ４３０は設定しなくてもよい。
　例えば、連携処理において、ステップＳ１１０３で中継音声を受信した際、主デバイス側連携部４２０は、送信元の副デバイス１００のアクセス情報を管理しておく。そして、回答を得た後、回答送信部４２２は、管理されたアクセス情報にもとづいて、回答を送信する。
　＜変形例６＞
　上記実施形態では、副デバイス１００の送信先デバイス決定部２１３は、音データを解析し、ユーザを判別している。しかしながら、これに限定されない。例えば、送信先デバイス決定部２１３は、顔画像でユーザを判別してもよい。
　この場合、副デバイス１００は、ユーザの顔画像を取得するカメラ１８１を備える。また、ユーザ情報ＤＢ２４０には、図６（ｂ）に示すように、ユーザＩＤ２４１に対応づけて、各ユーザの照合用の顔画像２４３を予め登録しておく。
　送信先デバイス決定部２１３は、音取得部２１２による音データの取得に同期して、カメラ１８１が取得した画像を解析する。そして、顔画像２４３と照合し、合致した顔画像に対応付けられたユーザＩＤ２４１を抽出する。そして、抽出したユーザＩＤ２４１に合致するユーザＩＤ２３１に対応付けられた主デバイスＩＤ２３２およびアクセス情報２３３を、決定結果として音取得部２１２に出力する。
　＜変形例７＞
　また、各主デバイス３００のデータ受信部４２１が、受信した音データを用いて本人認証処理を行う機能を有する場合、副デバイス１００の送信先デバイス決定部２１３は、音データを解析して送信先の主デバイスを決定しなくてもよい。
　このとき、送信先デバイス決定部２１３は、連携情報ＤＢ２３０において、連携フラグ２３４が設定される全ての主デバイス３００の主デバイスＩＤ２３２およびアクセス情報２３３を、音取得部２１２に出力する。これにより、音取得部２１２は、取得した音データを、連携フラグ２３４が設定されている全ての主デバイス３００に送信する。
　各主デバイス３００は、データ受信部４２１において、受信した音データを用いて本人認証処理を行う。そして、本人と認証された場合、受信した音データをアシスタント部４１０に出力し、デジタルアシスタント処理を要求する。
　これにより、音データが主デバイス３００のユーザの音声である場合のみ、当該主デバイス３００はデジタルアシスタント処理を行い、回答を出力する。従って、この場合は、副デバイス１００側で、音データにより送信先を振り分けなくても、所望の回答を得ることができる。
　＜変形例８＞
　例えば、１のユーザが複数の主デバイス３００を利用していることがある。このような場合、同じユーザＩＤ２３１に対応づけて、複数の主デバイス３００の情報を連携情報ＤＢ２３０に登録してもよい。例えば、図６（ａ）の連携情報ＤＢ２３０において、主デバイスＩＤ２３２が、３００ａ－１と、３００ａ－２とは、同じユーザの主デバイス３００である。
　この場合、上記デジタルアシスタント連携処理のステップＳ１２０４でユーザを特定した後、送信先デバイス決定部２１３は、連携情報ＤＢ２３０から抽出された主デバイス３００の情報を、ユーザに提示し、ユーザからの選択を受け付ける。
　ここで提示する情報は、例えば、連携情報ＤＢ２３０に、各主デバイスの名称（主デバイス名称２３６）が登録されている場合は、その名称を表示する。主デバイス名称２３６が登録されていない場合は、例えば、主デバイスＩＤ２３２等を表示させる。
　選択を受け付ける際に表示される選択画面６２０の表示例を、図１０（ａ）に示す。選択画面６２０は、例えば、メッセージ表示領域６２１と、選択受付領域６２２と、を備える。
　メッセージ表示領域６２１には、検出された主デバイス数と、ユーザに要求する操作がメッセージとして表示される。選択受付領域６２２は、ユーザによる選択を受け付ける領域である。ユーザは、例えば、副デバイス１００がテレビである場合、そのリモコンによる操作等で選択受付領域６２２を介して、主デバイス３００を選択する。
　送信先デバイス決定部２１３は、選択受付領域６２２を介して受け付けた主デバイス３００を、送信先の主デバイス３００として決定する。そして、送受信部２１４は、その主デバイス３００に、音データを中継音声として送信する。
　なお、この場合、ユーザから選択を受け付けなくてもよい。送信先デバイス決定部２１３は、連携情報ＤＢ２３０から抽出された当該ユーザの主デバイス３００の情報を送受信部２１４に通知する。そして、送受信部２１４は、抽出された全ての主デバイス３００に、音データを送信する。そして、送受信部２１４は、得られた回答を全て受信し、回答提示部２１５に提示させてもよい。
　例えば、スマートフォンには問いかけに必要な個人情報が格納され、タブレットには格納されていない場合、スマートフォンからは所望の回答が得られ、タブレットからは、回答不能との回答、あるいは、回答が得られない。従って、いずれにしても、ユーザは、所望の回答を得ることができる。
　なお、このとき、送受信部２１４は、抽出された主デバイス３００に対し、予め定めた順に音データを送信してもよい。予め定めた順は、例えば、連携情報ＤＢ２３０の登録順である。１の主デバイス３００に音データを送信する。そして、所定の期間内に回答の返信を受信しない場合、あるいは、回答不能との回答を受信した場合、次の主デバイス３００に音データを送信する。そして、回答を得た場合、回答提示部２１５に提示させる。一方、いずれの主デバイス３００からも回答を得ない場合は、その旨、回答提示部２１５に提示させる。
　なお、連携情報ＤＢ２３０に、音データ送信の優先順を設定しておいてもよい。この場合、送受信部２１４は、優先順に従って、音データを送信する。
　＜変形例９＞
　なお、上記実施形態では、副デバイス１００は、ディスプレイ１４０を備えるテレビである場合を例にあげて説明した。しかしながら、副デバイス１００は、これに限定されない。例えば、ディスプレイ１４０を備えないスマートスピーカ１０１であってもよい。
　この場合、スマートスピーカ１０１は、対応装置登録ＤＢ２５０を備える。対応装置登録ＤＢ２５０には、近傍の装置であってディスプレイ１４０を備える装置が映像出力用装置として予め登録される。この場合の、対応装置登録ＤＢ２５０の一例を、図１０（ｂ）に示す。本図に示すように、対応装置登録ＤＢ２５０には、副デバイス１００の識別情報である副デバイスＩＤ２５１と、映像出力用装置の識別情報である映像出力先装置ＩＤ２５２とが対応づけて登録される。対応装置登録ＤＢ２５０は、例えば、メモリ１１２に登録される。
　回答提示部２１５は、回答として得られたデータを解析する。そして、音声のみで出力可能なデータである場合、自身の音出力部１５０から出力する。一方、回答が映像データを含み、ディスプレイ１４０に出力する必要がある場合は、対応装置登録ＤＢ２５０を参照し、対応付けられたディスプレイ１４０を備える装置を特定する。そして、映像データを、当該装置に転送し、出力させる。
　このとき、図１０（ｃ）に示すように、副デバイス１００であるスマートスピーカ１０１は、回答の表示先を音声で出力するように構成してもよい。
　このように構成することにより、多様なデバイスを副デバイス１００として用いることができる。
　なお、例えば、全ての副デバイス１００が、予め近傍の装置の仕様を登録した仕様データベースを備える場合、対応装置登録ＤＢ２５０は備えなくてもよい。仕様データベースには、例えば、各副デバイス１００が、表示装置を有するか否か、各副デバイス１００の配置位置等が格納される。この場合は、回答提示部２１５は、このデータベースから近傍の装置であって、ディスプレイ１４０を備える装置を抽出し、当該装置に映像データを転送する。
　なお、副デバイス１００が複数ある場合、主デバイス３００のデータ受信部４２１では、各副デバイス１００からの音データを受信する。このような場合、データ受信部４２１は、いずれも同じ処理を指示するものであるため自身で取得した音声によるデジタルアシスタント処理と、副デバイス１００を経由した音データによるデジタルアシスタント処理が競合する。
　このような場合、データ受信部４２１は、最先の音データの送信元の副デバイス１００との間で、通信路を確立する。
　＜＜第二実施形態＞＞
　本発明の第二実施形態を説明する。第一実施形態では、副デバイス１００は、音データを主デバイス３００に中継する中継装置である。本実施形態では、副デバイス１００でも、アシスタント機能を備える。
　本実施形態の処理の概要を、図１１を用いて説明する。本実施形態の副デバイス１００は、音データを受信すると、アシスタント機能で解析し、音データによるユーザからの要求が、回答を得るためにユーザの個人情報が必要であるか否かを判別する。
　そして、ユーザからの要求が、その回答を得るために、ユーザの個人情報が不要な要求である場合、副デバイス１００でアシスタント処理を行い、ユーザに回答を提示する。一方、ユーザの個人情報が必要な要求である場合、第一実施形態と同様に、音データを主デバイス３００に転送し、主デバイス３００で回答を生成し、副デバイス１００においてユーザに提示する。
　以下、本実施形態について、第一実施形態と異なる構成に主眼をおいて説明する。主デバイス３００は、第一実施形態と同様である。また、副デバイス１００は、そのハードウェア構成は、第一実施形態と同じである。ただし、機能ブロックは、第一実施形態と異なる。
　図１２は、本実施形態の副デバイス１００の機能ブロックである。本図に示すように、本実施形態の副デバイス１００は、第一実施形態同様、副デバイス側連携部２１０を備える。副デバイス側連携部２１０は、連携設定部２１１と、音取得部２１２と、送信先デバイス決定部２１３と、送受信部２１４と、回答提示部２１５と、を備える。さらに、副デバイス側アシスタント部２２０を備える。
　本実施形態の音取得部２１２は、音データを生成すると、まず、副デバイス側アシスタント部２２０に送信する。
　副デバイス側アシスタント部２２０は、主デバイス３００のアシスタント部４１０同様、音データを解析し、アシスタント処理を行い、回答を出力する。ただし、副デバイス側アシスタント部２２０は、音データを解析した結果、各ユーザの個人情報が必要と判別した場合、その旨、送信先デバイス決定部２１３に出力する。
　本実施形態の送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０から個人情報要との指示を受信した場合、上述のように、ユーザの判別を行い、送信先の主デバイス３００を決定する。
　［デジタルアシスタント連携処理］
　次に、本実施形態の副デバイス１００のデジタルアシスタント連携処理の流れを説明する。図１３は、本実施形態の副デバイス１００におけるデジタルアシスタント連携処理の処理フローである。ここでは、少なくとも１つの主デバイス３００と、連携されているものとする。
　音取得部２１２は、所定の時間間隔で、音データを取得したか否かを判別する（ステップＳ１２０３）。音データを取得すると（Ｓ１２０３；Ｙｅｓ）、副デバイス側アシスタント部２２０へ音データを送信する。
　副デバイス側アシスタント部２２０は、音データを解析し（ステップＳ２１０１）、回答を行うために、個人情報が必要であるか否かを判別する（ステップＳ２１０２）。
　副デバイス側アシスタント部２２０は、個人情報が要と判別した場合（Ｓ２１０２；Ｙｅｓ）、その旨、送信先デバイス決定部２１３に通知する。通知を受けた送信先デバイス決定部２１３は、第一実施形態のステップＳ１２０４以降の処理を行う。
　一方、副デバイス側アシスタント部２２０は、個人情報が不要と判別した場合（Ｓ２１０２；Ｎｏ）、そのまま当該音データに基づいて、アシスタント処理を行い（ステップＳ２１０３）、回答を生成し、ステップＳ１２０９へ移行する。以降の処理は、第一実施形態と同じである。
　本実施形態において、例えば、特定の場所の天気を尋ねられた場合等、個人情報は不要である。このような場合の出力例を、図１４に示す。この場合、回答表示領域６１１には、回答が表示される。一方、主デバイス情報表示領域６１２には、この副デバイス１００で処理したことを示す情報として、副デバイス１００を特定する情報が表示される。この場合は、副デバイス１００がＴＶであるため、主デバイス情報表示領域６１２には、例えば、ＴＶと表示される。
　以上説明したように、本実施形態のアシスタントシステム９００の副デバイス１００は、第一実施形態の副デバイス１００の機能に加え、デジタルアシスタント処理を実行する副デバイス側アシスタント部２２０を備える。そして、副デバイス側アシスタント部２２０は、音データを解析し、デジタルアシスタント処理を実行するために、個人情報が必要であるか否かを判別する。送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０が、個人情報が必要であると判別した場合、送信先主デバイスを決定する。また、回答提示部２１５は、副デバイス側アシスタント部２２０がデジタルアシスタント処理を実行した場合、そのデジタルアシスタント処理結果をさらに提示する。
　このため、本実施形態によれば、第一実施形態同様、主デバイス３００が手元から離れている場合であっても、個々のユーザに個々のユーザの主デバイス３００によるデジタルアシスタント処理結果を提示できる。さらに、本実施形態によれば、個々のユーザの主デバイス３００に格納される個人情報が不要なアシスタント要求の場合は、副デバイス１００側でデジタルアシスタント処理を実行して回答する。このため、迅速な回答を得ることができる。
　＜変形例１０＞
　なお、上記実施形態では、副デバイス側アシスタント部２２０は、アシスタント処理を行うため、個人情報が必要か否かを判別している。しかしながら、これに限定されない。例えば、音データが、音声コマンドであるか否かを判別してもよい。
　音声コマンドであると判別した場合、ユーザからアシスタント要求の内容によらず、第一実施形態同様、送信先デバイス決定部２１３にユーザを判別させ、送信先の主デバイス３００を決定させる。そして、送受信部２１４は、決定した主デバイス３００に音データを送信する。
　なお、この場合、副デバイス側アシスタント部２２０は、音データを解析後、デジタルアシスタント処理用のコマンドを生成し、生成したコマンドを、送受信部２１４から、主デバイス３００に送信させるようにしてもよい。
　なお、個人情報の要否の判別とさらに組み合わせてもよい。すなわち、個人情報が必要と判別した場合、音データを用いて送信先デバイス決定部２１３に当該音の発声主であるユーザを判別させ、送信先の主デバイス３００を決定させる。そして、送受信部２１４は、決定した主デバイス３００に向けて、音データではなく、コマンドを送信する。
　主デバイス３００にコマンドを送信する場合、主デバイス３００側のアシスタント部４１０は、音データを解析する必要がない。
　＜変形例１１＞
　また、副デバイス１００が、音データを解析する副デバイス側アシスタント部２２０を備える場合、ユーザの呼びかけで特定される主デバイスに音データを送信するよう構成してもよい。
　例えば、「ＡＡＳに聞いて」、「ＯＫ、ＢＢＢ」等の音声が発せられた場合、副デバイス側アシスタント部２２０は、この音データを解析し、音データの送信先を特定する。すなわち、音データに、例えば、主デバイス名称２３６に該当する音声が含まれる場合、その旨、送信先デバイス決定部２１３に通知する。
　送信先デバイス決定部２１３は、副デバイス側アシスタント部２２０から通知を受けた主デバイス名称２３６を含むデータの主デバイス３００を、送信先の主デバイス３００と決定する。
　この場合、各主デバイス３００の呼称は、主デバイス名称２３６として、予め、連携情報ＤＢ２３０に登録しておく。
　このように構成することにより、より精度よく、送信先の主デバイス３００を決定することができる。これにより、ユーザのアシスタント要求により適切に応答した回答を得ることができる。
　＜変形例１２＞
　また、上記実施形態および変形例では、１対の問いかけと回答との送受信の間のみ、主デバイス３００と副デバイス１００との間で通信路を確立している。しかしながら、ユーザから明示の通信路解除の指示を受けるまで、あるいは、所定の時間が経過するまで、通信路を確立してもよい。
　これにより、音データを取得する毎に、ユーザを判別する処理が不要となる。例えば、デジタルアシスタントを受けるために、複数回のやり取りが必要な場合等、スムーズに処理を進めることができる。具体的には、ユーザが、自分のスケジュールを確認し、新たなスケジュールを登録する場合などである。
　この場合、最初にユーザは、特定の期間のスケジュールを問い合わせる。このとき、副デバイス１００は、音データを解析し、ユーザを判別し、送信先の主デバイス３００を決定する。そして、副デバイス１００は、当該主デバイス３００に当該音データあるいは、コマンドを送信する。
　主デバイス３００は、それに応じて送信元の副デバイス１００に回答を返信する。副デバイス１００は、回答をユーザに提示する。ユーザは、それを見て、新たな音声コマンドを発する。例えば、特定の日付に新たなスケジュールを加える、特定の日付のスケジュールを変更する、等である。
　このとき、副デバイス１００はこの音データを取得すると、ユーザの判別および送信先主デバイスの決定処理を行うことなく、通信路が確立している主デバイス３００へ送信する。主デバイス３００側では、音データを解析して、処理を行う。
　＜変形例１３＞
　なお、上記アシスタントシステム９００は、スマートフォン等の携帯型情報処理装置と、ウェアラブルデバイスとにより構成されてもよい。この場合、ウェアラブルデバイスを副デバイス１００として用い、携帯型情報処理装置を、主デバイス３００として用いる。
　例えば、図１５に示すように、ユーザは、携帯型情報処理装置である主デバイス３００ａを、鞄等に入れ、副デバイス１００として機能するウェアラブルデバイス（スマートウォッチ３０１）を身に着けて外出する。この間、ユーザは、スマートウォッチ３０１に音声コマンドを発する。
　スマートウォッチ３０１は、取得したユーザの音声コマンドを、主デバイス３００である携帯型情報処理装置に送信し、アシスタント処理を実行させる。そして、その結果を、スマートウォッチ３０１で受け取る。
　この場合、例えば、自宅など、ＡＰ５１０がある環境に入ると、スマートウォッチ３０１と携帯型情報処理装置とは、ＡＰ５１０を介した宅内ＬＡＮの接続に切り換わる。その後、スマートウォッチ３０１は、宅内での副デバイス１００群の中の１つのデバイスとする。
　＜変形例１４＞
　上記各実施形態では、１のユーザによる音声を受け付け、そのユーザの主デバイス３００または副デバイス１００によるアシスタント結果を出力する場合を例に説明した。しかし、上述したように主デバイス３００の個数は限定されない。従って、複数のユーザが、短い時間間隔でデジタルアシスタント機能を要求することがある。
　このような場合、回答が得られるタイミングが略同時であり、回答提示部２１５は、各主デバイス３００から受信した処理結果である回答を、ディスプレイ１４０または音出力部１５０を介してユーザに出力する。このとき、回答提示部２１５は、受信した処理結果（回答）の数に応じて、ディスプレイ１４０の表示領域を分割してそれぞれの回答を表示させる。
　ユーザＡおよびユーザＢの２者が、略同時にアシスタント機能を利用しようとした場合の、回答の表示例を、図１６（ａ）に示す。回答提示部２１５は、表示領域を２分割し、回答の送信元の主デバイス３００を特定する情報とともに、回答を表示する。
　回答提示部２１５は、例えば、ディスプレイ１４０の表示領域を、ユーザＡへの回答を表示する第一表示領域６３０ａと、ユーザＢへの回答を表示する第二表示領域６３０ｂとに分割する。そして、各表示領域（６３０ａ、６３０ｂ）内に、上記実施形態同様、主デバイス情報表示領域６１２（６１２ａ、６１２ｂ）および回答表示領域６１１（６１１ａ、６１１ｂ）を設ける。そして、各表示領域に、回答の送信元の主デバイス３００を特定する情報および回答を、それぞれ表示させる。
　なお、既存のマルチビューワを副デバイス１００に外付けし、このマルチビューワにより複数の主デバイス３００からの回答を１のディスプレイ１４０上に表示してもよい。
　また、回答提示部２１５は、スピーカ３５１が複数チャネルを有する場合、チャネルごとに、異なる送信元の回答を割り当てて、出力させてもよい。このとき、チャネル数以上の送信元が有る場合は、時間差で出力させてもよい。
　なお、複数のユーザによる問いかけ（デジタルアシスタントの要求）が、略同じタイミングで発生する場合、各ユーザの音声が時間的に重なることがある。この場合、本実施形態の副デバイス１００は、音声を分離し、それぞれの主デバイス３００に当該音声または音声コマンドを中継する。
　この場合の、本実施形態の副デバイス１００による処理を、図１６（ｂ）を用いて説明する。
　この場合、副デバイス側連携部２１０の音取得部２１２は、音データを音源毎に分離する音声分離機能を備える。
　音取得部２１２は、複数人の音声が混在した可能性のある音データを、まず、音源毎に分離する。本変形例では、例えば、個々人の音声データおよび／または音声以外の音データに分離する。そして、音源毎に分離された音データを、送信先デバイス決定部２１３に送信する。
　音データの分離は、例えば、ディープラーニングやクラスタリング処理を用いてもよい。すなわち、音取得部２１２は、ディープラーニングにより特徴から各音声成分を分類する。そして、クラスタリング処理にて分類した音声成分をグループ化し、個々人の音声データおよび／または音声以外の音データとする。
　送信先デバイス決定部２１３は、音取得部２１２から受け取った、音源毎に分離された音データそれぞれを、別個独立に解析し、その中の音声データについて、それぞれ、送信先デバイスを決定する。決定手法は、上記各実施形態と同様であるため、ここでは、説明しない。そして、上記各実施形態と同様に、音声データ毎に、主デバイスＩＤ２３２およびアクセス情報２３３を音取得部２１２に通知する。
　音取得部２１２は、音源毎に分離された音声データを、それぞれ、送信先デバイス決定部２１３が決定した主デバイス３００に送信するよう送受信部２１４に指示を行う。
　取得した音声データを、各主デバイス３００に送信するまでの処理の流れは、基本的に上記各実施形態と同様である。
　ただし、第一実施形態のように、副デバイス１００がアシスタント機能を備えない場合は、図８のデジタルアシスタント連携処理のステップＳ１２０３およびステップＳ１２０４の処理が以下のように変わる。
　すなわち、副デバイス１００では、ステップＳ１２０３において音データが取得された場合、音取得部２１２は、上記の手法で音データを音源毎に分離する。そして、送信先デバイス決定部２１３は、分離後の音データそれぞれについて、Ｓ１２０４において、ユーザを特定可能か、を判別する。
　また、第二実施形態のように、副デバイス１００がアシスタント機能を備える場合は、図１３のデジタルアシスタント連携処理のＳ１２０３～Ｓ１２０４の処理が以下のように変わる。
　すなわち、副デバイス１００では、ステップＳ１２０３において音データが取得された場合、音取得部２１２は、上記手法で音データを、音源毎に分離する。そして、副デバイス側アシスタント部２２０は、分離後の各音データを解析し、回答を行うために個人情報が必要であるか否かを判別する。そして、個人情報が要と判別した場合、その分離後の音データを、送信先デバイス決定部２１３に通知する。通知を受けた後の送信先デバイス決定部２１３の処理は、同様である。
　一方、個人情報が不要と判別した、分離後の音データについては、そのまま、その音データに基づいて、副デバイス側アシスタント部２２０が回答を生成し、回答提示部に回答を提示させる。
　本機能により、複数のユーザが、略同時に、手元から離れた場所にある主デバイス３００に対し、それぞれ、デジタルアシスタント機能を要求した場合であっても、個々のユーザに、それぞれ、個々のユーザの主デバイス３００によるデジタルアシスタント機能を提供できる。
　＜変形例１５＞
　また、上記各実施形態および各変形例において、副デバイス１００および／または主デバイス３００の一部の機能は、サーバ５３０で実現されてもよい。
　サーバ５３０は、図１７に示すように、コントローラ５４０と、通信インタフェース５６２とを備える。コントローラ５４０は、ＣＰＵ５４１と、メモリ５４２とを備え、メモリ５４２には、プログラム５４３とデータ５４４とが記憶される。
　サーバ５３０で実現される機能は、予めプログラム５４３としてメモリ５４２に保持される。サーバ５３０では、ＣＰＵ５４１が、予めメモリ５４２に記憶したプログラム５４３を、メモリ５４２に設けられたワーク領域にロードして、データ５４４を用いながら実行することにより、各機能を実現する。
　本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１００：副デバイス、１０１：スマートスピーカ、１１０：コントローラ、１１１：ＣＰＵ、１１２：メモリ、１１３：プログラム、１１４：データ、１２０：ＴＶ部、１２１：受信選局部、１２２：信号分離部、１２３：映像処理部、１２４：音声処理部、１２５：デジタルＩＦ部、１２６：ユーザＩ／Ｆ部、１３０：マイク、１４０：ディスプレイ、１５０：音出力部、１５１：スピーカ、１５２：イヤホン、１６０：通信部、１６１：近接通信インタフェース、１６２：通信インタフェース、１７０：位置検出部、１７１：加速度センサ、１７２：ジャイロセンサ、１７３：地磁気センサ、１７４：ＧＰＳ受信機、１８１：カメラ、１８２：測距センサ、
　２１０：副デバイス側連携部、２１１：連携設定部、２１２：音取得部、２１３：送信先デバイス決定部、２１４：送受信部、２１５：回答提示部、２２０：副デバイス側アシスタント部、２３０：連携情報データベース、２３１：ユーザＩＤ、２３２：主デバイスＩＤ、２３３：アクセス情報、２３４：連携フラグ、２３５：主デバイス種別、２３６：主デバイス名称、２４０：ユーザ情報データベース、２４１：ユーザＩＤ、２４２：音声情報、２４３：顔画像、２５０：対応装置登録データベース、２５１：副デバイスＩＤ、２５２：映像出力先装置ＩＤ、
　３００：主デバイス、３００ａ：主デバイス（携帯型情報処理装置）、３００ｂ：主デバイス（携帯型情報処理装置）、３００ｃ：主デバイス（携帯型情報処理装置）、３０１：スマートウォッチ、３０２：ＨＭＤ、３０３：ワイヤレスヘッドフォン、３１０：コントローラ、３１１：ＣＰＵ、３１２：メモリ、３１３：プログラム、３１４：データ、３３０：マイク、３４０：ディスプレイ、３５０：音声出力部、３６０：通信部、３６１：近距離通信インタフェース、３６２：通信インタフェース、３７０：位置検出部、３７１：加速度センサ、３７２：ジャイロセンサ、３７３：地磁気センサ、３７４：ＧＰＳ受信器、３８１：カメラ、３８２：測距センサ、
　４１０：アシスタント部、４２０：主デバイス側連携部、４２１：データ受信部、４２２：回答送信部、４２３：連携管理部、４２４：初期設定部、４３０：副デバイス管理データベース、４３１：副デバイスＩＤ、４３２：アクセス情報、４３３：連携フラグ、
　５１０：アクセスポイント、５１１：充電台、５２０：外部ネットワーク、５３０：サーバ、５４０：コントローラ、５４１：ＣＰＵ、５４２：メモリ、５４３：プログラム、５４４：データ、５６２：通信インタフェース、
　６１０：画面例、６１１：回答表示領域、６１１ａ：回答表示領域、６１１ｂ：回答表示領域、６１２：主デバイス情報表示領域、６１２ａ：主デバイス情報表示領域、６１２ｂ：主デバイス情報表示領域、６２０：選択画面、６２１：メッセージ表示領域、６２２：選択受付領域、６３０ａ：第一表示領域、６３０ｂ：第二表示領域、
　９００：アシスタントシステム

Claims (16)

  1. 　デジタルアシスタント処理を実行する主デバイスに取得した音データを中継する情報処理装置であって、
    　周囲の音を前記音データとして取得する音取得部と、
    　前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定部と、
    　前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行されたデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信部と、
    　前記送受信部で受信した回答を提示する回答提示部と、を備えること
    　を特徴とする情報処理装置。
  2. 　請求項１記載の情報処理装置であって、
    　前記送信先デバイス決定部は、前記音データを解析して発声主であるユーザを判別し、当該ユーザに対応づけて登録されている前記主デバイスを、前記送信先主デバイスと決定すること
    　を特徴とする情報処理装置。
  3. 　請求項１記載の情報処理装置であって、
    　前記音取得部は、前記音データを音源毎に分離し、
    　前記送信先デバイス決定部は、分離された前記音データそれぞれについて、前記送信先主デバイスを決定し、
    　前記送受信部は、分離された前記音データを、決定された前記送信先主デバイスにそれぞれ送信するとともに、各前記送信先主デバイスからそれぞれ前記回答を受信し、
    　前記回答提示部は、各前記送信先主デバイスから受信した前記回答を、それぞれ提示すること
    　を特徴とする情報処理装置。
  4. 　請求項１記載の情報処理装置であって、
    　前記デジタルアシスタント処理の実行を依頼する音データを受信する連携状態である主デバイスを管理する連携設定部をさらに備え、
    　前記送信先デバイス決定部は、前記連携設定部により前記連携状態として管理されている前記主デバイスを、前記送信先主デバイスと決定すること
    　を特徴とする情報処理装置。
  5. 　請求項１記載の情報処理装置であって、
    　前記デジタルアシスタント処理を実行するアシスタント部をさらに備え、
    　前記アシスタント部は、前記音データを解析し、前記デジタルアシスタント処理を実行するために、個人情報が必要であるか否かを判別し、
    　前記送信先デバイス決定部は、前記アシスタント部が、前記個人情報が必要であると判別した場合、前記送信先主デバイスを決定し、
    　前記回答提示部は、前記アシスタント部が前記デジタルアシスタント処理を実行した場合、当該デジタルアシスタント処理結果を提示すること
    　を特徴とする情報処理装置。
  6. 　請求項５記載の情報処理装置であって、
    　前記アシスタント部は、前記音データを解析し、前記デジタルアシスタント処理を実行するためのコマンドを当該音データから生成し、
    　前記送受信部は、前記音データの代わりに、前記コマンドを前記送信先主デバイスに送信すること
    　を特徴とする情報処理装置。
  7. 　請求項２記載の情報処理装置であって、
    　前記送信先デバイス決定部は、前記発声主として判別されたユーザに対応づけて登録されている前記主デバイスが複数ある場合、前記ユーザから当該複数の主デバイスの中から前記送信先主デバイスとする主デバイスの選択を受け付けること
    　を特徴とする情報処理装置。
  8. 　請求項１記載の情報処理装置であって、
    　前記回答提示部は、前記送信先主デバイスを特定する情報もさらに提示すること
    　を特徴とする情報処理装置。
  9. 　請求項１記載の情報処理装置であって、
    　前記デジタルアシスタント処理を実行するアシスタント部をさらに備え、
    　前記アシスタント部は、前記音データを解析し、当該音データから前記主デバイスを特定する情報を抽出し、
    　前記送信先デバイス決定部は、前記アシスタント部が抽出した情報で特定される前記主デバイスを、前記送信先主デバイスと決定すること
    　を特徴とする情報処理装置。
  10. 　請求項１記載の情報処理装置であって、
    　当該情報処理装置は、音声出力部とディスプレイとを備える映像表示装置であること
    　を特徴とする情報処理装置。
  11. 　請求項１記載の情報処理装置であって、
    　当該情報処理装置は、音声出力部を備えるスマートスピーカであり、
    　前記回答提示部は、前記回答に映像データが含まれている場合、予め対応付けられたディスプレイを備える装置に当該映像データを転送し、当該装置に表示させること
    　を特徴とする情報処理装置。
  12. 　副デバイスと主デバイスとを備え、前記副デバイスを通して、実行したデジタルアシスタント処理の結果を提供するデジタルアシスタントシステムであって、
    　前記副デバイスは、
    　周囲の音を音データとして取得する音取得部と、
    　前記音データの送信先の前記主デバイスである送信先主デバイスを決定する送信先デバイス決定部と、
    　前記送信先主デバイスに、前記音データを送信するとともに、当該音データに応じて実行したデジタルアシスタント処理結果を回答として前記送信先主デバイスから受信する送受信部と、
    　前記送受信部で受信した前記回答を提示する回答提示部と、を備え、
    　前記主デバイスは、
    　前記副デバイスから前記音データを受信するデータ受信部と、
    　前記データ受信部で受信した前記音データに応じて前記デジタルアシスタント処理を実行し、処理結果を前記回答として出力するアシスタント部と、
    　前記アシスタント部が出力した前記回答を、前記音データの送信元の前記副デバイスに返信する回答送信部と、を備えること
    　を特徴とするデジタルアシスタントシステム。
  13. 　請求項１２記載のデジタルアシスタントシステムであって、
    　前記主デバイスは、所定の条件を満たすと判別された場合、前記副デバイスとの間で、前記デジタルアシスタント処理の連携を確立する連携管理部を備え、
    　前記送信先デバイス決定部は、前記送信先主デバイスを、前記デジタルアシスタント処理の連携が確立している主デバイスの中から決定すること
    　を特徴とするデジタルアシスタントシステム。
  14. 　請求項１３記載のデジタルアシスタントシステムであって、
    　前記連携管理部は、前記主デバイスが、予め定めたアクセスポイントに接続されたことを認識した場合、前記所定の条件を満たすと判別し、
    　前記アクセスポイントは、前記副デバイスが接続されるアクセスポイントであること
    　を特徴とするデジタルアシスタントシステム。
  15. 　請求項１３記載のデジタルアシスタントシステムであって、
    　前記連携管理部は、前記主デバイスが、予め定めた充電台に当該主デバイスが載置されたことを検出した場合、前記所定の条件を満たすと判別すること
    　を特徴とするデジタルアシスタントシステム。
  16. 　請求項１３記載のデジタルアシスタントシステムであって、
    　前記連携管理部は、前記主デバイスの現在位置が、予め定めた領域であることを検出した場合、前記所定の条件を満たすと判別すること
    　を特徴とするデジタルアシスタントシステム。
PCT/JP2019/016597 2019-04-18 2019-04-18 情報処理装置およびデジタルアシスタントシステム WO2020213116A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2019/016597 WO2020213116A1 (ja) 2019-04-18 2019-04-18 情報処理装置およびデジタルアシスタントシステム
US17/604,507 US20220208199A1 (en) 2019-04-18 2019-04-18 Information processing device and digital assistant system
CN201980095537.1A CN113711177A (zh) 2019-04-18 2019-04-18 信息处理装置和数字助理系统
JP2021514736A JP7244628B2 (ja) 2019-04-18 2019-04-18 情報処理装置
JP2023036259A JP7483970B2 (ja) 2019-04-18 2023-03-09 情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/016597 WO2020213116A1 (ja) 2019-04-18 2019-04-18 情報処理装置およびデジタルアシスタントシステム

Publications (1)

Publication Number Publication Date
WO2020213116A1 true WO2020213116A1 (ja) 2020-10-22

Family

ID=72837142

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/016597 WO2020213116A1 (ja) 2019-04-18 2019-04-18 情報処理装置およびデジタルアシスタントシステム

Country Status (4)

Country Link
US (1) US20220208199A1 (ja)
JP (2) JP7244628B2 (ja)
CN (1) CN113711177A (ja)
WO (1) WO2020213116A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008078696A (ja) * 2006-09-19 2008-04-03 Sony Corp 携帯電話及び携帯電話の制御方法
JP2017538985A (ja) * 2014-09-09 2017-12-28 マイクロソフト テクノロジー ライセンシング，エルエルシー 近接したデバイスによるデジタルパーソナルアシスタントの呼出し

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140004515A (ko) 2012-07-03 2014-01-13 삼성전자주식회사 디스플레이 장치, 대화형 시스템 및 응답 정보 제공 방법
KR20170001393A (ko) * 2015-06-26 2017-01-04 삼성전자주식회사 전자 장치의 상황에 따른 외부 장치의 이용 방법 및 그 전자 장치
US10438584B2 (en) * 2017-04-07 2019-10-08 Google Llc Multi-user virtual assistant for verbal device control
DK179560B1 (en) * 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10466963B2 (en) * 2017-05-18 2019-11-05 Aiqudo, Inc. Connecting multiple mobile devices to a smart home assistant account
KR102489914B1 (ko) * 2017-09-15 2023-01-20 삼성전자주식회사 전자 장치 및 이의 제어 방법
WO2019100289A1 (en) * 2017-11-23 2019-05-31 Harman International Industries, Incorporated Method and system for speech enhancement
JP7155605B2 (ja) * 2018-05-22 2022-10-19 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008078696A (ja) * 2006-09-19 2008-04-03 Sony Corp 携帯電話及び携帯電話の制御方法
JP2017538985A (ja) * 2014-09-09 2017-12-28 マイクロソフト テクノロジー ライセンシング，エルエルシー 近接したデバイスによるデジタルパーソナルアシスタントの呼出し

Also Published As

Publication number Publication date
CN113711177A (zh) 2021-11-26
JP2023081985A (ja) 2023-06-13
JP7483970B2 (ja) 2024-05-15
JPWO2020213116A1 (ja) 2020-10-22
JP7244628B2 (ja) 2023-03-22
US20220208199A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
CN112291583B (zh) 直播连麦方法、装置、服务器、终端及存储介质
US9137484B2 (en) Device, method and software for providing supplementary information
EP2723090B1 (en) A directional sound apparatus, method graphical user interface and software
JP6110503B2 (ja) テレビ通話装置
WO2015186387A1 (ja) 情報処理装置、制御方法、およびプログラム
KR102374584B1 (ko) 영상을 디스플레이 하는 방법 및 디바이스
US9520132B2 (en) Voice recognition device and voice recognition method
US11234094B2 (en) Information processing device, information processing method, and information processing system
US10430572B2 (en) Information processing system that recognizes a user, storage medium, and information processing method
JP6641386B2 (ja) ヘッドマウントディスプレイ連携表示システム、及び、表示装置とヘッドマウントディスプレイとを含むシステム、及び、その表示装置
JP2019503139A (ja) チャンネル変更に基づいたトリガフィーチャを有するコンピューティングシステム
JP6973380B2 (ja) 情報処理装置、および情報処理方法
US11140484B2 (en) Terminal, audio cooperative reproduction system, and content display apparatus
WO2020213116A1 (ja) 情報処理装置およびデジタルアシスタントシステム
JP6212719B2 (ja) 映像受信装置、情報表示方法および映像受信システム
JP2016206646A (ja) 音声再生方法、音声対話装置及び音声対話プログラム
CN112532787B (zh) 耳机音频数据处理方法、移动终端及计算机可读存储介质
KR102467041B1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
KR20170022272A (ko) 녹음 시스템 및 녹음 방법
US20140093064A1 (en) Communication processing system, communication processing method, communication processing device, and control method and control program of communication processing device
JP2020095737A (ja) 通信装置、制御方法、およびプログラム
US20220303707A1 (en) Terminal and method for outputting multi-channel audio by using plurality of audio devices
JP7208740B2 (ja) 情報処理装置、及びプログラム
KR20210068901A (ko) 음성 기반 인터페이스를 제공하는 전자 장치 및 그의 제어 방법
CN118349208A (zh) 确定流转目标的方法、装置以及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19925491

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514736

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19925491

Country of ref document: EP

Kind code of ref document: A1