WO2021044851A1 - 情報処理装置、及び情報処理方法 - Google Patents
情報処理装置、及び情報処理方法 Download PDFInfo
- Publication number
- WO2021044851A1 WO2021044851A1 PCT/JP2020/031379 JP2020031379W WO2021044851A1 WO 2021044851 A1 WO2021044851 A1 WO 2021044851A1 JP 2020031379 W JP2020031379 W JP 2020031379W WO 2021044851 A1 WO2021044851 A1 WO 2021044851A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- information
- display
- processing unit
- processing
- information processing
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
- G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
- G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
- G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/1365—Matching; Classification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
Definitions
- the present technology relates to an information processing device and an information processing method, and particularly to an information processing device and an information processing method that enable simple and reliable screen sharing.
- This technology was made in view of such a situation, and enables simple and reliable screen sharing.
- the information processing device of one aspect of the present technology generates identification information that identifies the own device as a sharing candidate device that is a candidate for screen sharing, based on a message sent from the sharing source device that shares the screen. It is an information processing device including a processing unit that provides device information about the own device to the sharing source device and outputs the generated identification information.
- the information processing device identifies itself as a sharing candidate device that is a candidate for screen sharing based on a message sent from a sharing source device that shares the screen.
- This is an information processing method that generates information, provides device information about the own machine to the sharing source device, and outputs the generated identification information.
- the own device as a sharing candidate device that is a candidate for screen sharing is identified based on the message transmitted from the sharing source device that shares the screen.
- the identification information is generated, the device information about the own machine is provided to the sharing source device, and the generated identification information is output.
- the information processing device of one aspect of the present technology acquires device information about a shared candidate device that is a candidate for screen sharing, acquires identification information for identifying the shared candidate device, and uses the acquired device information and the identification information. Based on this, it is an information processing device including a processing unit that determines a shared target device to be screen-shared from among the plurality of shared candidate devices.
- the information processing device acquires device information about a shared candidate device that is a candidate for screen sharing, acquires identification information for identifying the shared candidate device, and acquires the device information.
- This is an information processing method for determining a sharing target device to be screen-shared from a plurality of sharing candidate devices based on the identification information.
- device information regarding a shared candidate device that is a candidate for screen sharing is acquired, and identification information that identifies the shared candidate device is acquired and acquired. Based on the device information and the identification information, the sharing target device to be screen-shared is determined from the plurality of sharing candidate devices.
- the information processing device on one aspect of the present technology may be an independent device or an internal block constituting one device.
- FIG. 1 shows a case where an information device 10 such as a smartphone shares a screen with any of display devices 20-1 to 20-3 such as a television receiver. That is, the operation of displaying the content such as a moving image displayed on the screen of the information device 10 in the user's hand as a source on any of the display devices 20-1 to 20-3 which are candidates for screen sharing. Will be done.
- an information device 10 such as a smartphone shares a screen with any of display devices 20-1 to 20-3 such as a television receiver. That is, the operation of displaying the content such as a moving image displayed on the screen of the information device 10 in the user's hand as a source on any of the display devices 20-1 to 20-3 which are candidates for screen sharing. Will be done.
- the information device 10 and the display devices 20-1 to 20-3 are devices compatible with UPnP (Universal Plug and Play), and are connected via a home network such as a wireless LAN (Local Area Network). There is.
- UPnP Universal Plug and Play
- a home network such as a wireless LAN (Local Area Network).
- TV xyz a list of friendly names indicating each display device 20 is shown based on the device description acquired from the display devices 20-1 to 20-3. ",” TV abc “,” TV qrp ”) is displayed as the selection screen A11 (Fig. 2).
- the user can confirm the friendly name on the selection screen A11 displayed on the information device 10, but cannot identify which display device 20 each friendly name corresponds to, and each display. It is difficult to distinguish the device 20.
- the screen is shared with the display device 20-1 or the display device 20-2 different from the desired display device 20-3. May be done.
- Patent Document 1 it is disclosed that a certain device receives the status of another device sharing a display screen from the other device (described in paragraph 0006).
- the desired display device 20 when displaying content such as a moving image that can be displayed on the information device 10 on any of a plurality of display devices 20 that are candidates for screen sharing, the desired display device 20 can be easily and reliably displayed.
- a screen sharing method hereinafter, also referred to as a new method
- the detailed contents of the new method will be described with reference to FIGS. 3 to 30.
- the information device 10 and the display devices 20-1 to 20-3 are devices corresponding to the DLNA (registered trademark) (Digital Living Network Alliance) standard
- the information device 10 is It can be said that the display devices 20-1 to 20-3 operate as DMC (Digital Media Controller) devices and operate as DMR (Digital Media Renderer) devices.
- DLNA is based on UPnP.
- FIG. 3 shows an example of the configuration of the content reproduction system 1 as an embodiment of the information processing system to which the present technology is applied.
- the information device 10 the display devices 20-1 to 20-N (N: an integer of 2 or more), and the router 30 are connected to each other via the network 80.
- the network 80 includes a home network such as a wireless LAN constructed in a predetermined space such as a user's home or a conference room of a company.
- the information device 10 is a device having a predetermined user interface (UI: User Interface), such as a smartphone, a mobile phone, a tablet terminal, a remote controller, a wearable device, a portable music player, a game machine, or a personal computer.
- UI User Interface
- the information device 10 performs various operations according to the user's operation on the predetermined user interface.
- the information device 10 can share a screen with any of the display devices 20-1 to 20-N via the network 80 according to the operation of the user.
- the display device 20-1 is a device having a predetermined display function, such as a television receiver, a display device, a tablet terminal, a personal computer, or a projector. Further, the display device 20-1 may be a home electric appliance such as a refrigerator having a display, an audio device such as a smart speaker (smart display) having a display, or the like.
- a home electric appliance such as a refrigerator having a display
- an audio device such as a smart speaker (smart display) having a display, or the like.
- the display device 20-1 can share the screen with the information device 10 via the network 80.
- the display devices 20-2 to 20-N are configured as devices such as a television receiver, respectively, like the display device 20-1. Each of the display devices 20-2 to 20-N can share the screen with the information device 10.
- the display devices 20-1 to 20-N are simply referred to as the display device 20 when it is not necessary to distinguish them. Further, in the following description, a case where the display device 20 is a television receiver will be illustrated.
- the router 30 can be connected to the network 90.
- the network 90 includes a communication network such as the Internet, an intranet, or a mobile phone network.
- the router 30 connects the network 80 and the network 90 and relays data exchanged between the networks.
- External servers such as distribution servers 40-1 to 40-M (integer of M: 1 or more) are connected to the network 90.
- the distribution server 40-1 is composed of one or more servers and is installed in a data center or the like.
- the distribution server 40-1 is provided by a business operator or the like that provides services such as a video distribution service.
- the distribution server 40-1 distributes communication contents such as moving images via the network 90 or the like in response to a request from the information device 10 or the display device 20.
- Each of the distribution servers 40-2 to 40-M distributes communication contents such as moving images in response to a request from the information device 10 or the display device 20 in the same manner as the distribution server 40-1.
- the distribution servers 40-1 to 40-M are simply referred to as the distribution server 40 when it is not necessary to distinguish them.
- the information device 10 or the display device 20 transmits a communication content distribution request to the distribution server 40 via the network 90 or the like.
- the information device 10 or the display device 20 receives and processes streaming data transmitted from the distribution server 40 via the network 90 or the like, and outputs video and audio of communication contents such as moving images.
- the display device 20 can receive the broadcast signal transmitted from the transmitter 50 via the radio tower or the like via the antenna.
- the display device 20 receives and processes a broadcast signal according to the user's channel selection operation, and outputs video and audio of broadcast content such as a television program.
- FIG. 4 shows an example of the configuration of the information device 10 of FIG. 3 as an embodiment of an information processing device to which the present technology is applied.
- the information device 10 is composed of a processing unit 100, an input unit 101, an output unit 102, a memory 103, a storage unit 104, a communication unit 105, a sensor 106, a camera 107, and a power supply unit 108.
- the processing unit 100 is composed of a processor such as a CPU (Central Processing Unit).
- the processing unit 100 is a central processing device (control device) that controls the operation of each unit and performs various arithmetic processes.
- the input unit 101 is an input device such as a physical button 111 or a microphone 112.
- the input unit 101 supplies operation data according to the user's operation to the processing unit 100.
- the processing unit 100 controls the operation of each unit based on the operation data from the input unit 101.
- the output unit 102 is an output device such as a display 121 or a speaker 122.
- the output unit 102 outputs information according to various data according to the control from the processing unit 100.
- the display 121 is a display unit that displays an image corresponding to the image data from the processing unit 100.
- the display 121 is configured as a touch panel together with an input unit that supplies operation data corresponding to the contact position (position of a predetermined point) to the processing unit 100 when the user's finger touches the surface of the screen. May be done.
- the speaker 122 outputs voice (sound) according to the voice data from the processing unit 100.
- the memory 103 is a semiconductor memory such as RAM (Random Access Memory).
- the memory 103 temporarily stores various types of data processed by the processing unit 100.
- the storage unit 104 is an auxiliary storage device including a semiconductor memory such as a non-volatile memory.
- the storage unit 104 may be configured as an internal storage, or may be an external storage such as a memory card.
- the storage unit 104 stores various data according to the control from the processing unit 100.
- the communication unit 105 provides a communication module that supports wireless LAN, cellular communication (for example, LTE-Advanced, 5G, etc.), short-range wireless communication (for example, Bluetooth (registered trademark), etc.), or wired communication. It is a communication device including.
- the communication unit 105 communicates with other devices via the network 80 or the like under the control of the processing unit 100.
- the communication unit 105 exchanges various data with the display device 20 via the network 80 under the control of the processing unit 100.
- the communication unit 105 requests the distribution server 40 to distribute communication content such as a moving image via the network 80 or the like.
- the communication unit 105 receives the streaming data transmitted from the distribution server 40 via the network 90 and the like, and supplies the streaming data to the processing unit 100.
- the processing unit 100 performs processing such as decoding on the streaming data from the communication unit 105, so that the video of the communication content such as a moving image is displayed on the display 121, and the sound is output from the speaker 122.
- the sensor 106 is composed of various sensor devices and the like.
- the sensor 106 senses the user and its surroundings, and supplies the resulting sensing data to the processing unit 100.
- the processing unit 100 performs various processes based on the sensing data from the sensor 106.
- the sensor 106 includes an acceleration sensor that measures acceleration, a gyro sensor that measures angle (attitude), angular velocity, and angular acceleration, a biological sensor that measures information such as heart rate, body temperature, or posture of a living body, and a magnetic field.
- a magnetic sensor that measures the magnitude and direction of (magnetic field), a proximity sensor that measures close objects, and the like can be included.
- the camera 107 is composed of an optical system, an image sensor, a signal processing circuit, and the like.
- the camera 107 takes an image of the subject and supplies the imaged data obtained as a result to the processing unit 100.
- the processing unit 100 performs various processes based on the image pickup data from the camera 107.
- the power supply unit 108 is composed of a battery such as a secondary battery and a power management circuit, and supplies electric power to each unit including the processing unit 100.
- FIG. 5 shows an example of the functional configuration of the processing unit 100 of FIG.
- the processing unit 100 includes a device information acquisition unit 131, an identification information acquisition unit 132, a shared target device determination unit 133, a presentation control unit 134, and a communication control unit 135.
- the device information acquisition unit 131 acquires the device information provided by the display device 20 and supplies it to the sharing target device determination unit 133.
- Device information is information about shared candidate devices that are candidates for screen sharing.
- the device information includes a device description.
- the sharing candidate device is a plurality of display devices 20 connected to the network 80.
- the identification information acquisition unit 132 acquires the identification information generated by the display device 20 and supplies it to the sharing target device determination unit 133.
- the identification information is information that identifies the shared candidate device.
- the identification information includes information about an image, text, code, or the like.
- the device information such as the device description includes information related to the identification information (for example, the address of an image file).
- the sharing target device determination unit 133 selects the screen sharing target from among the plurality of display devices 20 based on the device information acquired by the device information acquisition unit 131 and the identification information acquired by the identification information acquisition unit 132.
- the display device 20 is determined.
- the display device 20 determined by the sharing target device determination unit 133 is a sharing target device selected as a screen sharing target from a plurality of sharing candidate devices.
- the presentation control unit 134 controls the output unit 102 such as the display 121 and the speaker 122 to present information according to various data.
- the communication control unit 135 controls the communication unit 105 to perform communication with other devices via the network 80 or the like.
- FIG. 6 shows an example of the configuration of the display device 20 of FIG. 3 as an embodiment of the information processing device to which the present technology is applied.
- the display device 20 includes a processing unit 200, a tuner 201, a signal input unit 202, a data processing unit 203, a display 204, a speaker 205, a communication unit 206, an operation reception unit 207, and an output unit 208.
- the processing unit 200 is composed of a processor such as a CPU.
- the processing unit 200 is a central processing device (control device) that controls the operation of each unit and performs various arithmetic processes, and controls the operation of each unit of the display device 20.
- the tuner 201 performs processing such as demodulation processing on the broadcast signal received via the antenna, and supplies the data obtained as a result to the data processing unit 203.
- the broadcast signal here transmits broadcast content according to a broadcasting system such as terrestrial broadcasting, satellite broadcasting, or cable television broadcasting.
- the signal input unit 202 is configured as an interface conforming to a predetermined standard such as HDMI (registered trademark) (High Definition Multimedia Interface) or USB (Universal Serial Bus).
- HDMI registered trademark
- USB Universal Serial Bus
- data such as recorded content recorded by a recorder (recording / playback device) or network storage, or recorded content recorded on a recording medium such as a semiconductor memory or an optical disk, via an interface conforming to a predetermined standard. It is input to the signal input unit 202 and supplied to the data processing unit 203.
- the data processing unit 203 is composed of a system on chip (SoC: System on a chip) and the like.
- SoC System on a chip
- the data processing unit 203 performs processing such as decoding on the data supplied from the tuner 201 or the signal input unit 202, supplies the video data obtained as a result to the display 204, and supplies the audio data to the speaker 205.
- the display 204 is composed of display units such as a liquid crystal display unit and an OLED (Organic Light Emitting Diode) display unit, for example.
- the display 204 processes the video data supplied from the data processing unit 203 in accordance with the control from the processing unit 200, and displays the video of the broadcast content such as a television program and information such as various screens.
- the speaker 205 processes the audio data supplied from the data processing unit 203 in accordance with the control from the processing unit 200, and outputs the audio (sound) of the broadcast content such as a TV program.
- the communication unit 206 is a communication device including a communication module compatible with wireless communication such as wireless LAN or wired communication.
- the communication unit 206 communicates with other devices via the network 80 or the like under the control of the processing unit 200.
- the communication unit 206 exchanges various data with the information device 10 via the network 80 under the control of the processing unit 200.
- the communication unit 206 requests the distribution server 40 to distribute communication content such as a moving image via the network 80 or the like.
- the communication unit 206 receives the streaming data distributed from the distribution server 40 via the network 90 or the like, and supplies the streaming data to the data processing unit 203 via the processing unit 200.
- the data processing unit 203 performs processing such as decoding on the streaming data from the communication unit 206, so that the video of the communication content such as a moving image is displayed on the display 204 and the sound is output from the speaker 205.
- the operation reception unit 207 is composed of, for example, a short-range wireless communication module, an infrared light receiving module, and the like.
- the operation reception unit 207 receives (receives) a signal such as a wireless signal or an infrared signal transmitted from the remote controller 21, and supplies the operation data to the processing unit 200.
- the processing unit 200 controls the operation of each unit based on the command corresponding to the operation data from the operation reception unit 207.
- short-range wireless communication communication conforming to a standard such as Bluetooth (registered trademark) can be performed.
- the information device 10 may be used as the remote controller 21.
- the output unit 208 is composed of, for example, a device that emits light such as an LED lamp and a power lamp, and a device that outputs sound such as a buzzer and a speaker.
- the output unit 208 outputs light, sound, or the like according to the control from the processing unit 200.
- FIG. 7 shows an example of the functional configuration of the processing unit 200 of FIG.
- the processing unit 200 includes a device information providing unit 231, an identification information generating unit 232, an output control unit 233, and a communication control unit 234.
- the device information providing unit 231 provides device information such as a device description to the information device 10. Further, the device information providing unit 231 includes information related to the identification information generated by the identification information generation unit 232 in the device information.
- the identification information generation unit 232 generates identification information (information about an image, text, code, etc.) based on a message from the information device 10, and supplies it to the device information providing unit 231 and the output control unit 233.
- the output control unit 233 controls the display 204, the speaker 205, or the output unit 208, and outputs the identification information (information about an image, text, code, etc.) generated by the identification information generation unit 232.
- the details of the device information providing unit 231 and the identification information generating unit 232 and the output control unit 233 will be described in the first to eighth examples of the screen sharing method described later.
- the communication control unit 234 controls the communication unit 206 to perform communication with other devices via the network 80 or the like.
- the content playback system 1 is configured as described above.
- FIG. 8 shows a first example of the screen sharing method.
- a common image (same or corresponding image) is displayed on each of the information device 10 and the plurality of display devices 20, so that the common image is displayed. Allows the plurality of display devices 20 to be identified so that screen sharing can be performed.
- the user compares the reduced image of the list of the selection screen A21 of the information device 10 with the images B21-1 to B21-3 superimposed and displayed on the respective screens of the display devices 20-1 to 20-3, thereby displaying the screen.
- the display device 20 that is a candidate for sharing can be identified, and the display device 20 that is the target of screen sharing can be selected.
- FIG. 9 is a flowchart showing a processing flow of the first example of the screen sharing method.
- each processing step of the information device 10 is executed by the processing unit 100. Further, each processing step of the display device 20 is executed by the processing unit 200.
- the processing of steps S131 to S136 is executed in the information device 10.
- Each of the display devices 20-1 to 20-3 executes the processes of steps S151 to S155.
- the information device 10 broadcasts an M-search message to the network 80 using UDP (User Datagram Protocol) (S131).
- UDP User Datagram Protocol
- Each of the display devices 20-1 to 20-3 that received the M-search message transmits the M-search response to the information device 10 via the network 80 (S151).
- the M-search message is a message for searching for devices connected to the network.
- the M-search response is a response message sent from the device that received the M-search message.
- the M-search response includes "LOCATION" that describes the URL (Uniform Resource Locator) for acquiring the device description as a parameter.
- the device description contains information about the device in question. The details of the M-search message and the M-search response are disclosed in the following documents.
- the information device 10 stores the IP address of each display device 20 and the URL of the device description in the memory 103 based on the M-search response received from each of the display devices 20-1 to 20-3 (S132).
- the information device 10 acquires the device description of each display device 20 provided from the display devices 20-1 to 20-3 according to the stored device description URL (designated URL) (S133, S152).
- FIG. 10 shows an example of the description of the device description.
- deviceType element friendlyName element, manufacturer element, manufacturerURL element, modelDescription element, modelName element, modelNumber element, modelURL element, serialNumber element, UDN element, UPC element, and iconList element are described.
- the device type is described in the deviceType element.
- friendlyName element a friendly name, which is a text consisting of an arbitrary character string or the like, is described.
- the manufacturer is described in the manufacturer element.
- the URL of the manufacturer's site is described in the manufacturerURL element.
- the title of the type is described in the modelDescription element.
- the type name is described in the modelName element.
- the model number is described in the modelNumber element.
- the URL of the type site is described in the modelURL element.
- the serial number is described in the serialNumber element.
- a UUID Universally Unique Identifier
- UPC Universal Product Code
- the iconList element includes one or more icon elements including a mimetype element, a width element, a height element, a depth element, and a url element.
- the MIME type of the icon is described in the mimetype element.
- the width element and height element describe the number of pixels in the horizontal and vertical directions of the icon.
- the color depth of the icon is described in the depth element.
- the URL of the icon is described in the url element.
- each display device 20 holds its own device description
- the device description may be held by another device.
- the information device 10 broadcasts the switching message to the network 80 using UDP (S134).
- the switching message includes a message that is "switch to selection mode".
- Each of the display devices 20-1 to 20-3 that received this switching message generates an image file (S153).
- an image file for example, an image representing contents such as a mark of a broadcasting station or a service, a still image thumbnail of the contents, a video thumbnail, or the like can be generated.
- a still image or moving image file stored in advance by the display device 20 may be used, a still image file cut out from the moving image, a still image file acquired from the outside, or the like may be used. You may.
- the display devices 20-1 to 20-3 store the generated image file at the address specified in the url element of the displaySource element described in the device description (S154).
- FIG. 11 shows an example of describing the address of the image file.
- the relative address and the file name of the field which is "relative address value / filename" are described as the url element of the displaySource element of the device description.
- each of the display devices 20-1 to 20-3 stores the generated image file in the place specified by the relative address (relative address value) with the specified file name (filename).
- the relative address described in the url element of the displaySource element means the relative address from the URL described in the URLBase element when the URLBase element is described, and when the URLBase element is not described. Means a relative address from the root (IP address of the corresponding device). These relationships are the same for relative addresses, which will be described later.
- each of the display devices 20-1 to 20-3 displays a generated image (images B21-1 to B21-3 of FIG. 8) corresponding to the generated image file on the screen of the display 204.
- the information device 10 acquires the image file stored by each of the display devices 20-1 to 20-3 according to the stored designated URL (S135).
- the information device 10 has a friendly name (for example, the name of the device) corresponding to the friendlyName element of the device description and an acquired image (reduced image of images B21-1 to B21-3 in FIG. 8) according to the acquired image file. , Displayed on the selection screen A21 (FIG. 8) (S136).
- the user compares the acquired image displayed on the selection screen A21 of the information device 10 with the generated image superimposed and displayed on the respective screens of the display devices 20-1 to 20-3, so that each display device can be compared.
- 20 can be identified and an operation of selecting a desired display device 20 as a shared target device can be performed (S112).
- the information device 10 stores the IP address of the display device 20 as the sharing target device in the memory 103 (S137).
- the display device 20 (sharing target device) that shares the screen with the information device 10 (sharing source device) is determined from the plurality of display devices 20 (sharing candidate devices), and the information device 10 (sharing source device). Then, screen sharing is performed by exchanging data with the selected display device 20 (sharing target device) based on the stored IP address.
- a common image is displayed on the display 121 of the information device 10 and the display 204 of the display devices 20-1 to 20-3, so that the user can use each of them.
- By simply checking the image displayed on the display of the device it is possible to easily and surely select the display device 20 that shares the screen with the information device 10.
- the case where three display devices 20-1 to 20-3 exist as shared candidate devices is illustrated, but the number of shared candidate devices is not limited to three, and two or two are used. There may be four or more. Further, the shared candidate device is not limited to the same type of device, and other types of devices may coexist. Further, the information device 10 can display the selection screen A21 even when there is only one sharing candidate device, and implements the screen sharing method described in the first to eighth examples of the screen sharing method. It is possible.
- FIG. 12 shows a second example of the screen sharing method.
- a common friendly name (same or corresponding text) is displayed on each of the information device 10 and the plurality of display devices 20, so that the common name is displayed.
- a plurality of display devices 20 can be identified by a friendly name so that screen sharing can be performed.
- the list of the selection screen A22 of the information device 10 is displayed on the screens of the display devices 20-1 to 20-3, respectively.
- the texts (“TV xyz”, “TV abc”, “TV qrp") corresponding to the texts B22-1 to B22-3 are displayed.
- the text of the name of the device can be described as the friendly name.
- the user can share the screen by comparing the text of the list of the selection screen A22 of the information device 10 with the texts B22-1 to B22-3 superimposed and displayed on the respective screens of the display devices 20-1 to 20-3.
- the display device 20 that is a candidate for the above can be identified, and the display device 20 that is the target of screen sharing can be selected.
- FIG. 13 is a flowchart showing a processing flow of the second example of the screen sharing method.
- each processing step of the information device 10 is executed by the processing unit 100. Further, each processing step of the display device 20 is executed by the processing unit 200.
- steps S231 to S233 and S251 to S252 similarly to steps S131 to S133 and S151 to S152 in FIG. 9, the M-search message and M are between the information device 10 and the display devices 20-1 to 20-3. -The search response is exchanged, and the information device 10 acquires the device description provided by each display device 20.
- the information device 10 uses UDP to broadcast a switching message to the network 80 (S234).
- Each of the display devices 20-1 to 20-3 that received this switching message gives a friendly name (texts B22-1 to B22-3 in FIG. 12) corresponding to the friendlyName element of its own device description on the display 204. It is superimposed and displayed on the screen (S253).
- the information device 10 displays the friendly name (text corresponding to the texts B22-1 to B22-3 in FIG. 12) corresponding to the friendlyName element on the selection screen A22 (FIG. 12) based on the acquired device description. Display (S235).
- each display device 20 can be identified and a desired display device 20 as a shared target device can be selected (S212).
- the information device 10 stores the IP address of the display device 20 as the sharing target device in the memory 103 (S236). Then, the information device 10 shares the screen by exchanging data with the selected display device 20 (sharing target device) based on the stored IP address.
- the common text is displayed on the display 121 of the information device 10 and the display 204 of the display devices 20-1 to 20-3, so that the user can use each of them.
- the display 204 of the display devices 20-1 to 20-3 By simply checking the text displayed on the display of the device, it is possible to easily and surely select the display device 20 that shares the screen with the information device 10.
- FIG. 14 shows a third example of the screen sharing method.
- a common random number (a unique random number for each device) is displayed on each of the information device 10 and the plurality of display devices 20.
- a plurality of display devices 20 can be identified by a common random number so that screen sharing can be performed.
- the user compares the random numbers in the list of the selection screen A23 of the information device 10 with the random numbers B23-1 to B23-3 superimposed and displayed on the respective screens of the display devices 20-1 to 20-3.
- the display device 20 that is a candidate for screen sharing can be identified, and the display device 20 that is the target of screen sharing can be selected.
- FIG. 15 is a flowchart showing the processing flow of the third example of the screen sharing method.
- each processing step of the information device 10 is executed by the processing unit 100. Further, each processing step of the display device 20 is executed by the processing unit 200.
- steps S331 to S333 and S351 to S352 similarly to steps S131 to S133 and S151 to S152 in FIG. 9, the M-search message and M are between the information device 10 and the display devices 20-1 to 20-3. -The search response is exchanged, and the information device 10 acquires the device description provided by each display device 20.
- the information device 10 uses UDP to broadcast a switching message to the network 80 (S334).
- Each of the display devices 20-1 to 20-3 that received this switching message generates a random number (S353).
- a method for generating this random number various methods such as a method using a random number can be used.
- a number different from the random number generated by the other shared candidate device is generated.
- Each of the display devices 20-1 to 20-3 stores the generated random number (value) in the device description (S354).
- FIG. 16 shows an example of a description of a random number.
- a random number which is a "random number value” is described as a deviceID element of the device description.
- each of the display devices 20-1 to 20-3 superimposes and displays the generated random numbers (random numbers B23-1 to B23-3 in FIG. 14) on the screen of the display 204 ( S355).
- the information device 10 acquires a random number stored in the device description provided by each display device 20 according to the stored designated URL (S335).
- the information device 10 displays the acquired random number (random number corresponding to the random numbers B23-1 to B23-3 in FIG. 14) together with the friendly name on the selection screen A23 (FIG. 14) (S336).
- the user compares the random number displayed on the selection screen A23 of the information device 10 with the random number superimposed and displayed on the respective screens of the display devices 20-1 to 20-3, so that each display device can be compared.
- 20 can be identified and an operation of selecting a desired display device 20 as a shared target device can be performed (S312).
- the information device 10 stores the IP address of the display device 20 as the sharing target device in the memory 103 (S337). Then, the information device 10 shares the screen by exchanging data with the selected display device 20 (sharing target device) based on the stored IP address.
- a common random number is displayed on the display 121 of the information device 10 and the display 204 of the display devices 20-1 to 20-3, so that the user can use the user.
- By simply checking the random number displayed on the display of each device it is possible to easily and reliably select the display device 20 that shares the screen with the information device 10.
- FIG. 17 shows a fourth example of the screen sharing method.
- a two-dimensional code for example, a QR code (registered trademark)
- QR code registered trademark
- the information device 10 activates the two-dimensional code reading application A24 in response to the user's operation.
- the two-dimensional code reading application A24 is a dedicated application for reading a two-dimensional code by using the shooting function of the camera 107 or the like. Further, at this time, the two-dimensional code reading application A24 may be started based on the user's selection to start the application, or is automatically started according to the display of the two-dimensional code on the screen of the display device 20. It may be started.
- the user holds the information device 10 on which the two-dimensional code reading application A24 is activated and wants to share the screen among the display devices 20-1 to 20-3 that are candidates for screen sharing.
- the display device 20-3 to be screen-shared can be selected.
- FIG. 18 is a flowchart showing a processing flow of the fourth example of the screen sharing method.
- each processing step of the information device 10 is executed by the processing unit 100. Further, each processing step of the display device 20 is executed by the processing unit 200.
- steps S431 to S433 and S451 to S452 similarly to steps S131 to S133 and S151 to S152 in FIG. 9, the M-search message and M are between the information device 10 and the display devices 20-1 to 20-3. -The search response is exchanged, and the information device 10 acquires the device description provided by each display device 20.
- the information device 10 uses UDP to broadcast a switching message to the network 80 (S434).
- Each of the display devices 20-1 to 20-3 that received this switching message generates a two-dimensional code (S453).
- a two-dimensional code for example, an API (Application Programming Interface) for generating the two-dimensional code can be used, or a service for generating the two-dimensional code can be used.
- the two-dimensional code is a display type code that has information in the horizontal direction and the vertical direction.
- a QR code registered trademark
- Each of the display devices 20-1 to 20-3 stores the generated two-dimensional code value (character string) in the device description (S454).
- FIG. 19 shows an example of describing the value of the two-dimensional code.
- the value of the two-dimensional code which is "2d code value”
- 2d Code element of the device description is described as the 2d Code element of the device description.
- each of the display devices 20-1 to 20-3 superimposes and displays the generated two-dimensional code (two-dimensional code B24-1 to B24-3 of FIG. 17) on the screen of the display 204. (S455).
- the information device 10 acquires the value of the two-dimensional code stored in the device description provided by each display device 20 according to the stored designated URL (S435).
- the information device 10 on which the two-dimensional code reading application A24 (FIG. 17) is activated by the user is held over the two-dimensional code displayed on the screen of the desired display device 20 as the shared target device.
- the information device 10 performs the following processing.
- the information device 10 captures a two-dimensional code on the screen of the desired display device 20 as a shared target device, and decodes the captured two-dimensional code image (S436).
- the information device 10 compares the two-dimensional code value obtained by decoding with the two-dimensional code value obtained from the acquired device description, and according to the comparison result, the display device as a shared target device. 20 is determined (S437).
- the information device 10 stores the IP address of the display device 20 as the shared target device in the memory 103 (S438). Then, the information device 10 shares the screen by exchanging data with the selected display device 20 (sharing target device) based on the stored IP address.
- the two-dimensional code is displayed on the display 204 of the display devices 20-1 to 20-3, so that the user displays the two-dimensional code on the display 204 of the desired display device 20.
- the display device 20 that shares the screen with the information device 10 can be easily and surely selected only by taking a picture of the two-dimensional code with the camera 107 of the information device 10.
- the two-dimensional code reading application A24 is used when reading the two-dimensional code is illustrated, but the two-dimensional code may be read by another function of the information device 10.
- FIG. 20 shows a fifth example of the screen sharing method.
- the information device 10 can detect the sound waves B25-1 to B25-3 output from the display devices 20-1 to 20-3 by using the functions of the microphone 112, the sensor 106, and the like.
- the user moves the information device 10 and detects the sound wave A25 output from the display device 20-3 that is the target of screen sharing among the display devices 20-1 to 20-3 that are candidates for screen sharing. By doing so, it is possible to select the display device 20-3 to be screen-shared.
- FIG. 21 is a flowchart showing a processing flow of the fifth example of the screen sharing method.
- each processing step of the information device 10 is executed by the processing unit 100. Further, each processing step of the display device 20 is executed by the processing unit 200.
- the information device 10 uses UDP to broadcast a switching message to the network 80 (S534).
- Each of the display devices 20-1 to 20-3 that received this switching message generates a sound wave pattern file (S553).
- a sound wave pattern file in addition to being sequentially generated by the sound wave pattern generator, a file held in advance by the display device 20 may be used, or a file acquired from the outside may be used.
- the display devices 20-1 to 20-3 store the generated sound wave pattern file at the address specified in the url element of the renderPattern element described in the device description (S554).
- FIG. 22 shows an example of describing the address of the sound wave pattern file.
- the relative address and the file name of the field which is "relative address value / filename" are described as the url element of the renderPattern element of the device description.
- each of the display devices 20-1 to 20-3 stores the generated sound wave pattern file in the place specified by the relative address (relative address value) with the specified file name (filename). ..
- each of the display devices 20-1 to 20-3 emits sound waves (sound waves B25-1 to B25-3 in FIG. 20) corresponding to the generated sound wave pattern file to the speaker 205 or the output unit 208. And so on (S555).
- the information device 10 acquires the sound wave pattern file stored in the device description provided by each display device 20 according to the stored designated URL (S535).
- the information device 10 when the information device 10 is brought closer to the desired display device 20 as the shared target device by the user and the sound detection operation is performed (S512), the information device 10 performs the following processing. It is said.
- the information device 10 detects the sound wave output from the desired display device 20 as the shared target device, and converts the detected sound wave into a pattern file (S536).
- the information device 10 compares the detected sound wave pattern file with the acquired sound wave pattern file, and determines the display device 20 as the shared target device according to the comparison result (S537).
- the information device 10 stores the IP address of the display device 20 as the shared target device in the memory 103 (S538). Then, the information device 10 shares the screen by exchanging data with the selected display device 20 (sharing target device) based on the stored IP address.
- sound waves are output from the speakers 205 and the like of the display devices 20-1 to 20-3, so that the user can use the sound waves from the speakers 205 and the like of the desired display device 20. Can be easily and reliably selected from the display device 20 that shares the screen with the information device 10 simply by detecting the above with the microphone 112, the sensor 106, or the like of the information device 10.
- FIG. 23 shows a sixth example of the screen sharing method.
- the information device 10 can detect the light B26-1 to B26-3 output from the display devices 20-1 to 20-3 by using the functions of the sensor 106, the camera 107, and the like.
- the user moves the information device 10 and detects the optical A26 output from the display device 20-3 that is the target of screen sharing among the display devices 20-1 to 20-3 that are candidates for screen sharing. By doing so, it is possible to select the display device 20-3 to be screen-shared.
- FIG. 24 is a flowchart showing a processing flow of the sixth example of the screen sharing method.
- each processing step of the information device 10 is executed by the processing unit 100. Further, each processing step of the display device 20 is executed by the processing unit 200.
- the M-search message and the M-search message and M are between the information device 10 and the display devices 20-1 to 20-3, similarly to steps S131 to S133 and S151 to S152 in FIG. -The search response is exchanged, and the information device 10 acquires the device description provided by each display device 20.
- the information device 10 uses UDP to broadcast a switching message to the network 80 (S634).
- Each of the display devices 20-1 to 20-3 that received this switching message generates a light emission pattern file (S653).
- a light emission pattern file in addition to being sequentially generated by the light emission pattern generator, a file held in advance by the display device 20 may be used, or a file acquired from the outside may be used.
- the display devices 20-1 to 20-3 store the generated light emission pattern file at the address specified in the url element of the renderPattern element described in the device description (S654).
- FIG. 25 shows an example of the description of the address of the light emission pattern file.
- Each of the display devices 20-1 to 20-3 stores the generated light emission pattern file in a place designated by a relative address value with a designated file name (filename).
- each of the display devices 20-1 to 20-3 emits light (lights B26-1 to B26-3 in FIG. 23) corresponding to the generated light emission pattern file to the output unit 208 and the display 204. And so on (S655).
- the information device 10 acquires a light emission pattern file stored in the device description provided by each display device 20 according to the stored designated URL (S635).
- the information device 10 when the information device 10 is brought closer to the desired display device 20 as the shared target device by the user and the light detection operation is performed (S612), the information device 10 performs the following processing. Will be.
- the information device 10 detects the light output from the desired display device 20 as the shared target device, and converts the detected light into a pattern file (S636).
- the information device 10 compares the detected light pattern file with the acquired light emission pattern file, and determines the display device 20 as the shared target device according to the comparison result (S637).
- the information device 10 stores the IP address of the display device 20 as the shared target device in the memory 103 (S638). Then, the information device 10 shares the screen by exchanging data with the selected display device 20 (sharing target device) based on the stored IP address.
- light is output from the output units 208 and the like of the display devices 20-1 to 20-3, so that the user can use the output unit 208 and the like of the desired display device 20.
- the display device 20 that shares the screen with the information device 10 can be easily and surely selected only by detecting the light from the light by the sensor 106 of the information device 10, the camera 107, or the like.
- FIG. 26 shows a seventh example of the screen sharing method.
- the seventh example of this screen sharing method when screen sharing is performed, at least one of the sound (sound wave) and the image is output from the plurality of display devices 20, and at least one of the sound (sound wave) and the image is finger printed. Is extracted by the information device 10 so that the screen can be shared between the information device 10 and the desired display device 20.
- the information device 10 can capture the sound waves B27-1 to B27-3 output from the display devices 20-1 to 20-3 by using the functions of the microphone 112, the sensor 106, and the like.
- images C27-1 to C27-3 are displayed on the display devices 20-1 to 20-3, respectively.
- the information device 10 can capture the images C27-1 to C27-3 displayed on the display devices 20-1 to 20-3 by using the functions of the camera 107, the sensor 106, and the like.
- the user moves the information device 10 and captures the sound wave A27 output from the display device 20-3 that is the target of screen sharing among the display devices 20-1 to 20-3 that are candidates for screen sharing. Then, by using the finger print extracted from the sound wave A27, the display device 20-3 to be screen-shared can be selected.
- FIG. 27 is a flowchart showing a processing flow of the seventh example of the screen sharing method.
- each processing step of the information device 10 is executed by the processing unit 100. Further, each processing step of the display device 20 is executed by the processing unit 200.
- steps S731 to S733, S751 to S752 similarly to steps S131 to S133 and S151 to S152 in FIG. 9, the M-search message and M are between the information device 10 and the display devices 20-1 to 20-3. -The search response is exchanged, and the information device 10 acquires the device description provided by each display device 20.
- the information device 10 uses UDP to broadcast a switching message to the network 80 (S734).
- Each of the display devices 20-1 to 20-3 that received this switching message generates a finger print file based on the finger print obtained from at least one of the sound (sound wave) and the image (S753).
- the display devices 20-1 to 20-3 store the generated finger print file in the address specified in the soundSource element of the device description or the url element of the displaySource element (S754).
- FIG. 28 shows an example of the description of the address of the finger print file.
- the sound wave finger print file is stored with the specified file name (filename) in the location specified by the relative address (relative address value) of the url element of the soundSource element.
- the finger print file of the image is stored with the specified file name (filename) in the location specified by the relative address (relative address value) of the url element of the displaySource element.
- each of the display devices 20-1 to 20-3 outputs at least one of the sound wave and the image corresponding to the generated finger print file (S755).
- sound waves B27-1 to B27-3 in FIG. 26 are output from the speaker 205 or the like based on the finger print file of the sound waves, and the image is displayed.
- images images C27-1 to C27-3 in FIG. 26 are displayed on the display 204 or the like.
- the information device 10 acquires the finger print file stored in the device description provided by each display device 20 according to the stored designated URL (S735).
- the information device 10 when the information device 10 is brought closer to the desired display device 20 as the shared target device by the user and the sound or image capture operation is performed (S712), the information device 10 performs the following processing. Is done.
- the information device 10 acquires a sound wave or an image output from a desired display device 20 as a shared target device, and extracts a finger print from the sound wave or the image (S736).
- the information device 10 compares the extracted finger print with the finger print obtained from the acquired finger print file, and determines the display device 20 as the shared target device according to the comparison result (S737).
- each display device 20 Since each display device 20 describes the relative address of the file related to the sound wave in the device description, the information device 10 acquires the file related to the sound wave according to the relative address and compares it with the captured sound wave. It is possible to determine whether or not they match.
- the information device 10 acquires the feature point detection information according to the relative address. Based on the above, the feature points of the captured sound waves may be compared and judged.
- a watermark is inserted into the voice (sound wave), a file of the parameter of the watermark is generated, and the relative address of the file is described in the device description.
- the watermark parameter file may be acquired according to the relative address, and compared / determined with the watermark extracted from the captured voice (sound wave).
- each display device 20 describes the relative address of the file related to the image or the moving image in the device description, and the information device 10 acquires the file related to the image or the moving image according to the relative address and captures the image or the moving image. Can be compared and judged.
- the information device 10 acquires the feature point detection information according to the relative address. Based on the above, the feature points of the captured image may be compared / determined.
- the feature point detection process in the information device 10 and / or the display device 20 is like a server connected to the information device 10 and / or the display device 20 via the network 80 or the network 90. It may be performed by an external device.
- the information device 10 and / or the display device 20 transmit the acquired sound wave or image information to the external device, and acquire the feature point detection information of the sound wave or image detected by the external device.
- the feature point detection information may be described in the device description and the feature point comparison / determination process may be performed.
- the information device 10 may perform a process of determining the display device 20 as a shared target device based on the finger print and the comparison / determination process of the feature points performed by the external device.
- the information device 10 has the relative address.
- the watermark parameter file may be acquired and compared / determined with the watermark extracted from the captured moving image (image).
- the information device 10 stores the IP address of the display device 20 as the shared target device in the memory 103 (S738). Then, the information device 10 shares the screen by exchanging data with the selected display device 20 (sharing target device) based on the stored IP address.
- sound waves and images are output from the speakers 205, the display 204, and the like of the display devices 20-1 to 20-3, so that the user can use the desired display device 20.
- the display device 20 that shares the screen with the information device 10 can be easily and surely selected simply by capturing the output sound waves and images with the microphone 112, the camera 107, or the like of the information device 10.
- FIG. 29 shows an example of a description of a device description when a plurality of screen sharing methods are provided.
- the device description includes a deviceType element, a friendlyName element, a manufacturer element, a manufacturerURL element, a modelDescription element, a modelName element, a modelNumber element, a modelURL element, a serialNumber element, a UDN element, and a UPC element, as in FIG. , And the iconList element are described.
- a displaySource element a soundSource element, a deviceID element, a qrCode element, and a renderPattern element are added to the device description.
- the displaySource element includes a picture_url element and a fingerprint_url element.
- the picture_url element is an element corresponding to the first example of the screen sharing method described above, and a relative address and a file name when storing an image file are specified.
- the fingerprint_url element is an element corresponding to the seventh example of the screen sharing method described above, and a relative address and a file name when storing an image finger print file are specified.
- the soundSource element includes a fingerprint_url element.
- the fingerprint_url element is an element corresponding to the seventh example of the screen sharing method described above, and a relative address and a file name when storing the sound finger print file are specified.
- the deviceID element corresponds to the third example of the screen sharing method described above, and a random number is specified.
- the qrCode element is an element corresponding to the fourth example of the screen sharing method described above, and a two-dimensional code value is specified.
- the renderPattern element includes a soundEmission_url element and a lightEmission_url element.
- the soundEmission_url element is an element corresponding to the fifth example of the screen sharing method described above, and a relative address and a file name when storing the sound wave pattern file are specified.
- the lightEmission_url element is an element corresponding to the sixth example of the screen sharing method described above, and a relative address and a file name when storing a light emission pattern file are specified.
- the elements corresponding to the screen sharing method implemented for each display device 20 are described, so that the information device 10 obtains from each display device 20. Based on the device description (FIG. 29), the screen sharing method implemented by each display device 20 can be recognized, and a more appropriate screen sharing method can be implemented.
- FIG. 30 is a flowchart showing a processing flow of the eighth example of the screen sharing method.
- each processing step is executed by the processing unit 100 of the information device 10.
- the information device 10 broadcasts an M-search message to the network 80 using UDP (S831).
- the information device 10 stores the IP address of each display device 20 and the URL of the device description in the memory 103 based on the M-search response received from each of the display devices 20-1 to 20-3 (S832).
- the information device 10 acquires the device description provided by each display device 20 according to the stored designated URL (S833).
- the information device 10 uses UDP to broadcast a switching message to the network 80 (S834).
- the information device 10 acquires the device description provided by each display device 20 according to the stored designated URL (S835). Elements corresponding to the screen sharing method implemented for each display device 20 are added to the device description acquired here (FIG. 29).
- the information device 10 determines the supported screen sharing method by majority vote based on the device description (FIG. 29) provided by each display device 20 (S836).
- the screen sharing method to be implemented can be selected according to a preset priority or the like. Specifically, for example, when the fourth example of the screen sharing method has a higher priority than the seventh example of the screen sharing method, the two-dimensional code is used rather than the method using the finger print. The method used has priority.
- the method using majority voting is an example of the method for determining the screen sharing method.
- the screen sharing method may be determined using the setting information set by the user, the past history information, and the like.
- the information device 10 starts the determined screen sharing method process (S837).
- the eighth example of the screen sharing method even if the screen sharing method implemented in each display device 20 is different, the more appropriate screen sharing method is selected, so that the user can be more sure. , The display device 20 that shares the screen with the information device 10 can be selected.
- the information device 10 or the display device 20 is connected (directly connected) to a network 90 such as the Internet or a mobile phone network without going through a router 30, and is distributed from a distribution server 40. Streaming data may be received.
- a network 90 such as the Internet or a mobile phone network without going through a router 30, and is distributed from a distribution server 40. Streaming data may be received.
- the screen is shared from the information device 10 such as a smartphone to the display device 20 such as a TV receiver is shown, but conversely, the display device 20 such as a TV receiver 20 to the smartphone or the like.
- the screen may be shared with the information device 10 of the above. Also in this case, a screen sharing method corresponding to the above-mentioned new method is used.
- the case where the information device 10 and the plurality of display devices 20 are provided in a predetermined space such as the home of a certain user is illustrated, but other than the home of another user or the like.
- the information device 10 and a plurality of display devices 20 may be provided in the space of.
- a friendly name such as a device name is displayed as a selection screen of the information device 10, but for example, various statuses (light color, temperature, etc.) and Text other than the device name, such as the model number, may be displayed (at the same time).
- the friendly name indicating the display device 20 on the selection screen A21
- the name and outline of the content currently being played on the corresponding display device 20 can be displayed, and information on the processing performed by the display device 20 can be displayed. May be displayed.
- the display devices 20-1 to 20-N are TV receivers, but of course, devices other than the TV receivers may be used.
- the display devices 20-1 to 20-N are not limited to the case where the display devices 20-1 to 20-N are composed only of the same type of devices such as a television receiver, and are configured to be composed of a plurality of types of devices such as a television receiver and a display device. You may.
- the display device 20 is a refrigerator that can share the screen with the information device 10, and the contents output by the refrigerator, which is the display device 20, and the dishes displayed on the display of the refrigerator are displayed on the selection screen A21 displayed on the information device 10. Information about the recipe may be displayed.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems.
- each component may be connected as a network 80 or network 90 via a communication network such as the Internet, an intranet, or a mobile phone network, and further, a local network (LAN (Local Area Network) or WAN). (Wide Area Network)) may be connected. Further, each component may be connected by wire or wirelessly.
- the network 80 and the network 90 may be the same network.
- FIG. 31 is a block diagram showing an example of the overall configuration of one embodiment of the present disclosure.
- the system 10 corresponding to the information device 10 includes an input unit 101, a processing unit 100, and an output unit 102.
- the input unit 101, the processing unit 100, and the output unit 102 are realized by one or a plurality of information processing devices as shown in the configuration example of the system 10 described later.
- system 10 corresponding to the information device 10 will be described as a representative, but the system corresponding to the display device 20 can be similarly configured.
- the input unit 101 includes, for example, an operation input device, a sensor, software for acquiring information from an external service, and receives input of various information from a user, a surrounding environment, or another service.
- the operation input device includes, for example, a hardware button, a keyboard, a mouse, a touch panel, a touch sensor, a proximity sensor, an acceleration sensor, an angular speed sensor, a temperature sensor, and the like, and accepts operation input by the user. Further, the operation input device may include a camera (imaging element), a microphone, or the like that accepts operation input expressed by a user's gesture or voice.
- the input unit 101 may include a processor or a processing circuit that converts a signal or data acquired by the operation input device into an operation command.
- the input unit 101 may output the signal or data acquired by the operation input device to the interface 150 without converting it into an operation command. In that case, the signal or data acquired by the operation input device is converted into an operation command by, for example, the processing unit 100.
- Sensors include acceleration sensors, angular velocity sensors, geomagnetic sensors, illuminance sensors, temperature sensors, pressure sensors, etc., and detect acceleration, angular velocity, orientation, illuminance, temperature, pressure, etc. applied to the device.
- the various sensors described above can detect various information as information about the user, for example, information indicating the movement or direction of the user, when a device including the sensor is carried or worn by the user.
- the senor may include a sensor that detects the user's biological information such as pulse, sweating, brain wave, touch, smell, and taste.
- the input unit 101 includes a processing circuit that acquires information indicating the user's emotion by analyzing the information detected by these sensors and / or the image or voice data detected by the camera or microphone described later. It may be. Alternatively, the above-mentioned information and / or data may be output to the interface 150 without being analyzed, and the analysis may be executed by, for example, the processing unit 100.
- the senor may acquire an image or voice in the vicinity of the user or the device as data by using a camera, a microphone, various sensors described above, or the like.
- the sensor may also include position detecting means for detecting an indoor or outdoor position.
- the position detection means includes a GNSS (Global Navigation Satellite System) receiver, for example, a GPS (Global Positioning System) receiver, a GLONASS (Global Navigation Satellite System) receiver, a BDS (BeiDou Navigation Satellite System) receiver, and the like. / Or may include communication devices and the like.
- GNSS Global Navigation Satellite System
- GPS Global Positioning System
- GLONASS Global Navigation Satellite System
- BDS BeiDou Navigation Satellite System
- Communication devices include, for example, Wi-fi (registered trademark), MIMO (Multi-Input Multi-Output), cellular communication (for example, position detection using a mobile base station, femtocell), or short-range wireless communication (for example, BLE (Bluetooth)). Position is detected using technologies such as Low Energy), Bluetooth (registered trademark), and LPWA (Low Power Wide Area).
- the device including the sensor When the sensor as described above detects the position and situation (including biological information) of the user, the device including the sensor is carried or worn by the user, for example. Alternatively, even when a device including a sensor is installed in the user's living environment, it may be possible to detect the user's position and situation (including biological information). For example, the pulse of the user can be detected by analyzing an image including the user's face acquired by a camera fixedly installed indoors or the like.
- the input unit 101 is a processor or process that converts a signal or data acquired by a sensor into a predetermined format (for example, converting an analog signal into a digital signal or encoding image or audio data).
- the circuit may be included.
- the input unit 101 may output the acquired signal or data to the interface 150 without converting it into a predetermined format. In that case, the signal or data acquired by the sensor is converted into an operation command by the processing unit 100.
- Software that acquires information from an external service uses the API (Application Program Interface) of the external service to acquire various types of information provided by the external service.
- the software may, for example, acquire information from the server of the external service, or may acquire the information from the application software of the service executed on the client device.
- the software can acquire information such as texts and images posted by users or other users to external services such as social media.
- the acquired information does not necessarily have to be intentionally posted by the user or another user, and may be, for example, a log of an operation executed by the user or another user.
- the acquired information is not limited to the personal information of the user or other users, and is not limited to an unspecified number of people such as news, weather forecasts, traffic information, POI (Point Of Interest), and advertisements.
- the information may be distributed to the user.
- the information acquired from the external service includes information acquired by the various sensors described above, such as acceleration, angular velocity, orientation, altitude, illuminance, temperature, atmospheric pressure, pulse, sweating, brain wave, touch, smell, taste, and the like.
- Biological information, emotions, location information, and the like may be detected by a sensor included in another system linked with an external service, and may include information generated by posting to the external service.
- the interface 150 is an interface between the input unit 101 and the processing unit 100.
- the interface 150 may include a wired or wireless communication interface.
- the Internet may intervene between the input unit 101 and the processing unit 100.
- the wired or wireless communication interface is cellular communication such as 3G / LTE / 5G, Wi-Fi (registered trademark), Bluetooth (registered trademark), NFC (Near Field Communication), Ethernet (registered trademark). , HDMI (registered trademark) (High-Definition Multimedia Interface), USB (Universal Serial Bus), etc. may be included.
- the interface 150 may include a bus in the device, a data reference in the program module, and the like (hereinafter, these are included). Also called the interface inside the device).
- the interface 150 may include different types of interfaces for each device.
- the interface 150 may include both a communication interface and an interface within the device.
- the processing unit 100 executes various processes based on the information acquired by the input unit 101. More specifically, for example, the processing unit 100 includes a CPU (Central Processing Unit), a GPU (Graphics processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array). ) And other processors or processing circuits.
- a CPU Central Processing Unit
- GPU Graphics processing Unit
- DSP Digital Signal Processor
- ASIC Application Specific Integrated Circuit
- FPGA Field-Programmable Gate Array
- the processing unit 100 may include a program executed in a processor or a processing circuit, and a memory or a storage device that temporarily or permanently stores data read / written in the processing.
- the processing unit 100 may be realized by a single processor or processing circuit in a single device, or may be realized by being distributed to a plurality of devices or a plurality of processors or processing circuits in the same device. You may.
- the interface 170 is interposed between the divided portions of the processing unit 100 as in the examples shown in FIGS. 32 and 33.
- the interface 170 may include a communication interface or an interface within the device, similar to the interface 150 described above.
- the interface 170 may intervene between arbitrary functional blocks. That is, when the processing unit 100 is distributed to a plurality of devices, or a plurality of processors or processing circuits, how to distribute the functional blocks to each device, each processor or each processing circuit is described separately. Optional unless otherwise noted.
- the output unit 102 outputs the information provided by the processing unit 100 to a user (which may be the same user as the user of the input unit 101 or a different user), an external device, or another service. To do.
- the output unit 102 may include an output device, a control device, software that provides information to an external service, and the like.
- the output device uses the information provided by the processing unit 100 as the visual, auditory, tactile, olfactory, and taste sensations of the user (which may be the same user as the user of the input unit 101 or a different user). Output in a format perceived by the sense of.
- the output device is a display, which outputs information as an image.
- the display is not limited to a reflective or self-luminous display such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, and an image is displayed to the user's eye as used in a wearable device. It also includes a combination of a light guide member that guides light and a light source. Further, the output device may include a speaker and output information by voice. In addition, the output device may include a projector, a vibrator, and the like.
- the control device controls the device based on the information provided by the processing unit 100.
- the device to be controlled may be included in the device that realizes the output unit 102, or may be an external device. More specifically, for example, a control device includes a processor or processing circuit that generates control commands.
- the output unit 102 may further include a communication device that transmits a control command to the external device.
- the control device controls, for example, a printer that outputs information provided by the processing unit 100 as printed matter.
- the control device may include a driver that controls writing of the information provided by the processing unit 100 to the storage device or the removable recording medium.
- control device may control a device other than the device that outputs or records the information provided by the processing unit 100.
- a control device controls a lighting device to turn on a light, controls a television to turn off an image, controls an audio device to adjust the volume, controls a robot to control its movement, and the like. You may do it.
- control device may control the input device included in the input unit 101. That is, the control device can be controlled to acquire predetermined information by the input device. Further, the control device may be realized by the same device as the input device. This also allows the input device to control other input devices. For example, when there are multiple camera devices, usually only one is activated for the purpose of power saving, but when a person is recognized, one activated camera device is connected to another camera. Control to start the device.
- the software that provides information to the external service uses, for example, the API of the external service to provide the information provided by the processing unit 100 to the external service.
- the software may, for example, provide information to the server of the external service, or may provide the information to the application software of the service running on the client device.
- the information provided does not necessarily have to be immediately reflected in the external service, and may be provided as a candidate for the user to post or send to the external service, for example.
- the software may provide text used as a candidate for a search keyword or URL (Uniform Resource Locator) input by the user in the browser software executed on the client device.
- the software may post text, images, videos, sounds, etc. to external services such as social media on behalf of the user.
- the interface 160 is an interface between the processing unit 100 and the output unit 102.
- the interface 160 may include a wired or wireless communication interface.
- the interface 160 may include the interface in the device described above. Also, if the output unit 102 is distributed across a plurality of devices, the interface 160 may include different types of interfaces for each device. For example, interface 160 may include both a communication interface and an interface within the device.
- system configuration The embodiment of the present disclosure has been described above.
- the system 10 according to the present embodiment includes an input unit 101, a processing unit 100, and an output unit 102, and these components are realized by one or a plurality of information processing devices.
- an example of a combination of information processing devices that realizes the system 10 will be described together with a more specific example.
- FIG. 34 is a block diagram showing a first example of the system configuration according to the embodiment of the present disclosure.
- the system 10 includes an information processing device 11.
- the input unit 101, the processing unit 100, and the output unit 102 are all realized in the information processing device 11.
- the information processing device 11 can be a terminal device or a server as described below.
- the information processing device 11 may be a stand-alone device that does not communicate with an external device via a network in order to realize the function according to the embodiment of the present disclosure.
- the information processing device 11 may communicate with an external device for other functions, and therefore does not necessarily have to be a stand-alone device.
- the interface 150A between the input unit 101 and the processing unit 100 and the interface 160A between the processing unit 100 and the output unit 102 can both be interfaces in the device.
- the information processing device 11 can be, for example, a terminal device.
- the input unit 101 may include an input device, a sensor, software for acquiring information from an external service, and the like.
- the software that acquires information from an external service acquires data from, for example, application software of a service that is executed in a terminal device.
- the processing unit 100 is realized by operating the processor or processing circuit included in the terminal device according to a program stored in the memory or storage device.
- the output unit 102 may include an output device, a control device, software that provides information to an external service, and the like.
- Software that provides information to an external service may, for example, provide information to application software for a service running on a terminal device.
- the information processing device 11 may be a server.
- the input unit 101 may include software that acquires information from an external service.
- the software that acquires information from an external service acquires data from, for example, a server of the external service (which may be the information processing device 11 itself).
- the processing unit 100 is realized by operating the processor included in the terminal device according to a program stored in the memory or the storage device.
- the output unit 102 may include software that provides information to an external service.
- the software that provides information to an external service provides information to, for example, a server of the external service (which may be the information processing device 11 itself).
- FIG. 35 is a block diagram showing a second example of the system configuration according to the embodiment of the present disclosure.
- the system 10 includes information processing devices 11 and 12.
- the input unit 101 and the output unit 102 are realized in the information processing device 11.
- the processing unit 100 is realized in the information processing device 12.
- the information processing device 11 and the information processing device 12 communicate with each other via a network in order to realize the function according to the embodiment of the present disclosure.
- the interface 150B between the input unit 101 and the processing unit 100 and the interface 160B between the processing unit 100 and the output unit 102 can both be communication interfaces between the devices.
- the information processing device 11 can be, for example, a terminal device.
- the input unit 101 may include an input device, a sensor, software for acquiring information from an external service, and the like, as in the first example described above.
- the output unit 102 may also include an output device, a control device, software that provides information to an external service, and the like, as in the first example described above.
- the information processing device 11 may be a server for exchanging information with an external service.
- the input unit 101 may include software that acquires information from an external service.
- the output unit 102 may include software that provides information to an external service.
- the information processing device 12 can be a server or a terminal device.
- the processing unit 100 is realized by operating the processor or processing circuit included in the information processing device 12 according to a program stored in the memory or storage device.
- the information processing device 12 may be, for example, a device dedicated as a server. In this case, the information processing device 12 may be installed in a data center or the like, or may be installed in a home. Alternatively, the information processing device 12 may be a device that does not realize the input unit 101 and the output unit 102 with respect to the functions according to the embodiment of the present disclosure, although the information processing device 12 can be used as a terminal device for other functions.
- the information processing device 12 may be a server or a terminal device in the sense described above.
- the information processing device 11 is a wearable device and the information processing device 12 is a mobile device connected to the wearable device by Bluetooth (registered trademark) or the like.
- the wearable device receives an operation input by the user (input unit 101), the mobile device executes processing based on the request transmitted based on the operation input (processing unit 100), and outputs the processing result from the wearable device.
- processing unit 100 executes processing based on the request transmitted based on the operation input
- processing unit 100 outputs the processing result from the wearable device.
- output unit 102 it can be said that the wearable device functions as the information processing device 11 in the second example described above, and the mobile device functions as the information processing device 12.
- FIG. 36 is a block diagram showing a third example of the system configuration according to the embodiment of the present disclosure.
- the system 10 includes information processing devices 11A, 11B, 12.
- the input unit 101 is realized in the information processing device 11A.
- the output unit 102 is realized in the information processing device 11B.
- the processing unit 100 is realized in the information processing device 12.
- the information processing devices 11A and 11B and the information processing device 12 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
- the interface 150B between the input unit 101 and the processing unit 100 and the interface 160B between the processing unit 100 and the output unit 102 can both be communication interfaces between the devices.
- the interfaces 150B and 160B may include different types of interfaces.
- the information processing devices 11A and 11B can be, for example, terminal devices.
- the input unit 101 may include an input device, a sensor, software for acquiring information from an external service, and the like, as in the first example described above.
- the output unit 102 may also include an output device, a control device, software that provides information to an external service, and the like, as in the first example described above.
- one or both of the information processing devices 11A and 11B may be a server for acquiring information from an external service and providing information to the external service.
- the input unit 101 may include software that acquires information from an external service.
- the output unit 102 may include software that provides information to an external service.
- the information processing device 12 can be a server or a terminal device as in the second example described above.
- the processing unit 100 is realized by operating the processor or processing circuit included in the information processing device 12 according to a program stored in the memory or storage device.
- the information processing device 11A that realizes the input unit 101 and the information processing device 11B that realizes the output unit 102 are separate devices. Therefore, for example, a terminal possessed or used by a second user different from the first user can obtain the result of processing based on the input acquired by the information processing device 11A, which is a terminal device possessed or used by the first user. A function such as output from the information processing device 11B, which is a device, can be realized.
- the result of processing based on the input acquired by the information processing device 11A which is a terminal device owned or used by the first user, is not in the hands of the first user at that time (for example, installed at home while away). It is also possible to realize a function such as outputting from the information processing device 11B which is a terminal device. Alternatively, the information processing device 11A and the information processing device 11B may both be terminal devices possessed or used by the same user.
- the information processing devices 11A and 11B are wearable devices mounted on different parts of the user, or when the wearable device and the mobile device are combined, the user is provided with a function in which these devices are linked. Can be provided.
- FIG. 37 is a block diagram showing a fourth example of the system configuration according to the embodiment of the present disclosure.
- the system 10 includes information processing devices 11 and 12.
- the input unit 101 and the output unit 102 are realized in the information processing device 11.
- the processing unit 100 is distributed and realized in the information processing device 11 and the information processing device 12.
- the information processing device 11 and the information processing device 12 communicate with each other via a network in order to realize the function according to the embodiment of the present disclosure.
- the processing unit 100 is distributed between the information processing device 11 and the information processing device 12.
- the processing unit 100 includes processing units 100A and 100C realized by the information processing device 11, and processing units 100B realized by the information processing device 12.
- the processing unit 100A executes processing based on the information provided from the input unit 101 via the interface 150A, and provides the processing result to the processing unit 100B. In this sense, it can be said that the processing unit 100A executes the preprocessing.
- the processing unit 100C executes processing based on the information provided by the processing unit 100B, and provides the processing result to the output unit 102 via the interface 160A. In this sense, it can be said that the processing unit 100C executes post-processing.
- both the processing unit 100A that executes the pre-processing and the processing unit 100C that executes the post-processing are shown, but in reality, only one of the processing units exists. You may.
- the information processing device 11 realizes the processing unit 100A that executes the pre-processing, but does not realize the processing unit 100C that executes the post-processing, and the information provided by the processing unit 100B is provided to the output unit 102 as it is. May be done.
- the information processing apparatus 11 realizes the processing unit 100C that executes the post-processing, but does not have to realize the processing unit 100A that executes the pre-processing.
- An interface 170B is interposed between the processing unit 100A and the processing unit 100B, and between the processing unit 100B and the processing unit 100C, respectively.
- Interface 170B is a communication interface between devices.
- the interface 150A is an interface in the device.
- the interface 160A is an interface in the apparatus.
- the fourth example described above is the second example described above, except that one or both of the processing unit 100A and the processing unit 100C is realized by a processor or a processing circuit included in the information processing device 11. Is similar to. That is, the information processing device 11 can be a server for exchanging information with a terminal device or an external service. Further, the information processing device 12 can be a server or a terminal device.
- FIG. 38 is a block diagram showing a fifth example of the system configuration according to the embodiment of the present disclosure.
- the system 10 includes information processing devices 11A, 11B, 12.
- the input unit 101 is realized in the information processing device 11A.
- the output unit 102 is realized in the information processing device 11B.
- the processing unit 100 is distributed and realized in the information processing devices 11A and 11B and the information processing device 12.
- the information processing devices 11A and 11B and the information processing device 12 communicate with each other via a network in order to realize the functions according to the embodiment of the present disclosure.
- the processing unit 100 is distributed between the information processing devices 11A and 11B and the information processing device 12. More specifically, the processing unit 100 includes a processing unit 100A realized by the information processing device 11A, a processing unit 100B realized by the information processing device 12, and a processing unit 100C realized by the information processing device 11B. Including.
- the dispersion of the processing unit 100 is the same as in the fourth example described above. However, in this fifth example, since the information processing device 11A and the information processing device 11B are separate devices, the interfaces 170B1 and 170B2 may include different types of interfaces.
- the fifth example described above is described above, except that one or both of the processing unit 100A and the processing unit 100C is realized by the processor or processing circuit included in the information processing device 11A or the information processing device 11B. It is the same as the example of 3.
- the information processing devices 11A and 11B can be servers for exchanging information with the terminal device or an external service.
- the information processing device 12 can be a server or a terminal device.
- the processing unit in the terminal or server having the input unit and the output unit will be omitted, but in any of the examples, any or all the devices may have the processing unit. ..
- FIG. 39 is a diagram showing a client-server system as one of the more specific examples of the system configuration according to the embodiment of the present disclosure.
- the information processing device 11 (or the information processing devices 11A and 11B) is a terminal device, and the information processing device 12 is a server.
- the terminal device includes, for example, a mobile device 11-1, an in-vehicle device 11-3, a television receiver 11-4, a digital camera 11-5, a CE (Consumer Electronics) device 11-6, and a signature. Boards 11-7 and the like may be included.
- the mobile device 11-1 includes a smartphone, a tablet, a notebook PC (Personal Computer), and the like.
- the wearable device 11-2 is an eyewear or contact lens type terminal, a watch type terminal, a bracelet type terminal, a ring type terminal, a headset, a garment-mounted or garment-integrated terminal, a shoe-mounted or shoe-integrated terminal, or a necklace. Including type terminals and the like.
- the in-vehicle device 11-3 includes a wearable device 11-2, a car navigation system, a rear seat entertainment system, and the like.
- CE devices 11-6 include recorders, game consoles, air conditioners, refrigerators, washing machines, desktop PCs, and the like.
- the sign board 11-7 includes a robot device, a device including a sensor installed incidental to the equipment, a digital sign board (digital signage) installed on the street, and the like.
- These information processing devices 11 communicate with the information processing devices 12 (servers) via a network.
- the network between the terminal device and the server corresponds to the interface 150B, the interface 160B, or the interface 170B in the above example. Further, these devices may be individually linked to each other, or a system may be constructed in which all the devices can be linked to each other.
- FIG. 39 The example shown in FIG. 39 is shown for easy understanding of an example in which the system 10 is realized in a client-server system, and the system 10 is not limited to such a client-server system. Is as described in each of the above examples.
- both the information processing devices 11 and 12 may be terminal devices, or both the information processing devices 11 and 12 may be servers.
- the information processing device 11 includes the information processing devices 11A and 11B
- one of the information processing devices 11A and 11B may be a terminal device and the other may be a server.
- the example of the terminal device is not limited to the terminal devices 11-1 to 11-7 described above, and other types of terminal devices may be included.
- FIG. 40 is a block diagram showing a hardware configuration example of the information processing apparatus according to the embodiment of the present disclosure.
- the information processing device 900 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 903, and a RAM (Random Access Memory) 905. Further, the information processing device 900 may include a host bus 907, a bridge 909, an external bus 911, an interface 913, an input device 915, an output device 917, a storage device 919, a drive 921, a connection port 923, and a communication device 925.
- a CPU Central Processing Unit
- ROM Read Only Memory
- RAM Random Access Memory
- the information processing device 900 may include an image pickup device 933 and a sensor 935, if necessary.
- the information processing apparatus 900 may have a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate Array) in place of or in combination with the CPU 901.
- DSP Digital Signal Processor
- ASIC Application Specific Integrated Circuit
- FPGA Field Programmable Gate Array
- the CPU 901 functions as an arithmetic processing device and a control device, and controls all or a part of the operation in the information processing device 900 according to various programs recorded in the ROM 903, the RAM 905, the storage device 919, or the removable recording medium 927.
- ROM 903 stores programs and calculation parameters used by CPU 901.
- the RAM 905 primaryly stores a program used in the execution of the CPU 901, parameters that change appropriately in the execution, and the like.
- the CPU 901, ROM 903, and RAM 905 are connected to each other by a host bus 907 composed of an internal bus such as a CPU bus. Further, the host bus 907 is connected to an external bus 911 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 909.
- PCI Peripheral Component Interconnect / Interface
- the input device 915 is a device operated by the user, such as a mouse, keyboard, touch panel, buttons, switches, and levers.
- the input device 915 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device 929 such as a mobile phone corresponding to the operation of the information processing device 900.
- the input device 915 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 901. By operating the input device 915, the user inputs various data to the information processing device 900 and instructs the processing operation.
- the output device 917 is composed of a device capable of notifying the user of the acquired information using sensations such as sight, hearing, and touch.
- the output device 917 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, an audio output device such as a speaker or headphones, or a vibrator.
- the output device 917 outputs the result obtained by the processing of the information processing device 900 as a video such as a text or an image, a voice such as voice or sound, or a vibration.
- the storage device 919 is a data storage device configured as an example of the storage unit of the information processing device 900.
- the storage device 919 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
- the storage device 919 stores, for example, a program executed by the CPU 901, various data, various data acquired from the outside, and the like.
- the drive 921 is a reader / writer for a removable recording medium 927 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the information processing device 900.
- the drive 921 reads the information recorded on the mounted removable recording medium 927 and outputs the information to the RAM 905. Further, the drive 921 writes a record on the removable recording medium 927 mounted on the drive 921.
- connection port 923 is a port for connecting the device to the information processing device 900.
- the connection port 923 can be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like.
- connection port 923 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
- the communication device 925 is, for example, a communication interface composed of a communication device for connecting to the communication network 931.
- the communication device 925 may be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
- the communication device 925 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
- the communication device 925 transmits / receives signals and the like to and from the Internet and other communication devices using a predetermined protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
- TCP / IP Transmission Control Protocol / Internet Protocol
- the communication network 931 connected to the communication device 925 is a network connected by wire or wirelessly, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, and the like.
- the image pickup device 933 uses, for example, an image pickup element such as CMOS (Complementary Metal Oxide Semiconductor) or CCD (Charge Coupled Device), and various members such as a lens for controlling the image formation of a subject image on the image pickup device. It is a device that captures a real space and generates an captured image. The image pickup device 933 may capture a still image or may capture a moving image.
- CMOS Complementary Metal Oxide Semiconductor
- CCD Charge Coupled Device
- the sensor 935 is, for example, various sensors such as an acceleration sensor, an angular velocity sensor, a geomagnetic sensor, an illuminance sensor, a temperature sensor, a pressure sensor, or a sound sensor (microphone).
- the sensor 935 acquires information on the state of the information processing device 900 itself, such as the posture of the housing of the information processing device 900, and information on the surrounding environment of the information processing device 900, such as the brightness and noise around the information processing device 900. To do. Further, the sensor 935 may include a GPS receiver that receives a GPS (Global Positioning System) signal and measures the latitude, longitude, and altitude of the device.
- GPS Global Positioning System
- the above is an example of the hardware configuration of the information processing device 900.
- Each of the above-mentioned components may be configured by using general-purpose members, or may be configured by hardware specialized for the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.
- the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object). Further, the program may be processed by one computer (processor) or may be distributed by a plurality of computers.
- this technology can have the following configuration.
- the sharing source device Based on the message sent from the sharing source device that shares the screen, it generates identification information that identifies the device as a sharing candidate device that is a candidate for screen sharing. Providing device information about the own device to the sharing source device, An information processing device including a processing unit that outputs the generated identification information. (2) The information processing device according to (1) above, wherein the device information includes information related to the identification information. (3) The processing unit Control the display of the generated identification information The information processing device according to (2), wherein the identification information generated based on the device information is provided to the sharing source device. (4) The information processing device according to (3) above, wherein the identification information includes an image, a text, or a code.
- the information processing device corresponds to an image displayed on the display of the sharing source device.
- the processing unit controls the display of the identification information on the display unit, and controls the display of the identification information.
- the information processing device is displayed on the display of the sharing source device.
- the processing unit Generate a two-dimensional code to identify the own machine, Control the display of the generated two-dimensional code,
- the information processing device according to any one of (2) to (6), which provides the device information including information about the two-dimensional code to the sharing source device.
- the processing unit Generates information about the sound or light that identifies the aircraft, Control the output of the sound or the light, The information processing device according to any one of (2) to (7), which provides the sharing source device with the device information including the information about the sound or the light. (9) The processing unit Generates information about the sound or image that identifies the device, Control the output of the sound or the display of the image, The information processing device according to any one of (2) to (8), which provides the sharing source device with the device information including information about the sound or the image. (10) The information processing device according to any one of (2) to (9) above, wherein the device information includes information related to the identification information corresponding to a plurality of methods.
- Information processing device Based on the message sent from the sharing source device that shares the screen, it generates identification information that identifies the device as a sharing candidate device that is a candidate for screen sharing. Providing device information about the own device to the sharing source device, An information processing method that outputs the generated identification information. (12) Acquire device information about shared candidate devices that are candidates for screen sharing, Acquire the identification information that identifies the shared candidate device, and An information processing device including a processing unit that determines a sharing target device to be screen-shared from a plurality of sharing candidate devices based on the acquired device information and the identification information. (13) The information processing apparatus according to (12) above, wherein the device information includes information related to the identification information.
- the processing unit Based on the acquired device information, the identification information is acquired, and the identification information is acquired. Control the display of the acquired identification information
- the information processing device according to (13), wherein the shared target device is determined according to the displayed identification information according to the user's operation.
- the identification information includes an image, a text, or a code.
- the information processing device corresponds to an image displayed on the display of the sharing target device.
- the processing unit The reading of the two-dimensional code displayed on the shared candidate device is controlled according to the user's operation.
- the information processing device according to any one of (13) to (16), wherein the shared target device is determined based on the read two-dimensional code and the device information.
- the processing unit Controls the detection of physical quantities related to sound or light output from the shared candidate device, The information processing device according to any one of (13) to (17), wherein the shared target device is determined based on the detected physical quantity pattern and the device information.
- the processing unit Finger prints are extracted from the sound or image output from the shared candidate device.
- the information processing apparatus according to any one of (13) to (18), wherein the shared target device is determined based on the extracted finger print and the device information.
- the device information includes information related to the identification information corresponding to a plurality of methods.
- the information processing device according to any one of (13) to (19), wherein the processing unit determines the shared target device according to a specific method specified by the device information.
- 1 content playback system 10 information equipment, 20, 20-1 to 20-N display equipment, 21 remote controller, 30 router, 40, 40-1 to 40-M distribution server, 50 transmitter, 80 network, 90 network, 100 processing unit, 101 input unit, 102 output unit, 103 memory, 104 storage unit, 105 communication unit, 106 sensor, 107 camera, 108 power supply unit, 111 button, 112 microphone, 121 display, 122 speaker, 131 device information acquisition unit , 132 Identification information acquisition unit, 133 Sharing target device determination unit, 134 Presentation control unit, 135 Communication control unit, 200 Processing unit, 201 Tuner, 202 Signal input unit, 203 Data processing unit, 204 Display, 205 Speaker, 206 Communication unit , 207 Operation reception unit, 208 output unit, 231 device information provision unit, 232 identification information generation unit, 233 output control unit, 234 communication control unit, 901 CPU
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本技術は、簡便かつ確実に画面共有を行うことができるようにする情報処理装置、及び情報処理方法に関する。 画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、自機に関する機器情報を共有元機器に提供し、生成した識別情報を出力する処理部を備える情報処理装置が提供される。本技術は、画面共有を行う機器に適用することができる。
Description
本技術は、情報処理装置、及び情報処理方法に関し、特に、簡便かつ確実に画面共有を行うことができるようにした情報処理装置、及び情報処理方法に関する。
近年、コンテンツを視聴可能な機器が多様化しており、ユーザがコンテンツを視聴する方法は様々である。
例えば、機器の間で画面を共有してコンテンツを視聴する方法がある。この種の画面共有に関する技術としては、特許文献1に開示されている技術などが知られている。
ところで、機器の間で画面共有を行うに際しては、簡便かつ確実に画面共有を行うことが求められる。
本技術はこのような状況に鑑みてなされたものであり、簡便かつ確実に画面共有を行うことができるようにするものである。
本技術の一側面の情報処理装置は、画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、前記自機に関する機器情報を前記共有元機器に提供し、生成した前記識別情報を出力する処理部を備える情報処理装置である。
本技術の一側面の情報処理方法は、情報処理装置が、画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、前記自機に関する機器情報を前記共有元機器に提供し、生成した前記識別情報を出力する情報処理方法である。
本技術の一側面の情報処理装置、及び情報処理方法においては、画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報が生成され、前記自機に関する機器情報が前記共有元機器に提供され、生成された前記識別情報が出力される。
本技術の一側面の情報処理装置は、画面共有の候補となる共有候補機器に関する機器情報を取得し、前記共有候補機器を識別する識別情報を取得し、取得した前記機器情報及び前記識別情報に基づいて、複数の前記共有候補機器の中から、画面共有の対象となる共有対象機器を決定する処理部を備える情報処理装置である。
本技術の一側面の情報処理方法は、情報処理装置が、画面共有の候補となる共有候補機器に関する機器情報を取得し、前記共有候補機器を識別する識別情報を取得し、取得した前記機器情報及び前記識別情報に基づいて、複数の前記共有候補機器の中から、画面共有の対象となる共有対象機器を決定する情報処理方法である。
本技術の一側面の情報処理装置、及び情報処理方法においては、画面共有の候補となる共有候補機器に関する機器情報が取得され、前記共有候補機器を識別する識別情報が取得され、取得された前記機器情報及び前記識別情報に基づいて、複数の前記共有候補機器の中から、画面共有の対象となる共有対象機器が決定される。
なお、本技術の一側面の情報処理装置は、独立した装置であってもよいし、1つの装置を構成している内部ブロックであってもよい。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
1.本技術の実施の形態
2.変形例
2.変形例
<1.本技術の実施の形態>
(現状の画面共有方式)
ある機器が他の機器と画面を共有して、動画や静止画等のコンテンツを表示する方式としては、図1及び図2に示すような方式がある。
ある機器が他の機器と画面を共有して、動画や静止画等のコンテンツを表示する方式としては、図1及び図2に示すような方式がある。
図1では、スマートフォン等の情報機器10が、テレビ受像機等の表示機器20-1乃至20-3のいずれかと画面共有を行う場合を示している。すなわち、ユーザの手元にある情報機器10の画面に表示された動画等のコンテンツをソース(Source)として、画面共有の候補となる表示機器20-1乃至20-3のいずれかに表示させる操作が行われる。
図1において、情報機器10と表示機器20-1乃至20-3は、UPnP(Universal Plug and Play)に対応した機器であり、無線LAN(Local Area Network)等のホームネットワークを介して接続されている。
情報機器10では、動画等の画面共有を行うに際して、表示機器20-1乃至20-3から取得したデバイスディスクリプションに基づき、各表示機器20を示したフレンドリ名(FriendlyName)の一覧("TV xyz","TV abc","TV qrp")が、選択画面A11として表示される(図2)。
これにより、ユーザは、情報機器10に表示された選択画面A11によりフレンドリ名を確認することはできるが、各フレンドリ名がどの表示機器20に対応しているかを識別することはできず、各表示機器20を見分けることは困難である。
そのため、ユーザが、情報機器10の選択画面A11の一覧からフレンドリ名を選択した場合に、例えば、所望の表示機器20-3とは別の表示機器20-1又は表示機器20-2と画面共有が行われる可能性がある。
また、上述した特許文献1では、ある機器が、表示画面を共有する他の機器のステータスを当該他の機器から受信することは開示されている(段落0006の記載)。しかしながら、機器のステータスだけでは、他の機器が複数存在する場合にどの機器であるかを識別することは困難である。そのため、ユーザの操作によっては、意図しない側の機器と画面共有がなされてしまう恐れがある。
そこで、本技術では、情報機器10で表示可能な動画等のコンテンツを、画面共有の候補となる複数の表示機器20のいずれかに表示させる際に、簡便かつ確実に、所望の表示機器20と画面共有を行うことが可能となる画面共有方式(以下、新方式ともいう)を提案する。以下、図3乃至図30を参照しながら、新方式の詳細な内容を説明する。
なお、図1等では、情報機器10と表示機器20-1乃至20-3がDLNA(登録商標)(Digital Living Network Alliance)の規格に対応した機器である場合を想定すれば、情報機器10がDMC(Digital Media Controller)機器として動作し、表示機器20-1乃至20-3がDMR(Digital Media Renderer)機器として動作しているとも言える。DLNAは、UPnPをベースに策定されている。
(システムの構成)
図3は、本技術を適用した情報処理システムの一実施の形態として、コンテンツ再生システム1の構成の例を示している。
図3は、本技術を適用した情報処理システムの一実施の形態として、コンテンツ再生システム1の構成の例を示している。
図3において、情報機器10と、表示機器20-1乃至20-N(N:2以上の整数)と、ルータ30は、ネットワーク80を介して相互に接続される。ネットワーク80は、ユーザの自宅や会社の会議室等の所定の空間に構築された無線LAN等のホームネットワークを含む。
情報機器10は、スマートフォン、携帯電話機、タブレット端末、リモートコントローラ、ウェアラブル機器、携帯音楽プレイヤ、ゲーム機、又はパーソナルコンピュータなど、所定のユーザインターフェース(UI:User Interface)を有する機器である。
情報機器10は、所定のユーザインターフェースに対するユーザの操作に応じた各種の動作を行う。例えば、情報機器10は、ユーザの操作に応じて、ネットワーク80を介して表示機器20-1乃至20-Nのいずれかとの間で画面共有を行うことが可能である。
表示機器20-1は、テレビ受像機、ディスプレイ装置、タブレット端末、パーソナルコンピュータ、又はプロジェクタなどの所定の表示機能を有する機器である。また、表示機器20-1は、ディスプレイを有する冷蔵庫等の家電機器や、ディスプレイを有するスマートスピーカ(スマートディスプレイ)等の音響機器などであってもよい。
表示機器20-1は、ネットワーク80を介して情報機器10との間で画面共有を行うことが可能である。
表示機器20-2乃至20-Nは、表示機器20-1と同様に、テレビ受像機等の機器としてそれぞれ構成される。表示機器20-2乃至20-Nのそれぞれは、情報機器10との間で画面共有を行うことが可能である。
なお、以下の説明では、表示機器20-1乃至20-Nを、特に区別する必要がない場合には、単に表示機器20と称する。また、以下の説明では、表示機器20がテレビ受像機である場合を例示する。
また、図3において、ルータ30は、ネットワーク90に接続可能である。ネットワーク90は、インターネット、イントラネット、又は携帯電話網等の通信網を含む。ルータ30は、ネットワーク80とネットワーク90を接続して、ネットワーク間でやり取りされるデータを中継する。
ネットワーク90には、配信サーバ40-1乃至40-M(M:1以上の整数)などの外部のサーバが接続される。
配信サーバ40-1は、1又は複数のサーバから構成され、データセンタ等に設置される。配信サーバ40-1は、動画配信サービス等のサービスを行う事業者などにより提供される。配信サーバ40-1は、情報機器10又は表示機器20からの要求に応じて、ネットワーク90等を介して動画等の通信コンテンツを配信する。
配信サーバ40-2乃至40-Mのそれぞれは、配信サーバ40-1と同様に、情報機器10又は表示機器20からの要求に応じて、動画等の通信コンテンツを配信する。なお、以下の説明では、配信サーバ40-1乃至40-Mを、特に区別する必要がない場合には、単に配信サーバ40と称する。
情報機器10又は表示機器20は、通信コンテンツの配信要求を、ネットワーク90等を介して配信サーバ40に送信する。情報機器10又は表示機器20は、配信サーバ40からネットワーク90等を介して送信されてくるストリーミングデータを受信して処理し、動画等の通信コンテンツの映像と音声を出力する。
また、表示機器20は、送出機50から電波塔等を介して送信される放送信号を、アンテナを介して受信可能である。表示機器20は、ユーザの選局操作に応じた放送信号を受信して処理し、テレビ番組等の放送コンテンツの映像と音声を出力する。
(情報機器の構成)
図4は、本技術を適用した情報処理装置の一実施の形態として、図3の情報機器10の構成の例を示している。
図4は、本技術を適用した情報処理装置の一実施の形態として、図3の情報機器10の構成の例を示している。
図4において、情報機器10は、処理部100、入力部101、出力部102、メモリ103、記憶部104、通信部105、センサ106、カメラ107、及び電源部108から構成される。
処理部100は、CPU(Central Processing Unit)等のプロセッサなどから構成される。処理部100は、各部の動作の制御や、各種の演算処理を行う中心的な処理装置(制御装置)である。
入力部101は、物理的なボタン111やマイクロフォン112などの入力装置である。入力部101は、ユーザの操作に応じた操作データを、処理部100に供給する。処理部100は、入力部101からの操作データに基づき、各部の動作を制御する。
出力部102は、ディスプレイ121やスピーカ122などの出力装置である。出力部102は、処理部100からの制御に従い、各種のデータに応じた情報を出力する。
ディスプレイ121は、処理部100からの映像データに応じた映像を表示する表示部である。なお、ディスプレイ121は、その画面の表面にユーザの指が接触(タッチ)したときにその接触位置(所定の点の位置)に応じた操作データを処理部100に供給する入力部とともにタッチパネルとして構成されてもよい。
スピーカ122は、処理部100からの音声データに応じた音声(音)を出力する。
メモリ103は、RAM(Random Access Memory)等の半導体メモリである。メモリ103は、処理部100により処理される各種のデータを一時的に記憶する。
記憶部104は、不揮発性メモリ等の半導体メモリを含む補助記憶装置である。記憶部104は、内部ストレージとして構成されてもよいし、メモリカード等の外部ストレージであってもよい。記憶部104は、処理部100からの制御に従い、各種のデータを記憶する。
通信部105は、無線LAN、セルラー方式の通信(例えばLTE-Advancedや5G等)、若しくは近距離無線通信(例えばBluetooth(登録商標)等)などの無線通信、又は有線通信に対応した通信モジュールを含む通信装置である。通信部105は、処理部100からの制御に従い、ネットワーク80等を介して他の機器と通信を行う。
具体的には、通信部105は、処理部100からの制御に従い、ネットワーク80を介して表示機器20との間で各種のデータをやり取りする。
また、通信部105は、ネットワーク80等を介して配信サーバ40に、動画等の通信コンテンツの配信を要求する。通信部105は、配信サーバ40からネットワーク90等を介して送信されてくるストリーミングデータを受信し、処理部100に供給する。
処理部100は、通信部105からのストリーミングデータに対してデコード等の処理を施すことで、動画等の通信コンテンツの映像がディスプレイ121に表示され、その音声がスピーカ122から出力される。
センサ106は、各種のセンサデバイス等から構成される。センサ106は、ユーザやその周辺などのセンシングを行い、その結果得られるセンシングデータを、処理部100に供給する。処理部100は、センサ106からのセンシングデータに基づいて、各種の処理を行う。
ここで、センサ106としては、加速度を測定する加速度センサや、角度(姿勢)や角速度、角加速度を測定するジャイロセンサ、生物の持つ心拍数、体温、又は姿勢といった情報を測定する生体センサ、磁場(磁界)の大きさや方向を測定する磁気センサ、近接するものを測定する近接センサなどを含めることができる。
カメラ107は、光学系やイメージセンサ、信号処理回路などから構成される。カメラ107は、被写体を撮像し、その結果得られる撮像データを、処理部100に供給する。処理部100は、カメラ107からの撮像データに基づいて、各種の処理を行う。
電源部108は、二次電池等の電池と電源管理回路から構成され、処理部100を含む各部に電力を供給する。
図5は、図4の処理部100の機能的構成の例を示している。
図5において、処理部100は、機器情報取得部131、識別情報取得部132、共有対象機器決定部133、提示制御部134、及び通信制御部135を含む。
機器情報取得部131は、表示機器20により提供される機器情報を取得し、共有対象機器決定部133に供給する。
機器情報は、画面共有の候補となる共有候補機器に関する情報である。機器情報は、デバイスディスクリプションを含む。ここで、情報機器10が、画面共有を行う共有元機器となる場合には、共有候補機器は、ネットワーク80に接続された複数の表示機器20である。
識別情報取得部132は、表示機器20により生成された識別情報を取得し、共有対象機器決定部133に供給する。
識別情報は、共有候補機器を識別する情報である。識別情報は、画像、テキスト、又はコードなどに関する情報を含む。また、デバイスディスクリプション等の機器情報は、識別情報に関する情報(例えば画像ファイルのアドレス等)を含む。
共有対象機器決定部133は、機器情報取得部131により取得された機器情報、及び識別情報取得部132により取得された識別情報に基づいて、複数の表示機器20の中から、画面共有の対象となる表示機器20を決定する。
ここで、共有対象機器決定部133により決定された表示機器20は、複数の共有候補機器の中から、画面共有の対象として選択された共有対象機器であると言える。
なお、共有対象機器決定部133により実行される共有対象機器を決定するための処理の詳細は、後述する、画面共有方式の第1の例乃至第8の例で説明する。
提示制御部134は、ディスプレイ121やスピーカ122等の出力部102を制御して、各種のデータに応じた情報の提示を行う。
通信制御部135は、通信部105を制御して、ネットワーク80等を介して他の機器との間で行われる通信を行う。
(表示機器の構成)
図6は、本技術を適用した情報処理装置の一実施の形態として、図3の表示機器20の構成の例を示している。
図6は、本技術を適用した情報処理装置の一実施の形態として、図3の表示機器20の構成の例を示している。
図6において、表示機器20は、処理部200、チューナ201、信号入力部202、データ処理部203、ディスプレイ204、スピーカ205、通信部206、操作受付部207、及び出力部208から構成される。
処理部200は、CPU等のプロセッサなどから構成される。処理部200は、各部の動作の制御や各種の演算処理を行う中心的な処理装置(制御装置)であり、表示機器20の各部の動作を制御する。
チューナ201は、アンテナを介して受信した放送信号に対して復調処理等の処理を行い、その結果得られるデータを、データ処理部203に供給する。ここでの放送信号は、地上波放送や衛星放送、ケーブルテレビ放送などの放送方式に従って放送コンテンツを伝送する。
信号入力部202は、HDMI(登録商標)(High Definition Multimedia Interface)や、USB(Universal Serial Bus)等の所定の規格に準拠したインターフェースとして構成される。
すなわち、所定の規格に準拠したインターフェースを介して、録画機(録画再生機)やネットワークストレージにより録画された録画コンテンツや、半導体メモリや光ディスク等の記録媒体に記録された記録コンテンツなどのデータが、信号入力部202に入力され、データ処理部203に供給される。
データ処理部203は、システムオンチップ(SoC:System on a chip)等から構成される。データ処理部203は、チューナ201又は信号入力部202から供給されるデータに対してデコード等の処理を行い、その結果得られる映像データをディスプレイ204に供給し、音声データをスピーカ205に供給する。
ディスプレイ204は、例えば液晶表示部やOLED(Organic Light Emitting Diode)表示部等の表示部から構成される。ディスプレイ204は、処理部200からの制御に従い、データ処理部203から供給される映像データを処理して、テレビ番組等の放送コンテンツの映像や、各種の画面等の情報を表示する。
スピーカ205は、処理部200からの制御に従い、データ処理部203から供給される音声データを処理して、テレビ番組等の放送コンテンツの音声(音)を出力する。
通信部206は、無線LAN等の無線通信、又は有線通信に対応した通信モジュールを含む通信装置である。通信部206は、処理部200からの制御に従い、ネットワーク80等を介して他の機器と通信を行う。
具体的には、通信部206は、処理部200からの制御に従い、ネットワーク80を介して情報機器10との間で各種のデータをやり取りする。
また、通信部206は、ネットワーク80等を介して配信サーバ40に、動画等の通信コンテンツの配信を要求する。通信部206は、配信サーバ40からネットワーク90等を介して配信されてくるストリーミングデータを受信し、処理部200を介してデータ処理部203に供給する。
データ処理部203は、通信部206からのストリーミングデータに対してデコード等の処理を施すことで、動画等の通信コンテンツの映像がディスプレイ204に表示され、その音声がスピーカ205から出力される。
操作受付部207は、例えば近距離無線通信モジュールや赤外線受光モジュール等から構成される。操作受付部207は、リモートコントローラ21から送信される無線信号や赤外線信号等の信号を受信(受光)し、操作データとして処理部200に供給する。
処理部200は、操作受付部207からの操作データに応じたコマンドに基づき、各部の動作を制御する。なお、近距離無線通信としては、Bluetooth(登録商標)等の規格に準拠した通信を行うことができる。また、リモートコントローラ21として、情報機器10が用いられてもよい。
出力部208は、例えばLEDランプや電源ランプ等の光を発するデバイスや、ブザーやスピーカ等の音を出力するデバイスなどから構成される。出力部208は、処理部200からの制御に従い、光や音などを出力する。
図7は、図6の処理部200の機能的構成の例を示している。
図7において、処理部200は、機器情報提供部231、識別情報生成部232、出力制御部233、及び通信制御部234を含む。
機器情報提供部231は、デバイスディスクリプション等の機器情報を、情報機器10に提供する。また、機器情報提供部231は、識別情報生成部232により生成された識別情報に関する情報を、機器情報に含める。
識別情報生成部232は、情報機器10からのメッセージに基づいて、識別情報(画像、テキスト、又はコードなどに関する情報)を生成し、機器情報提供部231、及び出力制御部233に供給する。
出力制御部233は、ディスプレイ204、スピーカ205、又は出力部208を制御して、識別情報生成部232により生成された識別情報(画像、テキスト、又はコードなどに関する情報)を出力する。
なお、機器情報提供部231、識別情報生成部232、及び出力制御部233の詳細は、後述する、画面共有方式の第1の例乃至第8の例で説明する。
通信制御部234は、通信部206を制御して、ネットワーク80等を介して他の機器との間で行われる通信を行う。
コンテンツ再生システム1は、以上のように構成される。
以下、コンテンツ再生システム1により提供される新方式に対応した画面共有方式として、画面共有方式の第1の例乃至第8の例を順に説明する。
(第1の例)
図8は、画面共有方式の第1の例を示している。
図8は、画面共有方式の第1の例を示している。
この画面共有方式の第1の例では、画面共有を行うに際して、情報機器10と複数の表示機器20のそれぞれに、共通の画像(同一又は対応する画像)を表示することで、当該共通の画像によって複数の表示機器20を識別可能にして、画面共有がなされるようにする。
すなわち、図8では、ユーザが手に持っている情報機器10から、より大きな画面を有する表示機器20への画面共有を行う場合に、情報機器10の選択画面A21の一覧には、表示機器20-1乃至20-3の画面にそれぞれ表示された画像B21-1乃至B21-3に対応した縮小画像が表示されている。
ユーザは、情報機器10の選択画面A21の一覧の縮小画像を、表示機器20-1乃至20-3のそれぞれの画面上に重畳表示された画像B21-1乃至B21-3と見比べることで、画面共有の候補となる表示機器20を識別して、画面共有の対象となる表示機器20を選択することができる。
図9は、画面共有方式の第1の例の処理の流れを示すフローチャートである。
図9において、情報機器10の各処理ステップは、処理部100により実行される。また、表示機器20の各処理ステップは、処理部200により実行される。
ユーザにより共有元機器としての情報機器10が操作され、共有候補機器としての複数の表示機器20の検索操作が行われた場合(S111)、情報機器10では、ステップS131乃至S136の処理が実行され、表示機器20-1乃至20-3のそれぞれでは、ステップS151乃至S155の処理が実行される。
すなわち、情報機器10は、UDP(User Datagram Protocol)を利用して、M-searchメッセージをネットワーク80にブロードキャストで送信する(S131)。M-searchメッセージを受信した表示機器20-1乃至20-3のそれぞれは、M-searchレスポンスを、ネットワーク80を介して情報機器10に送信する(S151)。
ここで、M-searchメッセージは、ネットワークに接続された機器の探索を行うためのメッセージである。M-searchレスポンスは、M-searchメッセージを受信した機器から送られる応答のメッセージである。
M-searchレスポンスは、デバイスディスクリプションを取得するためのURL(Uniform Resource Locator)を記述した"LOCATION"などをパラメータとして含む。デバイスディスクリプションは、対象の機器に関する情報を含む。なお、M-searchメッセージとM-searchレスポンスの詳細は、下記の文献に開示されている。
文献:UPnP Device Architecture 2.0 Document Revision Date: February 20, 2015
情報機器10は、表示機器20-1乃至20-3のそれぞれから受信したM-searchレスポンスに基づき、各表示機器20のIPアドレスとデバイスディスクリプションのURLを、メモリ103に格納する(S132)。
情報機器10は、記憶しているデバイスディスクリプションのURL(指定URL)に従い、表示機器20-1乃至20-3から提供される各表示機器20のデバイスディスクリプションを取得する(S133,S152)。
図10は、デバイスディスクリプションの記述の例を示している。
デバイスディスクリプションには、deviceType要素、friendlyName要素、manufacturer要素、manufacturerURL要素、modelDescription要素、modelName要素、modelNumber要素、modelURL要素、serialNumber要素、UDN要素、UPC要素、及びiconList要素が記述される。
deviceType要素には、機器のタイプが記述される。friendlyName要素には、任意の文字列等からなるテキストであるフレンドリ名が記述される。manufacturer要素には、製造者(メーカ)が記述される。manufacturerURL要素には、製造者のサイトのURLが記述される。
modelDescription要素には、型(モデル)のタイトルが記述される。modelName要素には、型名が記述される。modelNumber要素には、型番が記述される。modelURL要素には、型のサイトのURLが記述される。serialNumber要素には、シリアル番号が記述される。UDN要素には、UUID(Universally Unique Identifier)が記述される。UPC要素には、UPC(Universal Product Code)が記述される。
iconList要素は、mimetype要素、width要素、height要素、depth要素、及びurl要素からなるicon要素を1又は複数含む。mimetype要素には、アイコンのMIMEタイプが記述される。width要素とheight要素には、アイコンの水平方向と垂直方向のピクセル数が記述される。depth要素には、アイコンの色深度が記述される。url要素には、アイコンのURLが記述される。
なお、ここでは、説明を簡略化するため、各表示機器20が自己のデバイスディスクリプションをそれぞれ保持している場合を例示するが、デバイスディスクリプションは、他の機器が保持してもよい。
図9の説明に戻り、情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S134)。切り替えメッセージは、"switch to selection mode"であるメッセージを含む。
この切り替えメッセージを受信した表示機器20-1乃至20-3のそれぞれは、画像ファイルを生成する(S153)。
この画像ファイルとしては、例えば、放送局やサービスのマーク等のコンテンツを表す画像や、コンテンツの静止画サムネイルや動画サムネイルなどを生成することができる。なお、この画像ファイルとしては、表示機器20があらかじめ記憶している静止画や動画のファイルを用いたり、動画から切り出した静止画のファイルや、外部から取得した静止画のファイルなどを用いたりしてもよい。
表示機器20-1乃至20-3は、生成した画像ファイルを、デバイスディスクリプションに記述されるdisplaySource要素のurl要素に指定されるアドレスに格納する(S154)。
図11は、画像ファイルのアドレスの記述の例を示している。図11においては、デバイスディスクリプションのdisplaySource要素のurl要素として、"relative address value/filename"であるフィールドの相対アドレスとファイル名が記述されている。
このとき、表示機器20-1乃至20-3のそれぞれは、生成した画像ファイルを、相対アドレス(relative address value)で指定される場所に、指定されたファイル名(filename)を付けて格納する。
なお、displaySource要素のurl要素に記述される相対アドレスは、URLBase要素が記述されている場合には、当該URLBase要素に記述されたURLからの相対アドレスを意味し、URLBase要素が記述されていない場合には、ルート(該当デバイスのIPアドレス)からの相対アドレスを意味する。これらの関係は、後述する相対アドレスでも同様とされる。
図9の説明に戻り、表示機器20-1乃至20-3のそれぞれは、生成した画像ファイルに応じた生成画像(図8の画像B21-1乃至B21-3)を、ディスプレイ204の画面上に重畳表示する(S155)。
情報機器10は、記憶している指定URLに従い、表示機器20-1乃至20-3のそれぞれにより格納された画像ファイルを取得する(S135)。情報機器10は、デバイスディスクリプションのfriendlyName要素に応じたフレンドリ名(例えば機器の名称)と、取得した画像ファイルに応じた取得画像(図8の画像B21-1乃至B21-3の縮小画像)を、選択画面A21(図8)に表示する(S136)。
これにより、ユーザは、情報機器10の選択画面A21に表示された取得画像を、表示機器20-1乃至20-3のそれぞれの画面上に重畳表示された生成画像と見比べることで、各表示機器20を識別して、共有対象機器としての所望の表示機器20を選択する操作を行うことができる(S112)。
情報機器10は、選択画面A21に対するユーザ操作に基づいて共有対象機器が決定された場合、当該共有対象機器としての表示機器20のIPアドレスを、メモリ103に格納する(S137)。
これにより、複数の表示機器20(共有候補機器)の中から、情報機器10(共有元機器)と画面共有を行う表示機器20(共有対象機器)が決定され、情報機器10(共有元機器)では、記憶しているIPアドレスに基づき、選択された表示機器20(共有対象機器)とデータをやり取りすることで、画面共有が行われる。
以上のように、画面共有方式の第1の例では、情報機器10のディスプレイ121と、表示機器20-1乃至20-3のディスプレイ204に、共通の画像が表示されるため、ユーザは、各機器のディスプレイに表示された画像を確認するだけで、簡便かつ確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
なお、上述した説明では、共有候補機器として、3台の表示機器20-1乃至20-3が存在する場合を例示したが、共有候補機器の数は、3台に限定されず、2台又は4台以上であってもよい。また、共有候補機器には、同一の種類の機器に限らず、他の種類の機器が混在していても構わない。また、情報機器10は、共有候補機器が1台しかない場合にも選択画面A21を表示することができ、画面共有方式の第1の例乃至第8の例で説明する画面共有方式を実施することが可能である。
(第2の例)
図12は、画面共有方式の第2の例を示している。
図12は、画面共有方式の第2の例を示している。
この画面共有方式の第2の例では、画面共有を行うに際して、情報機器10と複数の表示機器20のそれぞれに、共通のフレンドリ名(同一又は対応するテキスト)を表示することで、当該共通のフレンドリ名によって複数の表示機器20を識別可能にして、画面共有がなされるようにする。
すなわち、図12では、情報機器10から表示機器20への画面共有を行う場合に、情報機器10の選択画面A22の一覧には、表示機器20-1乃至20-3の画面にそれぞれ表示されたテキストB22-1乃至B22-3に対応したテキスト("TV xyz","TV abc","TV qrp")が表示されている。ここでは、フレンドリ名として、例えば機器の名称のテキストを記述することができる。
ユーザは、情報機器10の選択画面A22の一覧のテキストを、表示機器20-1乃至20-3のそれぞれの画面上に重畳表示されたテキストB22-1乃至B22-3と見比べることで、画面共有の候補となる表示機器20を識別して、画面共有の対象となる表示機器20を選択することができる。
図13は、画面共有方式の第2の例の処理の流れを示すフローチャートである。
図13において、情報機器10の各処理ステップは、処理部100により実行される。また、表示機器20の各処理ステップは、処理部200により実行される。
表示機器20(共有候補機器)の検索操作が行われた場合(S211)、情報機器10(共有元機器)では、ステップS231乃至S235の処理が実行され、表示機器20-1乃至20-3のそれぞれでは、ステップS251乃至S253の処理が実行される。
ステップS231乃至S233,S251乃至S252においては、図9のステップS131乃至S133,S151乃至S152と同様に、情報機器10と表示機器20-1乃至20-3との間で、M-searchメッセージとM-searchレスポンスがやり取りされ、情報機器10では、各表示機器20から提供されるデバイスディスクリプションが取得される。
情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S234)。
この切り替えメッセージを受信した表示機器20-1乃至20-3のそれぞれは、自己のデバイスディスクリプションのfriendlyName要素に応じたフレンドリ名(図12のテキストB22-1乃至B22-3)を、ディスプレイ204の画面上に重畳表示する(S253)。
一方で、情報機器10は、取得したデバイスディスクリプションに基づき、friendlyName要素に応じたフレンドリ名(図12のテキストB22-1乃至B22-3に対応したテキスト)を、選択画面A22(図12)に表示する(S235)。
これにより、ユーザは、情報機器10の選択画面A22に表示されたフレンドリ名(テキスト)を、表示機器20-1乃至20-3のそれぞれの画面上に重畳表示されたフレンドリ名(テキスト)と見比べることで、各表示機器20を識別して、共有対象機器としての所望の表示機器20を選択することができる(S212)。
情報機器10は、選択画面A22に対するユーザ操作に基づいて共有対象機器が決定された場合、当該共有対象機器としての表示機器20のIPアドレスを、メモリ103に格納する(S236)。そして、情報機器10では、記憶しているIPアドレスに基づき、選択された表示機器20(共有対象機器)とデータをやり取りすることで、画面共有が行われる。
以上のように、画面共有方式の第2の例では、情報機器10のディスプレイ121と、表示機器20-1乃至20-3のディスプレイ204に、共通のテキストが表示されるため、ユーザは、各機器のディスプレイに表示されたテキストを確認するだけで、簡便かつ確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
(第3の例)
図14は、画面共有方式の第3の例を示している。
図14は、画面共有方式の第3の例を示している。
この画面共有方式の第3の例では、画面共有を行うに際して、情報機器10と複数の表示機器20のそれぞれに、共通のランダム番号(機器ごとに固有のランダム番号)を表示することで、当該共通のランダム番号によって複数の表示機器20を識別可能にして、画面共有がなされるようにする。
すなわち、図14では、情報機器10から表示機器20への画面共有を行う場合に、情報機器10の選択画面A23の一覧には、表示機器20-1乃至20-3の画面にそれぞれ表示されたランダム番号B23-1乃至B23-3に対応したランダム番号("41248","11136","38767")が表示されている。
ユーザは、情報機器10の選択画面A23の一覧のランダム番号を、表示機器20-1乃至20-3のそれぞれの画面上に重畳表示されたランダム番号B23-1乃至B23-3と見比べることで、画面共有の候補となる表示機器20を識別して、画面共有の対象となる表示機器20を選択することができる。
図15は、画面共有方式の第3の例の処理の流れ示すフローチャートである。
図15において、情報機器10の各処理ステップは、処理部100により実行される。また、表示機器20の各処理ステップは、処理部200により実行される。
表示機器20(共有候補機器)の検索操作が行われた場合(S311)、情報機器10(共有元機器)では、ステップS331乃至S336の処理が実行され、表示機器20-1乃至20-3のそれぞれでは、ステップS351乃至S355の処理が実行される。
ステップS331乃至S333,S351乃至S352においては、図9のステップS131乃至S133,S151乃至S152と同様に、情報機器10と表示機器20-1乃至20-3との間で、M-searchメッセージとM-searchレスポンスがやり取りされ、情報機器10では、各表示機器20から提供されるデバイスディスクリプションが取得される。
情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S334)。
この切り替えメッセージを受信した表示機器20-1乃至20-3のそれぞれは、ランダム番号を生成する(S353)。このランダム番号の生成方法としては、例えば乱数を用いる方法など、様々な方法を用いることができる。ただし、ランダム番号の生成に際しては、他の共有候補機器で生成されるランダム番号と異なる番号が生成されるようにする。
表示機器20-1乃至20-3のそれぞれは、生成したランダム番号(の値)を、デバイスディスクリプションに格納する(S354)。
図16は、ランダム番号の記述の例を示している。図16においては、デバイスディスクリプションのdeviceID要素として、"random number value"であるランダム番号(の値)が記述されている。
図15の説明に戻り、表示機器20-1乃至20-3のそれぞれは、生成したランダム番号(図14のランダム番号B23-1乃至B23-3)を、ディスプレイ204の画面上に重畳表示する(S355)。
情報機器10は、記憶している指定URLに従い、各表示機器20により提供されるデバイスディスクリプションに格納されたランダム番号を取得する(S335)。情報機器10は、取得したランダム番号(図14のランダム番号B23-1乃至B23-3に対応したランダム番号)を、フレンドリ名とともに選択画面A23(図14)に表示する(S336)。
これにより、ユーザは、情報機器10の選択画面A23に表示されたランダム番号を、表示機器20-1乃至20-3のそれぞれの画面上に重畳表示されたランダム番号と見比べることで、各表示機器20を識別して、共有対象機器としての所望の表示機器20を選択する操作を行うことができる(S312)。
情報機器10は、選択画面A23に対するユーザ操作に基づいて共有対象機器が決定された場合、当該共有対象機器としての表示機器20のIPアドレスを、メモリ103に格納する(S337)。そして、情報機器10では、記憶しているIPアドレスに基づき、選択された表示機器20(共有対象機器)とデータをやり取りすることで、画面共有が行われる。
以上のように、画面共有方式の第3の例では、情報機器10のディスプレイ121と、表示機器20-1乃至20-3のディスプレイ204に、共通のランダム番号が表示されるため、ユーザは、各機器のディスプレイに表示されたランダム番号を確認するだけで、簡便かつ確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
なお、上述した説明では、ランダム番号を表示する場合を例示したが、ランダム番号に限らず、ユニークな文字列やコードなどを表示してもよい。
(第4の例)
図17は、画面共有方式の第4の例を示している。
図17は、画面共有方式の第4の例を示している。
この画面共有方式の第4の例では、画面共有を行うに際して、複数の表示機器20に2次元コード(例えばQRコード(登録商標)等)をそれぞれ表示して、所望の表示機器20に表示された2次元コードを情報機器10により読み取ることで、情報機器10と所望の表示機器20との間で画面共有がなされるようにする。
すなわち、図17では、情報機器10から表示機器20への画面共有を行う場合に、表示機器20-1乃至20-3のそれぞれの画面上には、機器ごとに固有の2次元コードB24-1乃至B24-3が表示されている。
このとき、情報機器10では、ユーザの操作に応じて、2次元コード読み取りアプリA24が起動される。2次元コード読み取りアプリA24は、カメラ107の撮影機能等を利用して2次元コードを読み取るための専用のアプリケーションである。また、このとき、2次元コード読み取りアプリA24は、ユーザによるアプリケーションの起動選択に基づいて起動されてもよいし、表示機器20の画面上に2次元コードが表示されることに応じて自動的に起動されてもよい。
例えば、ユーザは、2次元コード読み取りアプリA24が起動された情報機器10をかざして、画面共有の候補となる表示機器20-1乃至20-3のうち、画面共有の対象としたい表示機器20-3の画面上の2次元コードB24-3を読み取ることで、画面共有の対象となる表示機器20-3を選択することができる。
図18は、画面共有方式の第4の例の処理の流れを示すフローチャートである。
図18において、情報機器10の各処理ステップは、処理部100により実行される。また、表示機器20の各処理ステップは、処理部200により実行される。
表示機器20(共有候補機器)の検索操作が行われた場合(S411)、情報機器10(共有元機器)では、ステップS431乃至S435の処理が実行され、表示機器20-1乃至20-3のそれぞれでは、ステップS451乃至S455の処理が実行される。
ステップS431乃至S433,S451乃至S452においては、図9のステップS131乃至S133,S151乃至S152と同様に、情報機器10と表示機器20-1乃至20-3との間で、M-searchメッセージとM-searchレスポンスがやり取りされ、情報機器10では、各表示機器20から提供されるデバイスディスクリプションが取得される。
情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S434)。
この切り替えメッセージを受信した表示機器20-1乃至20-3のそれぞれは、2次元コードを生成する(S453)。この2次元コードを生成する際には、例えば2次元コードを生成するためのAPI(Application Programming Interface)を利用したり、2次元コードを生成するサービスを利用したりすることができる。2次元コードは、水平方向と垂直方向に情報を持つ表示方式のコードであり、例えば、現在広く普及しているQRコード(登録商標)を利用することができる。
表示機器20-1乃至20-3のそれぞれは、生成した2次元コードの値(文字列)を、デバイスディスクリプションに格納する(S454)。
図19は、2次元コードの値の記述の例を示している。図19においては、デバイスディスクリプションの2dCode要素として、"2d code value"である2次元コードの値が記述されている。
図18の説明に戻り、表示機器20-1乃至20-3のそれぞれは、生成した2次元コード(図17の2次元コードB24-1乃至B24-3)を、ディスプレイ204の画面上に重畳表示する(S455)。
情報機器10は、記憶している指定URLに従い、各表示機器20により提供されるデバイスディスクリプションに格納された2次元コードの値を取得する(S435)。
ここで、ユーザによって、2次元コード読み取りアプリA24(図17)が起動された情報機器10が、共有対象機器としての所望の表示機器20の画面上に表示された2次元コードにかざされて、2次元コードの撮影操作が行われた場合(S412)、情報機器10では、次のような処理が行われる。
すなわち、情報機器10は、共有対象機器としての所望の表示機器20の画面上の2次元コードを撮像し、撮影した2次元コードの画像をデコードする(S436)。
また、情報機器10は、デコードで得られる2次元コードの値と、取得したデバイスディスクリプションから得られる2次元コードの値とを比較し、その比較結果に応じて、共有対象機器としての表示機器20を決定する(S437)。
さらに、情報機器10は、当該共有対象機器としての表示機器20のIPアドレスを、メモリ103に格納する(S438)。そして、情報機器10では、記憶しているIPアドレスに基づき、選択された表示機器20(共有対象機器)とデータをやり取りすることで、画面共有が行われる。
以上のように、画面共有方式の第4の例では、表示機器20-1乃至20-3のディスプレイ204に2次元コードが表示されるため、ユーザは、所望の表示機器20のディスプレイ204に表示された2次元コードを、情報機器10のカメラ107により撮影するだけで、簡便かつ確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
なお、上述した説明では、2次元コードを読み取るに際して2次元コード読み取りアプリA24を用いた場合を例示したが、情報機器10が有する他の機能によって、2次元コードが読み取られるようにしてもよい。
(第5の例)
図20は、画面共有方式の第5の例を示している。
図20は、画面共有方式の第5の例を示している。
この画面共有方式の第5の例では、画面共有を行うに際して、複数の表示機器20から音(音波)をそれぞれ出力して、当該音波を情報機器10により検知することで、情報機器10と所望の表示機器20との間で画面共有がなされるようにする。
すなわち、図20では、情報機器10から表示機器20への画面共有を行う場合に、表示機器20-1乃至20-3のそれぞれから音波B25-1乃至B25-3が出力されている。
このとき、情報機器10では、マイクロフォン112やセンサ106等の機能を利用して、表示機器20-1乃至20-3から出力された音波B25-1乃至B25-3を検知することができる。
例えば、ユーザは、情報機器10を移動させて、画面共有の候補となる表示機器20-1乃至20-3のうち、画面共有の対象としたい表示機器20-3から出力される音波A25を検知することで、画面共有の対象となる表示機器20-3を選択することができる。
図21は、画面共有方式の第5の例の処理の流れを示すフローチャートである。
図21において、情報機器10の各処理ステップは、処理部100により実行される。また、表示機器20の各処理ステップは、処理部200により実行される。
表示機器20(共有候補機器)の検索操作が行われた場合(S511)、情報機器10(共有元機器)では、ステップS531乃至S535の処理が実行され、表示機器20-1乃至20-3のそれぞれでは、ステップS551乃至S555の処理が実行される。
ステップS531乃至S533,S551乃至S552においては、図9のステップS131乃至S133,S151乃至S152と同様に、情報機器10と表示機器20-1乃至20-3との間で、M-searchメッセージとM-searchレスポンスがやり取りされ、情報機器10では、各表示機器20から提供されるデバイスディスクリプションが取得される。
情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S534)。
この切り替えメッセージを受信した表示機器20-1乃至20-3のそれぞれは、音波パターンファイルを生成する(S553)。この音波パターンファイルは、音波パターン生成器により逐次生成されるようにするほか、表示機器20があらかじめ保持しているファイルを用いたり、外部から取得したファイルなどを用いたりしてもよい。
表示機器20-1乃至20-3は、生成した音波パターンファイルを、デバイスディスクリプションに記述されるrenderPattern要素のurl要素に指定されるアドレスに格納する(S554)。
図22は、音波パターンファイルのアドレスの記述の例を示している。図22においては、デバイスディスクリプションのrenderPattern要素のurl要素として、"relative address value/filename"であるフィールドの相対アドレスとファイル名が記述されている。
このとき、表示機器20-1乃至20-3のそれぞれは、生成した音波パターンファイルを、相対アドレス(relative address value)で指定される場所に、指定されたファイル名(filename)を付けて格納する。
図21の説明に戻り、表示機器20-1乃至20-3のそれぞれは、生成した音波パターンファイルに応じた音波(図20の音波B25-1乃至B25-3)を、スピーカ205又は出力部208等から出力する(S555)。
情報機器10は、記憶している指定URLに従い、各表示機器20により提供されるデバイスディスクリプションに格納された音波パターンファイルを取得する(S535)。
ここで、ユーザによって、情報機器10が、共有対象機器としての所望の表示機器20に近づけられ、音の検知操作が行われた場合(S512)、情報機器10では、次のような処理が行われる。
すなわち、情報機器10は、共有対象機器としての所望の表示機器20から出力される音波を検知し、検知した音波をパターンファイル化する(S536)。
また、情報機器10は、検知した音波のパターンのファイルと、取得した音波パターンファイルとを比較し、その比較結果に応じて、共有対象機器としての表示機器20を決定する(S537)。
さらに、情報機器10は、当該共有対象機器としての表示機器20のIPアドレスを、メモリ103に格納する(S538)。そして、情報機器10では、記憶しているIPアドレスに基づき、選択された表示機器20(共有対象機器)とデータをやり取りすることで、画面共有が行われる。
以上のように、画面共有方式の第5の例では、表示機器20-1乃至20-3のスピーカ205等から音波が出力されるため、ユーザは、所望の表示機器20のスピーカ205等から音波を、情報機器10のマイクロフォン112やセンサ106等により検知するだけで、簡便かつ確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
(第6の例)
図23は、画面共有方式の第6の例を示している。
図23は、画面共有方式の第6の例を示している。
この画面共有方式の第6の例では、画面共有を行うに際して、複数の表示機器20から光をそれぞれ出力して、当該光を情報機器10により検知することで、情報機器10と所望の表示機器20との間で画面共有がなされるようにする。
すなわち、図23では、情報機器10から表示機器20への画面共有を行う場合に、表示機器20-1乃至20-3のそれぞれから光B26-1乃至B26-3が出力されている。
このとき、情報機器10では、センサ106やカメラ107等の機能を利用して、表示機器20-1乃至20-3から出力された光B26-1乃至B26-3を検知することができる。
例えば、ユーザは、情報機器10を移動させて、画面共有の候補となる表示機器20-1乃至20-3のうち、画面共有の対象としたい表示機器20-3から出力される光A26を検知することで、画面共有の対象となる表示機器20-3を選択することができる。
図24は、画面共有方式の第6の例の処理の流れを示すフローチャートである。
図24において、情報機器10の各処理ステップは、処理部100により実行される。また、表示機器20の各処理ステップは、処理部200により実行される。
表示機器20(共有候補機器)の検索操作が行われた場合(S611)、情報機器10(共有元機器)では、ステップS631乃至S635の処理が実行され、表示機器20-1乃至20-3のそれぞれでは、ステップS651乃至S655の処理が実行される。
ステップS631乃至S633,S651乃至S652においては、図9のステップS131乃至S133,S151乃至S152と同様に、情報機器10と表示機器20-1乃至20-3との間で、M-searchメッセージとM-searchレスポンスがやり取りされ、情報機器10では、各表示機器20により提供されるデバイスディスクリプションが取得される。
情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S634)。
この切り替えメッセージを受信した表示機器20-1乃至20-3のそれぞれは、発光パターンファイルを生成する(S653)。この発光パターンファイルは、発光パターン生成器により逐次生成されるようにするほか、表示機器20があらかじめ保持しているファイルを用いたり、外部から取得したファイルなどを用いたりしてもよい。
表示機器20-1乃至20-3は、生成した発光パターンファイルを、デバイスディスクリプションに記述されるrenderPattern要素のurl要素に指定されるアドレスに格納する(S654)。
図25は、発光パターンファイルのアドレスの記述の例を示している。表示機器20-1乃至20-3のそれぞれは、生成した発光パターンファイルを、相対アドレス(relative address value)で指定される場所に、指定されたファイル名(filename)を付けて格納する。
図24の説明に戻り、表示機器20-1乃至20-3のそれぞれは、生成した発光パターンファイルに応じた光(図23の光B26-1乃至B26-3)を、出力部208やディスプレイ204等から出力する(S655)。
情報機器10は、記憶している指定URLに従い、各表示機器20により提供されるデバイスディスクリプションに格納された発光パターンファイルを取得する(S635)。
ここで、ユーザによって、情報機器10が、共有対象機器としての所望の表示機器20に近づけられ、光の検知操作が行われた場合(S612)、情報機器10では、次のような処理が行われる。
すなわち、情報機器10は、共有対象機器としての所望の表示機器20から出力される光を検知し、検知した光をパターンファイル化する(S636)。
また、情報機器10は、検知した光のパターンのファイルと、取得した発光パターンファイルとを比較し、その比較結果に応じて、共有対象機器としての表示機器20を決定する(S637)。
さらに、情報機器10は、当該共有対象機器としての表示機器20のIPアドレスを、メモリ103に格納する(S638)。そして、情報機器10では、記憶しているIPアドレスに基づき、選択された表示機器20(共有対象機器)とデータをやり取りすることで、画面共有が行われる。
以上のように、画面共有方式の第6の例では、表示機器20-1乃至20-3の出力部208等から光が出力されるため、ユーザは、所望の表示機器20の出力部208等から光を、情報機器10のセンサ106やカメラ107等により検知するだけで、簡便かつ確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
(第7の例)
図26は、画面共有方式の第7の例を示している。
図26は、画面共有方式の第7の例を示している。
この画面共有方式の第7の例では、画面共有を行うに際して、複数の表示機器20から音(音波)及び画像の少なくとも一方を出力して、当該音(音波)及び画像の少なくとも一方のフィンガプリントを情報機器10により抽出することで、情報機器10と所望の表示機器20との間で画面共有がなされるようにする。
すなわち、図26では、情報機器10から表示機器20への画面共有を行う場合に、表示機器20-1乃至20-3から、音波B27-1乃至B27-3がそれぞれ出力されている。このとき、情報機器10では、マイクロフォン112やセンサ106等の機能を利用して、表示機器20-1乃至20-3から出力された音波B27-1乃至B27-3を取り込むことができる。
また、図26では、表示機器20-1乃至20-3に、画像C27-1乃至C27-3がそれぞれ表示されている。このとき、情報機器10では、カメラ107やセンサ106等の機能を利用して、表示機器20-1乃至20-3に表示された画像C27-1乃至C27-3を取り込むことができる。
例えば、ユーザは、情報機器10を移動させて、画面共有の候補となる表示機器20-1乃至20-3のうち、画面共有の対象としたい表示機器20-3から出力される音波A27を取り込んで、当該音波A27から抽出されるフィンガプリントを用いることで、画面共有の対象となる表示機器20-3を選択することができる。
図27は、画面共有方式の第7の例の処理の流れを示すフローチャートである。
図27において、情報機器10の各処理ステップは、処理部100により実行される。また、表示機器20の各処理ステップは、処理部200により実行される。
表示機器20(共有候補機器)の検索操作が行われた場合(S711)、情報機器10(共有元機器)では、ステップS731乃至S735の処理が実行され、表示機器20-1乃至20-3のそれぞれでは、ステップS751乃至S755の処理が実行される。
ステップS731乃至S733,S751乃至S752においては、図9のステップS131乃至S133,S151乃至S152と同様に、情報機器10と表示機器20-1乃至20-3との間で、M-searchメッセージとM-searchレスポンスがやり取りされ、情報機器10では、各表示機器20により提供されるデバイスディスクリプションが取得される。
情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S734)。
この切り替えメッセージを受信した表示機器20-1乃至20-3のそれぞれは、音(音波)及び画像の少なくとも一方から得られるフィンガプリントに基づき、フィンガプリントファイルを生成する(S753)。
表示機器20-1乃至20-3は、生成したフィンガプリントファイルを、デバイスディスクリプションのsoundSource要素又はdisplaySource要素のurl要素に指定されるアドレスに格納する(S754)。
図28は、フィンガプリントファイルのアドレスの記述の例を示している。
音波のフィンガプリントファイルは、soundSource要素のurl要素の相対アドレス(relative address value)で指定される場所に、指定されたファイル名(filename)を付けて格納される。画像のフィンガプリントファイルは、displaySource要素のurl要素の相対アドレス(relative address value)で指定される場所に、指定されたファイル名(filename)を付けて格納される。
図27の説明に戻り、表示機器20-1乃至20-3のそれぞれは、生成したフィンガプリントファイルに応じた音波及び画像の少なくとも一方を出力する(S755)。
具体的には、表示機器20-1乃至20-3では、音波のフィンガプリントファイルに基づき、スピーカ205等から音波(図26の音波B27-1乃至B27-3)が出力されるとともに、画像のフィンガプリントファイルに基づき、画像(図26の画像C27-1乃至C27-3)がディスプレイ204等に表示される。
情報機器10は、記憶している指定URLに従い、各表示機器20により提供されるデバイスディスクリプションに格納されたフィンガプリントファイルを取得する(S735)。
ここで、ユーザによって、情報機器10が、共有対象機器としての所望の表示機器20に近づけられ、音又は画像の取り込み操作が行われた場合(S712)、情報機器10では、次のような処理が行われる。
すなわち、情報機器10は、共有対象機器としての所望の表示機器20から出力される音波又は画像を取得し、当該音波又は画像からフィンガプリントを抽出する(S736)。
また、情報機器10は、抽出したフィンガプリントと、取得したフィンガプリントファイルから得られるフィンガプリントを比較して、その比較結果に応じて、共有対象機器としての表示機器20を決定する(S737)。
なお、各表示機器20では、音波に関するファイルの相対アドレスを、デバイスディスクリプションに記述しているため、情報機器10では、当該相対アドレスに従い、音波に関するファイルを取得し、取り込んだ音波と比較し、一致するかどうかの判定を行うことができる。
また、各表示機器20側で、音波の特徴点を検出してその特徴点検出情報を、デバイスディスクリプションに記述しておくことで、情報機器10では、相対アドレスに従い取得される特徴点検出情報に基づき、取り込んだ音波の特徴点と比較・判定するようにしてもよい。
また、各表示機器20側で、音声(音波)にウォータマークを挿入し、そのウォータマークのパラメータのファイルを生成して当該ファイルの相対アドレスをデバイスディスクリプションに記述することで、情報機器10では、当該相対アドレスに従い、ウォータマークのパラメータのファイルを取得し、取り込んだ音声(音波)から抽出されるウォータマークと比較・判定するようにしてもよい。
さらに、各表示機器20では、画像又は動画に関するファイルの相対アドレスを、デバイスディスクリプションに記述し、情報機器10では、当該相対アドレスに従い、画像又は動画に関するファイルを取得し、取り込んだ画像や動画との比較・判定を行うことができる。
また、各表示機器20側で、画像の特徴点を検出してその特徴点検出情報を、デバイスディスクリプションに記述しておくことで、情報機器10では、相対アドレスに従い取得される特徴点検出情報に基づき、取り込んだ画像の特徴点と比較・判定するようにしてもよい。
また、情報機器10と表示機器20の両方又はどちらか一方における特徴点検出処理は、情報機器10と表示機器20の両方又はどちらか一方とネットワーク80又はネットワーク90を介して接続されたサーバのような外部機器で行われてもよい。この場合、情報機器10と表示機器20の両方又はどちらか一方は、取得した音波又は画像の情報を外部機器へ送信し、外部機器で検出された音波又は画像の特徴点検出情報を取得することで、特徴点検出情報のデバイスディスクリプションへの記載や特徴点の比較・判定の処理を行ってもよい。情報機器10は、外部機器で行われたフィンガプリントや特徴点の比較・判定の処理を基に、共有対象機器としての表示機器20を決定する処理を行ってもよい。
また、各表示機器20側で、動画にウォータマークを挿入し、そのウォータマークのパラメータのファイルを生成して当該ファイルの相対アドレスをデバイスディスクリプションに記述することで、情報機器10では、当該相対アドレスに従い、ウォータマークのパラメータのファイルを取得し、取り込んだ動画(画像)から抽出されるウォータマークと比較・判定するようにしてもよい。
情報機器10は、当該共有対象機器としての表示機器20のIPアドレスを、メモリ103に格納する(S738)。そして、情報機器10では、記憶しているIPアドレスに基づき、選択された表示機器20(共有対象機器)とデータをやり取りすることで、画面共有が行われる。
以上のように、画面共有方式の第7の例では、表示機器20-1乃至20-3のスピーカ205やディスプレイ204等から音波や画像が出力されるため、ユーザは、所望の表示機器20から出力される音波や画像を、情報機器10のマイクロフォン112やカメラ107等により取り込むだけで、簡便かつ確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
(第8の例)
ところで、上述した説明では、新方式に対応した各画面共有方式のそれぞれが単独で実施される場合を説明したが、複数の画面共有方式を用意して、各種の条件に応じて、複数の画面共有方式の中から、より適切な画面共有方式が実施されてもよい。
ところで、上述した説明では、新方式に対応した各画面共有方式のそれぞれが単独で実施される場合を説明したが、複数の画面共有方式を用意して、各種の条件に応じて、複数の画面共有方式の中から、より適切な画面共有方式が実施されてもよい。
図29は、複数の画面共有方式を提供する場合のデバイスディスクリプションの記述の例を示している。
図29において、デバイスディスクリプションには、上述した図10と同様に、deviceType要素、friendlyName要素、manufacturer要素、manufacturerURL要素、modelDescription要素、modelName要素、modelNumber要素、modelURL要素、serialNumber要素、UDN要素、UPC要素、及びiconList要素が記述される。
また、図29において、デバイスディスクリプションには、displaySource要素、soundSource要素、deviceID要素、qrCode要素、及びrenderPattern要素が追加されている。
displaySource要素は、picture_url要素、及びfingerprint_url要素を含む。picture_url要素は、上述した画面共有方式の第1の例に対応する要素であって、画像ファイルを格納する際の相対アドレスとファイル名が指定される。fingerprint_url要素は、上述した画面共有方式の第7の例に対応する要素であって、画像フィンガプリントファイルを格納する際の相対アドレスとファイル名が指定される。
soundSource要素は、fingerprint_url要素を含む。fingerprint_url要素は、上述した画面共有方式の第7の例に対応する要素であって、音フィンガプリントファイルを格納する際の相対アドレスとファイル名が指定される。
deviceID要素は、上述した画面共有方式の第3の例に対応する要素であって、ランダム番号が指定される。qrCode要素は、上述した画面共有方式の第4の例に対応する要素であって、2次元コードの値が指定される。
renderPattern要素は、soundEmission_url要素、及びlightEmission_url要素を含む。soundEmission_url要素は、上述した画面共有方式の第5の例に対応する要素であって、音波パターンファイルを格納する際の相対アドレスとファイル名が指定される。lightEmission_url要素は、上述した画面共有方式の第6の例に対応する要素であって、発光パターンファイルを格納する際の相対アドレスとファイル名が指定される。
このように、上述したデバイスディスクリプション(図29)には、表示機器20ごとに、実装されている画面共有方式に対応した要素が記述されるので、情報機器10では、各表示機器20から取得されたデバイスディスクリプション(図29)に基づき、各表示機器20が実装している画面共有方式を認識して、より適切な画面共有方式を実施することができる。
図30は、画面共有方式の第8の例の処理の流れを示すフローチャートである。なお、図30において、各処理ステップは、情報機器10の処理部100により実行される。
情報機器10は、UDPを利用して、M-searchメッセージをネットワーク80にブロードキャストで送信する(S831)。
情報機器10は、表示機器20-1乃至20-3のそれぞれから受信したM-searchレスポンスに基づき、各表示機器20のIPアドレスとデバイスディスクリプションのURLを、メモリ103に格納する(S832)。
情報機器10は、記憶している指定URLに従い、各表示機器20により提供されるデバイスディスクリプションを取得する(S833)。
情報機器10は、UDPを利用して、切り替えメッセージを、ネットワーク80にブロードキャストで送信する(S834)。
情報機器10は、記憶している指定URLに従い、各表示機器20により提供されるデバイスディスクリプションを取得する(S835)。ここで取得されるデバイスディスクリプションには、表示機器20ごとに、実装されている画面共有方式に対応した要素が追加されている(図29)。
情報機器10は、各表示機器20により提供されるデバイスディスクリプション(図29)に基づき、サポートされている画面共有方式を多数決で決定する(S836)。
この決定に際しては、各表示機器20のデバイスディスクリプション(図29)から、各表示機器20が実装している画面共有方式を認識可能であるため、最も多くの表示機器20が実装している画面共有方式を選択することができる。
このとき、最も多い画面共有方式が同数で複数存在する場合には、あらかじめ設定された優先度などに従い、実施される画面共有方式を選択することができる。具体的には、例えば、画面共有方式の第7の例よりも、画面共有方式の第4の例のほうが、優先度が高い場合には、フィンガプリントを用いた方式よりも、2次元コードを用いた方式が優先される。
なお、画面共有方式の決定方法として、多数決を用いた方法は一例であり、例えば、ユーザにより設定された設定情報や、過去の履歴情報などを用いて、画面共有方式を決定してもよい。
情報機器10は、決定した画面共有方式のプロセスを開始する(S837)。
以上のように、画面共有方式の第8の例では、各表示機器20で実装されている画面共有方式が異なる場合でも、より適切な画面共有方式が選択されるため、ユーザは、より確実に、情報機器10と画面共有を行う表示機器20を選択することができる。
<2.変形例>
(システムの他の構成)
上述した構成は、コンテンツ再生システム1の構成の一例であって、図示しない他の機器を追加したり、あるいは図示した機器を取り除いたりするなどして、他の構成を採用してもよい。
上述した構成は、コンテンツ再生システム1の構成の一例であって、図示しない他の機器を追加したり、あるいは図示した機器を取り除いたりするなどして、他の構成を採用してもよい。
例えば、コンテンツ再生システム1においては、情報機器10又は表示機器20は、ルータ30を介さずに、インターネットや携帯電話網等のネットワーク90に接続(直接接続)して、配信サーバ40から配信されるストリーミングデータを受信してもよい。
また、上述した説明では、スマートフォン等の情報機器10から、テレビ受像機等の表示機器20に画面共有を行う場合を示したが、その逆に、テレビ受像機等の表示機器20から、スマートフォン等の情報機器10に画面共有が行われるようにしてもよい。この場合にも、上述した新方式に対応した画面共有方式が用いられる。
また、上述したコンテンツ再生システム1の構成では、あるユーザの自宅等の所定の空間内に情報機器10と複数の表示機器20が設けられた場合を例示したが、他のユーザの自宅等の他の空間内でも同様に、情報機器10と複数の表示機器20が設けられてもよい。
なお、上述した説明では、情報機器10と表示機器20が通信コンテンツを受信(再生)する場合を中心に説明したが、放送コンテンツや録画コンテンツ等の他のコンテンツが受信(再生)される場合に、新方式に対応した画面共有方式を用いてもよい。
また、上述した説明では、画面共有時に、情報機器10の選択画面として、機器の名称等のフレンドリ名が表示される場合を示したが、例えば、各種のステータス(光の色や温度等)や機種番号など、機器の名称以外のテキストが(同時に)表示されてもよい。例えば、選択画面A21上の表示機器20を示したフレンドリ名とともに、対応する表示機器20上で現在再生されているコンテンツの名称や概要を表示したり、表示機器20によって行われている処理に関する情報が表示されたりするようにしてもよい。
また、上述した説明では、表示機器20-1乃至20-Nが全てテレビ受像機である場合を例示したが、勿論、テレビ受像機以外の機器であってもよい。さらに、表示機器20-1乃至20-Nは、テレビ受像機等の同一種類の機器のみで構成される場合に限らず、テレビ受像機とディスプレイ装置などの複数種類の機器から構成されるようにしてもよい。例えば、表示機器20が情報機器10と画面共有可能な冷蔵庫であり、情報機器10上に表示される選択画面A21に、表示機器20である冷蔵庫が出力するコンテンツや冷蔵庫のディスプレイに表示された料理のレシピに関する情報が表示されるようにしてもよい。
また、本開示しおいて、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
また、各構成要素の通信形態も任意である。換言すれば、各構成要素は、ネットワーク80又はネットワーク90として、インターネット、イントラネット、携帯電話網などの通信網を介して接続されてもよく、さらには、ローカルネット(LAN(Local Area Network)又はWAN(Wide Area Network))等を介して接続されてもよい。さらに、各構成要素は、有線で接続されてもよく、あるいは無線で接続されてもよい。なお、ネットワーク80とネットワーク90は、同一のネットワークであってもよい。
(全体的な構成)
図31は、本開示の一実施形態の全体的な構成の例を示すブロック図である。
図31は、本開示の一実施形態の全体的な構成の例を示すブロック図である。
図31を参照すると、情報機器10(又は表示機器20)に対応したシステム10は、入力部101と、処理部100と、出力部102とを含む。入力部101、処理部100、及び出力部102は、後述するシステム10の構成例に示されるように、1又は複数の情報処理装置によって実現される。
なお、以下の説明では、情報機器10に対応したシステム10の構成を代表して説明するが、表示機器20に対応したシステムについても同様に構成することができる。
(入力部の例)
入力部101は、例えば、操作入力装置、センサ、又は外部サービスから情報を取得するソフトウェアなどを含み、ユーザ、周辺環境、又は他のサービスから、さまざまな情報の入力を受け付ける。
入力部101は、例えば、操作入力装置、センサ、又は外部サービスから情報を取得するソフトウェアなどを含み、ユーザ、周辺環境、又は他のサービスから、さまざまな情報の入力を受け付ける。
操作入力装置は、例えば、ハードウェアボタン、キーボード、マウス、タッチパネル、タッチセンサ、近接センサ、加速度センサ、角速度センサ、温度センサなどを含み、ユーザによる操作入力を受け付ける。また、操作入力装置は、ユーザのジェスチャ又は音声によって表現される操作入力を受け付ける、カメラ(撮像素子)又はマイクロフォンなどを含んでもよい。
なお、入力部101には、操作入力装置によって取得される信号又はデータを操作コマンドに変換するプロセッサ又は処理回路が含まれてもよい。あるいは、入力部101は、操作入力装置が取得した信号又はデータを、操作コマンドに変換することなくインターフェース150に出力してもよい。その場合、操作入力装置が取得した信号又はデータは、例えば処理部100で操作コマンドに変換される。
センサは、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、又は気圧センサなどを含み、装置にかかる加速度や角速度、方位、照度、温度、気圧などを検出する。上述した各種センサは、例えばセンサを含む装置がユーザによって携帯又は装着されている場合に、各種情報をユーザに関する情報、例えばユーザの運動や向きなどを示す情報として検出することができる。
また、センサは、他にも、脈拍、発汗、脳波、触覚、嗅覚、味覚など、ユーザの生体情報を検出するセンサを含んでもよい。入力部101には、これらのセンサによって検出された情報、及び/又は後述するカメラやマイクロフォンによって検出された画像又は音声のデータを解析することによってユーザの感情を示す情報を取得する処理回路が含まれてもよい。あるいは、上述した情報及び/又はデータは解析を経ずにインターフェース150に出力され、例えば処理部100において解析が実行されてもよい。
さらに、センサは、カメラ、マイクロフォン、上述した各種センサなどにより、ユーザ又は装置の近傍の画像又は音声をデータとして取得してもよい。また、センサは、屋内又は屋外の位置を検出する位置検出手段を含んでもよい。
位置検出手段は、具体的には、GNSS(Global Navigation Satellite System)受信機、例えばGPS(Global Positioning System)受信機、GLONASS(Global Navigation Satellite System)受信機、BDS(BeiDou Navigation Satellite System)受信機及び/又は通信装置などを含み得る。
通信装置は、例えばWi-fi(登録商標)、MIMO(Multi-Input Multi-Output)、セルラー通信(例えば携帯基地局を使った位置検出、フェムトセル)、又は近距離無線通信(例えばBLE(Bluetooth Low Energy)、Bluetooth(登録商標))、LPWA(Low Power Wide Area)などの技術を利用して位置を検出する。
上述したようなセンサがユーザの位置や状況(生体情報を含む)を検出する場合、センサを含む装置は、例えばユーザによって携帯又は装着されている。あるいは、センサを含む装置がユーザの生活環境に設置されているような場合にも、ユーザの位置や状況(生体情報を含む)を検出することが可能であり得る。例えば、室内などに固定して設置されたカメラによって取得されたユーザの顔を含む画像を解析することによって、ユーザの脈拍を検出することができる。
なお、入力部101には、センサによって取得される信号又はデータを所定の形式に変換する(例えば、アナログ信号をデジタル信号に変換したり、画像又は音声のデータをエンコードしたりする)プロセッサ又は処理回路が含まれてもよい。あるいは、入力部101は、取得された信号又はデータを、所定の形式に変換することなくインターフェース150に出力してもよい。その場合、センサが取得した信号又はデータは、処理部100で操作コマンドに変換される。
外部サービスから情報を取得するソフトウェアは、例えば、外部サービスのAPI(Application Program Interface)を利用して、外部サービスによって提供される各種の情報を取得する。ソフトウェアは、例えば外部サービスのサーバから情報を取得してもよいし、クライアント装置で実行されているサービスのアプリケーションソフトウェアから情報を取得してもよい。
ソフトウェアによって、例えば、ユーザ又は他のユーザがソーシャルメディアなどの外部サービスに投稿したテキストや画像などの情報が取得され得る。
取得される情報は、必ずしもユーザ又は他のユーザによって意図的に投稿されたものでなくてもよく、例えばユーザ又は他のユーザが実行した操作のログなどであってもよい。また、取得される情報は、ユーザ又は他のユーザの個人的な情報には限らず、例えばニュース、天気予報、交通情報、POI(Point Of Interest)、又は広告などのように、不特定多数のユーザに向けて配信される情報であってもよい。
また、外部サービスから取得される情報には、上述した各種センサによって取得された情報、例えば加速度、角速度、方位、高度、照度、温度、気圧、脈拍、発汗、脳波、触覚、嗅覚、味覚、その他の生体情報、感情、位置情報などが、外部サービスと連携する他のシステムに含まれるセンサによって検出され、外部サービスに投稿されることによって生成された情報が含まれてもよい。
インターフェース150は、入力部101と処理部100との間のインターフェースである。例えば、入力部101と処理部100とが別個の装置で実現される場合、インターフェース150は、有線又は無線の通信インターフェースを含み得る。また、インターネットが入力部101と処理部100の間に介在することもあり得る。
より具体的には、有線又は無線の通信インターフェースは、3G/LTE/5Gなどのセルラー通信、Wi-Fi(登録商標)、Bluetooth(登録商標)、NFC(Near Field Communication)、イーサネット(登録商標)、HDMI(登録商標)(High-Definition Multimedia Interface)、USB(Universal Serial Bus)などを含み得る。
また、入力部101と処理部100の少なくとも一部とが同一の装置で実現される場合、インターフェース150は、装置内のバスや、プログラムモジュール内でのデータ参照などを含み得る(以下、これらを装置内のインターフェースともいう)。
また、入力部101が複数の装置に分散して実現される場合、インターフェース150は、それぞれの装置のための異なる種類のインターフェースを含み得る。例えば、インターフェース150は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
(処理部の例)
処理部100は、入力部101によって取得された情報に基づいてさまざまな処理を実行する。より具体的には、例えば、処理部100は、CPU(Central Processing Unit)、GPU(Graphics processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、又はFPGA(Field-Programmable Gate Array)などのプロセッサ又は処理回路を含む。
処理部100は、入力部101によって取得された情報に基づいてさまざまな処理を実行する。より具体的には、例えば、処理部100は、CPU(Central Processing Unit)、GPU(Graphics processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、又はFPGA(Field-Programmable Gate Array)などのプロセッサ又は処理回路を含む。
また、処理部100は、プロセッサ又は処理回路において実行されるプログラム、及び処理において読み書きされるデータを一時的又は永続的に格納するメモリ又はストレージ装置を含んでもよい。
なお、処理部100は、単一の装置内の単一のプロセッサ又は処理回路によって実現されてもよいし、複数の装置、又は同一の装置内の複数のプロセッサ若しくは処理回路に分散して実現されてもよい。
処理部100が分散して実現される場合、図32及び図33に示す例のように、処理部100の分割された部分の間にはインターフェース170が介在する。インターフェース170は、上述したインターフェース150と同様に、通信インターフェース、又は装置内のインターフェースを含み得る。
なお、後述する処理部100の詳細な説明では、処理部100を構成する個々の機能ブロックを例示するが、インターフェース170は、任意の機能ブロックの間に介在し得る。つまり、処理部100が複数の装置、又は複数のプロセッサ若しくは処理回路に分散して実現される場合、機能ブロックをどのように各装置、各プロセッサ又は各処理回路に振り分けるかは、別途の記載がない限り任意である。
(出力部の例)
出力部102は、処理部100から提供された情報を、ユーザ(入力部101のユーザと同じユーザであってもよいし、異なるユーザであってもよい)、外部装置、又は他のサービスに出力する。例えば、出力部102は、出力装置、制御装置、又は外部サービスに情報を提供するソフトウェアなどを含み得る。
出力部102は、処理部100から提供された情報を、ユーザ(入力部101のユーザと同じユーザであってもよいし、異なるユーザであってもよい)、外部装置、又は他のサービスに出力する。例えば、出力部102は、出力装置、制御装置、又は外部サービスに情報を提供するソフトウェアなどを含み得る。
出力装置は、処理部100から提供された情報を、ユーザ(入力部101のユーザと同じユーザであってもよいし、異なるユーザであってもよい)の視覚や聴覚、触覚、嗅覚、味覚などの感覚によって知覚される形式で出力する。例えば、出力装置はディスプレイであり、情報を画像によって出力する。
なお、ディスプレイは、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイなどの反射型又は自発光型のディスプレイには限らず、ウェアラブル装置などで用いられるような、ユーザの眼に画像表示光を導光する導光部材と光源との組み合わせをも含む。また、出力装置はスピーカを含み、情報を音声によって出力してもよい。その他にも、出力装置は、プロジェクタやバイブレータなどを含んでもよい。
制御装置は、処理部100から提供された情報に基づいて装置を制御する。制御される装置は、出力部102を実現する装置に含まれてもよいし、外部装置であってもよい。より具体的には、例えば、制御装置は制御コマンドを生成するプロセッサ又は処理回路を含む。
外部装置が制御される場合、出力部102は、さらに、制御コマンドを外部装置に送信する通信装置を含み得る。制御装置は、例えば、処理部100から提供された情報を印刷物として出力するプリンタを制御する。制御装置は、処理部100から提供された情報の、ストレージ装置又はリムーバブル記録媒体への書き込みを制御するドライバを含んでもよい。
あるいは、制御装置は、処理部100から提供された情報を出力又は記録する装置以外の装置を制御してもよい。例えば、制御装置は、照明装置を制御して照明を点灯させたり、テレビを制御して画像を消したり、オーディオ装置を制御して音量を調節したり、ロボットを制御してその動き等を制御したりしてもよい。
また、制御装置は、入力部101に含まれる入力装置を制御してもよい。すなわち、制御装置は、入力装置により所定の情報を取得するよう制御することができる。また、制御装置が入力装置と同一の装置で実現されてもよい。これにより、入力装置が、他の入力装置を制御することも可能となる。例えば、複数台のカメラ装置がある場合に、通常は省電力目的で一つだけ起動しているが、人物を認識した際には、起動している一つのカメラ装置が、接続する他のカメラ装置を起動するよう制御する。
外部サービスに情報を提供するソフトウェアは、例えば、外部サービスのAPIを利用して、処理部100から提供された情報を外部サービスに提供する。ソフトウェアは、例えば外部サービスのサーバに情報を提供してもよいし、クライアント装置で実行されているサービスのアプリケーションソフトウェアに情報を提供してもよい。
提供される情報は、必ずしもすぐに外部サービスに反映されるものでなくてよく、例えばユーザが外部サービスに投稿又は送信するための候補として提供されてもよい。
より具体的には、例えば、ソフトウェアは、クライアント装置で実行されているブラウザソフトウェアにおいて、ユーザが入力する検索キーワードやURL(Uniform Resource Locator)の候補として用いられるテキストを提供してもよい。また、例えば、ソフトウェアは、ユーザに代わって、ソーシャルメディアなどの外部サービスに、テキスト、画像、動画、音声などを投稿してもよい。
インターフェース160は、処理部100と出力部102との間のインターフェースである。例えば、処理部100と出力部102とが別個の装置で実現される場合、インターフェース160は、有線又は無線の通信インターフェースを含み得る。
また、処理部100の少なくとも一部と出力部102とが同一の装置で実現される場合、インターフェース160は、上述した装置内のインターフェースを含み得る。また、出力部102が複数の装置に分散して実現される場合、インターフェース160は、それぞれの装置のための異なる種類のインターフェースを含み得る。例えば、インターフェース160は、通信インターフェースと装置内のインターフェースとの両方を含んでもよい。
(システム構成)
以上、本開示の一実施形態について説明した。上述したように、本実施形態に係るシステム10は、入力部101と、処理部100と、出力部102とを含み、これらの構成要素は、1又は複数の情報処理装置によって実現される。以下では、システム10を実現する情報処理装置の組み合わせの例について、より具体的な例とともに説明する。
以上、本開示の一実施形態について説明した。上述したように、本実施形態に係るシステム10は、入力部101と、処理部100と、出力部102とを含み、これらの構成要素は、1又は複数の情報処理装置によって実現される。以下では、システム10を実現する情報処理装置の組み合わせの例について、より具体的な例とともに説明する。
(第1の例)
図34は、本開示の実施形態に係るシステム構成の第1の例を示すブロック図である。
図34は、本開示の実施形態に係るシステム構成の第1の例を示すブロック図である。
図34を参照すると、システム10は、情報処理装置11を含む。入力部101、処理部100、及び出力部102は、いずれも情報処理装置11において実現される。情報処理装置11は、以下で説明するように端末装置又はサーバであり得る。
この第1の例において、情報処理装置11は、本開示の実施形態に係る機能の実現のためにネットワークを介して外部装置と通信しない、スタンドアロンの装置であってもよい。
なお、情報処理装置11は、他の機能のために外部装置と通信してもよく、従って必ずしもスタンドアロンの装置でなくてもよい。入力部101と処理部100との間のインターフェース150A、及び処理部100と出力部102との間のインターフェース160Aは、いずれも装置内のインターフェースであり得る。
第1の例において、情報処理装置11は、例えば端末装置であり得る。この場合、入力部101は、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含み得る。外部サービスから情報を取得するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアからデータを取得する。
処理部100は、端末装置が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部102は、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含み得る。外部サービスに情報を提供するソフトウェアは、例えば、端末装置で実行されているサービスのアプリケーションソフトウェアに情報を提供し得る。
あるいは、第1の例において、情報処理装置11は、サーバであってもよい。この場合、入力部101は、外部サービスから情報を取得するソフトウェアを含み得る。外部サービスから情報を取得するソフトウェアは、例えば、外部サービスのサーバ(情報処理装置11自身であってもよい)からデータを取得する。
処理部100は、端末装置が備えるプロセッサがメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。出力部102は、外部サービスに情報を提供するソフトウェアなどを含み得る。外部サービスに情報を提供するソフトウェアは、例えば、外部サービスのサーバ(情報処理装置11自身であってもよい)に情報を提供する。
(第2の例)
図35は、本開示の実施形態に係るシステム構成の第2の例を示すブロック図である。
図35は、本開示の実施形態に係るシステム構成の第2の例を示すブロック図である。
図35を参照すると、システム10は、情報処理装置11,12を含む。入力部101及び出力部102は、情報処理装置11において実現される。一方、処理部100は、情報処理装置12において実現される。
情報処理装置11と情報処理装置12とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。入力部101と処理部100との間のインターフェース150B及び処理部100と出力部102との間のインターフェース160Bは、いずれも装置間の通信インターフェースであり得る。
第2の例において、情報処理装置11は、例えば端末装置であり得る。この場合、入力部101は、上述した第1の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含み得る。出力部102も、上述した第1の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含み得る。
あるいは、情報処理装置11は、外部サービスとの間で情報をやりとりするためのサーバであってもよい。この場合、入力部101は、外部サービスから情報を取得するソフトウェアを含み得る。また、出力部102は、外部サービスに情報を提供するソフトウェアを含み得る。
また、第2の例において、情報処理装置12は、サーバ又は端末装置であり得る。処理部100は、情報処理装置12が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。
情報処理装置12は、例えばサーバとして専用される装置であってもよい。この場合、情報処理装置12は、データセンタなどに設置されてもよいし、家庭内に設置されてもよい。あるいは、情報処理装置12は、他の機能については端末装置として利用可能であるが、本開示の実施形態に係る機能に関しては入力部101及び出力部102を実現しない装置であってもよい。
以下の例において、情報処理装置12は、上述したような意味において、サーバであってもよいし、端末装置であってもよい。
一例として、情報処理装置11がウェアラブルデバイスであり、情報処理装置12がウェアラブルデバイスにBluetooth(登録商標)などで接続されたモバイルデバイスであるような場合を考える。
ウェアラブルデバイスがユーザによる操作入力を受け付け(入力部101)、当該操作入力に基づいて送信されたリクエストに基づいてモバイルデバイスが処理を実行し(処理部100)、処理の結果をウェアラブルデバイスから出力する(出力部102)ような場合、ウェアラブルデバイスは、上述した第2の例における情報処理装置11として、モバイルデバイスは情報処理装置12として、それぞれ機能しているといえる。
(第3の例)
図36は、本開示の実施形態に係るシステム構成の第3の例を示すブロック図である。
図36は、本開示の実施形態に係るシステム構成の第3の例を示すブロック図である。
図36を参照すると、システム10は、情報処理装置11A,11B,12を含む。入力部101は、情報処理装置11Aにおいて実現される。出力部102は、情報処理装置11Bにおいて実現される。また、処理部100は、情報処理装置12において実現される。
情報処理装置11A,11Bと情報処理装置12とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。入力部101と処理部100との間のインターフェース150B及び処理部100と出力部102との間のインターフェース160Bは、いずれも装置間の通信インターフェースであり得る。
ただし、第3の例では、情報処理装置11Aと情報処理装置11Bとが別個の装置であるために、インターフェース150B,160Bは、それぞれ異なる種類のインターフェースを含み得る。
第3の例において、情報処理装置11A,11Bは、例えば端末装置であり得る。この場合、入力部101は、上述した第1の例と同様に、入力装置、センサ、外部サービスから情報を取得するソフトウェアなどを含み得る。出力部102も、上述した第1の例と同様に、出力装置、制御装置、外部サービスに情報を提供するソフトウェアなどを含み得る。
あるいは、情報処理装置11A,11Bのうちの一方又は両方は、外部サービスからの情報の取得、及び外部サービスへの情報の提供のためのサーバであってもよい。この場合、入力部101は、外部サービスから情報を取得するソフトウェアを含み得る。また、出力部102は、外部サービスに情報を提供するソフトウェアを含み得る。
また、第3の例において、情報処理装置12は、上述した第2の例と同様に、サーバ又は端末装置であり得る。処理部100は、情報処理装置12が備えるプロセッサ又は処理回路がメモリ又はストレージ装置に格納されたプログラムに従って動作することによって実現される。
上述した第2の例では、入力部101を実現する情報処理装置11Aと、出力部102を実現する情報処理装置11Bとが別個の装置である。従って、例えば、第1のユーザが所持又は使用する端末装置である情報処理装置11Aによって取得された入力に基づく処理の結果を、第1のユーザとは異なる第2のユーザが所持又は使用する端末装置である情報処理装置11Bから出力するといったような機能が実現できる。
また、第1のユーザが所持又は使用する端末装置である情報処理装置11Aによって取得された入力に基づく処理の結果を、その時点では第1のユーザの手元にない(例えば留守中の自宅に設置されている)端末装置である情報処理装置11Bから出力するといったような機能も実現できる。あるいは、情報処理装置11Aと情報処理装置11Bは、いずれも同じユーザによって所持又は使用される端末装置であってもよい。
例えば、情報処理装置11A,11Bが、ユーザの異なる部位に装着されるウェアラブルデバイスである場合や、ウェアラブルデバイスとモバイルデバイスとの組み合わせであるような場合、これらのデバイスを連携させた機能をユーザに提供することができる。
(第4の例)
図37は、本開示の実施形態に係るシステム構成の第4の例を示すブロック図である。
図37は、本開示の実施形態に係るシステム構成の第4の例を示すブロック図である。
図37を参照すると、システム10は、情報処理装置11,12を含む。第4の例において、入力部101及び出力部102は、情報処理装置11において実現される。一方、処理部100は、情報処理装置11及び情報処理装置12に分散して実現される。
情報処理装置11と情報処理装置12とは、本開示の実施形態に係る機能を実現するために、ネットワークを介して通信する。
上述したように、この第4の例では、処理部100が、情報処理装置11と情報処理装置12との間で分散して実現される。
より具体的には、処理部100は、情報処理装置11で実現される処理部100A,100Cと、情報処理装置12で実現される処理部100Bとを含む。処理部100Aは、入力部101からインターフェース150Aを介して提供される情報に基づいて処理を実行し、処理の結果を処理部100Bに提供する。この意味において、処理部100Aは、前処理を実行するともいえる。
一方、処理部100Cは、処理部100Bから提供される情報に基づいて処理を実行し、処理の結果を、インターフェース160Aを介して出力部102に提供する。この意味において、処理部100Cは、後処理を実行するともいえる。
なお、図示された例では、前処理を実行する処理部100Aと後処理を実行する処理部100Cとが両方示されているが、実際にはこのうちのいずれか一方の処理部だけが存在してもよい。
つまり、情報処理装置11は、前処理を実行する処理部100Aを実現するが、後処理を実行する処理部100Cを実現せず、処理部100Bから提供される情報は、そのまま出力部102に提供されてもよい。同様に、情報処理装置11は、後処理を実行する処理部100Cを実現するが、前処理を実行する処理部100Aを実現しなくてもよい。
処理部100Aと処理部100Bとの間、及び処理部100Bと処理部100Cとの間には、それぞれインターフェース170Bが介在する。インターフェース170Bは、装置間の通信インターフェースである。
一方、情報処理装置11が処理部100Aを実現する場合、インターフェース150Aは、装置内のインターフェースである。同様に、情報処理装置11が処理部100Cを実現する場合、インターフェース160Aは、装置内のインターフェースである。
なお、上述した第4の例は、処理部100A又は処理部100Cのうちの一方又は両方が情報処理装置11が備えるプロセッサ又は処理回路によって実現される点を除いては、上述した第2の例と同様である。つまり、情報処理装置11は、端末装置、又は外部サービスとの間で情報をやり取りするためのサーバであり得る。また、情報処理装置12は、サーバ又は端末装置であり得る。
(第5の例)
図38は、本開示の実施形態に係るシステム構成の第5の例を示すブロック図である。
図38は、本開示の実施形態に係るシステム構成の第5の例を示すブロック図である。
図38を参照すると、システム10は、情報処理装置11A,11B,12を含む。入力部101は、情報処理装置11Aにおいて実現される。出力部102は、情報処理装置11Bにおいて実現される。また、処理部100は、情報処理装置11A,11B及び情報処理装置12に分散して実現される。
情報処理装置11A,11Bと情報処理装置12とは、本開示の実施形態に係る機能を実現するために、ネットワークを介してそれぞれ通信する。
図示されているように、この第5の例では、処理部100が、情報処理装置11A,11Bと情報処理装置12との間で分散して実現される。より具体的には、処理部100は、情報処理装置11Aで実現される処理部100Aと、情報処理装置12で実現される処理部100Bと、情報処理装置11Bで実現される処理部100Cとを含む。
このような処理部100の分散については、上述した第4の例と同様である。ただし、この第5の例では、情報処理装置11Aと情報処理装置11Bとが別個の装置であるために、インターフェース170B1,170B2は、それぞれ異なる種類のインターフェースを含み得る。
なお、第5の例は、処理部100A又は処理部100Cのうちの一方又は両方が情報処理装置11A又は情報処理装置11Bが備えるプロセッサ又は処理回路によって実現される点を除いては、上述した第3の例と同様である。
つまり、情報処理装置11A,11Bは、端末装置、又は外部サービスとの間で情報をやり取りするためのサーバであり得る。また、情報処理装置12は、サーバ又は端末装置であり得る。また、以降の例では、入力部と出力部を有する端末又はサーバにおける処理部は省略して記載するが、いずれの例においても、いずれか又は全ての装置が処理部を有していてもよい。
(クライアント-サーバシステムの例)
図39は、本開示の実施形態に係るシステム構成のより具体的な例の一つとして、クライアント-サーバシステムを示す図である。図示された例では、情報処理装置11(又は情報処理装置11A,11B)が端末装置であり、情報処理装置12がサーバである。
図39は、本開示の実施形態に係るシステム構成のより具体的な例の一つとして、クライアント-サーバシステムを示す図である。図示された例では、情報処理装置11(又は情報処理装置11A,11B)が端末装置であり、情報処理装置12がサーバである。
図示されているように、端末装置には、例えば、モバイルデバイス11-1、車載デバイス11-3、テレビ受像機11-4、デジタルカメラ11-5、CE(Consumer Electronics)デバイス11-6、サインボード11-7などが含まれ得る。
モバイルデバイス11-1は、スマートフォン、タブレット、又はノートPC(Personal Computer)などを含む。ウェアラブルデバイス11-2は、アイウェア又はコンタクトレンズ型端末、腕時計型端末、腕輪型端末、指輪型端末、ヘッドセット、衣服取付型又は衣服一体型端末、靴取付型又は靴一体型端末、若しくはネックレス型端末などを含む。
車載デバイス11-3は、ウェアラブルデバイス11-2、カーナビゲーションシステムやリアシートエンターテインメントシステムなどを含む。CEデバイス11-6は、レコーダ、ゲーム機、エアコンディショナー、冷蔵庫、洗濯機、若しくはデスクトップPCなどを含む。サインボード11-7は、ロボット装置、設備に付帯して設置されるセンサなどを含むデバイス、又は街頭に設置されるデジタルサインボード(デジタルサイネージ)などを含む。
これらの情報処理装置11(端末装置)は、ネットワークを介して情報処理装置12(サーバ)と通信する。端末装置とサーバとの間のネットワークは、上述した例におけるインターフェース150B、インターフェース160B、又はインターフェース170Bにあたる。さらに、これらの装置は、装置相互間で個別に連係動作してもよいし、すべての装置が連係動作可能なシステムが構築されていてもよい。
なお、図39に示した例は、システム10がクライアント-サーバシステムにおいて実現される例を理解しやすくするために示されたものであり、システム10がこのようなクライアント-サーバシステムに限定されないのは、上述したそれぞれの例で説明された通りである。
つまり、例えば、情報処理装置11,12の両方が端末装置であってもよいし、情報処理装置11,12の両方がサーバであってもよい。情報処理装置11が情報処理装置11A,11Bを含む場合、情報処理装置11A,11Bのうちの一方が端末装置であり、他方がサーバであってもよい。
また、情報処理装置11が端末装置である場合も、端末装置の例は、上述した端末装置11-1乃至11-7には限られず、他の種類の端末装置が含まれてもよい。
(ハードウェア構成)
次に、図40を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図40は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
次に、図40を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図40は、本開示の実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。
情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)903、及びRAM(Random Access Memory)905を含む。また、情報処理装置900は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。
さらに、情報処理装置900は、必要に応じて、撮像装置933、及びセンサ935を含んでもよい。情報処理装置900は、CPU901に代えて、又はこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、又はFPGA(Field Programmable Gate Array)などの処理回路を有してもよい。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919、又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。
ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。CPU901、ROM903、及びRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなど、ユーザによって操作される装置である。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話などの外部接続機器929であってもよい。
入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりする。
出力装置917は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)又は有機EL(Electro-Luminescence)ディスプレイなどの表示装置、スピーカ又はヘッドフォンなどの音声出力装置、若しくはバイブレータなどであり得る。出力装置917は、情報処理装置900の処理により得られた結果を、テキスト若しくは画像などの映像、音声若しくは音響などの音声、又はバイブレーションなどとして出力する。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイスなどにより構成される。ストレージ装置919は、例えばCPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置900に接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。
また、接続ポート923は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置900と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi、又はWUSB(Wireless USB)用の通信カードなどであり得る。
また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IP(Transmission Control Protocol/Internet Protocol)などの所定のプロトコルを用いて信号などを送受信する。
また、通信装置925に接続される通信ネットワーク931は、有線又は無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信などを含み得る。
撮像装置933は、例えば、CMOS(Complementary Metal Oxide Semiconductor)又はCCD(Charge Coupled Device)などの撮像素子、及び撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、加速度センサ、角速度センサ、地磁気センサ、照度センサ、温度センサ、気圧センサ、又は音センサ(マイクロフォン)などの各種のセンサである。
センサ935は、例えば情報処理装置900の筐体の姿勢など、情報処理装置900自体の状態に関する情報や、情報処理装置900の周辺の明るさや騒音など、情報処理装置900の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度及び高度を測定するGPS受信機を含んでもよい。
以上、情報処理装置900のハードウェア構成の一例を示した。上述した各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更され得る。
なお、本開示において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本技術は、以下のような構成をとることができる。
(1)
画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、
前記自機に関する機器情報を前記共有元機器に提供し、
生成した前記識別情報を出力する
処理部を備える
情報処理装置。
(2)
前記機器情報は、前記識別情報に関する情報を含む
前記(1)に記載の情報処理装置。
(3)
前記処理部は、
生成した前記識別情報の表示を制御し、
前記機器情報に基づいて、生成した前記識別情報を前記共有元機器に提供する
前記(2)に記載の情報処理装置。
(4)
前記識別情報は、画像、テキスト、又はコードを含む
前記(3)に記載の情報処理装置。
(5)
前記識別情報は、前記共有元機器のディスプレイに表示された画像と対応する
前記(4)に記載の情報処理装置。
(6)
表示部をさらに備え、
前記処理部は、前記表示部への前記識別情報の表示を制御し、
前記識別情報は、前記共有元機器のディスプレイに表示される
前記(4)に記載の情報処理装置。
(7)
前記処理部は、
前記自機を識別する2次元コードを生成し、
生成した前記2次元コードの表示を制御し、
前記2次元コードに関する情報を含む前記機器情報を前記共有元機器に提供する
前記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記処理部は、
前記自機を識別する音又は光に関する情報を生成し、
前記音又は前記光の出力を制御し、
前記音又は前記光に関する情報を含む前記機器情報を前記共有元機器に提供する
前記(2)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記処理部は、
前記自機を識別する音又は画像に関する情報を生成し、
前記音の出力又は前記画像の表示を制御し、
前記音又は前記画像に関する情報を含む前記機器情報を前記共有元機器に提供する
前記(2)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記機器情報は、複数の方式に対応した前記識別情報に関する情報を含む
前記(2)乃至(9)のいずれかに記載の情報処理装置。
(11)
情報処理装置が、
画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、
前記自機に関する機器情報を前記共有元機器に提供し、
生成した前記識別情報を出力する
情報処理方法。
(12)
画面共有の候補となる共有候補機器に関する機器情報を取得し、
前記共有候補機器を識別する識別情報を取得し、
取得した前記機器情報及び前記識別情報に基づいて、複数の前記共有候補機器の中から、画面共有の対象となる共有対象機器を決定する
処理部を備える
情報処理装置。
(13)
前記機器情報は、前記識別情報に関する情報を含む
前記(12)に記載の情報処理装置。
(14)
前記処理部は、
取得した前記機器情報に基づいて、前記識別情報を取得し、
取得した前記識別情報の表示を制御し、
ユーザの操作に応じて、表示された前記識別情報に応じた前記共有対象機器を決定する
前記(13)に記載の情報処理装置。
(15)
前記識別情報は、画像、テキスト、又はコードを含む
前記(14)に記載の情報処理装置。
(16)
前記識別情報は、前記共有対象機器のディスプレイに表示された画像と対応する
前記(15)に記載の情報処理装置。
(17)
前記処理部は、
ユーザの操作に応じて、前記共有候補機器に表示された2次元コードの読み取りを制御し、
読み取られた前記2次元コード、及び前記機器情報に基づいて、前記共有対象機器を決定する
前記(13)乃至(16)のいずれかに記載の情報処理装置。
(18)
前記処理部は、
前記共有候補機器から出力される音又は光に関する物理量の検知を制御し、
検知された前記物理量のパターン、及び前記機器情報に基づいて、前記共有対象機器を決定する
前記(13)乃至(17)のいずれかに記載の情報処理装置。
(19)
前記処理部は、
前記共有候補機器から出力される音又は画像からフィンガプリントを抽出し、
抽出した前記フィンガプリント、及び前記機器情報に基づいて、前記共有対象機器を決定する
前記(13)乃至(18)のいずれかに記載の情報処理装置。
(20)
前記機器情報は、複数の方式に対応した前記識別情報に関する情報を含み、
前記処理部は、前記機器情報により特定される特定の方式に従い、前記共有対象機器を決定する
前記(13)乃至(19)のいずれかに記載の情報処理装置。
画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、
前記自機に関する機器情報を前記共有元機器に提供し、
生成した前記識別情報を出力する
処理部を備える
情報処理装置。
(2)
前記機器情報は、前記識別情報に関する情報を含む
前記(1)に記載の情報処理装置。
(3)
前記処理部は、
生成した前記識別情報の表示を制御し、
前記機器情報に基づいて、生成した前記識別情報を前記共有元機器に提供する
前記(2)に記載の情報処理装置。
(4)
前記識別情報は、画像、テキスト、又はコードを含む
前記(3)に記載の情報処理装置。
(5)
前記識別情報は、前記共有元機器のディスプレイに表示された画像と対応する
前記(4)に記載の情報処理装置。
(6)
表示部をさらに備え、
前記処理部は、前記表示部への前記識別情報の表示を制御し、
前記識別情報は、前記共有元機器のディスプレイに表示される
前記(4)に記載の情報処理装置。
(7)
前記処理部は、
前記自機を識別する2次元コードを生成し、
生成した前記2次元コードの表示を制御し、
前記2次元コードに関する情報を含む前記機器情報を前記共有元機器に提供する
前記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記処理部は、
前記自機を識別する音又は光に関する情報を生成し、
前記音又は前記光の出力を制御し、
前記音又は前記光に関する情報を含む前記機器情報を前記共有元機器に提供する
前記(2)乃至(7)のいずれかに記載の情報処理装置。
(9)
前記処理部は、
前記自機を識別する音又は画像に関する情報を生成し、
前記音の出力又は前記画像の表示を制御し、
前記音又は前記画像に関する情報を含む前記機器情報を前記共有元機器に提供する
前記(2)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記機器情報は、複数の方式に対応した前記識別情報に関する情報を含む
前記(2)乃至(9)のいずれかに記載の情報処理装置。
(11)
情報処理装置が、
画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、
前記自機に関する機器情報を前記共有元機器に提供し、
生成した前記識別情報を出力する
情報処理方法。
(12)
画面共有の候補となる共有候補機器に関する機器情報を取得し、
前記共有候補機器を識別する識別情報を取得し、
取得した前記機器情報及び前記識別情報に基づいて、複数の前記共有候補機器の中から、画面共有の対象となる共有対象機器を決定する
処理部を備える
情報処理装置。
(13)
前記機器情報は、前記識別情報に関する情報を含む
前記(12)に記載の情報処理装置。
(14)
前記処理部は、
取得した前記機器情報に基づいて、前記識別情報を取得し、
取得した前記識別情報の表示を制御し、
ユーザの操作に応じて、表示された前記識別情報に応じた前記共有対象機器を決定する
前記(13)に記載の情報処理装置。
(15)
前記識別情報は、画像、テキスト、又はコードを含む
前記(14)に記載の情報処理装置。
(16)
前記識別情報は、前記共有対象機器のディスプレイに表示された画像と対応する
前記(15)に記載の情報処理装置。
(17)
前記処理部は、
ユーザの操作に応じて、前記共有候補機器に表示された2次元コードの読み取りを制御し、
読み取られた前記2次元コード、及び前記機器情報に基づいて、前記共有対象機器を決定する
前記(13)乃至(16)のいずれかに記載の情報処理装置。
(18)
前記処理部は、
前記共有候補機器から出力される音又は光に関する物理量の検知を制御し、
検知された前記物理量のパターン、及び前記機器情報に基づいて、前記共有対象機器を決定する
前記(13)乃至(17)のいずれかに記載の情報処理装置。
(19)
前記処理部は、
前記共有候補機器から出力される音又は画像からフィンガプリントを抽出し、
抽出した前記フィンガプリント、及び前記機器情報に基づいて、前記共有対象機器を決定する
前記(13)乃至(18)のいずれかに記載の情報処理装置。
(20)
前記機器情報は、複数の方式に対応した前記識別情報に関する情報を含み、
前記処理部は、前記機器情報により特定される特定の方式に従い、前記共有対象機器を決定する
前記(13)乃至(19)のいずれかに記載の情報処理装置。
1 コンテンツ再生システム, 10 情報機器, 20,20-1乃至20-N 表示機器, 21 リモートコントローラ, 30 ルータ, 40,40-1乃至40-M 配信サーバ, 50 送出機, 80 ネットワーク, 90 ネットワーク, 100 処理部, 101 入力部, 102 出力部, 103 メモリ, 104 記憶部, 105 通信部, 106 センサ, 107 カメラ, 108 電源部, 111 ボタン, 112 マイクロフォン, 121 ディスプレイ, 122 スピーカ, 131 機器情報取得部, 132 識別情報取得部, 133 共有対象機器決定部, 134 提示制御部, 135 通信制御部, 200 処理部, 201 チューナ, 202 信号入力部, 203 データ処理部, 204 ディスプレイ, 205 スピーカ, 206 通信部, 207 操作受付部, 208 出力部, 231 機器情報提供部, 232 識別情報生成部, 233 出力制御部, 234 通信制御部, 901 CPU
Claims (20)
- 画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、
前記自機に関する機器情報を前記共有元機器に提供し、
生成した前記識別情報を出力する
処理部を備える
情報処理装置。 - 前記機器情報は、前記識別情報に関する情報を含む
請求項1に記載の情報処理装置。 - 前記処理部は、
生成した前記識別情報の表示を制御し、
前記機器情報に基づいて、生成した前記識別情報を前記共有元機器に提供する
請求項2に記載の情報処理装置。 - 前記識別情報は、画像、テキスト、又はコードを含む
請求項3に記載の情報処理装置。 - 前記識別情報は、前記共有元機器のディスプレイに表示された画像と対応する
請求項4に記載の情報処理装置。 - 表示部をさらに備え、
前記処理部は、前記表示部への前記識別情報の表示を制御し、
前記識別情報は、前記共有元機器のディスプレイに表示される
請求項4に記載の情報処理装置。 - 前記処理部は、
前記自機を識別する2次元コードを生成し、
生成した前記2次元コードの表示を制御し、
前記2次元コードに関する情報を含む前記機器情報を前記共有元機器に提供する
請求項2に記載の情報処理装置。 - 前記処理部は、
前記自機を識別する音又は光に関する情報を生成し、
前記音又は前記光の出力を制御し、
前記音又は前記光に関する情報を含む前記機器情報を前記共有元機器に提供する
請求項2に記載の情報処理装置。 - 前記処理部は、
前記自機を識別する音又は画像に関する情報を生成し、
前記音の出力又は前記画像の表示を制御し、
前記音又は前記画像に関する情報を含む前記機器情報を前記共有元機器に提供する
請求項2に記載の情報処理装置。 - 前記機器情報は、複数の方式に対応した前記識別情報に関する情報を含む
請求項2に記載の情報処理装置。 - 情報処理装置が、
画面共有を行う共有元機器から送信されてくるメッセージに基づいて、画面共有の候補となる共有候補機器としての自機を識別する識別情報を生成し、
前記自機に関する機器情報を前記共有元機器に提供し、
生成した前記識別情報を出力する
情報処理方法。 - 画面共有の候補となる共有候補機器に関する機器情報を取得し、
前記共有候補機器を識別する識別情報を取得し、
取得した前記機器情報及び前記識別情報に基づいて、複数の前記共有候補機器の中から、画面共有の対象となる共有対象機器を決定する
処理部を備える
情報処理装置。 - 前記機器情報は、前記識別情報に関する情報を含む
請求項12に記載の情報処理装置。 - 前記処理部は、
取得した前記機器情報に基づいて、前記識別情報を取得し、
取得した前記識別情報の表示を制御し、
ユーザの操作に応じて、表示された前記識別情報に応じた前記共有対象機器を決定する
請求項13に記載の情報処理装置。 - 前記識別情報は、画像、テキスト、又はコードを含む
請求項14に記載の情報処理装置。 - 前記識別情報は、前記共有対象機器のディスプレイに表示された画像と対応する
請求項15に記載の情報処理装置。 - 前記処理部は、
ユーザの操作に応じて、前記共有候補機器に表示された2次元コードの読み取りを制御し、
読み取られた前記2次元コード、及び前記機器情報に基づいて、前記共有対象機器を決定する
請求項13に記載の情報処理装置。 - 前記処理部は、
前記共有候補機器から出力される音又は光に関する物理量の検知を制御し、
検知された前記物理量のパターン、及び前記機器情報に基づいて、前記共有対象機器を決定する
請求項13に記載の情報処理装置。 - 前記処理部は、
前記共有候補機器から出力される音又は画像からフィンガプリントを抽出し、
抽出した前記フィンガプリント、及び前記機器情報に基づいて、前記共有対象機器を決定する
請求項13に記載の情報処理装置。 - 前記機器情報は、複数の方式に対応した前記識別情報に関する情報を含み、
前記処理部は、前記機器情報により特定される特定の方式に従い、前記共有対象機器を決定する
請求項13に記載の情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021543687A JPWO2021044851A1 (ja) | 2019-09-03 | 2020-08-20 | |
US17/637,645 US12019941B2 (en) | 2019-09-03 | 2020-08-20 | Information processing apparatus and information processing method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019160125 | 2019-09-03 | ||
JP2019-160125 | 2019-09-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021044851A1 true WO2021044851A1 (ja) | 2021-03-11 |
Family
ID=74852875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/031379 WO2021044851A1 (ja) | 2019-09-03 | 2020-08-20 | 情報処理装置、及び情報処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12019941B2 (ja) |
JP (1) | JPWO2021044851A1 (ja) |
WO (1) | WO2021044851A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014068206A (ja) * | 2012-09-26 | 2014-04-17 | Fujitsu Mobile Communications Ltd | 情報処理端末、情報処理方法、及び機器制御システム |
WO2014207798A1 (ja) * | 2013-06-24 | 2014-12-31 | 有限会社ゆず | 音響信号出力システム |
WO2015174112A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 端末装置、システム、情報提示方法およびプログラム |
JP2016045291A (ja) * | 2014-08-21 | 2016-04-04 | 株式会社リコー | 画像表示システム、端末、画像表示装置及びプログラム |
JP2017191189A (ja) * | 2016-04-13 | 2017-10-19 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示システムの制御方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK2962478T3 (da) * | 2013-02-26 | 2020-04-20 | Mersive Tech Inc | System og fremgangsmåde til flerbrugerstyring og mediestreaming til et fælles display |
JP6460705B2 (ja) | 2014-09-30 | 2019-01-30 | Kddi株式会社 | 画面共有システム及び画面共有方法 |
KR102371683B1 (ko) * | 2015-09-23 | 2022-03-08 | 삼성전자주식회사 | 컨텐츠 공유 방법 및 이를 지원하는 전자 장치 |
-
2020
- 2020-08-20 WO PCT/JP2020/031379 patent/WO2021044851A1/ja active Application Filing
- 2020-08-20 US US17/637,645 patent/US12019941B2/en active Active
- 2020-08-20 JP JP2021543687A patent/JPWO2021044851A1/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014068206A (ja) * | 2012-09-26 | 2014-04-17 | Fujitsu Mobile Communications Ltd | 情報処理端末、情報処理方法、及び機器制御システム |
WO2014207798A1 (ja) * | 2013-06-24 | 2014-12-31 | 有限会社ゆず | 音響信号出力システム |
WO2015174112A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 端末装置、システム、情報提示方法およびプログラム |
JP2016045291A (ja) * | 2014-08-21 | 2016-04-04 | 株式会社リコー | 画像表示システム、端末、画像表示装置及びプログラム |
JP2017191189A (ja) * | 2016-04-13 | 2017-10-19 | セイコーエプソン株式会社 | 表示システム、表示装置、及び、表示システムの制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US12019941B2 (en) | 2024-06-25 |
US20220276822A1 (en) | 2022-09-01 |
JPWO2021044851A1 (ja) | 2021-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445941B2 (en) | Interactive mixed reality system for a real-world event | |
JP6503557B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20170361234A1 (en) | Persistent customized social media environment | |
US10460587B2 (en) | Information processing apparatus, information processing method, and program | |
US9100667B2 (en) | Life streaming | |
US20150199851A1 (en) | Interactivity With A Mixed Reality | |
US20180145941A1 (en) | Personal information apparatus, sharing system and sharing system operating method for servicing map-based user generated contents for social network service | |
KR101977317B1 (ko) | 사용자 단말 장치, sns 제공 서버 및 그들의 컨텐츠 제공 방법 | |
CN111417028A (zh) | 信息处理方法、装置、存储介质及电子设备 | |
CN102300205A (zh) | 基于位置和上下文的移动应用程序的宣传和传递 | |
CN102222002A (zh) | 用于通用移动数据的系统 | |
US20210385523A1 (en) | Method and system of data polling for augmented/mixed reality applications | |
TWI491232B (zh) | 管理用戶選擇型設備的方法和系統 | |
WO2016185557A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
US11445269B2 (en) | Context sensitive ads | |
CN101201253A (zh) | 以即时讯息分享资料的电子装置及其方法 | |
JP2021152928A (ja) | 端末装置、方法、およびプログラム | |
CN111641774B (zh) | 中继终端、通信系统、输入系统、中继控制方法 | |
WO2021044851A1 (ja) | 情報処理装置、及び情報処理方法 | |
CN105683959A (zh) | 信息处理设备、信息处理方法及信息处理系统 | |
EP3553734B1 (en) | Collection system, program for terminal, and collection method | |
US10862997B2 (en) | Information processing device, information processing method, and information processing system | |
US11677836B2 (en) | Server apparatus, communication system and communication method | |
US20210136285A1 (en) | Creation and display of a 360 degree looping video file | |
WO2021262376A1 (en) | Motion matching for vr full body reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20859945 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021543687 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20859945 Country of ref document: EP Kind code of ref document: A1 |