WO2021162342A1 - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
WO2021162342A1
WO2021162342A1 PCT/KR2021/001483 KR2021001483W WO2021162342A1 WO 2021162342 A1 WO2021162342 A1 WO 2021162342A1 KR 2021001483 W KR2021001483 W KR 2021001483W WO 2021162342 A1 WO2021162342 A1 WO 2021162342A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
signal
interface unit
external device
processor
Prior art date
Application number
PCT/KR2021/001483
Other languages
English (en)
French (fr)
Inventor
김동욱
송현아
쿠마르로레쉬
쿠마르 가우탐새로즈
김정섭
송기현
채성호
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2021162342A1 publication Critical patent/WO2021162342A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43637—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]

Definitions

  • the present invention relates to an electronic device and a control method thereof, and more particularly, to an electronic device capable of transmitting and receiving data with an external device and a control method thereof.
  • Screen mirroring is performed based on wireless communication between target devices, for example, a TV and a mobile device.
  • a connection failure may occur in a communication setting process due to their own communication limitations.
  • other peripheral devices such as speakers are connected to the TV in some cases, it takes a lot of time to connect to a mobile device having a relatively low priority, which may cause inconvenience to the user.
  • An object of the present invention is to provide an electronic device and a control method thereof, which can shorten the time required for a communication connection between electronic devices for content transmission and reception and reduce the possibility of errors such as connection failure.
  • An electronic device includes an interface unit; and confirming the occurrence of an event corresponding to a user tap on the external device using the electronic device through the sensor, acquiring information of the external device based on a signal received through the microphone, and using the interface unit based on the acquired information and a processor for controlling the transmission of content to an external device.
  • the processor may perform wireless communication connection with an external device through the interface unit based on the obtained information.
  • the processor may activate the microphone in response to the occurrence of the event.
  • a signal received through the microphone may include a signal in an ultrasonic frequency band.
  • Transmission of content to an external device may include at least one of mirroring and casting.
  • the event is a first event
  • the processor may identify occurrence of a second event in the external device corresponding to the user tap based on a signal received through the microphone.
  • An electronic device includes an interface unit; and the sensor confirms the occurrence of an event corresponding to a user tap on the electronic device using the external device, outputs a sound based on a signal including information of the electronic device through the speaker, and outputs the content from the external device through the interface unit and a processor controlling the reception of the .
  • a signal output through the speaker may include a signal in an ultrasonic frequency band.
  • Reception of content from an external device may include at least one of mirroring and casting.
  • the processor may control content to be received through the interface unit based on a wireless communication connection with an external device using information of the electronic device.
  • a method of controlling an electronic device includes: checking, through a sensor, occurrence of an event corresponding to a user tap on an external device using the electronic device; acquiring information of an external device based on a signal received through a microphone; and controlling the transmission of the content to an external device through the interface unit to be performed based on the obtained information.
  • the method may further include performing a wireless communication connection with an external device through the interface unit based on the obtained information.
  • the method may further include activating the microphone in response to the occurrence of the event.
  • a signal received through the microphone may include a signal in an ultrasonic frequency band.
  • Transmission of content to an external device may include at least one of mirroring and casting.
  • the event is the first event
  • the method may further include confirming occurrence of a second event in an external device corresponding to the user tap based on a signal received through the microphone.
  • a method for controlling an electronic device comprising: checking, through a sensor, occurrence of an event corresponding to a user tap on an electronic device using an external device; outputting a sound based on a signal including information of an electronic device through a speaker; and controlling the reception of content from an external device through the interface unit to be performed.
  • a signal output through the speaker may include a signal in an ultrasonic frequency band.
  • Reception of content from an external device may include at least one of mirroring and casting.
  • the controlling to transmit the content may include controlling the content to be received through the interface unit based on a wireless communication connection with an external device using information of the electronic device.
  • FIG. 1 illustrates an example of an operation between a first electronic device and a second electronic device according to an embodiment of the present invention.
  • FIG 2 illustrates an example in which screen mirroring is performed according to an embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a configuration of a first electronic device according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a control operation of a first electronic device according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating a configuration of a second electronic device according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a control operation of a second electronic device according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining processes of performing wireless communication connection and screen mirroring in a first electronic device and a second electronic device according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a control operation of a second electronic device according to another embodiment of the present invention.
  • a 'module' or 'unit' performs at least one function or operation, and may be implemented as hardware or software or a combination of hardware and software, and is integrated into at least one module. and can be implemented.
  • at least one of the plurality of elements refers to all of the plurality of elements as well as each one or a combination thereof excluding the rest of the plurality of elements.
  • FIG. 1 illustrates an example of an operation between a first electronic device and a second electronic device according to an embodiment of the present invention.
  • the first electronic device 10 and the second electronic device 20 are provided to enable mutual communication.
  • the first electronic device 10 may include a display 110 and a stand 100 supporting the display 110 .
  • the display 110 may be arranged in a horizontal or vertical direction with respect to the stand 100 as shown in FIG. 1 .
  • the first electronic device 10 may have a plurality of screen modes corresponding to the arrangement state of the display 110 and having different aspect ratios.
  • the plurality of screen modes include, for example, a landscape mode corresponding to a state in which the display 110 is arranged in a horizontal direction, and a portrait mode corresponding to a state in which the display 110 is arranged in a vertical direction. mode) may be included.
  • the display 110 is positioned horizontally with respect to the stand 100 , and has a screen with a horizontal length longer than a vertical length. Also, in the portrait mode, the display 110 is positioned vertically with respect to the stand 100 and has a screen with a vertical length longer than a horizontal length.
  • the stand 100 may rotatably support the display 110 .
  • the display 110 may be provided to pivot around a central area of the screen. That is, the display 110 may rotate clockwise or counterclockwise at least between the L position and the P position, as shown in FIG. 1 .
  • the first electronic device 10 may be implemented such that a plurality of screen modes, ie, a landscape mode and a portrait mode, are interchangeable by rotation of the display 110 .
  • the display 110 is positioned longitudinally relative to the stand 100 in the P position, based on a rotation of a predetermined angle, for example 90 degrees, from the horizontal state in the L position, as shown in FIG. 1 . can be arranged.
  • the display 110 in which the screen mode is a portrait mode displays an image produced in the portrait mode, for example, content produced by shooting the screen of the second electronic device 20 in a vertical state in a full screen.
  • an image produced in the portrait mode for example, content produced by shooting the screen of the second electronic device 20 in a vertical state in a full screen.
  • a motor M having a rotation shaft capable of forward rotation or reverse rotation may be provided.
  • the motor M is provided on the stand 100 and may be connected to the rear of the display 110 .
  • the display 110 is mounted on the rotation shaft of the motor M, and when the rotation shaft rotates as the motor M is driven, the display 110 may be rotated in a forward or reverse direction in response thereto.
  • the control signal transmitted to the motor M may be generated, for example, by a processor ( 170 in FIG. 3 ) provided in the stand 100 .
  • the generation instruction of such a control signal may be transmitted from a user input unit (130 in FIG. 3 ) such as a remote control.
  • the first electronic device 10 receives a signal provided from an external signal source, that is, an image source, for example, data related to a predetermined content, and processes the received content data according to a preset process. It can be processed and displayed as an image.
  • an external signal source that is, an image source, for example, data related to a predetermined content
  • the first electronic device 10 may be implemented as a display device provided with a display 110 capable of displaying an image, as shown in FIG. 1 .
  • the first electronic device 10 is an image processing device such as a set-top box that transmits a signal to a separate display connected thereto. may be implemented.
  • the first electronic device 10 implemented as a display device is a television (TV) capable of processing a broadcast image based on at least one of a broadcast signal received from a transmission device of a broadcast station, broadcast information, or broadcast data.
  • TV television
  • a tuner for tuning a broadcast signal for each channel may be provided in the first electronic device 10 .
  • the first electronic device 10 is an additional device that can be directly or connected to the first electronic device 10 by a cable, for example, a set-top box. , STB), an OC box (one-connect box), a media box, etc. may receive broadcast content based on at least one of a broadcast signal, broadcast information, or broadcast data received from a transmission device of a broadcast station.
  • a cable for example, a set-top box. , STB), an OC box (one-connect box), a media box, etc.
  • the connection method between the first electronic device 10 and the additional device is not limited to the cable, and various wired/wireless interfaces may be applied.
  • the first electronic device 10 may wirelessly receive broadcast content as, for example, a radio frequency (RF) signal transmitted from a broadcasting station, and for this purpose, the first electronic device 10 has an antenna capable of receiving the signal. can be provided.
  • RF radio frequency
  • broadcast content can be received through terrestrial waves, cables, satellites, etc.
  • the signal source is not limited to a broadcasting station. That is, any device or station capable of transmitting and receiving data may be included in the image source of the present invention.
  • the standard of the signal received by the first electronic device 10 may be configured in various ways corresponding to the implementation form of the device, and the first electronic device 10 is the implementation form of the interface unit (120 in FIG. 3 ), which will be described later.
  • the first electronic device 10 is the implementation form of the interface unit (120 in FIG. 3 ), which will be described later.
  • HDMI High Definition Multimedia Interface
  • HDMI-CEC Consumer Electronics Control
  • display port DP
  • DVI composite video
  • component video super video
  • DVI Digital Visual Interface
  • Thunderbolt RGB cable
  • SCART Syndicat des Constructeurs d'Appareils Radiorecepteurs et Televiseurs
  • USB universal serial bus
  • the first electronic device 10 may be implemented as a smart TV or Internet Protocol TV (IP TV).
  • a smart TV can receive and display broadcast signals in real time, and has a web browsing function, so it is possible to search and consume various contents through the Internet at the same time as displaying real-time broadcast signals, and to provide a convenient user environment for this. am.
  • the smart TV since the smart TV includes an open software platform, it can provide interactive services to users. Accordingly, the smart TV can provide a user with various contents, for example, the contents of an application providing a predetermined service through an open software platform.
  • These applications are applications that can provide various types of services, and include, for example, applications that provide services such as SNS, finance, news, weather, maps, music, movies, games, and e-books.
  • the first electronic device 10 includes various types of implementation examples capable of processing images in addition to the TV, for example, a desktop (desktop). ) or a monitor of a personal computer, such as a laptop.
  • the first electronic device 10 includes a user interface for controlling a video, a still image, an application, an on-screen display (OSD), and various operations based on signals/data stored in internal/external storage media. UI), etc. can be processed to display the signal on the screen.
  • OSD on-screen display
  • UI various operations based on signals/data stored in internal/external storage media.
  • the first electronic device 10 may receive content through wired or wireless network communication from various external devices including a content provider provided to provide content, and the type of communication is not limited.
  • the first electronic device 10 corresponds to an implementation form of the interface unit 120 to be described later, such as Wi-Fi, Wi-Fi Direct, Bluetooth, and Bluetooth low energy. energy), Zigbee, Ultra-Wideband (UWB), Near Field Communication (NFC), and the like may be received as video content through wireless network communication. Also, the first electronic device 10 may receive a content signal through wired network communication such as Ethernet.
  • the first electronic device 10 may receive content data from the second electronic device 20 as shown in FIG. 1 .
  • the second electronic device 20 may be implemented as a mobile device including a smart phone, a smart pad such as a tablet, and a portable media player.
  • the implementation form of the second electronic device 20 is not limited, and may be implemented as various devices capable of performing an operation related to content transmission with the first electronic device 10 .
  • an image displayed on the second electronic device 20 is displayed on the first electronic device 10 .
  • an image displayed on the second electronic device 20 is displayed on the first electronic device 10 .
  • a so-called screen mirroring operation may be performed between the first electronic device 10 and the second electronic device 20 .
  • the first electronic device 10 may perform a screen mirroring operation by, for example, receiving an image of content displayed on the screen of the second electronic device 20 and outputting it through the display 110 .
  • the second electronic device 20 converts data of the content in a decoded state by the decoder to the first electronic device 10 .
  • the operation related to the content transmission between the first electronic device 10 and the second electronic device 20 is not limited to the above description, and various methods may be applied. That is, as another embodiment, data of undecoded content, for example, may be performed by a cast method of transmitting address information of the content. In the cast method, the content may be decoded by the decoder of the first electronic device 10 and displayed by the display 110 .
  • transmission of the content includes at least one of mirroring and casting. can do.
  • FIG 2 illustrates an example in which screen mirroring is performed according to an embodiment of the present invention.
  • the first electronic device 10 and the second electronic device 20 are communicatively connected to each other based on a predetermined user input using the second electronic device 20 , and the connected first electronic device 10 is connected. and the second electronic device 20 may transmit/receive content for screen mirroring.
  • the second electronic device 20 may serve as a source device for providing content
  • the first electronic device 10 may serve as a sink device for receiving content from the second electronic device 20 .
  • this is only a convenient term for distinguishing the two devices, and the names or roles of the devices do not limit the functions of each device.
  • wireless communication connection between the first electronic device 10 and the second electronic device 20 is based on occurrence of a predefined event as a user input using the second electronic device 20 .
  • an operation related to transmission of content data for screen mirroring may be performed.
  • a region of the first electronic device 10 is lightly tapped with the second electronic device 20 .
  • the occurrence of an event hereinafter, also referred to as a tap event
  • a tap event corresponding to a user tap or tapping
  • performing screen mirroring between the first electronic device 10 by detecting a user tap using the second electronic device 20 is defined as a mobile tap mirroring operation.
  • Each of the first electronic device 10 and the second electronic device 20 may be provided with a sensor ( 160 in FIG. 3 and 260 in FIG. 5 ) capable of detecting vibration by a user tap. have.
  • the sensors 160 and 206 may detect vibration, that is, a dynamic force generated by a user tapping the first electronic device 10 with the second electronic device 20 , and output a signal.
  • the position of the user tab where vibration may be generated is not limited.
  • the second electronic device 20 may be tapped on the bezel portion of the display 110 that is easily contacted while being close to the first electronic device 10 .
  • the first electronic device 10 performs a screen mirroring operation based on the detection of a user tap while the screen mode of the display 110 is a portrait mode. By doing so, the image of the content displayed on the screen of the second electronic device 20 in the portrait mode may be displayed on the display 110 in full screen.
  • the first electronic device 10 since the detection of the user tap is performed regardless of the screen mode, in another embodiment, the first electronic device 10 detects vibration by the user tap while the screen mode of the display 110 is the landscape mode. , and may receive content data for screen mirroring from the second electronic device 20 .
  • identification information for a wireless communication connection between the first electronic device 10 and the second electronic device 20 may be transmitted/received through a sound corresponding to a signal of a predetermined frequency band.
  • the frequency band of the signal corresponding to the sound is not limited, and, for example, a signal of an ultrasonic band of 16 kHz or higher may be used.
  • Ultrasonic communication technology is a technology that enables data transmission and reception between electronic devices by transmitting a signal including information or data at a predetermined frequency for sound waves, that is, a frequency of an ultrasound band.
  • the first electronic device 10 may output a signal including information of the first electronic device 10 in a broadcast manner through short-range communication using a frequency of the ultrasonic band.
  • the second electronic device 20 activates the microphone ( 240 of FIG. 5 ) to receive an output from the first electronic device 10 , that is, a broadcast ultrasound signal.
  • the second electronic device 20 obtains information of the first electronic device 10 from the received ultrasound signal, and performs wireless communication connection between the two devices based on the obtained information, thereby forming the first electronic device 10 . to transmit content data for screen mirroring.
  • FIG. 3 is a block diagram illustrating a configuration of a first electronic device according to an embodiment of the present invention.
  • the first electronic device 10 includes a display 110 , an interface unit 120 , a user input unit 130 , a microphone 140 , and a speaker 150 . , a sensor 160 , a storage unit 170 , and a processor 180 .
  • the interface unit 120 may include a wired interface unit 111 and a wireless interface unit 112 .
  • the configuration of the first electronic device 10 according to an embodiment of the present invention shown in FIG. 3 is only an example, and the electronic device according to another embodiment is implemented with a configuration other than the configuration shown in FIG. 3 .
  • the first electronic device 10 of the present invention may be implemented in a form in which a configuration other than the configuration shown in FIG. 3 is added or at least one of the configuration shown in FIG. 3 is excluded.
  • the first electronic device 10 of the present invention may be implemented in a form in which a part of the configuration illustrated in FIG. 3 is changed.
  • the display 110 may display an image.
  • the implementation method of the display 110 is not limited, and for example, liquid crystal, plasma, light-emitting diode, organic light-emitting diode, surface conduction electron gun ( It can be implemented in various display methods such as surface-conduction electron-emitter), carbon nano-tube, and nano-crystal.
  • the display 110 includes a display panel for displaying an image, and may further include an additional component, for example, a driver according to an implementation method thereof.
  • An image of the content received from the second electronic device 20 may be displayed on the display 110 .
  • the first electronic device 10 may perform a screen mirroring operation, and accordingly, an image of content displayed on the screen of the second electronic device 20 may be displayed on the display 110 .
  • the interface unit 120 allows the first electronic device 10 to communicate with various external devices including the second electronic device 20 .
  • the interface unit 120 may include a wired interface unit 121 .
  • the wired interface unit 121 includes a connection unit for transmitting/receiving signals/data according to standards such as HDMI, HDMI-CEC, USB, Component, Display Port (DP), DVI, Thunderbolt, RGB cable, etc. can Here, the wired interface unit 121 may include at least one connector, terminal, or port corresponding to each of these standards.
  • the wired interface unit 121 is implemented in a form including an input port for receiving a signal from an image source or the like, and may further include an output port in some cases to transmit and receive signals in both directions.
  • the wired interface unit 121 is configured to connect an antenna capable of receiving a broadcast signal according to a broadcasting standard such as terrestrial/satellite broadcasting, or a cable capable of receiving a broadcast signal according to the cable broadcasting standard to be connected, an HDMI port, a DisplayPort , DVI port, Thunderbolt, composite video, component video, super video, SCART, etc. may include a connector or port according to the video and / or audio transmission standard.
  • the first electronic device 10 may have a built-in antenna capable of receiving a broadcast signal.
  • the first electronic device 10 may further include a tuner for tuning the received broadcast signal for each channel.
  • the tuner may include a demodulator that demodulates a broadcast signal of a specific tuned channel and outputs a signal in the form of a transport stream (TS).
  • TS transport stream
  • the tuner and the demodulator may be designed as a single integrated chip, or may be implemented as two separate chips.
  • the wired interface unit 121 may include a connector or a port according to a universal data transmission standard such as a USB port.
  • the wired interface unit 121 may include a connector or a port to which an optical cable can be connected according to an optical transmission standard.
  • the wired interface unit 121 is connected to an external microphone or an external audio device having a microphone, and may include a connector or port capable of receiving or inputting an audio signal from the audio device.
  • the interface unit 121 is connected to an audio device such as a headset, earphone, or external speaker, and may include a connector or port capable of transmitting or outputting an audio signal to the audio device.
  • the wired interface unit 121 may include a connector or port according to a network transmission standard such as Ethernet.
  • the wired interface unit 121 may be implemented as a LAN card connected to a router or a gateway by wire.
  • the wired interface unit 121 is wired through the connector or port in a 1:1 or 1:N (N is a natural number) method such as an external device such as a set-top box, an optical media player, or an external display device, speaker, server, etc. By being connected, a video/audio signal is received from the corresponding external device or a video/audio signal is transmitted to the corresponding external device.
  • the wired interface unit 121 may include a connector or a port for separately transmitting video/audio signals.
  • the wired interface unit 121 may be implemented as a communication circuitry including a wireless communication module (S/W module, chip, etc.) corresponding to various types of communication protocols.
  • a wireless communication module S/W module, chip, etc.
  • the wired interface unit 121 is embedded in the first electronic device 10 , but may be implemented in the form of a dongle or a module to be detachably attached to the connector of the first electronic device 10 .
  • the interface unit 120 may include a wireless interface unit 122 .
  • the wireless interface unit 122 may be implemented in various ways corresponding to the implementation form of the first electronic device 10 .
  • the wireless interface unit 122 is a communication method RF (radio frequency), Zigbee (Zigbee), Bluetooth (Bluetooth, BT), Bluetooth low energy (Bluetooth Low Energy, BLE), Wi-Fi (Wi-Fi), Wi-Fi Wireless communication such as Direct, Ultra WideBand (UWB) and Near Field Communication (NFC) can be used.
  • the wireless interface unit 122 may be implemented as a communication circuitry including a wireless communication module (S/W module, chip, etc.) corresponding to various types of communication protocols.
  • a wireless communication module S/W module, chip, etc.
  • the wireless interface unit 122 includes a wireless LAN unit.
  • the wireless LAN unit may be wirelessly connected to an external device through an access point (AP) under the control of the processor 180 .
  • the wireless LAN unit includes a WiFi module.
  • the wireless interface unit 122 includes a wireless communication module that wirelessly supports one-to-one direct communication between the first electronic device 10 and an external device without an access point.
  • the wireless communication module may be implemented to support communication methods such as Wi-Fi Direct, Bluetooth, and Bluetooth low energy.
  • the storage unit 170 may store identification information (eg, MAC address or IP address) on the external device, which is a communication target device. have.
  • the wireless interface unit 122 is provided to perform wireless communication with an external device by at least one of a wireless LAN unit and a wireless communication module according to performance.
  • the air interface unit 122 may further include a communication module using various communication methods such as mobile communication such as LTE, EM communication including a magnetic field, and visible light communication.
  • the wireless interface unit 122 may include an IR transmitter and/or an IR receiver capable of transmitting and/or receiving an IR (Infrared) signal according to an infrared communication standard.
  • the wireless interface unit 122 may receive or input a remote control signal from a remote control or other external device through an IR transmitter and/or an IR receiver, or transmit or output a remote control signal to another external device.
  • the first electronic device 10 may transmit/receive a remote control signal to and from the remote control or other external device through the wireless interface unit 122 of another method such as Wi-Fi or Bluetooth.
  • the wireless interface unit 122 may transmit predetermined data as information of a user's voice received through the microphone 140 to an external device such as a server.
  • the form/type of the transmitted data is not limited, and for example, an audio signal corresponding to a voice uttered by a user or a voice characteristic extracted from the audio signal may be included.
  • the wireless interface unit 122 may receive data of the processing result of the user's voice from an external device such as a server.
  • the first electronic device 10 may output a sound corresponding to the voice processing result through an internal or external speaker based on the received data.
  • the above-described embodiment is an example, and the user's voice may be processed by itself in the first electronic device 10 without transmitting the user's voice to the server. That is, in another embodiment, the first electronic device 10 may be implemented to perform the role of a speech-to-text (STT) server.
  • STT speech-to-text
  • the first electronic device 10 may communicate with an input device such as a remote control through the wireless interface unit 122 to receive a sound signal corresponding to the user's voice from the input device.
  • an input device such as a remote control
  • the wireless interface unit 122 may communicate with an input device such as a remote control through the wireless interface unit 122 to receive a sound signal corresponding to the user's voice from the input device.
  • a communication module that communicates with an external server and the like and a communication module that communicates with the remote control may be different from each other.
  • the first electronic device 10 may communicate with the server through an Ethernet modem or Wi-Fi module, and may communicate with a remote controller and a Bluetooth module.
  • a communication module for communicating with an external server and the like and a communication module for communicating with the remote control may be the same.
  • the first electronic device 10 may communicate with a server and a remote controller through a Bluetooth module.
  • the first electronic device 10 may receive data of content for screen mirroring, that is, content displayed on the second electronic device 20 through the interface unit 120 .
  • the first electronic device 10 may receive content through the Wi-Fi module as the wireless interface unit 122 .
  • a content reception method for screen mirroring may include at least one of mirroring and casting.
  • the interface unit 120 may receive the decoded content from the second electronic device 20 .
  • the interface unit 120 may receive, for example, data of the undecoded content from the second electronic device 20 .
  • the interface unit 120 may receive address information for obtaining the corresponding content from the second electronic device 20 , and access the corresponding address, for example, to receive the content from the server.
  • the user input unit 130 transmits various preset control commands or non-limited information to the processor 180 in response to a user's input.
  • the user input unit 130 includes a keypad (or input panel) including buttons such as a power key, a number key, and a menu key provided in the main body of the first electronic device 10 .
  • the user input unit 130 includes an input device that generates a preset command/data/information/signal to remotely control the first electronic device 10 and transmits the generated command/data/information/signal to the first electronic device 10 .
  • the input device includes a remote control, a keyboard, a mouse, and the like, and may be separated from the main body of the first electronic device 10 to receive a user input.
  • the remote control may be provided with a touch sensing unit that receives a user's touch input and/or a motion sensing unit that detects its own motion by the user.
  • the input device includes a terminal device such as a smart phone on which a remote control application is installed, and in this case, a user's touch input through the touch screen can be received.
  • the input device is an example of an external device capable of wireless communication with the first electronic device 10 , and wireless communication includes Bluetooth, infrared communication, RF communication, wireless LAN, Wi-Fi Direct, and the like.
  • the input device includes a terminal device, such as a smartphone, on which a remote control application is installed.
  • the microphone 140 may receive a sound, that is, a sound wave.
  • the microphone 140 may receive a sound wave corresponding to a voice uttered by a user or a sound generated by various internal or external causes.
  • the frequency band of the signal corresponding to the sound received through the microphone 140 is not limited, and may include an audible or inaudible signal, for example, ultrasound or a frequency band signal.
  • the sound input through the microphone 140 is converted into an electrical signal by the signal conversion unit.
  • the signal converter may include an AD converter that converts analog sound waves into digital signals.
  • the microphone 140 is implemented to be provided in the first electronic device 10 by itself, and the number, shape, and installation position of the microphones provided in the first electronic device 10 are not limited.
  • the first electronic device 10 may be implemented in a form including the microphone 140 provided in a separate device.
  • the first electronic device 10 is a display device such as a television
  • a sound wave is received through a microphone 140 installed in a remote control that is provided to receive a user input, and a corresponding sound signal is generated from the remote control. 1 may be transmitted to the electronic device 10 .
  • the analog sound wave received through the microphone 140 of the remote control may be converted into a digital signal and transmitted to the first electronic device 10 .
  • the speaker 150 outputs sound, that is, sound.
  • the speaker 150 may be implemented as at least one loudspeaker capable of outputting sound.
  • the speaker 150 may output a sound corresponding to an audio signal/sound signal of a plurality of channels.
  • the speaker 150 may output a sound generated according to processing of a sound signal corresponding to a user's voice received through the microphone 140 .
  • the frequency band of the signal corresponding to the sound output through the speaker 150 is not limited, and may include a signal of an audible or inaudible, for example, an ultrasonic frequency band.
  • the first electronic device 10 activates the speaker 150 based on the occurrence of an event corresponding to a user tap using an external device, for example, the second electronic device 20 .
  • a sound corresponding to a signal of a predefined frequency band may be output through the .
  • the signal corresponding to the output sound may include information of the first electronic device 10 as identification information for wireless communication connection between the first electronic device 10 and the second electronic device 20 .
  • the signal including the information of the first electronic device 10 may include, for example, a signal of an ultrasonic frequency band, but is not limited thereto. That is, as another embodiment, the speaker 150 may output a signal of an audible frequency band as a signal including information of the first electronic device 10 , and in this case, a predetermined notification sound is generated through the speaker 150 . can be output.
  • the sensor 160 may detect the vibration of the first electronic device 10 generated by various internal or external causes.
  • the senor 160 may include an acceleration sensor provided in the first electronic device 10 .
  • the implementation form of the sensor 160 is not limited, and may be implemented as various types of sensors capable of detecting vibrations generated by a user tap using the second electronic device 20 .
  • the sensor 160 may be implemented as a 3-axis or 6-axis acceleration sensor, and in some cases, may be implemented as a combination of an acceleration sensor and an angular velocity sensor.
  • the sensor 160 may output sensor data in response to the vibration generated in the first electronic device 10 , for example, based on the amount of change in the x, y, and z axes.
  • a vibration of a predetermined magnitude that is, a threshold value or more, is generated by the sensor 160 . It can identify what is detected.
  • the corresponding vibration is determined by a user input of an external device, for example, a tap event using the second electronic device 20 . can be identified.
  • the storage unit 170 is configured to store various data of the first electronic device 10 .
  • the storage unit 170 should retain data even when power supplied to the first electronic device 10 is cut off, and may be provided as a writable non-volatile memory (writable ROM) to reflect changes. That is, the storage unit 170 may be provided with any one of a flash memory, an EPROM, or an EEPROM.
  • the storage unit 170 may further include a volatile memory such as DRAM or SRAM, in which the read or write speed of the first electronic device 10 is faster than that of the nonvolatile memory.
  • the data stored in the storage unit 170 includes, for example, an operating system for driving the first electronic device 10 , and various programs, applications, image data, and additional data executable on the operating system.
  • the storage unit 170 may store signals or data input/output corresponding to the operation of each component under the control of the processor 180 .
  • the storage unit 170 includes a control program for controlling the first electronic device 10, a UI related to an application provided by a manufacturer or downloaded from the outside, images for providing the UI, user information, documents, databases, or related information. data can be stored.
  • the application stored in the storage unit 170 may include a machine learning application or a deep learning application that operates based on previously performed learning.
  • the storage unit 170 may further store learning data enabling the processor 180 to perform an operation to which a predetermined learning algorithm is applied.
  • the first electronic device 10 performs learning based on data of the storage unit 170 embedded in the device itself and an operation to apply an algorithm model according to the learning, AI in an on-device environment. It can be implemented to work. However, in the present invention, the embodiment of the first electronic device 10 is not limited to the on-device AI device, and in another embodiment, the first electronic device 10 has a separate database accessible through the interface unit 110 . It can be implemented to perform a learning based on the data stored in the , and an operation to apply an algorithm model according to the learning.
  • the image displayed on the first electronic device 10 may be derived from data stored in a nonvolatile storage unit 170 such as a flash memory or a hard disk.
  • the storage unit 170 may be provided inside or outside the first electronic device 10 , and when provided outside, the storage unit 170 is connected to the first electronic device 10 through the wired interface unit 121 . can be connected
  • the term "storage unit” refers to a storage unit 170, a ROM (not shown) in the processor 180, a RAM (not shown), or the first electronic device 10. It is defined as including a mountable memory card (not shown) (eg, micro SD card, memory stick).
  • the processor 180 controls all components of the first electronic device 10 to operate.
  • the processor 180 includes a control program (or instructions) for performing such a control operation, a non-volatile memory in which the control program is installed, a volatile memory in which at least a part of the installed control program is loaded, and the loaded control program. It may include at least one general-purpose processor that executes, for example, a microprocessor, an application processor, or a central processing unit (CPU).
  • the processor 180 may include a single core, a dual core, a triple core, a quad core, and multiple cores thereof.
  • the processor 180 includes a plurality of processors, for example, a main processor and a sub processor operating in a sleep mode (eg, only standby power is supplied and does not operate as a display device). ) may be included.
  • the processor, ROM, and RAM may be interconnected through an internal bus.
  • the processor 180 may include an image processing unit that performs various preset processes on content received from various external devices including the second electronic device 20 .
  • the processor 180 may display an image corresponding to the image signal on the display 110 by outputting an output signal generated or combined by performing image processing to the display 110 .
  • the image processing unit may include a decoder that decodes the image signal to correspond to the image format of the first electronic device 10 , and a scaler that adjusts the image signal to match the output standard of the display 110 . .
  • the decoder is, for example, but not limited to, an H.264 decoder. That is, the video decoder according to the embodiment of the present invention can be implemented as a decoder according to various compression standards, such as a Moving Picture Experts Group (MPEG) decoder or a High Efficiency Video Codec (HEVC) decoder.
  • MPEG Moving Picture Experts Group
  • HEVC High Efficiency Video Codec
  • the type of content processed by the image processing unit is not limited.
  • the content that can be processed by the image processing unit may further include not only a moving picture such as a video, but also a picture such as a JPEG file, a still image such as a background screen, and a graphic user interface (GUI).
  • a moving picture such as a video
  • a picture such as a JPEG file
  • a still image such as a background screen
  • GUI graphic user interface
  • the type of the image processing process performed by the image processing unit of the present invention is not limited, for example, de-interlacing for converting an interlace broadcasting signal into a progressive method, and image quality improvement. At least one of various processes such as noise reduction, detail enhancement, frame refresh rate conversion, and line scanning may be performed.
  • the image processing unit may be implemented as an image board in which circuit configurations such as various chipsets, memories, electronic components, and wiring for performing each of these processes are mounted on a printed circuit board (PCB).
  • the processor 180 including a tuner and an image processing unit may be provided on a single image board in the first electronic device 10 .
  • this is only an example and may be disposed on a plurality of printed circuit boards communicatively connected to each other.
  • the processor 180 may include a signal processing unit that processes an audio signal/sound signal.
  • the sound signal processed by the signal processing unit may be output through the speaker 150 .
  • the signal processing unit includes information of the first electronic device 10 in a predefined frequency band, for example, an ultrasound band, for example, a signal including identification information such as a MAC address; In other words, an ultrasound signal may be generated.
  • a predefined frequency band for example, an ultrasound band, for example, a signal including identification information such as a MAC address;
  • an ultrasound signal may be generated.
  • the image processing unit or the signal processing unit may be implemented as a separate microprocessor separate from the processor 180 .
  • the processor 180 may be implemented in a form included in a main SoC mounted on a PCB embedded in the first electronic device 10 .
  • the control program may include program(s) implemented in the form of at least one of a BIOS, a device driver, an operating system, firmware, a platform, and an application.
  • the application is pre-installed or stored in the first electronic device 10 when the first electronic device 10 is manufactured, or received data of the application from the outside when used later, and added to the received data. Based on it, it may be installed in the first electronic device 10 .
  • Data of the application may be downloaded to the first electronic device 10 from, for example, an external server such as an application market.
  • an external server is an example of the computer program product of the present invention, but is not limited thereto.
  • the control program may be recorded in a storage medium readable by a device such as a computer.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory storage medium' is a tangible device and only means that it does not contain a signal (eg, electromagnetic wave). It does not distinguish the case where it is stored as
  • the 'non-transitory storage medium' may include a buffer in which data is temporarily stored.
  • FIG. 4 is a flowchart illustrating a control operation of a first electronic device according to an embodiment of the present invention.
  • the processor 180 of the first electronic device 10 is a user using an external device, that is, the second electronic device 20 through the sensor 160 .
  • the occurrence of an event corresponding to the tap may be checked ( 301 ).
  • the processor 180 may identify occurrence of a tap event using an external device when a vibration greater than or equal to a preset threshold is sensed based on the sensed data output from the sensor 160 .
  • the processor 180 may output a sound based on a signal including information of the first electronic device 10 through the speaker 150 ( 302 ).
  • the processor 180 sets the frequency of the first electronic device 10 based on the sensor 106 detecting a tap event using the second electronic device 20 at a frequency of the ultrasonic band as a predefined band.
  • a signal including information including information may be generated, and a sound based on the generated signal may be output through the speaker 150 .
  • the output sound is received by the microphone 240 of the second electronic device 20, and the first electronic device 10 and the second electronic device 20 perform wireless communication based on information included in the signal. make it possible
  • the processor 180 may receive content from an external device, that is, the second electronic device 20 through the interface unit 120 ( 303 ).
  • the interface unit 120 includes the first electronic device 10 and the second electronic device ( According to the wireless communication connection of 20 ), data of content for screen mirroring may be received from the second electronic device 20 .
  • the operation of the processor 180 as described above may be implemented as a computer program stored in a computer program product (not shown) provided separately from the first electronic device 10 .
  • the computer program product includes a memory in which instructions corresponding to the computer program are stored, and a processor.
  • the sensor 160 confirms the occurrence of an event corresponding to a user tap using an external device, and a signal including information of the first electronic device 10 through the speaker 150 outputting a sound based on , and receiving content from an external device through the interface unit 120 .
  • the first electronic device 10 may download and execute a computer program stored in a separate computer program product to perform the operation of the processor 180 .
  • FIG. 5 is a block diagram illustrating a configuration of a second electronic device according to an embodiment of the present invention.
  • the second electronic device 20 includes a display 210 , an interface unit 220 , a user input unit 230 , a microphone 240 , and a speaker 250 . , a sensor 260 , a storage 270 and a processor 280 .
  • the interface unit 220 may include a wired interface unit 211 and a wireless interface unit 212 .
  • the configuration of the second electronic device 20 according to an embodiment of the present invention shown in FIG. 5 is only an example, and the mobile device according to another embodiment is implemented with a configuration other than the configuration shown in FIG. 5 .
  • the second electronic device 20 of the present invention may be implemented in a form in which a configuration other than the configuration shown in FIG. 5 is added or at least one of the configuration shown in FIG. 5 is excluded.
  • the second electronic device 20 of the present invention may be implemented in a form in which a part of the configuration illustrated in FIG. 5 is changed.
  • the same names are used for components that perform the same operation as the first electronic device 10 shown in FIG. 3 .
  • descriptions of overlapping parts may be omitted.
  • the display 210 may display an image.
  • the implementation method of the display 210 is not limited and may be implemented in various display methods.
  • the display 210 may include a touch screen capable of receiving a user's touch input.
  • the interface unit 220 enables the second electronic device 20 to communicate with various external devices including the first electronic device 10 .
  • the interface unit 220 may include a wired interface unit 221 .
  • the wired interface unit 221 may include a connector or port according to a universal data transmission standard such as a USB port.
  • the wired interface unit 221 may be implemented as a communication circuitry including a wireless communication module (S/W module, chip, etc.) corresponding to various types of communication protocols.
  • a wireless communication module S/W module, chip, etc.
  • the interface unit 220 may include a wireless interface unit 222 .
  • the wireless interface unit 222 may be implemented in various ways corresponding to the implementation form of the second electronic device 20 .
  • the wireless interface unit 222 is a communication method RF (radio frequency), Zigbee (Zigbee), Bluetooth (Bluetooth, BT), Bluetooth low energy (Bluetooth Low Energy, BLE), Wi-Fi (Wi-Fi), Wi-Fi Direct, UWB (Ultra WideBand) and NFC (Near Field Communication) such as wireless communication can be used.
  • the wireless interface unit 222 may be implemented as a communication circuitry including a wireless communication module (S/W module, chip, etc.) corresponding to various types of communication protocols.
  • a wireless communication module S/W module, chip, etc.
  • the wireless interface unit 222 includes a wireless LAN unit.
  • the wireless LAN unit may be wirelessly connected to an external device through an access point (AP) under the control of the processor 280 .
  • the wireless LAN unit includes a WiFi module.
  • the wireless interface unit 222 includes a wireless communication module that wirelessly supports one-to-one direct communication between the second electronic device 20 and an external device without an access point.
  • the wireless communication module may be implemented to support communication methods such as Wi-Fi Direct, Bluetooth, and Bluetooth low energy.
  • the storage unit 270 may store identification information (eg, MAC address or IP address) on the external device, which is a communication target device. have.
  • the second electronic device 20 may perform wireless communication such as Wi-Fi Direct with the first electronic device 10 through the wireless interface unit 222, and as identification information for this, the first electronic device ( The Wi-Fi MAC address of 10) may be received from the first electronic device 10 through an ultrasonic communication method.
  • wireless communication such as Wi-Fi Direct
  • the Wi-Fi MAC address of 10 may be received from the first electronic device 10 through an ultrasonic communication method.
  • the wireless interface unit 222 is provided to perform wireless communication with an external device by at least one of a wireless LAN unit and a wireless communication module according to performance.
  • the air interface unit 222 may further include a communication module using various communication methods such as mobile communication such as LTE, EM communication including a magnetic field, and visible light communication.
  • the wireless interface unit 222 may transmit predetermined data as information of a user's voice received through the microphone 240 to an external device such as a server.
  • the form/type of the transmitted data is not limited, and for example, an audio signal corresponding to a voice uttered by a user or a feature extracted from the audio signal may be included.
  • the wireless interface unit 222 may receive data of the processing result of the user's voice from an external device such as a server.
  • the second electronic device 20 may output a sound corresponding to the voice processing result through an internal or external speaker based on the received data.
  • the above-described embodiment is an example, and the user's voice may be processed by itself within the second electronic device 20 without transmitting the user's voice to the server. That is, in another embodiment, the second electronic device 20 can be implemented to perform the role of the STT server.
  • the second electronic device 20 may perform a screen mirroring operation, and accordingly, the display 110 of the first electronic device 10 and the display 210 of the second electronic device 20 Data of the corresponding content may be transmitted to the first electronic device 10 through the wireless interface unit 222 to display an image of the content displayed in the .
  • the second electronic device 20 may transmit content data for screen mirroring through the interface unit 220 .
  • the second electronic device 20 as the wireless interface unit 222 may transmit content data through the Wi-Fi module.
  • a content transmission method for screen mirroring may include at least one of mirroring and casting.
  • the interface unit 220 may transmit the decoded content to the first electronic device 10 .
  • the interface unit 220 may transmit, for example, data of undecoded content to the first electronic device 10 .
  • the interface unit 220 provides address information for obtaining the corresponding content to the first electronic device 10 , and the first electronic device 10 accesses the corresponding address through the interface unit 120 . By doing so, for example, it is possible to receive content from a server.
  • the user input unit 230 transmits various preset control commands or non-limited information to the processor 280 in response to a user's input.
  • the user input unit 230 receives at least one physical button formed on the front or side of the second electronic device 20, an object such as a virtual keypad or menu item displayed on the touch screen, and a user's touch input to the touch screen. At least one of possible separate input devices (stylus, pointing device, etc.) may be included.
  • the microphone 240 may receive a sound, that is, a sound wave.
  • the microphone 240 is implemented to be provided by itself in the second electronic device 20 , and the number, shape, and installation position of the microphones provided in the second electronic device 20 are not limited.
  • the microphone 240 may receive a sound wave corresponding to a voice uttered by a user or a sound generated by various internal or external causes.
  • the frequency band of the signal corresponding to the sound received through the microphone 240 is not limited, and may include an audible or inaudible signal, for example, ultrasound or a frequency band signal.
  • the microphone 240 may be activated, ie, turned on, based on the second electronic device 20 detecting a tap event for the first electronic device 10 as an external device.
  • the microphone 240 may receive, as a sound wave, a signal of an ultrasonic frequency band broadcast from the first electronic device 10 by being activated, ie, opened, by the occurrence of a tap event. That is, the signal output from the first electronic device 10 may be received by the second electronic device 20 in which the microphone 240 is opened, not by other nearby devices.
  • the ultrasound signal received by the microphone 240 may include information of the first electronic device 10 .
  • the signal including the information of the first electronic device 10 may include, for example, a signal of an ultrasonic frequency band, but is not limited thereto. That is, as another embodiment, the microphone 240 may receive a signal in an audible frequency band as a signal including information of the first electronic device 10 , and in this case, a predetermined notification sound is transmitted through the microphone 240 . can be received.
  • the speaker 250 outputs sound, that is, sound.
  • the speaker 250 may be implemented as at least one loudspeaker capable of outputting sound.
  • the speaker 250 may output a sound corresponding to an audio signal/sound signal of a plurality of channels.
  • the speaker 250 may output a sound generated according to processing of a sound signal corresponding to a user's voice received through the microphone 240 .
  • the frequency band of the signal corresponding to the sound output through the speaker 250 is not limited, and may include a signal of an audible or inaudible, for example, an ultrasonic frequency band.
  • the sensor 260 may detect the vibration of the second electronic device 20 generated by various internal or external causes.
  • the senor 260 may include an acceleration sensor provided in the second electronic device 20 .
  • the implementation form of the sensor 260 is not limited, and may be implemented as various types of sensors capable of detecting vibration generated by a user tap on the first electronic device 10 .
  • the sensor 260 may be implemented as a 3-axis or 6-axis acceleration sensor, and in some cases, may be implemented as a combination of an acceleration sensor and an angular velocity sensor.
  • the senor 260 based on the sensor data output from the sensor 260 , the sensor 260 has a predetermined magnitude, that is, a vibration greater than or equal to a threshold. It can identify what is detected.
  • the second electronic device 20 detects a user input to the external device, for example, a tap event for an area of the first electronic device 10 . occurrence can be identified.
  • the storage unit 270 is configured to store various data of the second electronic device 20 .
  • the data stored in the storage unit 270 includes, for example, an operating system for driving the second electronic device 20 , and various programs, applications, image data, and additional data executable on the operating system.
  • the storage unit 270 may store the Wi-Fi MAC address of the first electronic device 10 as identification information capable of performing wireless communication with the first electronic device 10 as an external device.
  • the information of the first electronic device 10 is included in the ultrasonic signal and output from the first electronic device 10 , and the ultrasonic signal is received by the microphone 240 to be acquired by the second electronic device 20 . .
  • the processor 280 controls all components of the second electronic device 20 to operate.
  • the processor 280 includes a control program (or instructions) for performing such a control operation, a non-volatile memory in which the control program is installed, a volatile memory in which at least a part of the installed control program is loaded, and the loaded control program. It may include at least one general-purpose processor that executes, for example, a microprocessor, an application processor, or a central processing unit (CPU).
  • the processor 280 may include an image processing unit that performs various preset processes on content data received from various external devices.
  • the processor 280 may display an image corresponding to the image signal on the display 210 by outputting an output signal generated or combined by performing image processing to the display 210 .
  • the processor 280 may include a signal processing unit for processing an audio signal/sound signal.
  • the sound signal processed by the signal processing unit may be output through the speaker 250 .
  • the processor 280 may be implemented in a form included in a main SoC mounted on a PCB embedded in the second electronic device 20 .
  • the control program may include program(s) implemented in the form of at least one of a BIOS, a device driver, an operating system, firmware, a platform, and an application.
  • the application is pre-installed or stored in the second electronic device 20 when the second electronic device 20 is manufactured, or received data of the application from the outside when used later, and added to the received data. Based on it, it may be installed in the second electronic device 20 .
  • Data of the application may be downloaded to the second electronic device 20 from, for example, an external server such as an application market.
  • an external server is an example of the computer program product of the present invention, but is not limited thereto.
  • FIG. 6 is a flowchart illustrating a control operation of a second electronic device according to an embodiment of the present invention.
  • the processor 280 of the second electronic device 20 provides a user for the external device, that is, the first electronic device 10 through the sensor 260 .
  • the occurrence of an event corresponding to the tap may be checked ( 401 ).
  • the processor 280 may identify occurrence of a tap event with respect to the external device when a vibration greater than or equal to a preset threshold is sensed.
  • the processor 280 may acquire information of an external device, that is, the first electronic device 10 , based on a signal received through the microphone 240 ( 402 ).
  • the processor 280 opens, that is, activates, the microphone 240 based on the sensing of the tap event for the first electronic device 10 by the sensor 206 , thereby activating the first electronic device 10 .
  • the processor 280 may transmit the content to the external device, that is, the first electronic device 10 through the interface unit 220 based on the information obtained in step 402 ( 403 ).
  • the processor 280 performs a wireless communication connection with the first electronic device 10 based on the obtained information of the first electronic device 10 , and mirrors the screen to the first electronic device 10 accordingly. It is possible to transmit data of the content for
  • the operation of the processor 280 as described above may be implemented as a computer program stored in a computer program product (not shown) provided separately from the second electronic device 20 .
  • the computer program product includes a memory in which instructions corresponding to the computer program are stored, and a processor.
  • the instruction when executed by the processor, checks the occurrence of an event corresponding to a user tap on the external device through the sensor 260, and acquires information of the external device based on a signal received through the microphone 240, , and transmitting the content to an external device through the interface unit 220 based on the obtained information.
  • the second electronic device 20 may download and execute a computer program stored in a separate computer program product to perform the operation of the processor 280 .
  • FIG. 7 is a diagram for explaining processes of performing wireless communication connection and screen mirroring in a first electronic device and a second electronic device according to an embodiment of the present invention.
  • an event corresponding to a user tap may be generated in the first electronic device 10 and the second electronic device 20 ( 501 ).
  • the event corresponding to the user tap may include, for example, a tap event as a user input for tapping an area of the first electronic device 10 with the second electronic device 20 .
  • the generation of a tap event may be detected by the sensor 160 ( 502 ).
  • the processor 180 of the first electronic device 10 may identify it as the occurrence of a tap event.
  • the generation of a tap event may be detected by the sensor 260 ( S503 ).
  • the processor 280 of the second electronic device 20 may identify this as the occurrence of a tap event.
  • the processor 280 of the second electronic device 20 may activate, that is, turn on the microphone 240 in response to the occurrence of the tap event detected in step 503 (step 504).
  • the activated microphone 240 is in a state capable of receiving sound from the surroundings, that is, sound waves.
  • the processor 180 of the first electronic device 10 may generate an ultrasound signal including information of the first electronic device 10 in response to the occurrence of the tap event detected in step 501 ( 505 ).
  • the information of the first electronic device 10 is identification information for wireless communication, and may include, for example, a MAC address of the first electronic device 10 .
  • the processor 180 may output a sound based on the ultrasound signal generated in operation 505 through the speaker 150 (operation 506 ).
  • an ultrasonic wave including information of the first electronic device 10 may be transmitted from the first electronic device 10 to the second electronic device 20 ( 507 ).
  • the second electronic device 20 may receive the ultrasonic wave transmitted in operation 507 as sound by the microphone 240 activated in operation 504 (operation 508).
  • the processor 280 of the second electronic device 20 may acquire information of the first electronic device 10 from the ultrasound signal corresponding to the sound received in operation 508 (operation 509).
  • the processor 280 may process the ultrasonic signal received through the microphone 240 to extract information of the first electronic device 10 .
  • the processor 280 may establish a wireless communication connection with the first electronic device 10 through the interface unit 220 based on the information obtained in operation 509 ( 510 ). Based on the communication connection in step 510 , data transmission/reception according to communication between the wireless interface unit 222 of the second electronic device 20 and the wireless interface unit 222 of the first electronic device 10 is enabled.
  • the processor 180 may output the content for screen mirroring, that is, the content corresponding to the image being displayed on the display 110, to the first electronic device 10 through the interface unit 120 (511). ). Accordingly, the screen mirroring operation may be started in the second electronic device 20 .
  • content for screen mirroring may be transmitted from the second electronic device 20 to the first electronic device 10 ( 512 ).
  • the processor 180 of the first electronic device 10 may receive the content transmitted in step 512 through the interface unit 220 ( 513 ).
  • the processor 180 may control the display 110 to display the image of the content received in step 513 ( 514 ). Accordingly, the image of the content being displayed on the display 210 of the second electronic device 20 is also displayed on the display 110 of the first electronic device 10, so that the screen mirroring operation can be completed.
  • a second electronic device for wireless communication between the two devices is performed using ultrasonic communication.
  • the time required for a communication connection between the first electronic device 10 and the second electronic device 20 can be shortened compared to a related technology using Bluetooth pairing.
  • the ultrasonic signal broadcast from the first electronic device 10 is received by the second electronic device 20 in which the microphone 240 is activated, not by other nearby devices, the occurrence of malfunctions such as connection failure is prevented. can be minimized.
  • a related technique using Bluetooth pairing may be performed using, for example, a setting operation for connection and security between electronic devices.
  • the source device such as a mobile device, enters, for example, a BLE pairing mode, and discovers a peripheral device at a predefined time interval (eg, 250 ms). )can do.
  • a predefined time interval eg, 250 ms.
  • a sink device such as a TV outputs a connection signal based on, for example, GATT (Generic Attribute Profile) as a pairing signal for communication to a peripheral device, and communicates with the source device in response thereto.
  • GATT Generic Attribute Profile
  • Bluetooth connection peripheral devices using limited bandwidth tend to be diversified, and since Bluetooth connection of peripheral devices has priority over mobile devices for screen mirroring in most cases, the time until connection of the mobile device as a source device This can take a lot.
  • the efficiency and accuracy of the communication connection between the first electronic device 10 and the second electronic device 20 is increased, compared to the related technology using Bluetooth pairing.
  • FIG. 8 is a flowchart illustrating a control operation of a second electronic device according to another embodiment of the present invention.
  • the processor 280 of the second electronic device 20 detects an event corresponding to a user tap on the first electronic device 10 such as a TV as an external device through the sensor 260 .
  • the occurrence can be confirmed (601).
  • the processor 280 may identify that a tap event for the external device has occurred when a vibration greater than or equal to a preset threshold is sensed.
  • the tap event identified in the second electronic device 20 is referred to as the first event, as shown in FIG. 4 .
  • a tap event identified by the first electronic device 10 as a counterpart device is defined as a second event, respectively.
  • the processor 280 may activate, that is, turn on the microphone 240 in response to the generation of the tap event detected in step 503 , that is, the first event ( 602 ). Accordingly, the second electronic device 20 is in a state capable of receiving sound, ie, sound waves, from the surroundings through the microphone 240 .
  • the processor 280 may check the occurrence of an event corresponding to a user tap in the external device, that is, the first electronic device 10 , based on a signal received through the microphone 240 activated in step 602 . (603).
  • the generation of the tap event may be detected by the sensor 160 in the first electronic device 10 as well.
  • the first electronic device 10 may output a signal including its own identification information, for example, an ultrasound signal.
  • the processor 280 of the second electronic device 20 identifies that the corresponding signal has been received through the microphone 240 in step 603 , thereby generating the second event in the external device, that is, the first electronic device 10 . can confirm.
  • the processor 280 may further identify whether the counterpart outputting the corresponding signal, that is, the first electronic device 10 is in proximity, based on the received ultrasound signal.
  • the processor 280 may identify that the second event has occurred in a nearby external device using the intensity of the ultrasound signal.
  • the processor 280 may acquire information on the external device, that is, the first electronic device 10 , based on a signal received through the microphone 240 activated in step 602 (operation 602 ).
  • the received information of the first electronic device 10 is information that enables the second electronic device 20 to directly perform wireless communication with the first electronic device 10 , and may include MAC address information. have.
  • the processor 280 may perform a wireless communication connection with an external device, ie, the first electronic device 10 , based on the information obtained in step 602 ( 605 ). Based on the communication connection in step 605 , data transmission/reception according to communication between the wireless interface unit 222 of the second electronic device 20 and the wireless interface unit 222 of the first electronic device 10 is enabled.
  • the processor 280 may transmit the content to the external device, that is, the first electronic device 10 through the wireless communication through which the connection is performed in step 605 ( 606 ). thereafter.
  • the content for screen mirroring may be received from the first electronic device 10 and displayed.
  • a tap event has occurred in a nearby external device through a signal received through the microphone 240 of the second electronic device 20 . Accordingly, when the occurrence of a tap event is confirmed in both devices, a mobile tap mirroring operation can be performed in accordance with an actual user intention by performing a wireless communication connection based on information included in the signal. In addition, since the second electronic device 20, which performs screen mirroring, checks whether a tap event has occurred in a nearby external device, accuracy and efficiency of operation can be further improved.
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices (eg, It can be distributed (eg downloaded or uploaded) directly, online between smartphones (eg: smartphones).
  • a portion of a computer program product eg, a downloadable app
  • a machine-readable storage medium such as a memory of a manufacturer's server, a server of an application store, or a relay server. It may be temporarily stored or temporarily created.

Abstract

본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 전자장치는, 인터페이스부; 및 센서를 통해 전자장치를 이용한 외부장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하고, 마이크를 통해 수신되는 신호에 기초하여 외부장치의 정보를 획득하고, 획득된 정보에 기초하여 인터페이스부를 통해 외부장치로의 컨텐트의 전송이 수행되도록 제어하는 프로세서를 포함한다.

Description

전자장치 및 그 제어방법
본 발명은 전자장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 외부장치와 데이터를 송수신할 수 있는 전자장치 및 그 제어방법에 관한 것이다.
최근 와이파이와 같은 무선통신 환경이 개선되고, 이를 활용할 수 있는 전자장치로서, 텔레비전(TV)이나 모바일장치 등의 성능이 향상되고 있다. 이에, 전자장치들을 연계하여 사용할 수 있는 다양한 기능에 대한 소비자 요구가 증대되고 있다.
위와 같은 연계 기능의 일례로, 모바일장치의 컨텐트를 TV와 같은 대형 디스플레이를 통해 시청하도록 하는 화면 미러링이 있다.
화면 미러링은 대상 장치들, 예를 들면, TV와 모바일장치 사이의 무선통신을 기반으로 수행된다.
이러한 대상 장치들 간 무선통신은, 자체의 통신 제약성에 의하여 통신 설정 과정에서 연결 실패가 발생하는 경우가 있다. 또한, TV에는 모바일장치 외 스피커 등의 다른 주변장치들이 연결되는 경우가 있어, 우선순위가 상대적으로 낮은 모바일장치와의 연결에는 시간이 많이 소요됨에 따라, 사용자의 불편을 초래할 수 있다.
본 발명은, 컨텐트 송수신을 위한 전자장치들 사이의 통신 연결에 소요되는 시간을 단축할 수 있으며, 연결 실패와 같은 오류 가능성을 줄이는 전자장치 및 그 제어방법을 제공하는 것이다.
본 발명 일 실시예에 따른 전자장치는, 인터페이스부; 및 센서를 통해 전자장치를 이용한 외부장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하고, 마이크를 통해 수신되는 신호에 기초하여 외부장치의 정보를 획득하고, 획득된 정보에 기초하여 인터페이스부를 통해 외부장치로의 컨텐트의 전송이 수행되도록 제어하는 프로세서를 포함한다.
프로세서는, 획득된 정보에 기초하여 인터페이스부를 통해 외부장치와의 무선 통신 연결을 수행할 수 있다.
프로세서는, 이벤트의 발생에 대응하여 마이크를 활성화할 수 있다.
마이크를 통해 수신되는 신호는, 초음파 주파수 대역의 신호를 포함할 수 있다.
외부장치로의 컨텐트의 전송은, 미러링 또는 캐스트 중 적어도 하나를 포함할 수 있다.
이벤트는 제1이벤트이고, 프로세서는, 마이크를 통해 수신되는 신호에 기초하여 사용자 탭에 대응하는 외부장치에서의 제2이벤트의 발생을 확인할 수 있다.
본 발명 다른 실시예에 따른 전자장치는, 인터페이스부; 및 센서를 통해 외부장치를 이용한 전자장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하고, 스피커를 통해 전자장치의 정보를 포함하는 신호에 기초한 사운드를 출력하고, 인터페이스부를 통해 외부장치로부터의 컨텐트의 수신이 수행되도록 제어하는 프로세서를 포함한다.
스피커를 통해 출력되는 신호는, 초음파 주파수 대역의 신호를 포함할 수 있다.
외부장치로부터의 컨텐트의 수신은, 미러링 또는 캐스트 중 적어도 하나를 포함할 수 있다.
프로세서는, 전자장치의 정보를 이용한 외부장치와의 무선 통신 연결에 기초하여, 인터페이스부를 통해 컨텐트의 수신이 수행되도록 제어할 수 있다.
본 발명 일 실시예에 따른 전자장치의 제어방법은, 센서를 통해 전자장치를 이용한 외부장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하는 단계; 마이크를 통해 수신되는 신호에 기초하여 외부장치의 정보를 획득하는 단계; 및 획득된 정보에 기초하여 인터페이스부를 통해 외부장치로의 컨텐트의 전송이 수행되도록 제어하는 단계;를 포함한다.
획득된 정보에 기초하여 인터페이스부를 통해 외부장치와의 무선 통신 연결을 수행하는 단계를 더 포함할 수 있다.
이벤트의 발생에 대응하여 마이크를 활성화하는 단계를 더 포함할 수 있다.
마이크를 통해 수신되는 신호는, 초음파 주파수 대역의 신호를 포함할 수 있다.
외부장치로의 컨텐트의 전송은, 미러링 또는 캐스트 중 적어도 하나를 포함할 수 있다.
이벤트는 제1이벤트이고, 마이크를 통해 수신되는 신호에 기초하여 사용자 탭에 대응하는 외부장치에서의 제2이벤트의 발생을 확인하는 단계를 더 포함할 수 있다.
본 발명 다른 실시예에 따른 전자장치의 제어방법은, 센서를 통해 외부장치를 이용한 전자장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하는 단계; 스피커를 통해 전자장치의 정보를 포함하는 신호에 기초한 사운드를 출력하는 단계; 및 인터페이스부를 통해 외부장치로부터의 컨텐트의 수신이 수행되도록 제어하는 단계;를 포함한다.
스피커를 통해 출력되는 신호는, 초음파 주파수 대역의 신호를 포함할 수 있다.
외부장치로부터의 컨텐트의 수신은, 미러링 또는 캐스트 중 적어도 하나를 포함할 수 있다.
컨텐트의 전송이 수행되도록 제어하는 단계는, 전자장치의 정보를 이용한 외부장치와의 무선 통신 연결에 기초하여, 인터페이스부를 통해 컨텐트의 수신이 수행되도록 제어할 수 있다.
상기한 바와 같은 본 발명의 전자장치 및 그 제어방법에 따르면, 컨텐트 송수신을 위한 전자장치들 사이의 통신 연결에 소요되는 시간을 단축할 수 있으며, 연결 실패와 같은 오류 가능성을 최소화함으로써, 사용자 만족도를 향상시킬 수 있다.
도 1은 본 발명 일 실시예에 의한 제1전자장치와 제2전자장치 간 동작의 일례를 도시한다.
도 2는 본 발명 일 실시예에 따른 화면 미러링이 이루어지는 일례를 도시한다.
도 3은 본 발명 일 실시예에 의한 제1전자장치의 구성을 도시한 블록도이다.
도 4는 본 발명 일 실시예에 따른 제1전자장치의 제어 동작을 도시한 흐름도이다.
도 5는 본 발명 일 실시예에 의한 제2전자장치의 구성을 도시한 블록도이다.
도 6은 본 발명 일 실시예에 따른 제2전자장치의 제어 동작을 도시한 흐름도이다.
도 7은 본 발명 일 실시예에 따라 제1전자장치 및 제2전자장치에서 무선통신 연결 및 화면 미러링을 수행하는 과정들을 설명하기 위한 도면이다.
도 8은 본 발명 다른 실시예에 따른 제2전자장치의 제어 동작을 도시한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 발명 일 실시예에 의한 제1전자장치와 제2전자장치 간 동작의 일례를 도시한다.
도 1에 도시된 바와 같이, 본 발명 일 실시예에 따른 제1전자장치(10)와 제2전자장치(20)는 상호 통신이 가능하도록 마련된다.
본 발명 일 실시예에서, 제1전자장치(10)는, 도 1에 도시된 바와 같이, 디스플레이(110)와, 디스플레이(110)를 지지하는 스탠드(100)로 구성될 수 있다.
일 실시예에서, 디스플레이(110)는, 도 1에 도시된 바와 같이, 스탠드(100)에 대하여 가로방향 또는 세로방향으로 배열될 수 있다. 제1전자장치(10)는, 디스플레이(110)의 배열 상태에 대응하며, 종횡비가 서로 다른 복수의 화면모드를 가질 수 있다.
복수의 화면모드는, 예를 들어, 디스플레이(110)가 가로방향으로 배열된 상태에 대응하는 가로모드(landscape mode)와, 디스플레이(110)가 세로방향으로 배열된 상태에 대응하는 세로모드(portrait mode)를 포함할 수 있다.
가로모드에서, 디스플레이(110)는 스탠드(100)에 대해 수평으로 위치하며, 가로길이가 세로길이보다 긴 화면을 가지게 된다. 또한, 세로모드에서, 디스플레이(110)는 스탠드(100)에 대해 수직으로 위치하며, 세로길이가 가로길이 보다 긴 화면을 가지게 된다.
스탠드(100)는 디스플레이(110)를 회전 가능하게 지지할 수 있다.
일 실시예에서, 디스플레이(110)는, 화면의 중앙영역을 중심으로 피봇(pivot)하도록 마련될 수 있다. 즉, 디스플레이(110)는, 도 1에 도시된 바와 같이, 적어도 L 위치 및 P 위치 사이를 시계방향 또는 반시계방향으로 회전할 수 있다.
일 실시예에서, 제1전자장치(10)는, 디스플레이(110)의 회전에 의해 복수의 화면모드 즉, 가로모드와 세로모드가 상호 전환 가능하도록 구현될 수 있다.
일 실시예에서, 디스플레이(110)는, 도 1에 도시된 바와 같이, L 위치의 수평 상태로부터 소정 각도, 예를 들면 90도의 회전에 기초하여, P 위치에서 스탠드(100)에 대하여 세로 방향으로 배열될 수 있다.
일 실시예에서 화면모드가 세로모드인 디스플레이(110)는, 세로모드로 제작된 영상, 예를 들면, 제2전자장치(20)의 화면을 세로로 한 상태에서 촬영하여 제작된 컨텐트를 풀 스크린으로 표시할 수 있다.
본 발명 일 실시예에 따른 제1전자장치(10)에는, 디스플레이(110)를 회전시키기 위한 동력을 제공하는 구동부로서, 정회전 또는 역회전 가능한 회전축을 가진 모터(M)가 마련될 수 있다.
일 실시예에서 모터(M) 는 스탠드(100)에 마련되어, 디스플레이(110)의 후방에 접속될 수 있다. 디스플레이(110)는 모터(M)의 회전축에 장착되어, 모터(M)가 구동됨에 따라 회전축이 회전하게 되면, 그에 대응하여 정방향 또는 역방향으로 회전될 수 있다.
모터(M)에 전달되는 제어신호는, 예를 들면, 스탠드(100)에 마련된 프로세서(도 3의 170)로부터 생성될 수 있다. 일 실시예에서, 이러한 제어신호의 생성 지시는, 리모컨과 같은 사용자입력부(도 3의 130)로부터 전달될 수 있다.
본 발명 일 실시예에 따른 제1전자장치(10)는 외부의 신호공급원 즉, 영상소스로부터 제공되는 신호, 예를 들면 소정 컨텐트에 관한 데이터를 수신하고, 수신된 컨텐트 데이터를 기 설정된 프로세스에 따라 처리하여 영상으로 표시되도록 할 수 있다.
일 실시예에서, 제1전자장치(10)는, 도 1에 도시된 바와 같이, 영상을 표시할 수 있는 디스플레이(110)가 마련된 디스플레이장치로서 구현될 수 있다. 그러나, 제1전자장치(10)의 구현 형태는 한정되는 것이 아니므로, 다른 실시예로서, 제1전자장치(10)는, 연결된 별도의 디스플레이로 신호를 전송하는 셋탑박스와 같은 영상처리장치로서 구현될 수도 있다.
일 실시예에서 디스플레이장치로 구현된 제1전자장치(10)는 방송국의 송출장비로부터 수신되는 방송신호, 방송정보, 또는 방송데이터 중 적어도 하나에 기초한 방송 영상을 처리할 수 있는 텔레비전(TV)으로 구현될 수 있다. 이 경우, 제1전자장치(10)에는 방송신호를 채널 별로 튜닝하기 위한 튜너가 마련될 수 있다.
제1전자장치(10)가 텔레비전인 경우, 제1전자장치(10)는 직접 또는 제1전자장치(10)와 케이블 등에 의해 연결될 수 있는 부가기기, 예를 들면, 셋탑박스(set-top box, STB), OC 박스(one-connect box), 미디어박스 등을 통해 방송국의 송출장비로부터 수신되는 방송신호, 방송정보, 또는 방송데이터 중 적어도 하나에 기초한 방송 컨텐트를 수신할 수 있다. 여기서, 제1전자장치(10)와 부가기기의 연결 방식은 케이블에 한정되는 것은 아니며, 다양한 유무선 인터페이스가 적용될 수 있다.
제1전자장치(10)는, 예를 들면 방송국으로부터 송출되는 RF(radio frequency) 신호로서 방송 컨텐트를 무선으로 수신할 수 있으며, 이를 위해 제1전자장치(10)에는 신호를 수신할 수 있는 안테나가 마련될 수 있다.
제1전자장치(10)에서, 방송 컨텐트는 지상파, 케이블, 위성 등을 통해서 수신 가능하며, 신호공급원은 방송국에 한정되지 않는다. 즉, 데이터의 송수신이 가능한 장치 또는 스테이션이라면 본 발명의 영상소스에 포함될 수 있다.
제1전자장치(10)에서 수신되는 신호의 규격은 장치의 구현 형태에 대응하여 다양한 방식으로 구성될 수 있으며, 제1전자장치(10)는 후술하는 인터페이스부(도 3의 120)의 구현 형태에 대응하여, HDMI(High Definition Multimedia Interface), HDMI-CEC(Consumer Electronics Control), 디스플레이 포트(display port, DP), DVI, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), DVI(Digital Visual Interface), 썬더볼트(Thunderbolt), RGB 케이블, SCART(Syndicat des Constructeurs d'Appareils Radiorecepteurs et Televiseurs), USB(universal serial bus) 등의 규격에 대응하는 신호를 영상 컨텐트로서 유선으로 수신할 수 있다.
일 실시예에서, 제1전자장치(10)는 스마트 TV 또는 IP TV(Internet Protocol TV)로 구현될 수 있다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우징 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐트 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 TV이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트 TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐트, 예를 들어 소정의 서비스를 제공하는 어플리케이션의 컨텐트를 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.
그러나, 본 발명의 사상이 제1전자장치(10)의 구현 예시에 한정되지 않는 바, 제1전자장치(10)는 TV 이외에도 영상을 처리 가능한 다양한 종류의 구현 예시, 예를 들어, 데스크탑(desktop) 또는 랩탑(laptop)과 같은 컴퓨터(personal computer, PC)의 모니터 등에도 적용될 수 있다.
제1전자장치(10)는 내부/외부의 저장매체에 저장된 신호/데이터에 기초한 동영상, 정지영상, 어플리케이션(application), OSD(on-screen display), 다양한 동작 제어를 위한 유저 인터페이스(user interface, UI) 등을 화면에 표시하도록 신호를 처리할 수 있다.
제1전자장치(10)는 컨텐트 제공을 위해 마련된 컨텐트 프로바이더를 포함한 다양한 외부장치들로부터 유선 또는 무선 네트워크 통신에 의해 컨텐트를 제공받을 수 있으며, 통신의 종류는 한정되지 않는다.
구체적으로, 제1전자장치(10)는 후술하는 인터페이스부(120)의 구현 형태에 대응하여 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), 지그비(Zigbee), UWB(Ultra-Wideband), NFC(Near Field Communication) 등의 규격에 대응하는 신호를 영상 컨텐트로서 무선 네트워크 통신을 통해 수신할 수 있다. 또한, 제1전자장치(10)는 이더넷(Ethernet) 등과 같은 유선 네트워크 통신을 통해 컨텐트 신호를 수신할 수 있다.
제1전자장치(10)는, 도 1에 도시된 바와 같이, 제2전자장치(20)로부터 컨텐트 데이터를 수신할 수 있다.
제2전자장치(20)는, 스마트폰(smart phone), 태블릿(tablet)과 같은 스마트패드(smart pad), 휴대용 미디어 플레이어(portable media player) 등을 포함하는 모바일장치로서 구현될 수 있다. 다만, 본 발명에서 제2전자장치(20)의 구현 형태는 한정되는 것이 아니며, 제1전자장치(10)와 컨텐트의 전송에 관한 동작이 수행 가능한 다양한 장치로서 구현될 수 있다.
본 발명 일 실시예에 따르면, 제1전자장치(10)와 제2전자장치(20) 간 컨텐트의 전송에 관한 동작으로서, 제2전자장치(20)에서 표시되는 영상이 제1전자장치(10)에서 공유될 수 있다.
일례로, 제1전자장치(10)와 제2전자장치(20) 사이에서는, 이른바 화면 미러링(screen mirroring, 이하, 스크린 미러링 이라고도 한다) 동작이 수행될 수 있다. 제1전자장치(10)는, 예를 들면, 제2전자장치(20)의 화면에서 표시되는 컨텐트의 영상을 제공받아 디스플레이(110)를 통해 출력함으로써, 화면 미러링 동작을 수행할 수 있다.
일 실시예에서 제1전자장치(10)와 제2전자장치(20) 간 컨텐트의 전송은, 제2전자장치(20)가 디코더에 의해 디코딩된 상태의 컨텐트의 데이터를 제1전자장치(10)로 전송하는 미러링 방식에 의해 수행될 수 있다.
다만, 본 발명에서 제1전자장치(10)와 제2전자장치(20) 간 컨텐트의 전송에 관한 동작은 전술한 바에 한정되지 않고, 다양한 방식이 적용될 수 있다. 즉, 다른 실시예로서, 디코딩되지 않은 컨텐트의 데이터, 예를 들면, 컨텐트의 주소 정보를 전송하는 캐스트(cast) 방식에 의해 수행될 수 있다. 캐스트 방식에서는, 컨텐트가 제1전자장치(10)의 디코더에 의해 디코딩되어 디스플레이(110)에 의해 표시될 수 있다.
즉, 본 발명에서 제2전자장치(20)에서 표시되는 컨텐트의 영상을 제1전자장치(10)를 통해 제공하는 화면 미러링을 수행하는데 있어, 그 컨텐트의 전송은 미러링 또는 캐스트 중 적어도 하나를 포함할 수 있다.
도 2는 본 발명 일 실시예에 따른 화면 미러링이 이루어지는 일례를 도시한다.
일 실시예에서, 제2전자장치(20)를 이용한 소정 사용자입력에 기초하여 제1전자장치(10)와 제2전자장치(20)가 통신 가능하도록 연결되고, 연결된 제1전자장치(10)와 제2전자장치(20)가 화면 미러링을 위한 컨텐트에 대한 송수신이 수행될 수 있다.
여기서, 제2전자장치(20)는 컨텐트를 제공하는 소스기기로서의 역할을 수행하고, 제1전자장치(10)는 제2전자장치(20)로부터 컨텐트를 수신하는 싱크기기로서의 역할을 수행할 수 있다. 그러나, 이는 두 장치를 구분하기 위한 편의적인 용어일 뿐이며, 장치들의 명칭 또는 역할이 각 장치의 기능을 한정하는 것은 아니다.
본 발명 일 실시예에서는, 제2전자장치(20)를 이용한 사용자입력으로서 미리 정의된 이벤트가 발생된 것에 기초하여, 제1전자장치(10)와 제2전자장치(20) 사이의 무선통신 연결을 수행하고, 화면 미러링을 위한 컨텐트 데이터의 전송에 관한 동작을 수행할 수 있다.
제1전자장치(10)와 제2전자장치(20)에서는, 예를 들어, 도 2에 도시된 바와 같이, 제2전자장치(20)로 제1전자장치(10)의 일 영역을 가볍게 치거나 두드리는 사용자 탭(tap)에 대응하는 이벤트(이하, 탭 이벤트 라고도 한다)의 발생이 감지될 수 있다.
본 발명에서는 위와 같이 제1전자장치(10)에 대한 제2전자장치(20)를 이용한 사용자 탭을 감지하여, 양 장치 간 화면 미러링을 수행하는 것을, 모바일 탭 미러링 동작이라고 정의하기로 한다.
본 발명 일 실시예에 따른 제1전자장치(10)와 제2전자장치(20) 각각에는 사용자 탭에 의한 진동을 감지할 수 있는 센서(도 3의 160, 도 5의 260)가 마련될 수 있다. 센서(160, 206)는, 사용자가 제2전자장치(20)로 제1전자장치(10)를 탭하여(tapping) 발생하는 진동 즉, 동적 힘을 감지하여 신호를 출력할 수 있다.
본 발명 실시예에 따른 제1전자장치(10) 또는 제2전자장치(20)에서, 진동이 발생될 수 있는 사용자 탭의 위치는 한정되지 않으며, 일례로 사용자는, 도 2에 도시된 바와 같이, 제1전자장치(10)에 근접한 상태에서 접촉이 용이한 디스플레이(110)의 베젤 부분에 제2전자장치(20)를 탭 할 수 있다.
일 실시예에서, 제1전자장치(10)는, 도 2에 도시된 바와 같이, 디스플레이(110)의 화면모드가 세로모드인 상태에서, 사용자 탭이 감지된 것에 기초하여, 화면 미러링 동작을 수행함으로써, 세로모드인 제2전자장치(20)의 화면에서 표시되는 컨텐트의 영상을 풀 스크린으로 디스플레이(110)에 표시할 수 있다. 그러나, 본 발명에서 사용자 탭의 감지는 화면모드와 무관하게 이루어지는 것이므로, 다른 실시예에서 제1전자장치(10)는, 디스플레이(110)의 화면모드가 가로모드인 상태에서 사용자 탭에 의한 진동을 감지하고, 제2전자장치(20)로부터 화면 미러링을 위한 컨텐트의 데이터를 제공받을 수 있다.
본 발명 일 실시예에 따르면, 제1전자장치(10)와 제2전자장치(20) 간의 무선통신 연결을 위한 식별정보는 소정 주파수 대역의 신호에 대응하는 사운드를 통해 송수신될 수 있다. 여기서, 사운드에 대응하는 신호의 주파수 대역은 한정되지 않으며, 예를 들면, 16kHz 이상의 초음파 대역의 신호를 이용할 수 있다.
초음파 통신기술은 미리 정해진 음파용 주파수, 다시 말해, 초음파 대역의 주파수에 정보 또는 데이터를 포함하여 신호를 전송함으로써, 전자장치들 간의 데이터 송수신을 가능하게 하는 기술이다.
일 실시예에서, 제1전자장치(10)는 초음파 대역의 주파수를 이용한 근거리 통신을 통해, 제1전자장치(10)의 정보를 포함하는 신호를 브로드캐스트 방식으로 출력할 수 있다.
제2전자장치(20)는, 마이크(도 5의 240)를 활성화시켜, 제1전자장치(10)로부터 출력, 즉, 브로드캐스트되는 초음파 신호를 수신할 수 있다. 제2전자장치(20)는, 수신된 초음파 신호로부터 제1전자장치(10)의 정보를 획득하고, 획득한 정보에 기초하여 양 장치 간 무선통신 연결을 수행함으로써, 제1전자장치(10)로 화면 미러링을 위한 컨텐트의 데이터를 전송할 수 있다.
이하, 도면을 참조하여, 본 발명 일 실시예에 따른 제1전자장치와 제2전자장치의 구성 및 그 동작에 대해 설명하기로 한다.
도 3은 본 발명 일 실시예에 의한 제1전자장치의 구성을 도시한 블록도이다.
본 발명 일 실시예에 따른 제1전자장치(10)는, 도 5에 도시된 바와 같이, 디스플레이(110), 인터페이스부(120), 사용자입력부(130), 마이크(140), 스피커(150), 센서(160), 저장부(170) 및 프로세서(180)를 포함한다. 인터페이스부(120)는 유선 인터페이스부(111)와 무선 인터페이스부(112)를 포함할 수 있다.
다만, 도 3에 도시된 본 발명의 일 실시예에 의한 제1전자장치(10)의 구성은 하나의 예시일 뿐이며, 다른 실시예에 의한 전자장치는 도 3에 도시된 구성 외에 다른 구성으로 구현될 수 있다. 즉, 본 발명의 제1전자장치(10)는 도 3에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 3에 도시된 구성 중 적어도 하나가 배제된 형태로 구현될 수 있다. 또한, 본 발명의 제1전자장치(10)는, 도 3에 구성된 구성의 일부가 변경되는 형태로 구현될 수도 있다.
디스플레이(110)는 영상을 디스플레이할 수 있다.
디스플레이(110)의 구현 방식은 한정되지 않으며, 예를 들면 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다. 일 실시예에서, 디스플레이(110)는 영상을 표시하는 디스플레이 패널을 포함하며, 그 구현 방식에 따라서 부가적인 구성, 예를 들면 구동부(driver)를 더 포함할 수 있다.
디스플레이(110)에는 제2전자장치(20)로부터 수신한 컨텐트의 영상이 표시될 수 있다.
일 실시예에서 제1전자장치(10)는, 화면 미러링 동작을 수행할 수 있으며, 그에 따라 디스플레이(110)에 제2전자장치(20)의 화면에서 표시되는 컨텐트의 영상이 표시될 수 있다.
인터페이스부(120)는, 제1전자장치(10)가 제2전자장치(20)를 포함하는 다양한 외부의 장치와 통신할 수 있도록 한다.
인터페이스부(120)는 유선 인터페이스부(121)를 포함할 수 있다. 유선 인터페이스부(121)는 HDMI, HDMI-CEC, USB, 컴포넌트(Component), 디스플레이 포트(DP), DVI, 썬더볼트, RGB 케이블 등의 규격에 따른 신호/데이터를 송/수신하는 연결부를 포함할 수 있다. 여기서, 유선 인터페이스부(121)는 이들 각각의 규격에 대응하는 적어도 하나 이상의 커넥터, 단자 또는 포트를 포함할 수 있다.
유선 인터페이스부(121)는 영상소스 등으로부터 신호를 입력받는 입력 포트를 포함하는 형태로 구현되며, 경우에 따라 출력 포트를 더 포함하여 양방향으로 신호를 송수신 가능하게 마련될 수 있다.
유선 인터페이스부(121)는 지상파/위성방송 등 방송규격에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송 규격에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있도록, HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART 등과 같이, 비디오 및/또는 오디오 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다. 다른 예로서, 제1전자장치(10)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다.
제1전자장치(10)는 인터페이스부(120)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 더 포함할 수 있다. 튜너는 튜닝된 특정 채널의 방송신호를 복조하여 트랜포트스트림(transport stream, TS) 형태의 신호로 출력하는 디모듈레이터를 포함할 수 있다. 다시 말해, 튜너와 디모듈레이터는 통합된 형태의 단일 칩으로 설계되거나, 상호 분리된 2개의 칩으로 각각 구현될 수 있다.
유선 인터페이스부(121)는 USB 포트 등과 같은 범용 데이터 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(121)는 광 전송규격에 따라 광게이블이 연결될 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(121)는 외부 마이크 또는 마이크를 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오 신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 인터페이스부(121)는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오 신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(121)는 이더넷(Ethernet) 등과 같은 네트워크 전송규격에 따른 커넥터 또는 포트를 포함할 수 있다. 예컨대, 유선 인터페이스부(121)는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현될 수 있다.
유선 인터페이스부(121)는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N (N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오 신호를 수신하거나 또는 해당 외부기기에 비디오/오디오 신호를 송신한다. 유선 인터페이스부(121)는, 비디오/오디오 신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다.
유선 인터페이스부(121)는 다양한 종류의 통신 프로토콜에 대응하는 무선 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
일 실시예에서 유선 인터페이스부(121)는 제1전자장치(10)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 제1전자장치(10)의 커넥터에 착탈될 수도 있다.
인터페이스부(120)는 무선 인터페이스부(122)를 포함할 수 있다. 무선 인터페이스부(122)는 제1전자장치(10)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(122)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(Bluetooth, BT), 블루투스 저에너지(Bluetooth Low Energy, BLE), 와이파이(Wi-Fi), 와이파이 다이렉트, UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등 무선통신을 사용할 수 있다.
무선 인터페이스부(122)는 다양한 종류의 통신 프로토콜에 대응하는 무선 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
일 실시예에서 무선 인터페이스부(122)는 무선랜유닛을 포함한다. 무선랜유닛은 프로세서(180)의 제어에 따라 억세스 포인트(access point, AP)를 통해 무선으로 외부장치와 연결될 수 있다. 무선랜유닛은 와이파이 모듈을 포함한다.
일 실시예에서 무선 인터페이스부(122)는 억세스 포인트 없이 무선으로 제1전자장치(10)와 외부장치 사이에 1 대 1 다이렉트 통신을 지원하는 무선통신모듈을 포함한다. 무선통신모듈은 와이파이 다이렉트, 블루투스, 블루투스 저에너지 등의 통신방식을 지원하도록 구현될 수 있다. 제1전자장치(10)가 외부장치와 다이렉트로 통신을 수행하는 경우, 저장부(170)에는 통신 대상 기기인 외부장치에 대한 식별정보(예를 들어, MAC address 또는 IP address)가 저장될 수 있다.
본 발명 일 실시예에 따른 제1전자장치(10)에서, 무선 인터페이스부(122)는 성능에 따라 무선랜유닛과 무선통신모듈 중 적어도 하나에 의해 외부장치와 무선 통신을 수행하도록 마련된다.
다른 실시예에서 무선 인터페이스부(122)는 LTE와 같은 이동통신, 자기장을 포함하는 EM 통신, 가시광통신 등의 다양한 통신방식에 의한 통신모듈을 더 포함할 수 있다.
무선 인터페이스부(122)는 적외선 통신규격에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함할 수 있다. 일례로, 무선 인터페이스부(122)는 IR송신부 및/또는 IR수신부를 통해 리모컨 또는 다른 외부기기로부터 리모컨신호를 수신 또는 입력하거나, 다른 외부기기로 리모컨신호를 전송 또는 출력할 수 있다. 다른 예로서, 제1전자장치(10)는 와이파이(Wi-Fi), 블루투스(bluetooth) 등 다른 방식의 무선 인터페이스부(122)를 통해 리모컨 또는 다른 외부기기와 리모컨신호를 송수신할 수 있다.
일 실시예에서 무선 인터페이스부(122)는 마이크(140)를 통해 수신된 사용자음성의 정보로서 소정 데이터를 서버와 같은 외부의 장치로 전송할 수 있다. 여기서, 전송되는 데이터의 형태/종류는 한정되지 않으며, 예를 들면, 사용자로부터 발화된 음성에 대응하는 오디오신호나, 오디오신호로부터 추출된 음성특징 등을 포함할 수 있다.
또한, 무선 인터페이스부(122)는 서버와 같은 외부의 장치로부터 해당 사용자음성의 처리 결과의 데이터를 수신할 수 있다. 제1전자장치(10)는 수신된 데이터에 기초하여, 음성 처리결과에 대응하는 사운드를 내부 또는 외부의 스피커를 통해 출력할 수 있다.
다만, 상기한 실시예는 예시로서, 사용자음성을 서버로 전송하지 않고, 제1전자장치(10) 내에서 자체적으로 처리할 수도 있다. 즉, 다른 실시예에서 제1전자장치(10)가 STT(Speech-to-Text) 서버의 역할을 수행하도록 구현 가능하다.
제1전자장치(10)는 무선 인터페이스부(122)를 통해 리모컨과 같은 입력장치와 통신을 수행하여, 입력장치로부터 사용자음성에 대응하는 소리 신호를 수신할 수 있다.
일 실시예의 제1전자장치(10)에서, 외부의 서버 등과 통신하는 통신모듈과 리모컨과 통신하는 통신모듈은 서로 다를 수 있다. 예를 들어, 제1전자장치(10)는, 서버와 이더넷 모뎀 또는 와이파이 모듈을 통해 통신을 수행하고, 리모컨과 블루투스 모듈을 통해 통신을 수행할 수 있다.
다른 실시예의 제1전자장치(10)에서, 외부의 서버 등과 통신하는 통신모듈과 리모컨과 통신하는 통신모듈은 같을 수 있다. 예를 들어, 제1전자장치(10)는 블루투스 모듈을 통해 서버 및 리모컨과 통신을 수행할 수 있다.
일 실시예에서, 제1전자장치(10)는 인터페이스부(120)를 통해 화면 미러링을 위한 컨텐트의 데이터, 즉, 제2전자장치(20)에 표시되는 컨텐트를 수신할 수 있다. 일례로, 제1전자장치(10)는 무선 인터페이스부(122)로서, 와이파이 모듈을 통해 컨텐트를 수신할 수 있다.
본 발명 일 실시예에서, 화면 미러링을 위한 컨텐트의 수신 방식은, 미러링 또는 캐스트 중 적어도 하나를 포함할 수 있다.
미러링 방식이 적용되는 경우, 인터페이스부(120)는 제2전자장치(20)로부터 디코딩된 상태의 컨텐트를 수신할 수 있다.
캐스트 방식이 적용되는 경우, 인터페이스부(120)는 일례로 제2전자장치(20)로부터 디코딩되지 않은 컨텐트의 데이터를 수신할 수 있다. 다른 예로서, 인터페이스부(120)는 제2전자장치(20)로부터 해당 컨텐트를 획득할 수 있는 주소 정보를 제공받고, 해당 주소에 접속함으로써, 예를 들어, 서버로부터 컨텐트를 수신할 수 있다.
사용자입력부(130)는 사용자의 입력에 의해, 기설정된 다양한 제어 커맨드 또는 한정되지 않은 정보를 프로세서(180)에 전달한다.
사용자입력부(130)는 제1전자장치(10) 본체에 마련된 전원키, 숫자키, 메뉴키 등의 버튼을 포함하는 키패드(또는 입력패널)를 포함한다.
일 실시예에서 사용자입력부(130)는 제1전자장치(10)를 원격으로 제어 가능하게 기설정된 커맨드/데이터/정보/신호를 생성하여 제1전자장치(10)로 전송하는 입력장치를 포함한다. 입력장치는 리모컨(remote control), 키보드(keyboard), 마우스(mouse) 등을 포함하며, 제1전자장치(10) 본체와 이격 분리되어, 사용자 입력을 수신할 수 있다. 리모컨에는 사용자의 터치입력을 수신하는 터치 감지부 및/또는 사용자에 의한 자체 모션을 감지하는 모션 감지부가 마련될 수 있다. 입력장치는 리모컨 어플리케이션이 설치된 스마트 폰과 같은 단말장치를 포함하며, 이 경우 터치스크린을 통한 사용자의 터치입력이 수신 가능하다.
입력장치는 제1전자장치(10)와 무선통신이 가능한 외부장치의 일례가 되며, 무선통신은 블루투스, 적외선 통신, RF 통신, 무선랜, 와이파이 다이렉트 등을 포함한다.
일 실시예에서, 입력장치는 리모컨 어플리케이션이 설치된 스마트폰과 같은 단말장치를 포함한다.
마이크(microphone)(140)는 소리 즉, 음파를 수신할 수 있다.
일 실시예에서 마이크(140)는, 사용자로부터 발화된 음성이나, 다양한 내부 또는 외부의 원인에 의해 발생하는 사운드에 대응하는 음파를 수신할 수 있다. 마이크(140)를 통해 수신되는 사운드에 대응하는 신호의 주파수 대역은 한정되지 않으며, 가청 또는 비가청, 예를 들면 초음파, 주파수 대역의 신호를 포함할 수 있다.
마이크(140)를 통해 입력된 소리는 신호변환부에 의해 전기적인 신호로 변환된다. 일 실시예에서 신호변환부는 아날로그 음파를 디지털 신호로 변환하는 AD 변환부를 포함할 수 있다.
본 발명 일 실시예에서 마이크(140)는 제1전자장치(10)에 자체적으로 마련되도록 구현되며, 제1전자장치(10)에 마련되는 마이크의 개수, 형태 및 설치 위치는 한정되지 않는다.
다만, 다른 실시예로서 제1전자장치(10)는, 별도의 장치에 마련된 마이크(140)를 포함하는 형태로 구현될 수 있다. 예를 들면, 제1전자장치(10)가 텔레비전과 같은 디스플레이장치인 경우, 사용자입력이 수신 가능한 마련되는 리모컨에 설치된 마이크(140)를 통해 음파가 수신되고, 그에 대응하는 소리 신호가 리모컨으로부터 제1전자장치(10)로 전송될 수 있다. 여기서, 리모컨의 마이크(140)를 통해 수신된 아날로그 음파는 디지털 신호로 변환되어 제1전자장치(10)로 전송될 수 있다.
스피커(150)는 음향 즉, 사운드를 출력한다. 스피커(150)는 사운드를 출력 가능한 적어도 하나의 라우드스피커(loudspeaker)로서 구현될 수 있다. 스피커(150)는 복수의 채널의 오디오신호/소리신호에 대응하는 사운드를 출력할 수 있다.
일 실시예에서 스피커(150)는 마이크(140)를 통해 수신되는 사용자음성에 대응하는 소리신호의 처리에 따라 생성된 사운드를 출력할 수 있다.
스피커(150)를 통해 출력되는 사운드에 대응하는 신호의 주파수 대역은 한정되지 않으며, 가청 또는 비가청, 예를 들면 초음파 주파수 대역의 신호를 포함할 수 있다.
본 발명 일 실시예에 따른 제1전자장치(10)는, 외부장치, 예를 들면, 제2전자장치(20)를 이용한 사용자 탭에 대응하는 이벤트가 발생된 것에 기초하여, 스피커(150)를 통해 기 정의된 주파수 대역의 신호에 대응하는 사운드를 출력할 수 있다. 여기서, 출력 사운드에 대응하는 신호에는 제1전자장치(10)와 제2전자장치(20)간 무선통신 연결을 위한 식별정보로서, 제1전자장치(10)의 정보가 포함될 수 있다.
제1전자장치(10)의 정보를 포함하는 신호는, 일례로, 초음파 주파수 대역의 신호를 포함할 수 있으나, 한정되는 것은 아니다. 즉, 다른 실시예로서, 스피커(150)는 제1전자장치(10)의 정보를 포함하는 신호로서 가청 주파수 대역의 신호를 출력할 수 있으며, 이 경우 스피커(150)를 통해 미리 정해진 알림 사운드가 출력될 수 있다.
센서(160)는 내부 또는 외부의 다양한 원인에 의해 발생되는 제1전자장치(10)의 진동을 감지할 수 있다.
일 실시예에서 센서(160)는 제1전자장치(10)에 마련되는 가속도 센서를 포함할 수 있다. 다만, 본 발명에서 센서(160)의 구현 형태는 한정되지 않으며, 제2전자장치(20)를 이용한 사용자 탭에 의해 발생되는 진동을 감지할 수 있는 다양한 형태의 센서로서 구현될 수 있다. 예를 들면, 센서(160)는 3축 또는 6축 가속도 센서로 구현될 수 있으며, 경우에 따라 가속도 센서와 각속도 센서의 조합으로 구현될 수도 있다.
센서(160)는, 예를 들어, x, y, z 축의 변화량에 기초하여, 제1전자장치(10)에 발생된 진동에 대응하여 센서 데이터를 출력할 수 있다.
본 발명 일 실시예에 따른 제1전자장치(10)는, 센서(160)로부터 출력되는 센서 데이터에 기초하여, 센서(160)에서 기 정의된 크기, 다시 말해, 임계값(threshold) 이상의 진동이 감지되는 것을 식별할 수 있다.
제1전자장치(10)는, 센서(160)에서 임계값 이상의 진동이 감지되면, 해당 진동이 외부장치의 사용자입력, 예를 들면 제2전자장치(20)를 이용한 탭 이벤트의 발생에 의한 것으로 식별할 수 있다.
저장부(170)는 제1전자장치(10)의 다양한 데이터를 저장하도록 구성된다.
저장부(170)는 제1전자장치(10)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable ROM)로 구비될 수 있다. 즉, 저장부(170)는 플래쉬 메모리(flash memory), EPROM 또는 EEPROM 중 어느 하나로 구비될 수 있다. 저장부(170)는 제1전자장치(10)의 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM과 같은 휘발성 메모리(volatile memory)를 더 구비할 수 있다.
저장부(170)에 저장되는 데이터는, 예를 들면 제1전자장치(10)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 프로그램, 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
구체적으로, 저장부(170)는 프로세서(180)의 제어에 따라 각 구성요소들의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(170)는 제1전자장치(10)의 제어를 위한 제어 프로그램, 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션과 관련된 UI, UI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
일 실시예에서, 저장부(170)에 저장된 어플리케이션은 미리 수행된 학습에 기반하여 동작하는 머신 러닝 어플리케이션 또는 딥 러닝 어플리케이션을 포함할 수 있다.
저장부(170)에는 프로세서(180)가 소정 학습 알고리즘을 적용한 연산을 수행할 수 있도록 하는 학습데이터가 더 저장될 수 있다.
일 실시예에서, 제1전자장치(10)는 장치 자체에 임베디드된 저장부(170)의 데이터를 기반으로 한 학습 및 그 학습에 따른 알고리즘 모델을 적용하는 연산을 수행하는, 온디바이스 환경에서 AI 동작하도록 구현될 수 있다. 다만, 본 발명에서 제1전자장치(10)의 실시 형태는 온 디바이스 AI 장치로 한정되는 것이 아니며, 다른 실시예에서 제1전자장치(10)는 인터페이스부(110)를 통해 접속 가능한 별도의 데이터베이스에 저장된 데이터를 기반으로 한 학습 및 그 학습에 따른 알고리즘 모델을 적용하는 연산을 수행하도록 구현될 수 있다.
일 실시예에서, 제1전자장치(10)에서 표시되는 영상은 플래시메모리, 하드디스크 등과 같은 비휘발성의 저장부(170)에 저장된 데이터로부터 기인한 것일 수 있다. 저장부(170)는 제1전자장치(10)의 내부 또는 외부에 마련될 수 있으며, 외부에 마련되는 경우 저장부(170)는 유선 인터페이스부(121)를 통해 제1전자장치(10)에 연결될 수 있다.
본 발명의 실시예에서 저장부 라는 용어는 저장부(170), 프로세서(180) 내 롬(ROM)(도시되지 아니함), 램(RAM)(도시되지 아니함) 또는 제1전자장치(10)에 장착 가능한 메모리 카드(도시되지 아니함)(예를 들어, micro SD 카드, 메모리 스틱)를 포함하는 것으로서 정의된다.
프로세서(180)는 제1전자장치(10)의 제반 구성들이 동작하기 위한 제어를 수행한다. 프로세서(180)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 범용 프로세서, 예를 들면 마이크로 프로세서(microprocessor), 응용 프로세서(application processor) 혹은 CPU(central processing unit)를 포함할 수 있다.
프로세서(180)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서(180)는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor) 및 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되고 디스플레이장치로서 동작하지 않는)에서 동작하는 서브 프로세서(sub processor)를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결될 수 있다.
일 실시예에서, 프로세서(180)는 제2전자장치(20)를 포함하는 다양한 외부의 장치로부터 수신된 컨텐트에 대해 기 설정된 다양한 프로세스를 수행하는 영상처리부를 포함할 수 있다. 프로세서(180)는 영상처리를 수행하여 생성 또는 결합한 출력 신호를 디스플레이(110)에 출력함으로써, 디스플레이(110)에 영상신호에 대응하는 영상이 표시되게 할 수 있다.
영상처리부는 영상신호를 제1전자장치(10)의 영상 포맷에 대응하도록 디코드하는 디코더(decoder), 영상신호를 디스플레이(110)의 출력규격에 맞도록 조절하는 스케일러(scaler)를 포함할 수 있다.
일 실시예에서, 디코더는 예를 들어, H.264 디코더인 것을 일례로 하지만 이에 한정되는 것은 아니다. 즉, 본 발명 실시예에 따른 비디오 디코더는 MPEG(Moving Picture Experts Group) 디코더 또는 HEVC(High Efficiency Video Codec) 디코더 등 다양한 압축 표준에 따른 디코더로서 구현 가능하다.
또한, 본 발명에서 영상처리부가 처리하는 컨텐트의 종류는 한정되지 않는다. 예를 들어, 영상처리부에서 처리 가능한 컨텐트는 비디오와 같은 동영상뿐 아니라, JPEG 파일과 같은 사진, 배경화면 등의 정지화상, GUI(graphic user interface) 등을 더 포함할 수 있다.
본 발명의 영상처리부가 수행하는 영상처리 프로세스의 종류는 한정되지 않는바, 예를 들면 인터레이스(interlace) 방식의 방송신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환, 라인 스캐닝(line scanning) 다양한 프로세스 중 적어도 하나를 수행할 수 있다.
일 실시예에서 영상처리부는 이러한 각 프로세스를 수행하기 위한 다양한 칩셋, 메모리, 전자부품, 배선 등의 회로 구성이 인쇄회로기판(PCB) 상에 실장된 영상보드로 구현될 수 있다. 이 경우, 제1전자장치(10)에는 튜너, 영상처리부를 포함하는 프로세서(180)가 단일의 영상보드에 마련될 수 있다. 물론, 이는 일례에 불과하고 서로 통신 가능하게 연결된 복수의 인쇄회로기판에 배치될 수도 있다.
일 실시예에서 프로세서(180)는, 오디오신호/소리신호를 처리하는 신호처리부를 포함할 수 있다. 신호처리부에서 처리된 소리신호는 스피커(150)를 통해 출력될 수 있다.
일 실시예에서, 신호처리부는 기 정의된 주파수 대역, 예를 들면 초음파 대역의 주파수에 제1전자장치(10)의 정보, 예를 들면 맥 어드레스(MAC address)와 같은 식별정보를 포함하는 신호, 다시 말해, 초음파 신호를 생성할 수 있다.
다만, 영상처리부와 신호처리부의 구현 형태는 한정되는 것이 아니므로, 다른 실시예에서 영상처리부 또는 신호처리부는 프로세서(180)와 구분된 별도의 마이크로 프로세서로 구현될 수도 있다.
일 실시예에서 프로세서(180)는 제1전자장치(10)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 어플리케이션 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 어플리케이션은, 제1전자장치(10)의 제조 시에 제1전자장치(10)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 어플리케이션의 데이터를 수신하여 수신된 데이터에 기초하여 제1전자장치(10)에 설치될 수 있다. 어플리케이션의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 제1전자장치(10)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
제어프로그램은 컴퓨터와 같은 기기로 읽을 수 있는 저장매체에 기록될 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 일례로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.
도 4는 본 발명 일 실시예에 따른 제1전자장치의 제어 동작을 도시한 흐름도이다.
본 발명 일 실시예에서, 제1전자장치(10)의 프로세서(180)는, 도 4에 도시된 바와 같이, 센서(160)를 통해 외부장치, 즉, 제2전자장치(20)를 이용한 사용자 탭에 대응하는 이벤트의 발생을 확인할 수 있다(301). 프로세서(180)는, 센서(160)로부터 출력되는 센싱 데이터에 기초하여, 기 설정된 임계값 이상의 진동이 감지되면, 외부장치를 이용한 탭 이벤트의 발생을 식별할 수 있다.
프로세서(180)는, 스피커(150)를 통해 제1전자장치(10)의 정보를 포함하는 신호에 기초한 사운드를 출력할 수 있다(302). 여기서, 프로세서(180)는, 센서(106)에 의해 제2전자장치(20)를 이용한 탭 이벤트가 감지된 것에 기초하여, 기 정의된 대역으로서 초음파 대역의 주파수에 제1전자장치(10)의 정보를 포함하는 정보를 포함하는 신호를 생성하고, 그 생성된 신호에 기초한 사운드를 스피커(150)를 통해 출력할 수 있다. 출력된 사운드는 제2전자장치(20)의 마이크(240)에 의해 수신되어, 해당 신호에 포함된 정보에 기초하여 제1전자장치(10)와 제2전자장치(20)가 무선 통신을 수행할 수 있도록 한다.
프로세서(180)는, 인터페이스부(120)를 통해 외부장치, 즉, 제2전자장치(20)로부터 컨텐트를 수신할 수 있다(303). 여기서, 인터페이스부(120)는, 단계 302에서 출력된 사운드의 신호, 다시 말해, 초음파 신호에 포함된 제1전자장치(10)의 정보에 기초한 제1전자장치(10)와 제2전자장치(20)의 무선 통신 연결에 따라, 제2전자장치(20)로부터 화면 미러링을 위한 컨텐트의 데이터를 수신할 수 있다.
일 실시예로서, 상기와 같은 프로세서(180)의 동작은 제1전자장치(10)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다.
이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서에 의해 실행되면, 센서(160)를 통해 외부장치를 이용한 사용자 탭에 대응하는 이벤트의 발생을 확인하고, 스피커(150)를 통해 제1전자장치(10)의 정보를 포함하는 신호에 기초한 사운드를 출력하고, 인터페이스부(120)를 통해 외부장치로부터 컨텐트를 수신하는 것을 포함한다.
이에 따라, 제1전자장치(10)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 프로세서(180)의 동작을 수행할 수 있다.
도 5는 본 발명 일 실시예에 의한 제2전자장치의 구성을 도시한 블록도이다.
본 발명 일 실시예에 따른 제2전자장치(20)는, 도 5에 도시된 바와 같이, 디스플레이(210), 인터페이스부(220), 사용자입력부(230), 마이크(240), 스피커(250), 센서(260), 저장부(270) 및 프로세서(280)를 포함한다. 인터페이스부(220)는 유선 인터페이스부(211)와 무선 인터페이스부(212)를 포함할 수 있다.
다만, 도 5에 도시된 본 발명의 일 실시예에 의한 제2전자장치(20)의 구성은 하나의 예시일 뿐이며, 다른 실시예에 의한 모바일장치는 도 5에 도시된 구성 외에 다른 구성으로 구현될 수 있다. 즉, 본 발명의 제2전자장치(20)는 도 5에 도시된 구성 외 다른 구성이 추가되거나, 혹은 도 5에 도시된 구성 중 적어도 하나가 배제된 형태로 구현될 수 있다. 또한, 본 발명의 제2전자장치(20)는, 도 5에 구성된 구성의 일부가 변경되는 형태로 구현될 수도 있다.
본 발명에서는, 도 5에 도시된 제2전자장치(20)의 구성요소 중, 도 3에 도시된 제1전자장치(10)와 동일한 동작을 수행하는 구성요소에 대해서는 동일한 명칭을 사용하기로 하며, 중복되는 부분에 대해서는 설명이 생략될 수 있다.
디스플레이(210)는 영상을 디스플레이할 수 있다. 디스플레이(210)의 구현 방식은 한정되지 않으며, 다양한 디스플레이 방식으로 구현될 수 있다.
일 실시예에서 디스플레이(210)는 사용자의 터치입력을 수신할 수 있는 터치스크린을 포함할 수 있다.
인터페이스부(220)는, 제2전자장치(20)가 제1전자장치(10)를 포함하는 다양한 외부의 장치와 통신할 수 있도록 한다.
인터페이스부(220)는 유선 인터페이스부(221)를 포함할 수 있다.
유선 인터페이스부(221)는 USB 포트 등과 같은 범용 데이터 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다.
유선 인터페이스부(221)는 다양한 종류의 통신 프로토콜에 대응하는 무선 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
인터페이스부(220)는 무선 인터페이스부(222)를 포함할 수 있다. 무선 인터페이스부(222)는 제2전자장치(20)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(222)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(Bluetooth, BT), 블루투스 저에너지(Bluetooth Low Energy, BLE), 와이파이(Wi-Fi), 와이파이 다이렉트, UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등의 무선통신을 사용할 수 있다.
무선 인터페이스부(222)는 다양한 종류의 통신 프로토콜에 대응하는 무선 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
일 실시예에서 무선 인터페이스부(222)는 무선랜유닛을 포함한다. 무선랜유닛은 프로세서(280)의 제어에 따라 억세스 포인트(access point, AP)를 통해 무선으로 외부장치와 연결될 수 있다. 무선랜유닛은 와이파이 모듈을 포함한다.
일 실시예에서 무선 인터페이스부(222)는 억세스 포인트 없이 무선으로 제2전자장치(20)와 외부장치 사이에 1 대 1 다이렉트 통신을 지원하는 무선통신모듈을 포함한다. 무선통신모듈은 와이파이 다이렉트, 블루투스, 블루투스 저에너지 등의 통신방식을 지원하도록 구현될 수 있다. 제2전자장치(20)가 외부장치와 다이렉트로 통신을 수행하는 경우, 저장부(270)에는 통신 대상 기기인 외부장치에 대한 식별정보(예를 들어, MAC address 또는 IP address)가 저장될 수 있다.
일 실시예에서 제2전자장치(20)는 무선 인터페이스부(222)를 통해 제1전자장치(10)와 와이파이 다이렉트와 같은 무선통신을 수행할 수 있으며, 이를 위한 식별정보로서 제1전자장치(10)의 와이파이 맥 어드레스(Wi-Fi MAC address)는 초음파 통신 방식에 의해 제1전자장치(10)로부터 수신될 수 있다.
본 발명 일 실시예에 따른 제2전자장치(20)에서, 무선 인터페이스부(222)는 성능에 따라 무선랜유닛과 무선통신모듈 중 적어도 하나에 의해 외부장치와 무선 통신을 수행하도록 마련된다.
다른 실시예에서 무선 인터페이스부(222)는 LTE와 같은 이동통신, 자기장을 포함하는 EM 통신, 가시광통신 등의 다양한 통신방식에 의한 통신모듈을 더 포함할 수 있다.
일 실시예에서 무선 인터페이스부(222)는 마이크(240)를 통해 수신된 사용자음성의 정보로서 소정 데이터를 서버와 같은 외부의 장치로 전송할 수 있다. 여기서, 전송되는 데이터의 형태/종류는 한정되지 않으며, 예를 들면, 사용자로부터 발화된 음성에 대응하는 오디오신호나, 오디오신호로부터 추출된 특징 등을 포함할 수 있다.
또한, 무선 인터페이스부(222)는 서버와 같은 외부의 장치로부터 해당 사용자음성의 처리 결과의 데이터를 수신할 수 있다. 제2전자장치(20)는 수신된 데이터에 기초하여, 음성 처리결과에 대응하는 사운드를 내부 또는 외부의 스피커를 통해 출력할 수 있다.
다만, 상기한 실시예는 예시로서, 사용자음성을 서버로 전송하지 않고, 제2전자장치(20) 내에서 자체적으로 처리할 수도 있다. 즉, 다른 실시예에서 제2전자장치(20)가 STT 서버의 역할을 수행하도록 구현 가능하다.
일 실시예에서, 제2전자장치(20)는 화면 미러링 동작을 수행할 수 있으며, 그에 따라 제1전자장치(10)의 디스플레이(110)에, 제2전자장치(20)의 디스플레이(210)에서 표시되는 컨텐트의 영상이 표시되도록, 무선 인터페이스부(222)를 통해 해당 컨텐트의 데이터가 제1전자장치(10)에 전송되도록 할 수 있다.
제2전자장치(20)는 인터페이스부(220)를 통해 화면 미러링을 위한 컨텐트의 데이터를 전송할 수 있다. 일례로, 제2전자장치(20)는 무선 인터페이스부(222)로서, 와이파이 모듈을 통해 컨텐트 데이터를 송신할 수 있다.
본 발명 일 실시예에서, 화면 미러링을 위한 컨텐트의 송신 방식은, 미러링 또는 캐스트 중 적어도 하나를 포함할 수 있다.
미러링 방식이 적용되는 경우, 인터페이스부(220)는 제1전자장치(10)로 디코딩된 상태의 컨텐트를 송신할 수 있다.
캐스트 방식이 적용되는 경우, 인터페이스부(220)는 일례로 제1전자장치(10)로 디코딩되지 않은 컨텐트의 데이터를 송신할 수 있다. 다른 예로서, 인터페이스부(220)는 제1전자장치(10)로 해당 컨텐트를 획득할 수 있는 주소 정보를 제공하고, 제1전자장치(10)가 인터페이스부(120)를 통해 해당 주소에 접속함으로써, 예를 들어, 서버로부터 컨텐트를 수신하도록 할 수 있다.
사용자입력부(230)는 사용자의 입력에 의해, 기설정된 다양한 제어 커맨드 또는 한정되지 않은 정보를 프로세서(280)에 전달한다.
사용자입력부(230)는 제2전자장치(20)의 전면 또는 측면 등에 형성되는 적어도 하나의 물리적인 버튼, 터치스크린에 표시되는 가상 키패드 또는 메뉴항목 등의 오브젝트, 터치스크린에 대한 사용자의 터치입력이 가능한 별도의 입력장치(스타일러스, 포인팅 디바이스 등) 중 적어도 하나를 포함할 수 있다.
마이크(microphone)(240)는 소리 즉, 음파를 수신할 수 있다.
본 발명 일 실시예에서 마이크(240)는 제2전자장치(20)에 자체적으로 마련되도록 구현되며, 제2전자장치(20)에 마련되는 마이크의 개수, 형태 및 설치 위치는 한정되지 않는다.
일 실시예에서 마이크(240)는, 사용자로부터 발화된 음성이나, 다양한 내부 또는 외부의 원인에 의해 발생하는 사운드에 대응하는 음파를 수신할 수 있다. 마이크(240)를 통해 수신되는 사운드에 대응하는 신호의 주파수 대역은 한정되지 않으며, 가청 또는 비가청, 예를 들면 초음파, 주파수 대역의 신호를 포함할 수 있다.
일 실시예에서 마이크(240)는, 제2전자장치(20) 가 외부장치로서 제1전자장치(10)에 대한 탭 이벤트를 감지한 것에 기초하여, 활성화, 즉, 턴 온될 수 있다. 마이크(240)는, 탭 이벤트의 발생에 의해 활성화, 다시 말해, 오픈(open)됨으로써, 제1전자장치(10)로부터 브로드캐스트되는 초음파 주파수 대역의 신호를 음파로서 수신할 수 있다. 즉, 제1전자장치(10)로부터 출력되는 신호는 주변의 다른 기기가 아닌, 마이크(240)가 오픈된 제2전자장치(20)에서 수신될 수 있다.
마이크(240)에 의해 수신되는 초음파 신호는 제1전자장치(10)의 정보를 포함할 수 있다.
제1전자장치(10)의 정보를 포함하는 신호는, 일례로, 초음파 주파수 대역의 신호를 포함할 수 있으나, 한정되는 것은 아니다. 즉, 다른 실시예로서, 마이크(240)는 제1전자장치(10)의 정보를 포함하는 신호로서 가청 주파수 대역의 신호를 수신할 수 있으며, 이 경우 미리 정해진 알림 사운드가 마이크(240)를 통해 수신될 수 있다.
스피커(250)는 음향 즉, 사운드를 출력한다. 스피커(250)는 사운드를 출력 가능한 적어도 하나의 라우드스피커(loudspeaker)로서 구현될 수 있다. 스피커(250)는 복수의 채널의 오디오신호/소리신호에 대응하는 사운드를 출력할 수 있다.
일 실시예에서 스피커(250)는 마이크(240)를 통해 수신되는 사용자음성에 대응하는 소리 신호의 처리에 따라 생성된 사운드를 출력할 수 있다.
스피커(250)를 통해 출력되는 사운드에 대응하는 신호의 주파수 대역은 한정되지 않으며, 가청 또는 비가청, 예를 들면 초음파 주파수 대역의 신호를 포함할 수 있다.
센서(260)는 내부 또는 외부의 다양한 원인에 의해 발생되는 제2전자장치(20)의 진동을 감지할 수 있다.
일 실시예에서 센서(260)는 제2전자장치(20)에 마련되는 가속도 센서를 포함할 수 있다. 다만, 본 발명에서 센서(260)의 구현 형태는 한정되지 않으며, 제1전자장치(10)에 대한 사용자 탭에 의해 발생되는 진동을 감지할 수 있는 다양한 형태의 센서로서 구현될 수 있다. 예를 들면, 센서(260)는 3축 또는 6축 가속도 센서로 구현될 수 있으며, 경우에 따라 가속도 센서와 각속도 센서의 조합으로 구현될 수도 있다.
본 발명 일 실시예에 따른 제2전자장치(20)는, 센서(260)로부터 출력되는 센서 데이터에 기초하여, 센서(260)에서 기 정의된 크기, 다시 말해, 임계값(threshold) 이상의 진동이 감지되는 것을 식별할 수 있다.
제2전자장치(20)는, 센서(260)에서 임계값 이상의 진동이 감지되면, 해당 진동이 외부장치에 대한 사용자입력, 예를 들면 제1전자장치(10)의 일 영역에 대한 탭 이벤트의 발생에 의한 것으로 식별할 수 있다.
저장부(270)는 제2전자장치(20)의 다양한 데이터를 저장하도록 구성된다.
저장부(270)에 저장되는 데이터는, 예를 들면 제2전자장치(20)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 프로그램, 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
일 실시예에서 저장부(270)에는, 외부장치인 제1전자장치(10)와 무선통신을 수행할 수 있는 식별정보로서 제1전자장치(10)의 와이파이 맥 어드레스가 저장될 수 있다. 이러한 제1전자장치(10)의 정보는 초음파 신호에 포함되어 제1전자장치(10)로부터 출력되며, 그 초음파 신호가 마이크(240)에 의해 수신됨으로써 제2전자장치(20)에 의해 획득된다.
프로세서(280)는 제2전자장치(20)의 제반 구성들이 동작하기 위한 제어를 수행한다. 프로세서(280)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)과, 제어프로그램이 설치되는 비휘발성의 메모리, 설치된 제어프로그램의 적어도 일부가 로드되는 휘발성의 메모리 및 로드된 제어프로그램을 실행하는 적어도 하나의 범용 프로세서, 예를 들면 마이크로 프로세서(microprocessor), 응용 프로세서(application processor) 혹은 CPU(central processing unit)를 포함할 수 있다.
일 실시예에서, 프로세서(280)는 다양한 외부장치로부터 수신된 컨텐트 데이터에 대해 기 설정된 다양한 프로세스를 수행하는 영상처리부를 포함할 수 있다. 프로세서(280)는 영상처리를 수행하여 생성 또는 결합한 출력 신호를 디스플레이(210)에 출력함으로써, 디스플레이(210)에 영상신호에 대응하는 영상이 표시되게 할 수 있다.
일 실시예에서 프로세서(280)는, 오디오신호/소리신호를 처리하는 신호처리부를 포함할 수 있다. 신호처리부에서 처리된 소리신호는 스피커(250)를 통해 출력될 수 있다.
일 실시예에서 프로세서(280)는 제2전자장치(20)에 내장되는 PCB 상에 실장되는 메인 SoC (Main SoC)에 포함되는 형태로서 구현 가능하다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 어플리케이션 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 어플리케이션은, 제2전자장치(20)의 제조 시에 제2전자장치(20)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 어플리케이션의 데이터를 수신하여 수신된 데이터에 기초하여 제2전자장치(20)에 설치될 수 있다. 어플리케이션의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 제2전자장치(20)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
도 6은 본 발명 일 실시예에 따른 제2전자장치의 제어 동작을 도시한 흐름도이다.
본 발명 일 실시예에서, 제2전자장치(20)의 프로세서(280)는, 도 6에 도시된 바와 같이, 센서(260)를 통해 외부장치, 즉, 제1전자장치(10)에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인할 수 있다(401). 프로세서(280)는, 센서(260)로부터 출력되는 센싱 데이터에 기초하여, 기 설정된 임계값 이상의 진동이 감지되면, 외부장치에 대한 탭 이벤트의 발생을 식별할 수 있다.
프로세서(280)는, 마이크(240)를 통해 수신되는 신호에 기초하여, 외부장치, 즉, 제1전자장치(10)의 정보를 획득할 수 있다(402). 여기서, 프로세서(280)는, 센서(206)에 의해 제1전자장치(10)에 대한 탭 이벤트가 감지된 것에 기초하여, 마이크(240)를 오픈, 즉, 활성화함으로써, 제1전자장치(10)로부터 출력되는 신호의 음파를 수신할 수 있다.
프로세서(280)는, 단계 402에서 획득된 정보에 기초하여, 인터페이스부(220)를 통해 외부장치 즉, 제1전자장치(10)로 컨텐트를 전송할 수 있다(403). 여기서, 프로세서(280)는, 획득된 제1전자장치(10)의 정보에 기초하여, 제1전자장치(10)와의 무선통신 연결을 수행하고, 그에 따라 제1전자장치(10)로 화면 미러링을 위한 컨텐트의 데이터를 전송할 수 있다.
일 실시예로서, 상기와 같은 프로세서(280)의 동작은 제2전자장치(20)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다.
이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서에 의해 실행되면, 센서(260)를 통해 외부장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하고, 마이크(240)를 통해 수신되는 신호에 기초하여 외부장치의 정보를 획득하고, 획득된 정보에 기초하여 인터페이스부(220)를 통해 외부장치로 컨텐트를 전송하는 것을 포함한다.
이에 따라, 제2전자장치(20)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 프로세서(280)의 동작을 수행할 수 있다.
도 7은 본 발명 일 실시예에 따라 제1전자장치 및 제2전자장치에서 무선통신 연결 및 화면 미러링을 수행하는 과정들을 설명하기 위한 도면이다.
도 7에 도시된 바와 같이, 제1전자장치(10)와 제2전자장치(20)에서는 사용자 탭에 대응하는 이벤트가 발생될 수 있다(501). 사용자 탭에 대응하는 이벤트는, 예를 들어, 제2전자장치(20)로 제1전자장치(10)의 일 영역을 태핑(tapping)하는 사용자입력으로서 탭 이벤트를 포함할 수 있다.
제1전자장치(10)에서는, 센서(160)에 의해 탭 이벤트의 발생이 감지될 수 있다(502). 제1전자장치(10)의 프로세서(180)는, 센서(160)에 의해 기 설정된 임계값 이상의 진동이 감지되면, 이를 탭 이벤트의 발생으로 식별할 수 있다.
제2전자장치(20)에서는, 센서(260)에 의해 탭 이벤트의 발생이 감지될 수 있다(503). 제2전자장치(20)의 프로세서(280)는, 센서(260)에 의해 기 설정된 임계값 이상의 진동이 감지되면, 이를 탭 이벤트의 발생으로 식별할 수 있다.
제2전자장치(20)의 프로세서(280)는, 단계 503에서 감지된 탭 이벤트의 발생에 응답하여, 마이크(240)를 활성화, 즉, 턴 온 시킬 수 있다(504). 활성화된 마이크(240)는, 주변으로부터 사운드, 즉, 음파를 수신 가능한 상태가 된다.
제1전자장치(10)의 프로세서(180)는, 단계 501에서 감지된 탭 이벤트의 발생에 응답하여, 제1전자장치(10)의 정보를 포함하는 초음파 신호를 생성할 수 있다(505). 제1전자장치(10)의 정보는 무선통신을 위한 식별정보로서, 일례로 제1전자장치(10)의 맥 어드레스를 포함할 수 있다.
프로세서(180)는 단계 505에서 생성된 초음파 신호에 기초한 사운드를 스피커(150)를 통해 출력할 수 있다(506).
단계 506의 사운드 출력에 따라, 제1전자장치(10)의 정보를 포함하는 초음파가 제1전자장치(10)로부터 제2전자장치(20)로 전송될 수 있다(507).
제2전자장치(20)는, 단계 504에서 활성화된 마이크(240)에 의해, 단계 507에서 전송된 초음파를 사운드로서 수신할 수 있다(508).
제2전자장치(20)의 프로세서(280)는, 단계 508에서 수신된 사운드에 대응하는 초음파 신호로부터 제1전자장치(10)의 정보를 획득할 수 있다(509). 프로세서(280)는 마이크(240)를 통해 수신된 초음파 신호를 처리하여, 제1전자장치(10)의 정보를 추출할 수 있다.
프로세서(280)는, 단계 509에서 획득된 정보에 기초하여, 인터페이스부(220)를 통한, 제1전자장치(10)와의 무선통신 연결이 이루어지도록 할 수 있다(510). 단계 510의 통신 연결에 기초하여, 제2전자장치(20)의 무선 인터페이스부(222)와 제1전자장치(10)의 무선 인터페이스부(222) 간의 통신에 따른 데이터 송수신이 가능하게 된다.
그리고, 프로세서(180)는 인터페이스부(120)를 통해 화면 미러링을 위한 컨텐트, 다시 말해, 디스플레이(110)에 표시 중인 영상에 대응하는 컨텐트를 제1전자장치(10)로 출력할 수 있다(511). 이에, 제2전자장치(20)에서 화면 미러링의 동작이 개시될 수 있다.
단계 511의 컨텐트 출력에 따라, 화면 미러링을 위한 컨텐트가 제2전자장치(20)로부터 제1전자장치(10)로 전송될 수 있다(512).
제1전자장치(10)의 프로세서(180)는, 인터페이스부(220)를 통해, 단계 512에서 전송된 컨텐트를 수신할 수 있다(513).
프로세서(180)는, 단계 513에 수신된 컨텐트의 영상을 디스플레이하도록 디스플레이(110)를 제어할 수 있다(514). 이에, 제2전자장치(20)의 디스플레이(210)에 표시 중인 컨텐트의 영상이 제1전자장치(10)의 디스플레이(110)에도 표시됨으로써, 화면 미러링의 동작이 완료될 수 있다.
상기와 같은 본 발명 일 실시예에서는, 제1전자장치(10)와 제2전자장치(20) 각각에서 화면 미러링을 위한 탭 이벤트가 감지되면, 초음파 통신을 이용하여 양 장치간 무선통신을 위한 제1전자장치(10)의 정보를 제공함으로써, 블루투스 페어링을 이용하는 관련 기술 대비, 제1전자장치(10)와 제2전자장치(20) 사이의 통신 연결에 소요되는 시간을 단축할 수 있다. 또한 제1전자장치(10)로부터 브로드캐스트되는 초음파 신호는, 주변의 다른 장치가 아닌, 마이크(240)가 활성화된 제2전자장치(20)에 의해 수신되므로, 연결 실패와 같은 오동작의 발생이 최소화될 수 있다.
블루투스 페어링을 이용하는 관련 기술은, 예를 들면, 전자장치들 간의 연결 및 보안을 위한 설정 동작을 이용하여 수행될 수 있다.
구체적으로, 모바일장치와 같은 소스기기는, 탭 이벤트가 발생된 것으로 식별되면, 예를 들어, BLE 페어링 모드로 진입하여, 기 정의된 시간 간격(예를 들면, 250ms)으로 주변 디바이스를 탐색(advertise)할 수 있다.
TV와 같은 싱크기기는, 탭 이벤트가 발생된 것으로 식별되면, 주변 디바이스에 통신을 위한 페어링 신호로서, 예를 들면, GATT (Generic Attribute Profile) 기반의 연결 신호를 출력하고, 그에 응답한 소스기기와 보안 프로세스를 진행하여, 신뢰성의 획득이 완료됨에 따라 소스기기와 싱크기기가 페어링되면, 양 장치간의 데이터 송수신이 가능하게 된다.
이러한 블루투스 페어링의 경우, 주변 디바이스에 대한 탐색, GATT 연결, 보안 프로세스 진행 및 신뢰성 획득까지 복잡한 절차를 통해 수행되는 과정에서, 연결 실패가 발생하는 경우가 종종 있다. 또한, TV의 경우, 제한된 대역폭을 이용하는 블루투스 연결 주변기기가 다양화되는 추세이며, 주변기기의 블루투스 연결이 화면 미러링을 위한 모바일장치보다 우선순위를 가지는 경우가 대부분이므로, 소스기기로서 모바일장치의 연결까지 시간이 많이 소요될 수 있다.
그에 따라, 초음파와 같은 사운드의 신호를 이용하는 본 발명에서는, 블루투스 페어링을 이용하는 관련 기술과 대비하여, 제1전자장치(10)와 제2전자장치(20) 사이의 통신 연결의 효율성 및 정확성이 증대되는 장점을 가지게 된다.
도 8은 본 발명 다른 실시예에 따른 제2전자장치의 제어 동작을 도시한 흐름도이다.
도 8에 도시된 바와 같이, 제2전자장치(20)의 프로세서(280)는, 센서(260)를 통해 외부장치로서 TV와 같은 제1전자장치(10)에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인할 수 있다(601). 프로세서(280)는, 센서(260)로부터 출력되는 센싱 데이터에 기초하여, 기 설정된 임계값 이상의 진동이 감지되면, 외부장치에 대한 탭 이벤트가 발생된 것으로 식별할 수 있다.
본 실시예에서는, 사용자가 제2전자장치(20)를 이용하여 제1전자장치(10)를 태핑함에 따라, 제2전자장치(20)에서 식별되는 탭 이벤트를 제1이벤트로, 도 4의 단계 301 또는 도 7의 단계 502에서 설명한 바와 같이, 상대방 장치인 제1전자장치(10)에서 식별되는 탭 이벤트를 제2이벤트로 각각 정의하기로 한다.
프로세서(280)는, 단계 503에서 감지된 탭 이벤트, 즉, 제1이벤트의 발생에 응답하여, 마이크(240)를 활성화, 즉, 턴 온 시킬 수 있다(602). 그에 따라, 제2전자장치(20)는, 마이크(240)를 통해 주변으로부터 사운드, 즉, 음파를 수신 가능한 상태가 된다.
프로세서(280)는, 단계 602에서 활성화된 마이크(240)를 통해 수신되는 신호에 기초하여, 외부장치, 즉, 제1전자장치(10)에서의 사용자 탭에 대응하는 이벤트의 발생을 확인할 수 있다(603).
즉, 도 4 또는 도 7의 실시예에서 설명한 바와 같이, 제1전자장치(10)에서도 센서(160)에 의해 탭 이벤트, 즉, 제2이벤트의 발생이 감지될 수 있다. 제1전자장치(10)는 제2이벤트 발생이 식별되면, 자신의 식별정보를 포함하는 신호, 일례로 초음파 신호를 출력할 수 있다. 제2전자장치(20)의 프로세서(280)는, 단계 603에서 마이크(240)를 통해 해당 신호가 수신되었음을 식별함으로써, 외부장치, 즉, 제1전자장치(10)에서의 제2이벤트의 발생을 확인할 수 있다.
여기서, 프로세서(280)는 수신된 초음파 신호에 기초하여, 해당 신호를 출력한 상대방, 즉, 제1전자장치(10)의 근접 여부를 더 식별할 수 있다. 프로세서(280)는, 초음파 신호의 세기(intensity)를 이용하여 근접한 외부장치에서 제2이벤트가 발생되었음을 식별할 수 있다.
프로세서(280)는, 단계 602에서 활성화된 마이크(240)를 통해 수신되는 신호에 기초하여, 외부장치, 즉, 제1전자장치(10)의 정보를 획득할 수 있다(602). 여기서, 수신되는 제1전자장치(10)의 정보는, 제2전자장치(20)가 제1전자장치(10)와 다이렉트로 무선통신을 수행할 수 있는 정보로서, 맥 어드레스 정보를 포함할 수 있다.
프로세서(280)는, 단계 602에서 획득된 정보에 기초하여, 외부장치, 즉, 제1전자장치(10)와의 무선 통신 연결을 수행할 수 있다(605). 단계 605의 통신 연결에 기초하여, 제2전자장치(20)의 무선 인터페이스부(222)와 제1전자장치(10)의 무선 인터페이스부(222) 간의 통신에 따른 데이터 송수신이 가능하게 된다.
그리고, 프로세서(280)는, 단계 605에서 연결이 수행된 무선 통신을 통해, 외부장치 즉, 제1전자장치(10)로 컨텐트를 전송할 수 있다(606). 그에 따라. 제1전자장치(10)에서 화면 미러링을 위한 컨텐트가 수신되어, 디스플레이될 수 있다.
도 8의 다른 실시예에서는, 제2전자장치(20)의 마이크(240)를 통해 수신되는 신호를 통해, 근접된 외부장치에서도 탭 이벤트가 발생되었음을 더 확인할 수 있다. 그에 따라, 양 장치에서 탭 이벤트의 발생이 확인되면, 그 신호에 포함된 정보에 기초한 무선 통신 연결을 수행함으로써, 실제 사용자 의도에 보다 부합하여, 모바일 탭 미러링 동작을 수행할 있게 된다. 또한, 화면 미러링을 주도적으로 수행하는 제2전자장치(20)에서, 근접 외부장치에서의 탭 이벤트 발생 여부까지 확인하게 되므로, 동작의 정확성 및 효율성을 더욱 높일 수 있다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
이상, 바람직한 실시예들을 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며 특허청구범위 내에서 다양하게 실시될 수 있다.

Claims (15)

  1. 전자장치에 있어서,
    인터페이스부; 및
    센서를 통해 상기 전자장치를 이용한 외부장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하고,
    마이크를 통해 수신되는 신호에 기초하여 상기 외부장치의 정보를 획득하고,
    상기 획득된 정보에 기초하여 상기 인터페이스부를 통해 상기 외부장치로의 컨텐트의 전송이 수행되도록 제어하는
    프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 획득된 정보에 기초하여 상기 인터페이스부를 통해 상기 외부장치와의 무선 통신 연결을 수행하는 전자장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 이벤트의 발생에 대응하여 상기 마이크를 활성화하는 전자장치.
  4. 제1항에 있어서,
    상기 마이크를 통해 수신되는 신호는, 초음파 주파수 대역의 신호를 포함하는 전자장치.
  5. 제1항에 있어서,
    상기 외부장치로의 컨텐트의 전송은, 미러링 또는 캐스트 중 적어도 하나를 포함하는 전자장치.
  6. 제1항에 있어서,
    상기 이벤트는 제1이벤트이고,
    상기 프로세서는, 상기 마이크를 통해 수신되는 신호에 기초하여 상기 사용자 탭에 대응하는 상기 외부장치에서의 제2이벤트의 발생을 확인하는 전자장치.
  7. 전자장치에 있어서,
    인터페이스부; 및
    센서를 통해 외부장치를 이용한 상기 전자장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하고,
    스피커를 통해 상기 전자장치의 정보를 포함하는 신호에 기초한 사운드를 출력하고,
    상기 인터페이스부를 통해 상기 외부장치로부터의 컨텐트의 수신이 수행되도록 제어하는
    프로세서를 포함하는 전자장치.
  8. 제7항에 있어서,
    상기 스피커를 통해 출력되는 신호는, 초음파 주파수 대역의 신호를 포함하는 전자장치.
  9. 제7항에 있어서,
    상기 외부장치로부터의 컨텐트의 수신은, 미러링 또는 캐스트 중 적어도 하나를 포함하는 전자장치.
  10. 제7항에 있어서,
    상기 프로세서는,
    상기 전자장치의 정보를 이용한 상기 외부장치와의 무선 통신 연결에 기초하여, 상기 인터페이스부를 통해 상기 컨텐트의 수신이 수행되도록 제어하는 전자장치.
  11. 전자장치의 제어방법에 있어서,
    센서를 통해 상기 전자장치를 이용한 외부장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하는 단계;
    마이크를 통해 수신되는 신호에 기초하여 상기 외부장치의 정보를 획득하는 단계; 및
    상기 획득된 정보에 기초하여 인터페이스부를 통해 상기 외부장치로의 컨텐트의 전송이 수행되도록 제어하는 단계;
    를 포함하는 전자장치의 제어방법.
  12. 제11항에 있어서,
    상기 획득된 정보에 기초하여 상기 인터페이스부를 통해 상기 외부장치와의 무선 통신 연결을 수행하는 단계를 더 포함하는 전자장치의 제어방법.
  13. 제11항에 있어서,
    상기 이벤트의 발생에 대응하여 상기 마이크를 활성화하며,
    상기 마이크를 통해 수신되는 신호는, 초음파 주파수 대역의 신호를 포함하는 전자장치의 제어방법.
  14. 전자장치의 제어방법에 있어서,
    센서를 통해 외부장치를 이용한 상기 전자장치에 대한 사용자 탭에 대응하는 이벤트의 발생을 확인하는 단계;
    스피커를 통해 상기 전자장치의 정보를 포함하는 신호에 기초한 사운드를 출력하는 단계; 및
    인터페이스부를 통해 상기 외부장치로부터의 컨텐트의 수신이 수행되도록 제어하는 단계;
    를 포함하는 전자장치의 제어방법.
  15. 제14항에 있어서,
    상기 스피커를 통해 출력되는 신호는, 초음파 주파수 대역의 신호를 포함하는 전자장치의 제어방법.
PCT/KR2021/001483 2020-02-13 2021-02-04 전자장치 및 그 제어방법 WO2021162342A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200017829A KR20210103277A (ko) 2020-02-13 2020-02-13 전자장치 및 그 제어방법
KR10-2020-0017829 2020-02-13

Publications (1)

Publication Number Publication Date
WO2021162342A1 true WO2021162342A1 (ko) 2021-08-19

Family

ID=77292508

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/001483 WO2021162342A1 (ko) 2020-02-13 2021-02-04 전자장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR20210103277A (ko)
WO (1) WO2021162342A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150041677A (ko) * 2013-10-08 2015-04-17 삼성전자주식회사 음파를 이용한 단말기 간의 상호작용 방법 및 장치
KR20160008920A (ko) * 2014-07-15 2016-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20180037923A (ko) * 2015-08-06 2018-04-13 엘지전자 주식회사 이동단말기 및 그 제어방법
US10181309B2 (en) * 2015-06-01 2019-01-15 Lenovo (Beijing) Co., Ltd. Electronic device control method and electronic device
KR20190061438A (ko) * 2017-11-28 2019-06-05 삼성전자주식회사 원격 제어 장치, 전자 장치 및 그들의 페어링 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150041677A (ko) * 2013-10-08 2015-04-17 삼성전자주식회사 음파를 이용한 단말기 간의 상호작용 방법 및 장치
KR20160008920A (ko) * 2014-07-15 2016-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US10181309B2 (en) * 2015-06-01 2019-01-15 Lenovo (Beijing) Co., Ltd. Electronic device control method and electronic device
KR20180037923A (ko) * 2015-08-06 2018-04-13 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20190061438A (ko) * 2017-11-28 2019-06-05 삼성전자주식회사 원격 제어 장치, 전자 장치 및 그들의 페어링 방법

Also Published As

Publication number Publication date
KR20210103277A (ko) 2021-08-23

Similar Documents

Publication Publication Date Title
WO2017105021A1 (en) Display apparatus and method for controlling display apparatus
WO2017105015A1 (en) Electronic device and method of operating the same
WO2021118130A1 (en) Electronic apparatus and method of controlling the same
WO2017146438A1 (en) Display apparatus and method of setting operating channel of the same
WO2019182323A1 (ko) 영상 표시 장치 및 그 동작 방법
WO2016076570A1 (en) Display apparatus and display method
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2017159941A1 (en) Display device and method of operating the same
WO2016080700A1 (en) Display apparatus and display method
WO2019045337A1 (en) IMAGE DISPLAY APPARATUS AND METHOD FOR OPERATING SAME
WO2017069434A1 (en) Display apparatus and method for controlling display apparatus
WO2020050596A1 (en) Method of controlling display device, and display device using the method
WO2021137558A1 (ko) 전자장치 및 그 제어방법
WO2019194457A1 (en) Electronic apparatus, method of controlling the same and recording medium thereof
WO2019194423A1 (en) Electronic apparatus and operating method thereof
WO2020171657A1 (en) Display device and image display method of the same
WO2021040369A1 (en) Electronic apparatus, display apparatus and method of controlling the same
WO2020067771A1 (en) Display apparatus and control method thereof
WO2019009453A1 (ko) 디스플레이 장치
WO2022030892A1 (ko) 디스플레이장치 및 그 제어방법
WO2020050593A1 (en) Electronic device and operation method thereof
WO2022025525A1 (ko) 전자장치, 서버 및 그 제어방법
WO2021162342A1 (ko) 전자장치 및 그 제어방법
WO2022181865A1 (ko) 디스플레이 장치 및 그 동작방법
WO2017094991A1 (en) Electronic device, companion device, and method of operating the electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21754131

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21754131

Country of ref document: EP

Kind code of ref document: A1