WO2024019190A1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2024019190A1
WO2024019190A1 PCT/KR2022/010631 KR2022010631W WO2024019190A1 WO 2024019190 A1 WO2024019190 A1 WO 2024019190A1 KR 2022010631 W KR2022010631 W KR 2022010631W WO 2024019190 A1 WO2024019190 A1 WO 2024019190A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile terminal
touch pad
display device
mode
pad mode
Prior art date
Application number
PCT/KR2022/010631
Other languages
English (en)
French (fr)
Inventor
민정은
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/010631 priority Critical patent/WO2024019190A1/ko
Publication of WO2024019190A1 publication Critical patent/WO2024019190A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network

Definitions

  • This disclosure relates to a display device that provides a screen mirroring service.
  • Digital TV services using wired or wireless communication networks are becoming popular. Digital TV services can provide a variety of services that cannot be provided by existing analog broadcasting services.
  • IPTV Internet Protocol Television
  • smart TV service provide interactivity that allows users to actively select the type of program to watch and the viewing time.
  • IPTV and smart TV services can provide various additional services, such as Internet search, home shopping, and online games, based on this interactivity.
  • a multi-view function has been provided that runs two apps simultaneously and provides images of each app.
  • a broadcast video can be displayed on one screen, and a mirrored video from a smart phone or smart pad can be displayed on another screen.
  • the purpose is to be able to utilize the screen of the mobile terminal transmitting the source video as a touch pad.
  • the purpose of the present disclosure is to provide a method for performing notifications or operations on a mobile terminal that provides a mirroring service without other interference while watching a broadcast video when executing the multi-view function.
  • a display device includes a wireless communication interface for receiving an image signal corresponding to an image being played by a mobile terminal, a display for displaying a mirrored image based on the received image signal, and a touch pad mode for detecting whether an event is detected. It may include a controller that determines and, when the touch pad mode event is detected, transmits touch pad mode information to the mobile terminal through the wireless communication interface for switching the operation mode of the mobile terminal to the touch pad mode. .
  • a method of operating a display device includes receiving an image signal corresponding to an image being played by a mobile terminal, displaying a mirrored image based on the received image signal, and determining whether a touch pad mode event is detected. It may include determining and, when the touch pad mode event is detected, transmitting touch pad mode information to the mobile terminal for switching the operation mode of the mobile terminal to the touch pad mode.
  • a user can operate a mobile terminal while watching a broadcast video in a mirroring state or a multi-view state without looking at the screen of the mobile terminal.
  • users can enjoy an improved user experience by being able to operate the mobile terminal without being interrupted while watching broadcasts.
  • Figure 1 shows a block diagram of the configuration of a display device according to an embodiment of the present invention.
  • Figure 2 is a block diagram of a remote control device according to an embodiment of the present invention.
  • Figure 3 shows an example of the actual configuration of a remote control device according to an embodiment of the present invention.
  • Figure 4 shows an example of utilizing a remote control device according to an embodiment of the present invention.
  • Figure 5 is a block diagram explaining the configuration of a mobile terminal according to an embodiment of the present invention.
  • Figure 6 is a sequence diagram for explaining a method of operating a system according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating an example of displaying a mirrored image of a mobile terminal in a multi-view state according to an embodiment of the present disclosure.
  • Figure 8 is a diagram explaining touch pad mode information according to an embodiment of the present disclosure.
  • Figure 9 shows an example of touch pad mode release information according to an embodiment of the present disclosure.
  • FIG. 10 is a diagram illustrating a process for switching the operation mode of a mobile terminal according to an embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating a process for switching the operation mode of a mobile terminal according to another embodiment of the present disclosure.
  • 12A and 12B are diagrams illustrating a process in which a mobile terminal operates in a touch pad mode and a process in which a mobile terminal switches from the touch pad mode to the mirroring mode according to an embodiment of the present disclosure.
  • FIGS. 13A and 13B are diagrams illustrating that the operation mode of a mobile terminal is changed by selecting either a content image or a casting image in a multi-view state according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating a menu screen for setting an operation mode of a mobile terminal according to an embodiment of the present disclosure.
  • the display device is, for example, an intelligent display device that adds a computer support function to the broadcast reception function, and is faithful to the broadcast reception function while adding an Internet function, etc., such as a handwriting input device and a touch screen.
  • an Internet function etc.
  • it can be equipped with a more convenient interface such as a spatial remote control.
  • by supporting wired or wireless Internet functions it is possible to connect to the Internet and a computer and perform functions such as email, web browsing, banking, or gaming.
  • a standardized general-purpose OS can be used for these various functions.
  • the display device described in the present invention for example, various applications can be freely added or deleted on a general-purpose OS kernel, so various user-friendly functions can be performed.
  • the display device may be, for example, a network TV, HBBTV, smart TV, LED TV, OLED TV, etc., and in some cases, may also be applied to a smartphone.
  • Figure 1 shows a block diagram of the configuration of a display device according to an embodiment of the present invention.
  • the display device 100 includes a broadcast receiver 130, an external device interface 135, a memory 140, a user input interface 150, a controller 170, a wireless communication interface 173, and a display. It may include (180), a speaker (185), and a power supply circuit (190).
  • the broadcast receiver 130 may include a tuner 131, a demodulator 132, and a network interface 133.
  • the tuner 131 can select a specific broadcast channel according to a channel selection command.
  • the tuner 131 may receive a broadcast signal for a specific selected broadcast channel.
  • the demodulator 132 can separate the received broadcast signal into a video signal, an audio signal, and a data signal related to the broadcast program, and can restore the separated video signal, audio signal, and data signal to a form that can be output.
  • the external device interface 135 may receive an application or application list within an adjacent external device and transfer it to the controller 170 or memory 140.
  • the external device interface 135 may provide a connection path between the display device 100 and an external device.
  • the external device interface 135 may receive one or more of video and audio output from an external device connected wirelessly or wired to the display device 100 and transmit it to the controller 170.
  • the external device interface 135 may include a plurality of external input terminals.
  • the plurality of external input terminals may include an RGB terminal, one or more High Definition Multimedia Interface (HDMI) terminals, and a component terminal.
  • HDMI High Definition Multimedia Interface
  • An image signal from an external device input through the external device interface 135 may be output through the display 180.
  • a voice signal from an external device input through the external device interface 135 may be output through the speaker 185.
  • An external device that can be connected to the external device interface 135 may be any one of a set-top box, Blu-ray player, DVD player, game console, sound bar, smartphone, PC, USB memory, or home theater, but this is only an example.
  • the network interface 133 may provide an interface for connecting the display device 100 to a wired/wireless network including an Internet network.
  • the network interface 133 may transmit or receive data with other users or other electronic devices through a connected network or another network linked to the connected network.
  • some of the content data stored in the display device 100 may be transmitted to a selected user or selected electronic device among other users or other electronic devices pre-registered in the display device 100.
  • the network interface 133 can access a certain web page through a connected network or another network linked to the connected network. In other words, you can access a certain web page through a network and transmit or receive data with the corresponding server.
  • the network interface 133 can receive content or data provided by a content provider or network operator. That is, the network interface 133 can receive content and information related thereto, such as movies, advertisements, games, VODs, and broadcast signals, provided from a content provider or network provider through a network.
  • the network interface 133 can receive firmware update information and update files provided by a network operator, and can transmit data to the Internet, a content provider, or a network operator.
  • the network interface 133 can select and receive a desired application from among applications open to the public through a network.
  • the memory 140 stores programs for processing and controlling each signal in the controller 170, and can store signal-processed video, voice, or data signals.
  • the memory 140 may perform a function for temporary storage of video, voice, or data signals input from the external device interface 135 or the network interface 133, and may store information about a predetermined image through a channel memory function. You can also store information.
  • the memory 140 may store an application or application list input from the external device interface 135 or the network interface 133.
  • the display device 100 can play content files (video files, still image files, music files, document files, application files, etc.) stored in the memory 140 and provide them to the user.
  • content files video files, still image files, music files, document files, application files, etc.
  • the user input interface 150 may transmit a signal input by the user to the controller 170 or transmit a signal from the controller 170 to the user.
  • the user input interface 150 can be used remotely according to various communication methods such as Bluetooth, Ultra Wideband (WB), ZigBee, Radio Frequency (RF) communication, or infrared (IR) communication.
  • Control signals such as power on/off, channel selection, and screen settings can be received and processed from the control device 200, or control signals from the controller 170 can be processed to be transmitted to the remote control device 200.
  • the user input interface 150 can transmit control signals input from local keys (not shown) such as power key, channel key, volume key, and setting value to the controller 170.
  • local keys such as power key, channel key, volume key, and setting value
  • the video signal processed by the controller 170 may be input to the display 180 and displayed as an image corresponding to the video signal. Additionally, the image signal processed by the controller 170 may be input to an external output device through the external device interface 135.
  • the voice signal processed by the controller 170 may be output as audio to the speaker 185. Additionally, the voice signal processed by the controller 170 may be input to an external output device through the external device interface 135.
  • controller 170 may control overall operations within the display device 100.
  • controller 170 can control the display device 100 by a user command or internal program input through the user input interface 150, and connects to the network to display the application or application list desired by the user on the display device ( 100) You can make it available for download.
  • the controller 170 allows channel information selected by the user to be output through the display 180 or speaker 185 along with the processed video or audio signal.
  • the controller 170 controls video signals from an external device, for example, a camera or camcorder, input through the external device interface 135, according to an external device video playback command received through the user input interface 150.
  • the voice signal can be output through the display 180 or speaker 185.
  • the controller 170 can control the display 180 to display an image, for example, a broadcast image input through the tuner 131, an external input image input through the external device interface 135, Alternatively, an image input through the network interface unit or an image stored in the memory 140 may be controlled to be displayed on the display 180.
  • the image displayed on the display 180 may be a still image or a moving image, and may be a 2D image or a 3D image.
  • controller 170 can control the playback of content stored in the display device 100, received broadcast content, or external input content, which includes broadcast video, external input video, and audio files. , can be in various forms such as still images, connected web screens, and document files.
  • the wireless communication interface 173 can communicate with external devices through wired or wireless communication.
  • the wireless communication interface 173 can perform short range communication with an external device.
  • the wireless communication interface 173 includes BluetoothTM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, Near Field Communication (NFC), and Wi-Fi.
  • Short-distance communication can be supported using at least one of Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
  • This wireless communication interface 173 is between the display device 100 and a wireless communication system, between the display device 100 and another display device 100, or between the display device 100 through wireless area networks. It can support wireless communication between the network and the display device 100 (or external server).
  • Local area wireless networks may be wireless personal area networks.
  • the other display device 100 is a wearable device capable of exchanging data with (or interoperating with) the display device 100 according to the present invention, for example, a smartwatch, smart glasses. It can be a mobile terminal such as (smart glass), HMD (head mounted display), or smart phone.
  • the wireless communication interface 173 may detect (or recognize) a wearable device capable of communication around the display device 100 .
  • the controller 170 sends at least a portion of the data processed by the display device 100 to the wireless communication interface 173. It can be transmitted to a wearable device through . Accordingly, a user of a wearable device can use data processed by the display device 100 through the wearable device.
  • the display 180 converts the video signal, data signal, and OSD signal processed by the controller 170 or the video signal and data signal received from the external device interface 135 into R, G, and B signals, respectively, and provides a driving signal. can be created.
  • the display device 100 shown in FIG. 1 is only an embodiment of the present invention. Some of the illustrated components may be integrated, added, or omitted depending on the specifications of the display device 100 that is actually implemented.
  • two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining embodiments of the present invention, and the specific operations or devices do not limit the scope of the present invention.
  • the display device 100 does not have a tuner 131 and a demodulator 132 but has a network interface 133 or an external device interface 135. You can also receive and play video through the device.
  • the display device 100 is divided into an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services, and a content playback device for playing content input from the image processing device. It can be implemented.
  • an image processing device such as a set-top box for receiving broadcast signals or contents according to various network services
  • a content playback device for playing content input from the image processing device. It can be implemented.
  • the method of operating a display device according to an embodiment of the present invention to be described below includes not only the display device 100 as described with reference to FIG. 1, but also an image processing device such as the separated set-top box or the display 180. ) and a content playback device having an audio output unit 185.
  • Figure 2 is a block diagram of a remote control device according to an embodiment of the present invention
  • Figure 3 shows an example of the actual configuration of the remote control device 200 according to an embodiment of the present invention.
  • the remote control device 200 includes a fingerprint reader 210, a wireless communication circuit 220, a user input interface 230, a sensor 240, an output interface 250, and a power supply circuit ( 260), memory 270, controller 280, and microphone 290.
  • the wireless communication circuit 220 transmits and receives signals to and from any one of the display devices according to the embodiments of the present invention described above.
  • the remote control device 200 has an RF circuit 221 capable of transmitting and receiving signals to and from the display device 100 in accordance with RF communication standards, and is capable of transmitting and receiving signals to and from the display device 100 in accordance with IR communication standards.
  • An IR circuit 223 may be provided.
  • the remote control device 200 may be provided with a Bluetooth circuit 225 capable of transmitting and receiving signals to and from the display device 100 according to the Bluetooth communication standard.
  • the remote control device 200 is provided with an NFC circuit 227 capable of transmitting and receiving signals with the display device 100 according to the NFC (Near Field Communication) communication standard, and displays the display device 100 according to the WLAN (Wireless LAN) communication standard.
  • a WLAN circuit 229 capable of transmitting and receiving signals to and from the device 100 may be provided.
  • the remote control device 200 transmits a signal containing information about the movement of the remote control device 200 to the display device 100 through the wireless communication circuit 220.
  • the remote control device 200 can receive a signal transmitted by the display device 100 through the RF circuit 221 and, if necessary, turn on/off the display device 100 through the IR circuit 223. Commands for turning off, changing channels, changing volume, etc. can be sent.
  • the user input interface 230 may be comprised of a keypad, button, touch pad, or touch screen.
  • the user can input commands related to the display device 100 into the remote control device 200 by manipulating the user input interface 230. If the user input interface 230 has a hard key button, the user can input a command related to the display device 100 to the remote control device 200 through a push operation of the hard key button. This will be explained with reference to FIG. 3 .
  • the remote control device 200 may include a plurality of buttons.
  • the plurality of buttons include a fingerprint recognition button (212), power button (231), home button (232), live button (233), external input button (234), volume control button (235), voice recognition button (236), It may include a channel change button 237, a confirmation button 238, and a back button 239.
  • the fingerprint recognition button 212 may be a button for recognizing the user's fingerprint.
  • the fingerprint recognition button 212 is capable of a push operation and may receive a push operation and a fingerprint recognition operation.
  • the power button 231 may be a button for turning on/off the power of the display device 100.
  • the home button 232 may be a button for moving to the home screen of the display device 100.
  • the live button 233 may be a button for displaying a real-time broadcast program.
  • the external input button 234 may be a button for receiving an external input connected to the display device 100.
  • the volume control button 235 may be a button for adjusting the volume of sound output by the display device 100.
  • the voice recognition button 236 may be a button for receiving the user's voice and recognizing the received voice.
  • the channel change button 237 may be a button for receiving a broadcast signal of a specific broadcast channel.
  • the confirmation button 238 may be a button for selecting a specific function, and the back button 239 may be a button for returning to the previous screen.
  • the user input interface 230 has a touch screen, the user can input commands related to the display device 100 through the remote control device 200 by touching a soft key on the touch screen. Additionally, the user input interface 230 may be provided with various types of input means that the user can operate, such as scroll keys and jog keys, and this embodiment does not limit the scope of the present invention.
  • the sensor 240 may include a gyro sensor 241 or an acceleration sensor 243, and the gyro sensor 241 may sense information about the movement of the remote control device 200.
  • the gyro sensor 241 can sense information about the operation of the remote control device 200 based on the x, y, and z axes, and the acceleration sensor 243 measures the moving speed of the remote control device 200. Information about such things can be sensed.
  • the remote control device 200 may further include a distance measurement sensor and can sense the distance from the display 180 of the display device 100.
  • the output interface 250 may output a video or audio signal corresponding to a manipulation of the user input interface 230 or a signal transmitted from the display device 100.
  • the user can recognize whether the output interface 250 is manipulating the user input interface 230 or controlling the display device 100.
  • the output interface 250 includes an LED 251 that turns on when the user input interface 230 is manipulated or a signal is transmitted and received with the display device 100 through the wireless communication unit 225, and a vibrator 253 that generates vibration. ), a speaker 255 that outputs sound, or a display 257 that outputs an image.
  • the power supply circuit 260 supplies power to the remote control device 200, and stops power supply when the remote control device 200 does not move for a predetermined period of time, thereby reducing power waste.
  • the power supply circuit 260 can resume power supply when a predetermined key provided in the remote control device 200 is operated.
  • the memory 270 may store various types of programs, application data, etc. necessary for controlling or operating the remote control device 200.
  • the remote control device 200 transmits and receives signals wirelessly through the display device 100 and the RF circuit 221, the remote control device 200 and the display device 100 transmit and receive signals through a predetermined frequency band. .
  • the controller 280 of the remote control device 200 stores and references information about the display device 100 paired with the remote control device 200 and the frequency band capable of wirelessly transmitting and receiving signals in the memory 270. You can.
  • the controller 280 controls all matters related to the control of the remote control device 200.
  • the controller 280 sends a signal corresponding to a predetermined key operation of the user input interface 230 or a signal corresponding to the movement of the remote control device 200 sensed by the sensor 240 through the wireless communication unit 225. 100).
  • the microphone 290 of the remote control device 200 can acquire voice.
  • Figure 4 shows an example of utilizing a remote control device according to an embodiment of the present invention.
  • FIG. 4 illustrates that a pointer 205 corresponding to the remote control device 200 is displayed on the display 180.
  • the user can move or rotate the remote control device 200 up and down, left and right.
  • the pointer 205 displayed on the display 180 of the display device 100 corresponds to the movement of the remote control device 200.
  • This remote control device 200 can be called a spatial remote control because the corresponding pointer 205 is moved and displayed according to movement in 3D space, as shown in the drawing.
  • FIG. 4 illustrates that when the user moves the remote control device 200 to the left, the pointer 205 displayed on the display 180 of the display device 100 also moves to the left correspondingly.
  • the display device 100 may calculate the coordinates of the pointer 205 from information about the movement of the remote control device 200.
  • the display device 100 may display the pointer 205 to correspond to the calculated coordinates.
  • FIG. 4 illustrates a case where a user moves the remote control device 200 away from the display 180 while pressing a specific button in the remote control device 200.
  • the selected area in the display 180 corresponding to the pointer 205 can be zoomed in and displayed enlarged.
  • the selected area in the display 180 corresponding to the pointer 205 may be zoomed out and displayed in a reduced size.
  • the selected area may be zoomed out, and when the remote control device 200 approaches the display 180, the selected area may be zoomed in.
  • the moving speed or direction of the pointer 205 may correspond to the moving speed or direction of the remote control device 200.
  • a pointer in this specification refers to an object displayed on the display 180 in response to the operation of the remote control device 200.
  • the pointer 205 can be an object of various shapes other than the arrow shape shown in the drawing.
  • concepts may include dots, cursors, prompts, thick outlines, etc.
  • the pointer 205 can be displayed not only in response to one of the horizontal and vertical axes on the display 180, but also in response to multiple points, such as a line or surface. .
  • Figure 5 is a block diagram explaining the configuration of a mobile terminal according to an embodiment of the present invention.
  • the mobile terminal 500 includes a projector, mobile phone, smartphone, desktop computer, laptop, digital broadcasting terminal, personal digital assistants (PDA), portable multimedia player (PMP), navigation, tablet PC, wearable device, set-top box (STB), It can be implemented as a fixed device or a movable device, such as a DMB receiver, radio, or desktop computer.
  • PDA personal digital assistants
  • PMP portable multimedia player
  • STB set-top box
  • the mobile terminal 500 may include a communication circuit 510, an input unit 520, a memory 530, a display 540, and a processor 590.
  • the communication circuit 510 can transmit and receive data with external devices such as other mobile terminals or servers using wired or wireless communication technology.
  • the communication circuit 510 includes GSM (Global System for Mobile communication), CDMA (Code Division Multi Access), LTE (Long Term Evolution), 5G, WLAN (Wireless LAN), Wi-Fi (Wireless-Fidelity), and Bluetooth. Communication can be performed using any one of the following communication standards: RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, and NFC (Near Field Communication).
  • GSM Global System for Mobile communication
  • CDMA Code Division Multi Access
  • LTE Long Term Evolution
  • 5G Fifth Generation
  • WLAN Wireless LAN
  • Wi-Fi Wireless-Fidelity
  • Bluetooth Bluetooth
  • Communication can be performed using any one of the following communication standards: RFID (Radio Frequency Identification), Infrared Data Association (IrDA), ZigBee, and NFC (Near Field Communication).
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the input unit 520 may include a camera for inputting video signals, a microphone for receiving audio signals, and a user input unit for receiving information from the user.
  • the camera or microphone may be treated as a sensor, and the signal obtained from the camera or microphone may be referred to as sensing data or sensor information.
  • the memory 530 can store various software and data related to the operation of the mobile terminal 500.
  • the display 540 can display an image signal received from the outside.
  • the processor 590 can control the overall operation of the mobile terminal 500.
  • the processor 590 may generate a control signal to control the external device and transmit the generated control signal to the external device.
  • the processor 590 may obtain intent information regarding user input and determine the user's request based on the obtained intent information.
  • the processor 590 may control at least some of the components of the mobile terminal 500 to run an application program stored in the memory 170.
  • the processor 590 may operate by combining two or more of the components included in the mobile terminal 500 to run the application program.
  • Figure 6 is a sequence diagram for explaining a method of operating a system according to an embodiment of the present disclosure.
  • a system according to an embodiment of the present disclosure may include the display device 100 shown in FIG. 1 and the mobile terminal 500 shown in FIG. 5.
  • the display device 100 and the mobile terminal 500 may be connected to each other through a short-range wireless communication standard.
  • the short-range wireless communication standard may be either the Wi-Fi standard or the Wi-Fi Direct standard.
  • the processor 590 of the mobile terminal 500 transmits a mirroring image signal corresponding to the image being displayed on the display 540 to the display device 100 through the communication circuit 510 (S601).
  • the communication circuit 510 may include a Wi-Fi circuit that transmits a mirroring image signal through the Wi-Fi standard.
  • the controller 170 of the display device 100 displays a mirrored image based on the received mirrored image signal on the display 180 (S603).
  • the controller 170 can convert the mirroring image signal to match the resolution of its display 180 and display the converted mirroring image on the display 180.
  • the controller 170 may display the mirrored image on the entire screen of the display 180.
  • a black image may be displayed on either left/right/top/bottom to match the resolution.
  • the display device 100 may be in a state in which a multi-view function is being executed.
  • the multi-view function may be a function of displaying a plurality of images through each of a plurality of split screens.
  • Each split screen may be an execution screen of an application.
  • the controller 170 can display the content image and the mirroring image on each of the split screens.
  • the content image may be a broadcast image resulting from execution of a live broadcast application.
  • the broadcast video may be video received from a set-top box connected to the external device interface 135.
  • FIG. 7 is a diagram illustrating an example of displaying a mirrored image of a mobile terminal in a multi-view state according to an embodiment of the present disclosure.
  • the display device 100 and the mobile terminal 500 are connected to each other through the Wi-Fi standard or the Wi-Fi Direct standard.
  • the mobile terminal 500 may be displaying the home screen image 700 on the display 540 and transmitting a mirroring image signal corresponding to the home screen image 700 to the display device 100.
  • the display device 100 displays a content image 711 on the first split screen 710 according to execution of the multi-view function, and displays a mirrored image 731 based on the mirroring image signal on the second split screen 730. can be displayed.
  • the user of the mobile terminal 500 may apply a touch input to a point 701 of the display 540.
  • the mobile terminal 500 may transmit coordinate information about a point 701 to the display device 100.
  • the display device 100 may display an indicator 733 corresponding to a point 701 on the second split screen 730 based on the received coordinate information.
  • Operation modes of the mobile terminal 500 may include mirroring mode and touch pad mode.
  • the mirroring mode may be a mode in which the mirroring image 730 can be controlled according to the user's touch input during mirroring. Under the mirroring mode, an indicator 733 corresponding to the user's touch input may be displayed on the mirroring image 730.
  • the user's drag input may be reflected in the mirroring image 730 through the indicator 733.
  • the touch pad mode may be a mode in which the display 540 of the mobile terminal 500 is used as a touch pad during mirroring. Even under the touch pad mode, an indicator corresponding to the user's touch input may be displayed on the mirroring image 730.
  • touch pad mode the user's drag input is ignored, and only touch down input or touch up input can be recognized.
  • Figure 7 shows an example of the mobile terminal 500 operating in mirroring mode.
  • the controller 170 of the display device 100 determines whether a touch pad mode event of the mobile terminal 500 is detected while displaying the mirrored image (S605).
  • the controller 170 may detect a touch pad mode event of the mobile terminal 500 based on information received from the mobile terminal 500.
  • the touch pad mode event may be an event for switching the operation mode of the mobile terminal 500 to the touch pad mode.
  • the controller 170 may detect a touch pad mode event of the mobile terminal 500 based on movement information received from the mobile terminal 500.
  • the mobile terminal 500 determines that there is no movement of the mobile terminal 500 for a certain period of time, it can transmit movement information indicating this to the display device 100.
  • the mobile terminal 500 may measure its movement through a gyro sensor or an acceleration sensor.
  • the controller 170 may determine that there is no movement of the mobile terminal 500 for a certain period of time and determine that a touch pad mode event of the mobile terminal 500 has been detected.
  • the controller 170 may determine that a touch pad mode event of the mobile terminal 500 has been detected.
  • the mobile terminal 500 displays multi-touch input information indicating that a multi-touch input has been generated. can be transmitted to.
  • the controller 170 may detect a touch pad mode event of the mobile terminal 500 through a pop-up window.
  • the controller 170 may display a pop-up window on the display 180 that induces the mobile terminal 500 to operate in a touch pad mode.
  • the pop-up window may be displayed after the mirroring service is provided.
  • the controller 170 may determine that the touch pad mode of the mobile terminal 500 has been detected.
  • the controller 170 of the display device 100 transmits touch pad mode information to the mobile terminal 500 through the wireless communication interface 173 (S607). .
  • the touch pad mode information may include information for switching the operation mode of the mobile terminal 500 to the touch pad mode.
  • the touch pad mode information may be information used to switch the operation mode of the mobile terminal 500 from the mirroring mode to the touch pad mode.
  • the touch pad mode information may include a mode parameter for setting the operation mode of the mobile terminal 500 to the touch pad mode and a drag input parameter indicating whether drag input is possible.
  • the touch pad mode information may further include a touch input parameter indicating whether touch up/down input is possible.
  • Figure 8 is a diagram explaining touch pad mode information according to an embodiment of the present disclosure.
  • touch pad mode information 800 may include mode parameters, drag input parameters, and touch up/down input parameters.
  • the mode parameter may have a touch pad mode value that requests operation in touch pad mode.
  • the drag input parameter may have a disable value indicating that drag input is not possible (or ignored).
  • the touch up/down input parameter can have an enable value indicating that touch up/down input is possible.
  • the processor 590 of the mobile terminal 500 operates the mobile terminal 500 in a touch pad mode based on the received touch pad mode information (S609).
  • the processor 590 of the mobile terminal 500 may change the operation mode of the mobile terminal 500 to the touch pad mode based on the value of the mode parameter included in the received touch pad mode information.
  • the mobile terminal 500 may ignore the user's drag input under the touch pad mode.
  • the mobile terminal 500 can only recognize the user's touch up input and touch down input under the touch pad mode.
  • the user can manipulate the mirroring screen by only viewing the mirroring screen of the display device 100.
  • the processor 590 of the mobile terminal 500 transmits touch input information about the touch input to the display device 100 through the communication circuit 510 (S611).
  • the touch input information may include a touch up input or a touch down input and coordinate information of a point where the corresponding input was received. Coordinate information may include location information of pixels included in the display 540 of the mobile terminal 500.
  • the controller 170 of the display device 100 determines whether a release event of the touch pad mode of the mobile terminal 500 has been detected based on the touch input information (S613).
  • the controller 170 may select an item included in the mirroring image based on touch input information. Items included in the mirroring image may be either an app icon or a notification item corresponding to an application installed on the mobile terminal 500.
  • the touch pad mode release event may be an event for releasing the touch pad mode of the mobile terminal 500 and switching back to the mirroring mode.
  • the controller 170 may determine that the touch pad mode release event of the mobile terminal 500 has been detected.
  • the specific event may be an event for selecting an application icon included in the mirroring image.
  • the application may be an application installed on the mobile terminal 500.
  • the controller 170 may determine that the touch pad mode release event of the mobile terminal 500 has been detected.
  • the controller 170 of the display device 100 transmits touch pad mode release information to the mobile terminal 500 (S615).
  • the touch pad mode release information may include information to release the touch pad mode of the mobile terminal 500.
  • the touch pad mode release information may include information for switching the operation mode of the mobile terminal 500 to the mirroring mode.
  • Figure 9 shows an example of touch pad mode release information according to an embodiment of the present disclosure.
  • touch pad mode release information 900 may include mode parameters, drag input parameters, and touch up/down input parameters.
  • the mode parameter may have a mirroring mode value that requests operation in mirroring mode.
  • the drag input parameter can have an enable value indicating that drag input is possible.
  • the touch up/down input parameter can have an enable value indicating that touch up/down input is possible.
  • the processor 590 of the mobile terminal 500 switches the operation mode from the touch pad mode to the mirroring mode according to the touch pad mode release information received from the display device 100 (S617).
  • the display device 100 may display the indicator 733 shown in FIG. 7 at a position corresponding to the received touch point on the screen of the mobile terminal 500.
  • FIG. 10 is a diagram illustrating a process for switching the operation mode of a mobile terminal according to an embodiment of the present disclosure.
  • the display device 100 and the mobile terminal 500 are connected to each other through the Wi-Fi standard or the Wi-Fi Direct standard.
  • the mobile terminal 500 may be displaying the home screen image 700 on the display 540 and transmitting a mirroring image signal corresponding to the home screen image 700 to the display device 100.
  • the display device 100 displays a content image 711 on the first split screen 710 according to execution of the multi-view function, and displays a mirrored image 731 based on the mirroring image signal on the second split screen 730. can be displayed.
  • the mobile terminal 500 operates in mirroring mode.
  • the mobile terminal 500 may receive two long touch down/up inputs and transmit the received touch input information to the display device 100.
  • the display device 100 may determine that a touch pad mode event of the mobile terminal 500 has been detected based on two long touch down/up input information included in the received touch input information.
  • the display device 100 may transmit touch pad mode information indicating a switch to the touch pad mode to the mobile terminal 500, and the mobile terminal 500 may change the operation mode from the mirroring mode to the touch pad based on the touch pad mode information. You can switch to mode.
  • the mobile terminal 500 can switch the touch pad mode back to the mirroring mode.
  • a user can easily switch the operation mode of the mobile terminal 500 with a simple multi-touch input. Accordingly, user convenience can be greatly improved.
  • FIG. 11 is a diagram illustrating a process for switching the operation mode of a mobile terminal according to another embodiment of the present disclosure.
  • the display device 100 and the mobile terminal 500 are connected to each other through the Wi-Fi standard or the Wi-Fi Direct standard.
  • the mobile terminal 500 may be displaying the home screen image 700 on the display 540 and transmitting a mirroring image signal corresponding to the home screen image 700 to the display device 100.
  • the display device 100 displays a content image 711 on the first split screen 710 according to execution of the multi-view function, and displays a mirrored image 731 based on the mirroring image signal on the second split screen 730. can be displayed.
  • the display device 100 may display a pop-up window 1100 on the display 180 that induces the operation mode of the mobile terminal 500 to be switched to the touch pad mode. .
  • the pop-up window 1100 may be displayed on the first split screen 710 or the second split screen 730. As another example, the pop-up window 1100 may be displayed in an area other than the first split screen 710 or the second split screen 730.
  • the display device 100 When the display device 100 receives a command to select the confirmation button 1110 included in the pop-up window 1100, it may determine that a touch pad mode event has been detected. The display device 100 may transmit touch pad mode information to the mobile terminal 500 to change the operation mode of the mobile terminal 500 to the touch pad mode according to selection of the confirmation button 1110.
  • 12A and 12B are diagrams illustrating a process in which a mobile terminal operates in a touch pad mode and a process in which a mobile terminal switches from the touch pad mode to the mirroring mode according to an embodiment of the present disclosure.
  • the display device 100 and the mobile terminal 500 are connected to each other through the Wi-Fi standard or the Wi-Fi Direct standard.
  • the mobile terminal 500 may be displaying the home screen image 700 on the display 540 and transmitting a mirroring image signal corresponding to the home screen image 700 to the display device 100.
  • the display device 100 displays a content image 711 on the first split screen 710 according to execution of the multi-view function, and displays a mirrored image 731 based on the mirroring image signal on the second split screen 730. can be displayed.
  • the display device 100 may transmit touch pad mode information to the mobile terminal 500 according to the occurrence of a touch pad mode event.
  • the mobile terminal 500 may switch the operation mode to the touch pad mode according to the received touch pad mode information. At the same time, the mobile terminal 500 may display a blank screen 1200 on which no app icons are displayed. This is to inform the user that the mobile terminal 500 is in touch pad mode. Additionally, this is to prevent visual interference from the user's touch input by displaying app icons.
  • the user may apply a touch down/up input on the blank screen 1200. That is, while watching the content image 710, the user can apply a touch down/up input on the display 540 of the mobile terminal 500 operating in touch pad mode.
  • the mobile terminal 500 may output a haptic signal when a touch down/up input is applied to a point where the icon of a specific app is located for a certain period of time.
  • the display device 100 may display an indicator 733 on the mirroring image 730 at a position corresponding to the point based on the touch down/up input information received from the mobile terminal 500.
  • the indicator 733 may be displayed at a location corresponding to the user's touch point.
  • the display device 100 may display an indicator 733 at the corresponding location.
  • the display device 100 may select the message icon 735 corresponding to the message application where the indicator 733 is located based on the touch input information received from the mobile terminal 500.
  • the message application may be an application installed on the mobile terminal 500.
  • the display device 100 may determine that a touch pad mode release event has been detected.
  • the display device 100 when the display device 100 detects execution of an application based on touch input information received from the mobile terminal 500, it may generate a touch pad mode release event.
  • the display device 100 may transmit touch pad mode release information to the mobile terminal 500.
  • the mobile terminal 500 may switch the operation mode to the mirroring mode based on the touch pad mode release information. As shown in FIG. 12B, the mobile terminal 500 may execute a message application corresponding to the message icon 735 and display an execution image 1210 on the display 540.
  • the mobile terminal 500 transmits an image signal corresponding to the execution image 1210 to the display device 100, and the display device 100 displays a mirroring image 1230 based on the received image signal as a second split screen ( 730).
  • the user can operate the mobile terminal while watching a broadcast video in a mirroring state or a multi-view state without looking at the screen of the mobile terminal.
  • users can enjoy an improved user experience by being able to operate the mobile terminal without being interrupted while watching broadcasts.
  • FIGS. 13A and 13B are diagrams illustrating that the operation mode of a mobile terminal is changed by selecting either a content image or a casting image in a multi-view state according to an embodiment of the present disclosure.
  • the mobile terminal 500 may have its screen turned off or operate in a casting mode.
  • the casting mode may be a mode similar to the mirroring mode described above. The difference from the mirroring mode is that the mobile terminal 500 does not display a mirrored image under the casting mode.
  • Casting mode may be a mode in which an image being played on the mobile terminal 500 is transmitted to the display device 100 and the display device 100 plays the image. Under casting mode, the screen of the mobile terminal 500 may be turned off.
  • the display device 100 may display the broadcast image 1301 on the first split screen 710 and the casting image 1303 on the second split screen 730 according to the execution of the multi-view function.
  • the casting image 1303 may be an image being played on the mobile terminal 500.
  • the display device 100 When receiving a command to select the first split screen 710, the display device 100 transmits touch pad mode information to the mobile terminal 500 to change the operation mode of the mobile terminal 500 from the casting mode to the touch pad mode. ) can be transmitted to.
  • the display device 100 may display the broadcast image 1301 on the entire screen according to a command for selecting the first split screen 710.
  • the mobile terminal 500 may switch the casting mode to the touch pad mode according to the touch pad mode information received from the display device 100.
  • the display device 100 may determine that the touch pad mode event is detected in the mobile terminal 500.
  • the mobile terminal 500 operating in touch pad mode can perform the same role as the remote control device 200.
  • the display device 100 may receive a command to select the second split screen 730.
  • the display device 100 may display the casting image 1303 on the entire screen according to a command for selecting the second split screen 730.
  • the operation mode of the mobile terminal 500 may be maintained in casting mode. This is to manipulate the casting image 1303 since the casting image 1303 is being displayed on the entire screen of the display device 100.
  • casting mode can be used instead of mirroring mode.
  • FIG. 14 is a diagram illustrating a menu screen for setting an operation mode of a mobile terminal according to an embodiment of the present disclosure.
  • the display device 100 may display a menu screen 1400 for setting the operation mode of the mobile terminal 500 on the display 180 according to a command received from the remote control device 200.
  • the menu screen 1400 may include a first menu item 1410 for setting the mirroring mode and a second menu item 1430 for setting the touch pad mode.
  • the display device 100 may transmit information to operate in the mirroring mode to the mobile terminal 500.
  • the corresponding information may be touch pad mode release information in FIG. 6.
  • the display device 100 may transmit information to operate in the touch pad mode to the mobile terminal 500.
  • the corresponding information may be touch pad mode information in FIG. 6.
  • the user may easily set the operation mode of the mobile terminal 500 through the menu screen 1400.
  • the above-described method can be implemented as processor-readable code on a program-recorded medium.
  • media that the processor can read include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.
  • the display device described above is not limited to the configuration and method of the above-described embodiments, and the embodiments may be configured by selectively combining all or part of each embodiment so that various modifications can be made. It may be possible.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시의 실시 예에 따른 디스플레이 장치는 이동 단말기가 재생 중인 영상에 상응하는 영상 신호를 수신하는 무선 통신 인터페이스, 상기 수신된 영상 신호에 기초한 미러링 영상을 표시하는 디스플레이 및 터치 패드 모드 이벤트가 감지되었는지를 판단하고, 상기 터치 패드 모드 이벤트가 감지된 경우, 상기 이동 단말기에 상기 이동 단말기의 동작 모드를 터치 패드 모드로 전환하기 위한 터치 패드 모드 정보를 상기 무선 통신 인터페이스를 통해 전송하는 컨트롤러를 포함할 수 있다.

Description

디스플레이 장치 및 그의 동작 방법
본 개시는 스크린 미러링 서비스를 제공하는 디스플레이 장치에 관한 것이다.
유선 또는 무선 통신망을 이용한 디지털 TV 서비스가 보편화되고 있다. 디지털 TV 서비스는 기존의 아날로그 방송 서비스에서는 제공할 수 없었던 다양한 서비스를 제공할 수 있다.
예를 들어, 디지털 TV 서비스의 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다. IPTV, smart TV서비스는 이러한 양방향성을 기반으로 하여 다양한 부가 서비스, 예컨대 인터넷 검색, 홈쇼핑, 온라인 게임 등을 제공할 수도 있다.
또한, 최근에는 2개의 앱을 동시에 실행하여 각 앱의 영상을 제공하는 멀티 뷰 기능이 제공되고 있다. 멀티 뷰 기능에서는 하나의 화면 상에 방송 영상을 표시되고, 다른 하나의 화면 상에 스마트 폰이나 스마트 패드의 미러링 영상이 표시될 수 있다.
그러나, 종래에는 스마트 폰이나 스마트 패드에서 알림 수신 시나 다른 조작이 필요할 경우, 사용자는 반드시 스마트 폰이나 스마트 패드를 들고 보면서 알림을 확인하거나, 필요한 조작을 해야 한다.
이 경우, 스포츠 경기나 영화 등 방송 영상의 시청에 방해가 되는 문제가 있다.
본 개시의 스크린 미러링 서비스 제공 시, 소스 영상을 전송하는 이동 단말기의 화면을 터치 패드로 활용할 수 있는 것에 그 목적이 있다.
본 개시는 멀티 뷰 기능의 실행 시, 방송 영상을 시청하면서 다른 방해 없이 미러링 서비스를 제공하는 이동 단말기의 알림이나 조작을 수행할 수 있는 방법을 제공하는 것에 그 목적이 있다.
본 개시의 실시 예에 따른 디스플레이 장치는 이동 단말기가 재생 중인 영상에 상응하는 영상 신호를 수신하는 무선 통신 인터페이스, 상기 수신된 영상 신호에 기초한 미러링 영상을 표시하는 디스플레이 및 터치 패드 모드 이벤트가 감지되었는지를 판단하고, 상기 터치 패드 모드 이벤트가 감지된 경우, 상기 이동 단말기에 상기 이동 단말기의 동작 모드를 터치 패드 모드로 전환하기 위한 터치 패드 모드 정보를 상기 무선 통신 인터페이스를 통해 전송하는 컨트롤러를 포함할 수 있다.
본 개시의 실시 예에 따른 디스플레이 장치의 동작 방법은 이동 단말기가 재생 중인 영상에 상응하는 영상 신호를 수신하는 단계, 상기 수신된 영상 신호에 기초한 미러링 영상을 표시하는 단계, 터치 패드 모드 이벤트가 감지되었는지를 판단하는 단계 및 상기 터치 패드 모드 이벤트가 감지된 경우, 상기 이동 단말기에 상기 이동 단말기의 동작 모드를 터치 패드 모드로 전환하기 위한 터치 패드 모드 정보를 전송하는 단계를 포함할 수 있다.
본 개시의 실시 예에 따르면, 사용자는 미러링 상태 및 멀티 뷰 상태에서 방송 영상을 시청하는 중 이동 단말기의 화면을 보지 않고도, 이동 단말기를 조작할 수 있다.
이에 따라 사용자는 방송 시청에 방해를 받지 않고 이동 단말기를 조작할 수 있어 향상된 사용자 경험을 누릴 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 원격제어장치의 실제 구성 예를 보여준다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 5는 본 발명의 일 실시 예에 따른 이동 단말기의 구성을 설명하는 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 시스템의 동작 방법을 설명하기 위한 시퀀스 다이어그램이다.
도 7은 본 개시의 일 실시 예에 따라 멀티 뷰 상태에서 이동 단말기의 미러링 영상을 표시하는 예를 설명하는 도면이다.
도 8은 본 개시의 일 실시 예에 따른 터치 패드 모드 정보를 설명하는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 터치 패드 모드 해제 정보의 예를 보여준다.
도 10은 본 개시의 일 실시 예에 따라 이동 단말기의 동작 모드를 전환하는 과정을 설명하는 도면이다.
도 11은 본 개시의 또 다른 실시 예에 따른 이동 단말기의 동작 모드를 전환하는 과정을 설명하는 도면이다.
도 12a 및 도 12b 본 개시의 일 실시 예에 따른 이동 단말기가 터치 패드 모드로 동작하는 과정 및 터치 패드 모드에서 미러링 모드로 전환하는 과정을 설명하는 도면이다.
도 13a 및 도 13b는 본 개시의 실시 예에 따라 멀티 뷰 상태에서 컨텐트 영상 또는 캐스팅 영상 중 어느 하나를 선택함에 의해 이동 단말기의 동작 모드가 변경됨을 설명하는 도면이다.
도 14는 본 개시의 일 실시 예에 따라 이동 단말기의 동작 모드를 설정하는 메뉴 화면을 설명하는 도면이다.
이하, 본 발명과 관련된 실시 예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
본 발명의 실시예에 따른 디스플레이 장치는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 디스플레이 장치로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 디스플레이 장치는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 디스플레이 장치는, 보다 구체적으로 예를 들면, 네트워크 TV, HBBTV, 스마트 TV, LED TV, OLED TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 1을 참조하면, 디스플레이 장치(100)는 방송 수신부(130), 외부장치 인터페이스(135), 메모리(140), 사용자입력 인터페이스(150), 컨트롤러(170), 무선 통신 인터페이스(173), 디스플레이(180), 스피커(185), 전원 공급 회로(190)를 포함할 수 있다.
방송 수신부(130)는 튜너(131), 복조기(132) 및 네트워크 인터페이스(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조기(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부장치 인터페이스(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 컨트롤러(170) 또는 메모리(140)로 전달할 수 있다.
외부장치 인터페이스(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, 컨트롤러(170)로 전달할 수 있다. 외부장치 인터페이스(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부장치 인터페이스(135)를 통해 입력된 외부장치의 영상 신호는 디스플레이(180)를 통해 출력될 수 있다. 외부장치 인터페이스(135)를 통해 입력된 외부장치의 음성 신호는 스피커(185)를 통해 출력될 수 있다.
외부장치 인터페이스(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
네트워크 인터페이스(133)는 디스플레이 장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
또한, 디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에, 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
그리고, 네트워크 인터페이스(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
또한, 네트워크 인터페이스(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
메모리(140)는 컨트롤러(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수 있다.
또한, 메모리(140)는 외부장치 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
메모리(140)는 외부장치 인터페이스(135) 또는 네트워크 인터페이스(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 메모리(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
사용자입력 인터페이스(150)는 사용자가 입력한 신호를 컨트롤러(170)로 전달하거나, 컨트롤러(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자입력 인터페이스(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 컨트롤러(170)로부터의 제어 신호를 원격제어장치(200)로 송신하도록 처리할 수 있다.
또한, 사용자입력 인터페이스(150)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 컨트롤러(170)에 전달할 수 있다.
컨트롤러(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 컨트롤러(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스(135)를 통하여 외부 출력장치로 입력될 수 있다.
컨트롤러(170)에서 처리된 음성 신호는 스피커(185)로 오디오 출력될 수 있다. 또한, 컨트롤러(170)에서 처리된 음성 신호는 외부장치 인터페이스(135)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 컨트롤러(170)는, 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
또한, 컨트롤러(170)는 사용자입력 인터페이스(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
컨트롤러(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이(180) 또는 스피커(185)를 통하여 출력될 수 있도록 한다.
또한, 컨트롤러(170)는 사용자입력 인터페이스(150)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이(180) 또는 스피커(185)를 통해 출력될 수 있도록 한다.
한편, 컨트롤러(170)는 영상을 표시하도록 디스플레이(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부장치 인터페이스(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 메모리(140)에 저장된 영상이 디스플레이(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
또한, 컨트롤러(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
무선 통신 인터페이스(173)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 무선 통신 인터페이스(173)는 외부 기기와 근거리 통신(Short range communication)을 수행할 수 있다. 이를 위해, 무선 통신 인터페이스(173)는 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다. 이러한, 무선 통신 인터페이스(173)는 근거리 무선 통신망(Wireless Area Networks)을 통해 디스플레이 장치(100)와 무선 통신 시스템 사이, 디스플레이 장치(100)와 다른 디스플레이 장치(100) 사이, 또는 디스플레이 장치(100)와 디스플레이 장치(100, 또는 외부서버)가 위치한 네트워크 사이의 무선 통신을 지원할 수 있다. 근거리 무선 통신망은 근거리 무선 개인 통신망(Wireless Personal Area Networks)일 수 있다.
여기에서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다. 무선 통신 인터페이스(173)는 디스플레이 장치(100) 주변에, 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다.
나아가, 컨트롤러(170)는 감지된 웨어러블 디바이스가 본 발명에 따른 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를, 무선 통신 인터페이스(173)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는, 디스플레이 장치(100)에서 처리되는 데이터를, 웨어러블 디바이스를 통해 이용할 수 있다.
디스플레이(180)는 컨트롤러(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 발명의 일실시예에 불과하므로. 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
본 발명의 또 다른 실시예에 따르면, 디스플레이 장치(100)는 도 1에 도시된 바와 달리, 튜너(131)와 복조기(132)를 구비하지 않고 네트워크 인터페이스(133) 또는 외부장치 인터페이스(135)를 통해서 영상을 수신하여 재생할 수도 있다.
예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다.
이 경우, 이하에서 설명할 본 발명의 실시예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이(180) 및 오디오출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
다음으로, 도 2 내지 도 3을 참조하여, 본 발명의 일 실시 예에 따른 원격제어장치에 대해 설명한다.
도 2은 본 발명의 일 실시 예에 따른 원격제어장치의 블록도이고, 도 3은 본발명의 일 실시 예에 따른 원격제어장치(200)의 실제 구성 예를 보여준다.
먼저, 도 2를 참조하면, 원격제어장치(200)는 지문인식기(210), 무선통신회로(220), 사용자 입력 인터페이스(230), 센서(240), 출력 인터페이스(250), 전원공급회로(260), 메모리(270), 컨트롤러(280), 마이크로폰(290)를 포함할 수 있다.
도 2을 참조하면, 무선통신회로(220)는 전술하여 설명한 본 발명의 실시 예들에 따른 디스플레이 장치 중 임의의 어느 하나와 신호를 송수신한다.
원격제어장치(200)는 RF 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 회로(221)을 구비하며, IR 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 회로(223)을 구비할 수 있다. 또한, 원격제어장치(200)는 블루투스 통신규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 회로(225)를 구비할 수 있다. 또한, 원격제어장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 회로(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 회로(229)을 구비할 수 있다.
또한, 원격제어장치(200)는 디스플레이 장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 무선통신회로(220)를 통해 전송한다.
한편, 원격제어장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 회로(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 회로(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력 인터페이스(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력 인터페이스(230)를 조작하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력 인터페이스(230)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3을 참조하면, 원격제어장치(200)는 복수의 버튼을 포함할 수 있다. 복수의 버튼은 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239)을 포함할 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시예로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다.
전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다.
홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다.
라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다.
외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다.
음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다.
음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다.
채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다.
확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
다시 도 2를 설명한다.
사용자 입력 인터페이스(230)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력 인터페이스(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
센서(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
예를 들어, 자이로 센서(241)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격제어장치(200)는 거리측정센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이(180)와의 거리를 센싱할 수 있다.
출력 인터페이스(250)는 사용자 입력 인터페이스(230)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다.
사용자는 출력 인터페이스(250)를 사용자 입력 인터페이스(230)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다.
예를 들어, 출력 인터페이스(250)는 사용자 입력 인터페이스(230)가 조작되거나 무선 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED(251), 진동을 발생하는 진동기(253), 음향을 출력하는 스피커(255), 또는 영상을 출력하는 디스플레이(257)을 구비할 수 있다.
또한, 전원공급회로(260)는 원격제어장치(200)으로 전원을 공급하며, 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다.
전원공급회로(260)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
메모리(270)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다.
원격제어장치(200)가 디스플레이 장치(100)와 RF 회로(221)을 통하여 무선으로 신호를 송수신할 경우, 원격제어장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다.
원격제어장치(200)의 컨트롤러(280)는 원격제어장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 메모리(270)에 저장하고 참조할 수 있다.
컨트롤러(280)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 컨트롤러(280)는 사용자 입력 인터페이스(230)의 소정 키 조작에 대응하는 신호 또는 센서(240)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
또한, 원격제어장치(200)의 마이크로폰(290)은 음성을 획득할 수 있다.
마이크로폰(290)는 복수 개로 구비될 수 있다.
다음으로 도 4를 설명한다.
도 4는 본 발명의 실시 예에 따라 원격 제어 장치를 활용하는 예를 보여준다.
도 4의 (a)는 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이(180)에 표시되는 것을 예시한다.
사용자는 원격 제어 장치(200)를 상하, 좌우로 움직이거나 회전할 수 있다. 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응한다. 이러한 원격 제어 장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)는 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송된다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 디스플레이 장치(100)는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)는, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격 제어 장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다.
이와 반대로, 사용자가 원격 제어 장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격 제어 장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상, 하, 좌, 우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격 제어 장치(200)의 상, 하, 좌, 우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격 제어 장치(200)의 이동속도나 이동방향에 대응할 수 있다.
한편, 본 명세서에서의 포인터는, 원격 제어 장치(200)의 동작에 대응하여, 디스플레이(180)에 표시되는 오브젝트를 의미한다. 따라서, 포인터(205)로 도면에 도시된 화살표 형상 외에 다양한 형상의 오브젝트가 가능하다. 예를 들어, 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함하는 개념일 수 있다. 그리고, 포인터(205)가 디스플레이(180) 상의 가로축과 세로축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시되는 것도 가능하다.
도 5는 본 발명의 일 실시 예에 따른 이동 단말기의 구성을 설명하는 블록도이다.
이동 단말기(500)는 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 노트북, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 데스크탑 컴퓨터와 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
도 5를 참조하면, 이동 단말기(500)는 통신 회로(510), 입력부(520), 메모리(530), 디스플레이(540) 및 프로세서(590)를 포함할 수 있다.
통신 회로(510)는 유무선 통신 기술을 이용하여 다른 이동 단말기나 서버등의 외부 장치들과 데이터를 송수신할 수 있다.
통신 회로(510)는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth??), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 중 어느 하나의 통신 규격을 이용하여, 통신을 수행할 수 있다.
입력부(520)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다.
여기서, 카메라나 마이크로폰을 센서로 취급하여, 카메라나 마이크로폰으로부터 획득한 신호를 센싱 데이터 또는 센서 정보라고 할 수도 있다.
메모리(530)는 이동 단말기(500)의 동작과 관련된 다양한 소프트웨어 및 데이터를 저장할 수 있다.
디스플레이(540)는 외부로부터 수신된 영상 신호를 표시할 수 있다.
프로세서(590)는 이동 단말기(500)의 전반적인 동작을 제어할 수 있다.
프로세서(590)는 이동 단말기(500)의 동작을 수행하기 위하여 외부 장치의 연계가 필요한 경우, 해당 외부 장치를 제어하기 위한 제어 신호를 생성하고, 생성한 제어 신호를 해당 외부 장치에 전송할 수 있다.
프로세서(590)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
프로세서(590)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 이동 단말기(500)의 구성 요소들 중 적어도 일부를 제어할 수 있다.
프로세서(590)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(500)에 포함된 구성 요소들 중 둘 이상을 서로 조합하여 동작 시킬 수 있다.
도 6은 본 개시의 일 실시 예에 따른 시스템의 동작 방법을 설명하기 위한 시퀀스 다이어그램이다.
본 개시의 실시 예에 따른 시스템은 도 1에 도시된 디스플레이 장치(100) 및 도 5에 도시된 이동 단말기(500)를 포함할 수 있다.
디스플레이 장치(100) 및 이동 단말기(500)는 근거리 무선 통신 규격을 통해 서로 연결될 수 있다. 근거리 무선 통신 규격은 와이파이 규격 또는 와이파이 다이렉트 규격 중 어느 하나일 수 있다.
이동 단말기(500)의 프로세서(590)는 디스플레이(540)에 표시 중인 영상에 상응하는 미러링 영상 신호를 통신 회로(510)를 통해 디스플레이 장치(100)에 전송한다(S601).
통신 회로(510)는 와이파이 규격을 통해 미러링 영상 신호를 전송하는 와이파이 회로를 포함할 수 있다.
디스플레이 장치(100)의 컨트롤러(170)는 수신된 미러링 영상 신호에 기초한 미러링 영상을 디스플레이(180) 상에 표시한다(S603).
컨트롤러(170)는 자신의 디스플레이(180)의 해상도에 맞게 미러링 영상 신호를 변환하고, 변환된 미러링 영상을 디스플레이(180) 상에 표시할 수 있다.
일 실시 예에서 컨트롤러(170)는 미러링 영상을 디스플레이(180)의 전체 화면 상에 표시할 수 있다. 경우에 따라 해상도를 맞추기 위해 블랙 영상이 좌/우/상/하 중 어느 일측에 표시될 수 있다.
또 다른 실시 예에서 디스플레이 장치(100)는 멀티 뷰 기능이 실행 중인 상태일 수 있다. 멀티 뷰 기능은 복수의 분할 화면들을 각각을 통해 복수의 영상들을 표시하는 기능일 수 있다. 각 분할 화면은 어플리케이션의 실행 화면일 수 있다.
디스플레이 장치(100)가 멀티 뷰 기능의 실행 중인 경우, 컨트롤러(170)는 컨텐트 영상 및 미러링 영상을 분할 화면들 각각에 표시할 수 있다.
일 실시 예에서, 컨텐트 영상은 라이브 방송 어플리케이션의 실행에 따른 방송 영상일 수 있다.
방송 영상은 외부장치 인터페이스(135)와 연결된 셋톱 박스로부터 수신된 영상일 수 있다.
도 7은 본 개시의 일 실시 예에 따라 멀티 뷰 상태에서 이동 단말기의 미러링 영상을 표시하는 예를 설명하는 도면이다.
도 7을 참조하면, 디스플레이 장치(100)와 이동 단말기(500)는 와이파이 규격 또는 와이파이 다이렉트 규격을 통해 서로 연결되어 있다.
이동 단말기(500)는 홈 화면 영상(700)을 디스플레이(540) 상에 표시하고 있고, 홈 화면 영상(700)에 상응하는 미러링 영상 신호를 디스플레이 장치(100)에 전송 중일 수 있다.
디스플레이 장치(100)는 멀티 뷰 기능의 실행에 따라 제1 분할 화면(710) 상에 컨텐트 영상(711)을 표시하고, 제2 분할 화면(730) 상에 미러링 영상 신호에 기반한 미러링 영상(731)을 표시할 수 있다.
한편, 이동 단말기(500)의 사용자는 디스플레이(540)의 일 지점(701)에 터치 입력을 가할 수 있다. 이동 단말기(500)는 일 지점(701)에 대한 좌표 정보를 디스플레이 장치(100)에 전송할 수 있다. 디스플레이 장치(100)는 수신된 좌표 정보에 기초하여, 제2 분할 화면(730) 상에 일 지점(701)에 대응하는 인디케이터(733)를 표시할 수 있다.
이동 단말기(500)의 동작 모드는 미러링 모드 및 터치 패드 모드를 포함할 수 있다.
미러링 모드는 미러링 중 사용자의 터치 입력에 따라 미러링 영상(730)을 제어할 수 있는 모드일 수 있다. 미러링 모드 하에서 사용자의 터치 입력에 대응하는 인디케이터(733)가 미러링 영상(730)에 표시될 수 있다.
미러링 모드 하에서 사용자의 드래그 입력은 인디케이터(733)를 통해 미러링 영상(730)에 반영될 수 있다.
터치 패드 모드는 미러링 중 이동 단말기(500)의 디스플레이(540)를 터치 패드로 사용하는 모드일 수 있다. 터치 패드 모드 하에서도 사용자의 터치 입력에 대응하는 인디케이터가 미러링 영상(730)에 표시될 수 있다.
터치 패드 모드 하에서 사용자의 드래그 입력은 무시되고, 터치 다운 입력 또는 터치 업 입력만 인식될 수 있다.
도 7에서는 이동 단말기(500)가 미러링 모드로 동작하는 예를 보여준다.
다시, 도 6을 설명한다.
디스플레이 장치(100)의 컨트롤러(170)는 미러링 영상의 표시 중 이동 단말기(500)의 터치 패드 모드 이벤트가 감지되었는지를 판단한다(S605).
일 실시 예에서 컨트롤러(170)는 이동 단말기(500)로부터 수신된 정보에 기초하여 이동 단말기(500)의 터치 패드 모드 이벤트를 감지할 수 있다.
터치 패드 모드 이벤트는 이동 단말기(500)의 동작 모드를 터치 패드 모드로 전환하기 위한 이벤트일 수 있다.
컨트롤러(170)는 이동 단말기(500)로부터 수신된 움직임 정보에 기초하여 이동 단말기(500)의 터치 패드 모드 이벤트를 감지할 수 있다. 이동 단말기(500)는 일정 시간 동안 이동 단말기(500)의 움직임이 없는 것으로 판단한 경우, 이를 나타내는 움직임 정보를 디스플레이 장치(100)에 전송할 수 있다.
이동 단말기(500)는 자이로 센서 또는 가속도 센서를 통해 이동 단말기(500)의 움직임을 측정할 수 있다.
컨트롤러(170)는 수신된 움직임 정보에 기초하여 일정 시간 동안 이동 단말기(500)의 움직임이 없는 것으로 판단하고, 이동 단말기(500)의 터치 패드 모드 이벤트가 감지된 것으로 판단할 수 있다.
또 다른 실시 예에서 컨트롤러(170)는 이동 단말기(500)로부터 다중 터치 입력 정보가 수신된 경우, 이동 단말기(500)의 터치 패드 모드 이벤트가 감지된 것으로 판단할 수 있다. 이동 단말기(500)는 미러링 중인 이동 단말기(500)의 디스플레이(540) 상에 2개 이상의 터치 입력이 일정 시간 동안 유지된 경우, 다중 터치 입력이 생성되었음을 나타내는 다중 터치 입력 정보를 디스플레이 장치(100)에 전송할 수 있다.
또 다른 실시 예에서 컨트롤러(170)는 팝업 창을 통해 이동 단말기(500)의 터치 패드 모드 이벤트를 감지할 수 있다. 컨트롤러(170)는 이동 단말기(500)와 미러링 서비스 제공 시, 이동 단말기(500)의 터치 패드 모드로의 동작을 유도하는 팝업 창을 디스플레이(180) 상에 표시할 수 있다. 해당 팝업 창은 미러링 서비스가 제공된 후 표시될 수 있다.
컨트롤러(170)는 팝업 창에 포함된 확인 버튼이 선택된 경우, 이동 단말기(500)의 터치 패드 모드를 감지한 것으로 판단할 수 있다.
디스플레이 장치(100)의 컨트롤러(170)는 이동 단말기(500)의 터치 패드 모드 이벤트가 감지된 경우, 터치 패드 모드 정보를 무선 통신 인터페이스(173)를 통해 이동 단말기(500)에 전송한다(S607).
일 실시 예에서 터치 패드 모드 정보는 이동 단말기(500)의 동작 모드를 터치 패드 모드로 전환하기 위한 정보를 포함할 수 있다.
터치 패드 모드 정보는 이동 단말기(500)의 동작 모드를 미러링 모드에서 터치 패드 모드로 전환하기 위해 사용되는 정보일 수 있다.
터치 패드 모드 정보는 이동 단말기(500)의 동작 모드를 터치 패드 모드로 설정하기 위한 모드 파라미터, 드래그 입력의 가능 여부를 나타내는 드래그 입력 파라미터를 포함할 수 있다.
터치 패드 모드 정보는 터치 업/다운 입력의 가능 여부를 나타내는 터치 입력 파라미터를 더 포함할 수 있다.
도 8은 본 개시의 일 실시 예에 따른 터치 패드 모드 정보를 설명하는 도면이다.
도 8을 참조하면, 터치 패드 모드 정보(800)는 모드 파라미터, 드래그 입력 파라미터, 터치 업/다운 입력 파라미터를 포함할 수 있다.
모드 파라미터는 터치 패드 모드로의 동작을 요구하는 touch pad mode 값을 가질 수 있다.
드래그 입력 파라미터는 드래그 입력이 불가함(또는 무시됨)을 나타내는 disable 값을 가질 수 있다.
터치 업/다운 입력 파라미터는 터치 업/다운 입력이 가능함을 나타내는 enable 값을 가질 수 있다.
다시, 도 6을 설명한다.
이동 단말기(500)의 프로세서(590)는 수신된 터치 패드 모드 정보에 기반하여 이동 단말기(500)의 동작 모드를 터치 패드 모드로 동작 시킨다(S609).
이동 단말기(500)의 프로세서(590)는 수신된 터치 패드 모드 정보에 포함된 모드 파라미터의 값에 기초하여, 이동 단말기(500)의 동작 모드를 터치 패드 모드로 전환시킬 수 있다.
이동 단말기(500)는 터치 패드 모드 하에서 사용자의 드래그 입력을 무시할 수 있다. 이동 단말기(500)는 터치 패드 모드 하에서 사용자의 터치 업 입력 및 터치 다운 입력만을 인식할 수 있다.
사용자는 디스플레이 장치(100)의 미러링 화면만을 보고 미러링 화면을 조작할 수 있다.
이동 단말기(500)의 프로세서(590)는 통신 회로(510)를 통해 터치 입력에 대한 터치 입력 정보를 디스플레이 장치(100)에 전송한다(S611).
일 실시 예에서 터치 입력 정보는 터치 업 입력 또는 터치 다운 입력 및 해당 입력이 수신된 지점의 좌표 정보를 포함할 수 있다. 좌표 정보는 이동 단말기(500)의 디스플레이(540)에 포함된 픽셀들의 위치 정보를 포함할 수 있다.
디스플레이 장치(100)의 컨트롤러(170)는 터치 입력 정보에 기반하여 이동 단말기(500)의 터치 패드 모드의 해제 이벤트가 감지되었는지를 판단한다(S613).
컨트롤러(170)는 터치 입력 정보에 기초하여 미러링 영상에 포함된 항목을 선택할 수 있다. 미러링 영상에 포함된 항목은 이동 단말기(500)에 설치된 어플리케이션에 대응하는 앱 아이콘, 알림 항목 중 어느 하나일 수 있다.
터치 패드 모드의 해제 이벤트는 이동 단말기(500)의 터치 패드 모드를 해제하여, 미러링 모드로 재 전환하기 위한 이벤트일 수 있다.
컨트롤러(170)는 터치 입력 정보에 기반하여 특정 이벤트가 발생된 경우, 이동 단말기(500)의 터치 패드 모드의 해제 이벤트가 감지된 것으로 판단할 수 있다.
일 실시 예에서 특정 이벤트는 미러링 영상에 포함된 어플리케이션 아이콘을 선택하는 이벤트일 수 있다. 어플리케이션은 이동 단말기(500)에 설치된 어플리케이션일 수 있다.
즉, 컨트롤러(170)는 터치 입력 정보에 따라 미러링 영상에 포함된 어플리케이션 아이콘이 선택된 경우, 이동 단말기(500)의 터치 패드 모드의 해제 이벤트를 감지한 것으로 판단할 수 있다.
디스플레이 장치(100)의 컨트롤러(170)는 이동 단말기(500)의 터치 패드 모드의 해제 이벤트가 감지된 경우, 터치 패드 모드 해제 정보를 이동 단말기(500)에 전송한다(S615).
터치 패드 모드 해제 정보는 이동 단말기(500)의 터치 패드 모드를 해제하도록 하는 정보를 포함할 수 있다.
터치 패드 모드 해제 정보는 이동 단말기(500)의 동작 모드를 미러링 모드로 전환하기 위한 정보를 포함할 수 있다.
도 9는 본 개시의 일 실시 예에 따른 터치 패드 모드 해제 정보의 예를 보여준다.
도 9를 참조하면, 터치 패드 모드 해제 정보(900)는 모드 파라미터, 드래그 입력 파라미터, 터치 업/다운 입력 파라미터를 포함할 수 있다.
모드 파라미터는 미러링 모드로의 동작을 요구하는 mirroring mode 값을 가질 수 있다.
드래그 입력 파라미터는 드래그 입력이 가능함을 나타내는 enable 값을 가질 수 있다.
터치 업/다운 입력 파라미터는 터치 업/다운 입력이 가능함을 나타내는 enable 값을 가질 수 있다.
다시, 도 6을 설명한다.
이동 단말기(500)의 프로세서(590)는 디스플레이 장치(100)로부터 수신된 터치 패드 모드 해제 정보에 따라 동작 모드를 터치 패드 모드에서 미러링 모드로 전환한다(S617).
이 경우, 디스플레이 장치(100)는 이동 단말기(500)의 화면 상에 수신된 터치 지점에 상응하는 위치에 도 7에 도시된 인디케이터(733)를 표시할 수 있다.
이하에서는 본 개시의 실시 예를 보다 자세히 설명한다.
도 10은 본 개시의 일 실시 예에 따라 이동 단말기의 동작 모드를 전환하는 과정을 설명하는 도면이다.
도 10을 참조하면, 디스플레이 장치(100)와 이동 단말기(500)는 와이파이 규격 또는 와이파이 다이렉트 규격을 통해 서로 연결되어 있다.
이동 단말기(500)는 홈 화면 영상(700)을 디스플레이(540) 상에 표시하고 있고, 홈 화면 영상(700)에 상응하는 미러링 영상 신호를 디스플레이 장치(100)에 전송 중일 수 있다.
디스플레이 장치(100)는 멀티 뷰 기능의 실행에 따라 제1 분할 화면(710) 상에 컨텐트 영상(711)을 표시하고, 제2 분할 화면(730) 상에 미러링 영상 신호에 기반한 미러링 영상(731)을 표시할 수 있다.
도 10에서 이동 단말기(500)는 미러링 모드로 동작한다.
도 10을 참조하면, 이동 단말기(500)는 2개의 롱 터치 다운/업 입력을 수신하고, 수신된 터치 입력 정보를 디스플레이 장치(100)에 전송할 수 있다.
디스플레이 장치(100)는 수신된 터치 입력 정보에 포함된 2개의 롱 터치 다운/업 입력 정보에 기초하여 이동 단말기(500)의 터치 패드 모드 이벤트가 감지된 것으로 판단할 수 있다.
디스플레이 장치(100)는 터치 패드 모드로의 전환을 나타내는 터치 패드 모드 정보를 이동 단말기(500)에 전송할 수 있고, 이동 단말기(500)는 터치 패드 모드 정보에 기초하여 동작 모드를 미러링 모드에서 터치 패드 모드로 전환할 수 있다.
또한, 이동 단말기(500)가 터치 패드 모드로 전환된 상태에서, 2개의 롱 터치 다운/업 입력을 수신하는 경우, 이동 단말기(500)는 터치 패드 모드를 미러링 모드로 재 재 전환할 수 있다.
이와 같이, 본 개시의 실시 예에 따르면, 사용자는 단순한 멀티 터치 입력으로 이동 단말기(500)의 동작 모드를 손쉽게 전환시킬 수 있다. 이에 따라 사용자의 편의성이 크게 향상될 수 있다.
도 11은 본 개시의 또 다른 실시 예에 따른 이동 단말기의 동작 모드를 전환하는 과정을 설명하는 도면이다.
도 11을 참조하면, 디스플레이 장치(100)와 이동 단말기(500)는 와이파이 규격 또는 와이파이 다이렉트 규격을 통해 서로 연결되어 있다.
이동 단말기(500)는 홈 화면 영상(700)을 디스플레이(540) 상에 표시하고 있고, 홈 화면 영상(700)에 상응하는 미러링 영상 신호를 디스플레이 장치(100)에 전송 중일 수 있다.
디스플레이 장치(100)는 멀티 뷰 기능의 실행에 따라 제1 분할 화면(710) 상에 컨텐트 영상(711)을 표시하고, 제2 분할 화면(730) 상에 미러링 영상 신호에 기반한 미러링 영상(731)을 표시할 수 있다.
디스플레이 장치(100)는 이동 단말기(500)와 미러링 서비스 제공 시, 이동 단말기(500)의 동작 모드를 터치 패드 모드로 전환을 유도하는 팝업 창(1100)을 디스플레이(180) 상에 표시할 수 있다.
팝업 창(1100)은 제1 분할 화면(710) 또는 제2 분할 화면(730) 상에 표시될 수 있다. 또 다른 예로, 팝업 창(1100)은 제1 분할 화면(710) 또는 제2 분할 화면(730) 이외의 영역에 표시될 수도 있다.
디스플레이 장치(100)는 팝업 창(1100)에 포함된 확인 버튼(1110)을 선택하는 명령을 수신한 경우, 터치 패드 모드 이벤트를 감지한 것으로 판단할 수 있다. 디스플레이 장치(100)는 확인 버튼(1110)의 선택에 따라 이동 단말기(500)의 동작 모드를 터치 패드 모드로 전환하기 위한 터치 패드 모드 정보를 이동 단말기(500)에 전송할 수 있다.
도 12a 및 도 12b 본 개시의 일 실시 예에 따른 이동 단말기가 터치 패드 모드로 동작하는 과정 및 터치 패드 모드에서 미러링 모드로 전환하는 과정을 설명하는 도면이다.
도 12a를 참조하면, 디스플레이 장치(100)와 이동 단말기(500)는 와이파이 규격 또는 와이파이 다이렉트 규격을 통해 서로 연결되어 있다.
이동 단말기(500)는 홈 화면 영상(700)을 디스플레이(540) 상에 표시하고 있고, 홈 화면 영상(700)에 상응하는 미러링 영상 신호를 디스플레이 장치(100)에 전송 중일 수 있다.
디스플레이 장치(100)는 멀티 뷰 기능의 실행에 따라 제1 분할 화면(710) 상에 컨텐트 영상(711)을 표시하고, 제2 분할 화면(730) 상에 미러링 영상 신호에 기반한 미러링 영상(731)을 표시할 수 있다.
디스플레이 장치(100)는 터치 패드 모드 이벤트의 발생에 따라 이동 단말기(500)에 터치 패드 모드 정보를 전송할 수 있다.
이동 단말기(500)는 수신된 터치 패드 모드 정보에 따라 동작 모드를 터치 패드 모드로 전환할 수 있다. 동시에, 이동 단말기(500)는 앱 아이콘들이 표시되지 않은 빈 화면(1200)을 표시할 수 있다. 이는 사용자에게 이동 단말기(500)가 터치 패드 모드에 있음을 알리기 위함이다. 또한, 이는 앱 아이콘들의 표시에 의해 사용자의 터치 입력에 시각적인 방해를 끼치지 않게 하기 위함이다.
사용자는 빈 화면(1200) 상에 터치 다운/업 입력을 가할 수 있다. 즉, 사용자는 컨텐트 영상(710)을 시청하면서, 터치 패드 모드로 동작하는 이동 단말기(500)의 디스플레이(540) 상에 터치 다운/업 입력을 가할 수 있다.
이동 단말기(500)는 터치 다운/업 입력이 특정 앱의 아이콘이 위치한 지점에 일정 시간 가해지는 경우, 햅틱 신호를 출력할 수 있다.
디스플레이 장치(100)는 이동 단말기(500)로부터 수신된 터치 다운/업 입력 정보에 기초하여, 해당 지점에 상응하는 위치에 인디케이터(733)를 미러링 영상(730) 상에 표시할 수 있다. 인디케이터(733)는 사용자의 터치 지점에 대응하는 위치에 표시될 수 있다.
디스플레이 장치(100)는 이동 단말기(500)로부터 일정 시간 이상 터치 다운 입력이 수신된 경우, 해당 위치에 인디케이터(733)를 표시할 수 있다.
디스플레이 장치(100)는 이동 단말기(500)로부터 수신된 터치 입력 정보에 기초하여, 인디케이터(733)가 위치한 메시지 어플리케이션에 상응하는 메시지 아이콘(735)을 선택할 수 있다.
메시지 어플리케이션은 이동 단말기(500)에 설치된 어플리케이션일 수 있다.
디스플레이 장치(100)는 메시지 어플리케이션이 실행되는 경우, 터치 패드 모드의 해제 이벤트를 감지한 것으로 판단할 수 있다.
즉, 디스플레이 장치(100)는 이동 단말기(500)로부터 수신된 터치 입력 정보에 기초하여 어플리케이션의 실행을 감지한 경우, 터치 패드 모드의 해제 이벤트를 생성할 수 있다.
디스플레이 장치(100)는 터치 패드 모드 해제 정보를 이동 단말기(500)에 전송할 수 있다.
이동 단말기(500)는 터치 패드 모드 해제 정보에 기초하여 동작 모드를 미러링 모드로 전환할 수 있다. 이동 단말기(500)는 도 12b에 도시된 바와 같이, 메시지 아이콘(735)에 상응하는 메시지 어플리케이션을 실행하고, 실행 영상(1210)을 디스플레이(540) 상에 표시할 수 있다.
이동 단말기(500)는 실행 영상(1210)에 상응하는 영상 신호를 디스플레이 장치(100)에 전송하고, 디스플레이 장치(100)는 수신된 영상 신호에 기반하여 미러링 영상(1230)을 제2 분할 화면(730) 상에 표시할 수 있다.
이와 같이, 사용자는 미러링 상태 및 멀티 뷰 상태에서 방송 영상을 시청하는 중 이동 단말기의 화면을 보지 않고도, 이동 단말기를 조작할 수 있다.
이에 따라 사용자는 방송 시청에 방해를 받지 않고 이동 단말기를 조작할 수 있어 향상된 사용자 경험을 누릴 수 있다.
도 13a 및 도 13b는 본 개시의 실시 예에 따라 멀티 뷰 상태에서 컨텐트 영상 또는 캐스팅 영상 중 어느 하나를 선택함에 의해 이동 단말기의 동작 모드가 변경됨을 설명하는 도면이다.
도 13a를 참조하면, 이동 단말기(500)는 화면이 오프 되어 있거나, 캐스팅(Casting) 모드로 동작할 수 있다. 캐스팅 모드는 전술한 미러링 모드와 준하는 모드일 수 있다. 캐스팅 모드 하에서 이동 단말기(500)는 미러링 영상을 표시하지 않는 점이 미러링 모드와는 차이점이다.
캐스팅 모드는 이동 단말기(500)에서 재생 중인 영상을 디스플레이 장치(100)로 전송하여, 디스플레이 장치(100)가 영상을 재생하도록 하는 모드일 수 있다. 캐스팅 모드 하에서 이동 단말기(500)의 화면은 오프 될 수 있다.
디스플레이 장치(100)는 멀티 뷰 기능의 실행에 따라 제1 분할 화면(710) 상에 방송 영상(1301)을 표시하고, 제2 분할 화면(730) 상에 캐스팅 영상(1303)을 표시할 수 있다. 캐스팅 영상(1303)은 이동 단말기(500) 상에서 재생 중인 영상일 수 있다.
디스플레이 장치(100)는 제1 분할 화면(710)을 선택하는 명령을 수신한 경우, 이동 단말기(500)의 동작 모드를 캐스팅 모드에서 터치 패드 모드로 전환하도록 하는 터치 패드 모드 정보를 이동 단말기(500)에 전송할 수 있다.
디스플레이 장치(100)는 제1 분할 화면(710)을 선택하는 명령에 따라 방송 영상(1301)을 전체 화면 상에 표시할 수 있다. 이동 단말기(500)는 디스플레이 장치(100)로부터 수신된 터치 패드 모드 정보에 따라 캐스팅 모드를 터치 패드 모드로 전환할 수 있다.
디스플레이 장치(100)는 제1 분할 화면(710)이 선택된 경우, 이동 단말기(500)에 상기 터치 패드 모드 이벤트가 감지된 것으로 판단할 수 있다.
터치 패드 모드로 동작하는 이동 단말기(500)는 원격 제어 장치(200)와 같은 역할을 수행할 수 있다.
도 13b를 참조하면, 디스플레이 장치(100)는 도 13a와는 달리 제2 분할 화면(730)을 선택하는 명령을 수신할 수 있다.
디스플레이 장치(100)는 제2 분할 화면(730)을 선택하는 명령에 따라 캐스팅 영상(1303)을 전체 화면 상에 표시할 수 있다.
이 경우, 이동 단말기(500)의 동작 모드는 캐스팅 모드로 유지될 수 있다. 이는 디스플레이 장치(100)의 전체 화면 상에 캐스팅 영상(1303)이 표시 중이므로, 캐스팅 영상(1303)을 조작하기 위함이다.
한편, 도 13a 및 도 13b에서 캐스팅 모드는 미러링 모드로 대체되어 사용될 수 있다.
도 14는 본 개시의 일 실시 예에 따라 이동 단말기의 동작 모드를 설정하는 메뉴 화면을 설명하는 도면이다.
디스플레이 장치(100)는 원격 제어 장치(200)로부터 수신된 명령에 따라 이동 단말기(500)의 동작 모드를 설정하기 위한 메뉴 화면(1400)을 디스플레이(180) 상에 표시할 수 있다.
메뉴 화면(1400)은 미러링 모드로의 설정을 위한 제1 메뉴 항목(1410) 및 터치 패드 모드로의 설정을 위한 제2 메뉴 항목(1430)을 포함할 수 있다.
디스플레이 장치(100)는 제1 메뉴 항목(1410)을 통해 미러링 모드가 체크된 경우, 미러링 모드로 동작하도록 하는 정보를 이동 단말기(500)에 전송할 수 있다. 해당 정보는 도 6에서 터치 패드 모드 해제 정보일 수 있다.
디스플레이 장치(100)는 제2 메뉴 항목(1430)을 통해 터치 패드 모드가 체크된 경우, 터치 패드 모드로 동작하도록 하는 정보를 이동 단말기(500)에 전송할 수 있다. 해당 정보는 도 6에서 터치 패드 모드 정보일 수 있다.
이와 같이, 본 개시의 실시 예에 따르면, 사용자는 메뉴 화면(1400)을 통해 이동 단말기(500)의 동작 모드를 손쉽게 설정할 수도 있다.
본 개시의 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
상기와 같이 설명된 디스플레이 장치는 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (15)

  1. 디스플레이 장치에 있어서,
    이동 단말기가 재생 중인 영상에 상응하는 영상 신호를 수신하는 무선 통신 인터페이스;
    상기 수신된 영상 신호에 기초한 미러링 영상을 표시하는 디스플레이; 및
    터치 패드 모드 이벤트가 감지되었는지를 판단하고, 상기 터치 패드 모드 이벤트가 감지된 경우, 상기 이동 단말기에 상기 이동 단말기의 동작 모드를 터치 패드 모드로 전환하기 위한 터치 패드 모드 정보를 상기 무선 통신 인터페이스를 통해 전송하는 컨트롤러를 포함하는
    디스플레이 장치.
  2. 제1항에 있어서,
    상기 터치 패드 모드 정보는
    상기 이동 단말기의 동작 모드를 상기 터치 패드 모드로 설정하기 위한 모드 파라미터 및 드래그 입력의 불가능을 나타내는 드래그 입력 파라미터를 포함하는
    디스플레이 장치.
  3. 제1항에 있어서,
    상기 컨트롤러는
    상기 이동 단말기로부터 수신된 정보에 기초하여, 상기 터치 패드 모드 이벤트를 감지하는
    디스플레이 장치.
  4. 제3항에 있어서,
    상기 컨트롤러는
    상기 이동 단말기로부터 일정 시간 동안 상기 이동 단말기의 움직임이 없음을 나타내는 움직임 정보를 수신한 경우, 상기 터치 패드 모드 이벤트가 감지된 것으로 판단하는
    디스플레이 장치.
  5. 제3항에 있어서,
    상기 컨트롤러는
    상기 이동 단말기로부터 2개 이상의 터치 입력이 일정 시간 유지되었음을 나타내는 다중 터치 입력 정보를 수신한 경우, 상기 터치 패드 모드 이벤트가 감지된 것으로 판단하는
    디스플레이 장치.
  6. 제1항에 있어서,
    상기 컨트롤러는
    상기 터치 패드 모드로의 동작을 유도하는 팝업 창을 상기 디스플레이 상에 표시하고, 상기 팝업 창을 통해 상기 터치 패드 모드 이벤트가 감지된 것으로 판단하는
    디스플레이 장치.
  7. 제1항에 있어서,
    상기 컨트롤러는
    상기 터치 패드 모드 정보에 의해 상기 이동 단말기의 동작 모드가 상기 터치 패드 모드로 설정된 후, 상기 이동 단말기로부터 터치 입력 정보를 수신하고,
    수신된 터치 입력 정보에 기초하여 상기 터치 패드 모드의 해제를 나타내는 터치 패드 모드의 해제 이벤트를 감지하는
    디스플레이 장치.
  8. 제7항에 있어서,
    상기 컨트롤러는
    상기 터치 입력 정보에 기초하여 상기 미러링 영상에 포함된 앱 아이콘이 선택된 경우, 상기 터치 패드 모드의 해제 이벤트를 감지한 것으로 판단하는
    디스플레이 장치.
  9. 제8항에 있어서,
    상기 컨트롤러는
    상기 이동 단말기에 상기 터치 패드 모드의 해제를 나타내는 터치 패드 모드 해제 정보를 전송하는
    디스플레이 장치.
  10. 제9항에 있어서,
    상기 컨트롤러는
    상기 이동 단말기로부터 상기 앱 아이콘에 상응하는 어플리케이션의 실행 영상을 수신하고, 수신된 실행 영상을 상기 디스플레이 상에 표시하는
    디스플레이 장치.
  11. 제9항에 있어서,
    상기 터치 패드 모드 해제 정보는
    상기 이동 단말기의 동작 모드를 미러링 모드로 설정하기 위한 모드 파라미터 및 드래그 입력의 가능을 나타내는 드래그 입력 파라미터를 포함하는
    디스플레이 장치.
  12. 제1항에 있어서,
    상기 컨트롤러는
    멀티 뷰 기능의 실행에 따라 제1 분할 화면 상에 컨텐트 영상 및 제2 분할 화면 상에 상기 미러링 영상을 표시하는
    디스플레이 장치.
  13. 제12항에 있어서,
    상기 컨트롤러는
    상기 이동 단말기로부터 터치 입력 정보를 수신하고, 수신된 터치 입력 정보에 기반하여 상기 이동 단말기의 디스플레이 상에 수신된 터치 입력의 일 지점에 상응하는 상기 미러링 영상의 위치에 인디케이터를 표시하는
    디스플레이 장치.
  14. 제12항에 있어서,
    상기 컨트롤러는
    상기 제1 분할 화면이 선택된 경우, 상기 이동 단말기에 상기 터치 패드 모드 이벤트가 감지된 것으로 판단하는
    디스플레이 장치.
  15. 디스플레이 장치의 동작 방법에 있어서,
    이동 단말기가 재생 중인 영상에 상응하는 영상 신호를 수신하는 단계;
    상기 수신된 영상 신호에 기초한 미러링 영상을 표시하는 단계;
    터치 패드 모드 이벤트가 감지되었는지를 판단하는 단계; 및
    상기 터치 패드 모드 이벤트가 감지된 경우, 상기 이동 단말기에 상기 이동 단말기의 동작 모드를 터치 패드 모드로 전환하기 위한 터치 패드 모드 정보를 전송하는 단계를 포함하는
    디스플레이 장치의 동작 방법.
PCT/KR2022/010631 2022-07-20 2022-07-20 디스플레이 장치 및 그의 동작 방법 WO2024019190A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/010631 WO2024019190A1 (ko) 2022-07-20 2022-07-20 디스플레이 장치 및 그의 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/010631 WO2024019190A1 (ko) 2022-07-20 2022-07-20 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2024019190A1 true WO2024019190A1 (ko) 2024-01-25

Family

ID=89617997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/010631 WO2024019190A1 (ko) 2022-07-20 2022-07-20 디스플레이 장치 및 그의 동작 방법

Country Status (1)

Country Link
WO (1) WO2024019190A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055327A (ko) * 2012-10-31 2014-05-09 김태혁 터치 방식 입력장치를 갖는 이동 단말기의 사용자 모니터와 연동을 위한 인터페이스 방법
US20140297897A1 (en) * 2013-03-26 2014-10-02 Hewlett-Packard Development Company, L.P. Dual-mode tablet input system
KR20160105242A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 스크린 미러링 서비스 제공장치 및 방법
KR20180080980A (ko) * 2017-01-05 2018-07-13 주식회사 이스퀘어 스마트 기기의 역방향 제어를 위한 자동 연결 방법
KR20210061199A (ko) * 2019-11-19 2021-05-27 삼성전자주식회사 디스플레이 기기, 모바일 기기, 디스플레이 기기의 화면 미러링 방법 및 모바일 기기의 화면 미러링 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140055327A (ko) * 2012-10-31 2014-05-09 김태혁 터치 방식 입력장치를 갖는 이동 단말기의 사용자 모니터와 연동을 위한 인터페이스 방법
US20140297897A1 (en) * 2013-03-26 2014-10-02 Hewlett-Packard Development Company, L.P. Dual-mode tablet input system
KR20160105242A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 스크린 미러링 서비스 제공장치 및 방법
KR20180080980A (ko) * 2017-01-05 2018-07-13 주식회사 이스퀘어 스마트 기기의 역방향 제어를 위한 자동 연결 방법
KR20210061199A (ko) * 2019-11-19 2021-05-27 삼성전자주식회사 디스플레이 기기, 모바일 기기, 디스플레이 기기의 화면 미러링 방법 및 모바일 기기의 화면 미러링 방법

Similar Documents

Publication Publication Date Title
WO2017159941A1 (en) Display device and method of operating the same
WO2016204520A1 (en) Display device and operating method thereof
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2015186857A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2021251519A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2018066788A1 (ko) 디스플레이 장치
WO2019009453A1 (ko) 디스플레이 장치
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2021010511A1 (ko) 디스플레이 장치
WO2024019190A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2023249146A1 (ko) 이동 단말기 및 디스플레이 시스템
WO2021015319A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2024135871A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023195556A1 (ko) 디스플레이 장치
WO2023182624A1 (ko) 디스플레이 장치
WO2023163253A1 (ko) 디스플레이 장치, 원격제어장치 및 이들로 구성되는 디스플레이 시스템
WO2024025003A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023153639A1 (ko) 디스플레이 시스템
WO2024147371A1 (ko) 비디오 전송 장치 및 그의 동작 방법
WO2022085820A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2024101491A1 (ko) 투명 디스플레이 장치 및 그의 동작 방법
WO2024080389A1 (ko) 디스플레이 장치 및 디스플레이 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22952039

Country of ref document: EP

Kind code of ref document: A1