WO2017086635A1 - 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체 - Google Patents

원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체 Download PDF

Info

Publication number
WO2017086635A1
WO2017086635A1 PCT/KR2016/012561 KR2016012561W WO2017086635A1 WO 2017086635 A1 WO2017086635 A1 WO 2017086635A1 KR 2016012561 W KR2016012561 W KR 2016012561W WO 2017086635 A1 WO2017086635 A1 WO 2017086635A1
Authority
WO
WIPO (PCT)
Prior art keywords
image display
remote control
screen
pointer
display apparatus
Prior art date
Application number
PCT/KR2016/012561
Other languages
English (en)
French (fr)
Inventor
조규정
금건호
김관영
김도성
김민섭
김상진
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP16866587.5A priority Critical patent/EP3352466A4/en
Priority to US15/773,091 priority patent/US20180321757A1/en
Priority to CN201680066977.0A priority patent/CN108353206A/zh
Publication of WO2017086635A1 publication Critical patent/WO2017086635A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/91—Remote control based on location and proximity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor

Definitions

  • the present disclosure relates to a remote control apparatus, a method of driving a remote control apparatus, an image display apparatus, a method of driving an image display apparatus, and a computer readable recording medium, and more particularly, for example, when a user uses a remote controller, A remote control device for more intuitively controlling a pointer for selecting an item displayed on a screen, a method of driving a remote control device, an image display device, a method of driving an image display device, and a computer-readable recording medium.
  • the electronic device is controlled by using a button provided in the electronic device or a remote control which is a device separate from the electronic device.
  • a remote device which is a separate device
  • the user has to check and press the buttons provided on the remote control for the desired operation.
  • the user when using the pointer displayed on the screen to select specific content on the screen of the electronic device, the user alternately selects four direction buttons of the remote control several times to move the pointer to the corresponding content area, and the remote control on the content area.
  • the select button provided in the button By pressing the select button provided in the button, specific content could be selected.
  • the user has to check the button provided on the remote control several times and press the operation several times to select the corresponding content.
  • this method has a problem in that it is not intuitive to the user because the pointer is always displayed at the center of the screen such as a DTV using the relative coordinate pointing method. Accordingly, there is a need for a method for a user to search information displayed on a screen of an electronic device more conveniently even from a long distance.
  • Embodiments according to the present disclosure for example, when a user uses a remote control, a remote control device for more intuitively controlling a pointer for selecting an item displayed on the screen of the image display device, a method of driving the remote control device, an image display device, an image It is an object of the present invention to provide a method of driving a display device and a computer-readable recording medium.
  • a method of driving a remote control apparatus may include determining whether a remote control apparatus instructs a screen of an image display apparatus, and when the determination result indicates a screen, a pointer is displayed at an instruction position of the screen. And transmitting the location information to the video display device.
  • the driving method of the remote control apparatus may further include photographing the image display apparatus when the movement of the remote control apparatus is detected, and generating the position information by using the captured image. .
  • the determining when the detection signal generated by the image display apparatus is detected in the captured image, it may be determined that the screen is indicated.
  • the driving method of the remote control apparatus may include pre-stored a setting value for a generation position of the detection signal, and generating the position information based on the pre-stored setting value and the position of the detected detection signal. It may further include.
  • the generation position may correspond to an edge portion of the image display device.
  • the driving method of the remote control apparatus may further include notifying that there is no instruction such that the pointer is displayed at the center of the screen if there is no instruction on the screen.
  • the driving method of the remote control apparatus may further include providing the change amount detected by the sensor as the position information when the instruction position is changed.
  • the driving method of the image display device the step of outputting a detection signal for sensing in the remote control device, receiving the position information provided by the remote control device based on the output detection signal, Determining a location of a pointer for displaying on the screen of the image display apparatus based on the received location information, and displaying the pointer at the determined location.
  • the outputting of the detection signal may include outputting an infrared signal as the detection signal.
  • the position information may be related to the position of the output sensing signal detected in the captured image photographing the image display apparatus.
  • the driving method of the image display apparatus may include receiving a sensing value sensing the movement of the remote control apparatus as the location information when the user moves the remote control apparatus, and based on the sensing value.
  • the method may further include changing a location.
  • the remote control apparatus includes a processor for determining whether a remote control apparatus instructs a screen of an image display apparatus, and position information related to the instruction position such that a pointer is displayed at the instruction position of the screen when the determination result screen is instructed. It includes a communication interface for transmitting to the image display apparatus under the control of the processor.
  • the remote control apparatus may further include an imaging unit configured to photograph the image display apparatus when the movement of the remote control apparatus is detected, and the processor may generate the position information by using the captured image.
  • the processor may determine that the screen is indicated when a detection signal generated by the image display apparatus is detected in the captured image.
  • the remote control apparatus may further include a storage unit which pre-stores a setting value for a generation position of the detection signal, and wherein the processor is further configured to store the position information based on the pre-stored setting value and the position of the detected detection signal. Can be generated.
  • the generation position may correspond to an edge portion of the image display device.
  • the processor may notify that there is no instruction such that the pointer is displayed at the center of the screen.
  • the processor may provide the change amount detected by the sensor as the position information.
  • the image display device a detection signal generator for outputting a detection signal for sensing in the remote control device, a communication interface for receiving the position information provided by the remote control device based on the output detection signal
  • the processor may include a processor configured to determine a location of a pointer for displaying on a screen of the image display apparatus based on the received location information, and a display configured to display the pointer at the determined location.
  • the detection signal generator may output an infrared signal as the detection signal.
  • the position information may be related to the position of the output sensing signal detected in the captured image photographing the image display apparatus.
  • the communication interface unit receives a sensing value sensing the movement of the remote control device as the location information, and the processor determines a location of the displayed pointer based on the sensing value. You can change it.
  • the computer-readable recording medium comprising a program for executing the screen display method of the image display device, the screen display method of the image display device, the image display device Displaying a selectable item on a screen of the screen; and if the remote control device instructs the screen, the remote control device directs the screen on the basis of position information generated by a captured image of the image display device. Execute the marking of the pointer at the location.
  • FIG. 1 is a view showing an image processing system according to the present disclosure
  • FIG. 2 is a view showing the appearance of a TV as an example of the image display device shown in FIG. 1;
  • FIG. 3 is a block diagram illustrating a detailed structure of the image display apparatus shown in FIG. 1;
  • FIG. 4 is a block diagram illustrating a detailed structure of the remote control device of Figure 1,
  • FIG. 5 is a block diagram illustrating another detailed structure of the remote control device shown in Figure 1,
  • FIG. 6 is a block diagram illustrating another detailed structure of the remote control device shown in Figure 1,
  • FIG. 7 is a diagram illustrating a structure of a control unit of FIG. 6;
  • FIG. 8 is a flowchart illustrating a driving process of a remote control apparatus according to the present disclosure
  • FIG. 9 is a flowchart illustrating a driving process of a remote control apparatus according to another embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating a driving process of an image display apparatus according to the present disclosure.
  • FIG. 11 is a flowchart illustrating a screen display method of an image display apparatus according to the present disclosure.
  • FIG. 1 is a view showing an image processing system according to the present disclosure
  • FIG. 2 is a view showing the appearance of a TV as an example of the image display device shown in FIG. 1.
  • an image processing system 90 includes some or all of an image display device 100, a remote control device 110, a communication network 120, and a service providing device 130. do.
  • the communication network 120 is omitted from the system 90 so that the service providing device 130 (ex. BD player, etc.) communicates directly with the video display device 100 ( ex.P2P, HDMI cable), which means that it can, and will be described as being included in order to facilitate a full understanding of the invention.
  • the image display device 100 is an electronic device that cooperates with the remote control device 110.
  • the image display apparatus 100 may include a DTV, a desktop computer, a laptop computer, a tablet PC, an audio device, and the like.
  • the image display apparatus 100 displays a pointer on the screen only when the user grips the remote controller, that is, the remote control apparatus 110, so as not to disturb the viewer's viewing of the image. Contrast
  • the pointer is a notation (or mark) that visually shows the movement of the remote control apparatus 110 on the screen of the image display apparatus 100.
  • the image display apparatus 100 may receive a communication signal provided from the remote control apparatus 110 when the user grips the remote control apparatus 110.
  • the communication signal may have various forms.
  • the remote control apparatus 110 may provide the communication information to include the coordinate information. If there is no coordinate information, information indicating that there is no coordinate information may be provided. Including can be provided.
  • the image display apparatus 100 may determine an output method of a pointer output on the screen according to the analysis of the received signal information.
  • the image display apparatus 100 according to the present disclosure may not determine the output method.
  • the pointer can be output to a location designated by the user according to the absolute coordinate method based on the information. Therefore, the present disclosure will not be particularly limited to determining the output method.
  • the image display apparatus 100 may indicate a pointer at an instruction position in the direction of the orientation. If the screen is not oriented, the pointer can be displayed at the center of the screen.
  • the former is a pointer output by the absolute coordinate method
  • the latter may be named a pointer output by the relative coordinate method. That is, the image display apparatus 100 outputs a pointer to the screen in different ways depending on whether the user directs the screen of the image display apparatus 100 to the remote control apparatus 110.
  • the image display apparatus 100 generates position information based on the sensing sensor 100a of FIG. 2 in order to output the pointer on the screen in the absolute coordinate method.
  • the pointer is based on the preset value of the preset position of the sensor 100a and the coordinate information received from the remote controller 110.
  • the display position is determined to display a pointer at the determined position. If there is no signal received after the remote control device 110 is held by the user, or if a signal of the coordinate value (0, 0) is received as the position information, or a notification that there is no coordinate information, the image display apparatus ( 100) outputs a pointer to the center of the screen according to the initial setting of the system designer.
  • the image display apparatus 100 changes the position of the pointer based on the position information provided when the user manipulates the remote control apparatus 110. That is, the pointer displayed on the first screen is determined and displayed in the absolute coordinate method, but the movement of the pointer afterwards is calculated in the relative coordinate method.
  • the image display apparatus 100 may direct the screen area of the image display apparatus 100. It may determine whether or not, and notify the remote control device 110 of the determination result. For example, when the image display apparatus 100 is equipped with a camera to operate the same, whether the user grips the remote control apparatus 110 to direct the screen may be determined through analysis of the captured image. At this time, by calculating the point that the user is directed to the remote control device 110, the pointer can be displayed on the screen in the absolute coordinate method. Then, the coordinate value displayed in the relative coordinate method may use the sensing value provided by the remote controller 110.
  • the "screen (area)” means a screen display area of the image display apparatus 110 in which an image is displayed, but may further include a margin. In other words, even if it is determined to be slightly out of the screen display area, if it is within the error range, it is determined to be located at the edge of the screen display area to display a pointer.
  • the remote control device 110 includes a sensor for determining whether a user is gripped.
  • a sensor may include, for example, a recognition sensor including a pressure sensor that recognizes whether the user grips the remote controller 110 through pressure, a motion sensor that determines whether a movement of the remote controller 110 occurs, and the like. have.
  • the remote controller 110 may perform a photographing operation by using an internal camera or the like after a predetermined time. That is, the front part (ex. Screen) of the image display apparatus 100 is photographed.
  • the remote controller 110 analyzes the captured photographed image to determine where the position of the detection signal output from the image display apparatus 100 is. Of course, such an analysis may rely on the service providing apparatus 130, which is out of the question. Since the image photographed by the remote controller 110 is a still image in units of frames, the remote controller 110 may calculate coordinate information in an absolute coordinate method and transmit the coordinate information to the image display apparatus 100. In this case, the image display apparatus 100 calculates a movement amount (or direction) based on the preset value of the preset position of the detection sensor 100a and the coordinate information received from the remote control apparatus 110 to output the pointer. It is available.
  • the remote controller 110 displays the position information in the form of a movement amount, that is, a change amount calculated using the coordinate information calculated from the captured image and a preset value for the preset position of the sensor 100a stored therein.
  • the display device 100 may also be transmitted. This is only a matter that can be determined at the time of product shipment, so it will not be limited to any one method.
  • the change amount is calculated as position information in the remote control apparatus 110, and the resolution of the DTV is 1920 ⁇ 1080.
  • the preset value of the preset position of the sensing sensor 100a of FIG. 2 may be coordinate information 1080 and 960. If the coordinate value of the detection signal determined in the captured image is calculated as (540, 960), the distance can be calculated according to the formula for obtaining the distance (d) of the two coordinates.
  • the distance that is, the change amount calculated as described above, may be provided to the image display apparatus 100 as the location information by the remote control apparatus 110.
  • the remote controller 110 When the above process is completed, that is, when the operation for displaying the pointer in the absolute coordinate method is completed, the remote controller 110 operates the sensors therein so that the image display device 100 can display the pointer in the relative coordinate method.
  • the direction information and the movement amount information are provided to the image display apparatus 100 so as to be provided.
  • the remote control apparatus 110 includes a six-axis sensor, that is, a gyro sensor, an acceleration sensor, and the like, and may provide a sensing value for operating the sensors in a relative coordinate manner to the image display apparatus 100. have.
  • the communication network 120 includes both wired and wireless communication networks.
  • the wired network includes an internet network such as a cable network or a public telephone network (PSTN)
  • the wireless communication network includes a CDMA, WCDMA, GSM, Evolved Packet Core (EPC), Long Term Evolution (LTE), WiBro network, and the like. to be.
  • the communication network 120 according to an embodiment of the present invention is not limited thereto, and may be used as, for example, a cloud computing network under a cloud computing environment as an access network of a next generation mobile communication system to be implemented.
  • an access point in the communication network 120 may access an exchange or the like of a telephone company, but in the case of a wireless communication network, data may be connected to an SGSN or a gateway GPRS support node (GGSN) operated by a communication company. Or, it can be connected to various repeaters such as BTS (Base Station Transmission), NodeB, e-NodeB and process data.
  • BTS Base Station Transmission
  • NodeB NodeB
  • e-NodeB process data.
  • the communication network 120 may include an access point.
  • Access points include small base stations, such as femto or pico base stations, which are frequently installed in buildings.
  • the femto or pico base station is classified according to how many image display apparatuses 100 can be connected in accordance with the classification of the small base station.
  • the access point includes a video display device 100 and a short range communication module for performing short range communication such as Zigbee and Wi-Fi.
  • the access point may use TCP / IP or Real-Time Streaming Protocol (RTSP) for wireless communication.
  • RTSP Real-Time Streaming Protocol
  • the short-range communication may be performed in various standards such as Bluetooth, Zigbee, Infrared (IrDA), Ultra High Frequency (UHF) and Very High Frequency (VHF) and Ultra Wideband Communication (UWB).
  • the access point may extract the location of the data packet, designate the best communication path for the extracted location, and deliver the data packet to the next device, for example, the image display device 100, along the designated communication path.
  • An access point may share several circuits in a general network environment, and may include, for example, a router, a repeater, and a repeater.
  • the service providing apparatus 130 may include a broadcasting station server providing a broadcast service or a search server providing a service of a specialized search portal company.
  • the device for providing a service 130 preferably operates as an image service source requested by a user according to the present disclosure.
  • the service providing device 130 is a BD (blu-ray disk) player or other media device that operates directly with the image display device 100 when the communication network 120 is omitted and the system 90 is configured.
  • BD blue-ray disk
  • the pointer is intuitively displayed at the position of the screen desired by the user, which is friendly to the user, and thus, the number of operations may be reduced.
  • FIG. 3 is a block diagram illustrating a detailed structure of the image display apparatus shown in FIG. 1.
  • the image display apparatus 100 may include a communication interface 300, a detection signal generator 310, a controller 320, a display 330, and a GUI generator. 340 and some or all of the storage 350.
  • the communication interface 300 communicates with the service providing apparatus 130 via the communication network 120. Through this, the image provided by the service providing device 130 may be received and transmitted to the controller 320.
  • the communication interface unit 300 may receive the location information provided by the remote control device 110 based on a detection result of the detection signal generated by the detection signal generator 310.
  • the location information may be provided in various forms as described above, and even if there is no location information, the communication interface 300 may receive various types of signals from the remote control apparatus 110. For example, a signal indicating that there is no location information is representative.
  • the detection signal generator 310 includes an infrared sensor, and a light emitting device is preferable. According to the present disclosure, the detection signal generator 310 may generate light in an infrared wavelength band so that a user does not recognize a light emitting state. Or such light may occur periodically. Accordingly, the viewer does not interfere with the viewing of the image even though the infrared light is generated.
  • the detection signal generator 310 may be located at the lower center of the screen as shown in FIG. 2 according to the present disclosure. However, this is optional only and may be located anywhere on the edge.
  • the controller 320 may control overall operations of the components in the image display apparatus 100. For example, when an image signal is received through the communication interface unit 300, the image signal may be processed and displayed on the display unit 330. In this process, the received video signal is separated into a video signal, an audio signal and additional information, the separated video / audio signal is decoded, and the decoded signal is post-processed (e.g. scaling of a video signal, amplifying an audio signal, etc.). After performing various operations such as), an image may be displayed on the display unit 330 and the sound may be output to a sound output unit (not shown).
  • a sound output unit not shown.
  • the controller 320 when there is location information received through the communication interface 300, the controller 320 operates the GUI generator 340 to control the pointer to be displayed on the screen of the display 330.
  • the pointer output from the GUI generator 340 is synthesized (or combined) and displayed on the video image output to the display 330.
  • the controller 320 determines a position at which the pointer is to be output based on the position information received by the communication interface unit 300, and outputs the pointer at the determined position.
  • the video image output to the display unit 330 and the GUI image (including a pointer) output from the GUI generator 340 may form different layers. Therefore, the GUI generator 340 may pre-store a GUI image based on the coordinate information, and then output a specific GUI image including a pointer matching the position information input from the controller 320, and the controller 320. May synthesize this and output the synthesized image to the display unit 330. Since various methods are possible with respect to such image processing, further description thereof will be omitted.
  • the display unit 330 displays an image processed by the controller 320 on the screen.
  • the pointer initially displayed on the screen is output based on the absolute coordinate method according to the present disclosure, and the pointer movement thereafter is performed based on the relative coordinate method.
  • the GUI generator 340 outputs a pre-stored GUI image under the control of the controller 320.
  • the GUI image may be one image including a pointer, but may be a plurality of unit frame images in which the position of the pointer is positioned for each coordinate. For example, in the case of one image, the position of the pointer may be moved and output according to the coordinate information.
  • the GUI generator 340 may be a unit matching the position information provided by the controller 320.
  • a frame image may be output.
  • the storage 350 stores various data or information processed by the controller 320 and outputs the data when the controller 320 requests it.
  • the storage 350 may store the position of the detection signal generator 310 of the image display apparatus 100 as a preset value. For example, when the controller 320 needs to determine the location of the pointer output from the GUI generator 340, the storage 350 may provide a stored setting value under the control of the controller 320.
  • the control unit 320 may operate differently depending on how the remote control device 110 transmits the location information.
  • the control unit 320 since the control unit 320 already knows information about the position of the infrared sensor as the detection signal generator 310, when the position information is received in the form of a movement amount (or a vector having size and direction information), the pointer When displaying, we only need to determine the location of the pointer.
  • the controller 320 calculates the movement amount by using the preset value stored in the storage unit 350 and based on the calculated movement amount.
  • the display unit 330 may be controlled to determine the position of the pointer and output an image. Since the above manner is determined at the time of product design, the present disclosure will not be particularly limited to the specific manner.
  • the controller 320 may include a processor for performing a substantial control function and a memory for storing a program (or algorithm) for calculating a movement amount and executing the stored program under the control of the processor. Therefore, the operation of the controller 320 may be an operation of the processor. Details will be described again in FIG. 7.
  • FIG. 4 is a block diagram illustrating a detailed structure of the remote control device of FIG.
  • the remote control device 110 includes some or all of the communication interface 400, the location information processing unit 410, and the imaging unit 420, wherein “Include some or all” is synonymous with the foregoing.
  • the communication interface 400 communicates with the image display device 100.
  • the communication interface 400 may include a communication module for performing short-range communication such as Wi-Fi and Bluetooth.
  • the communication interface 400 transmits the location information provided from the location information processing unit 410 to the image display device 100. In this process, if there is no change in the location information, the communication interface 400 may transmit a signal informing the image display apparatus 100.
  • the location information processor 410 may generate location information in an absolute coordinate method according to the present disclosure.
  • the location information processing unit 410 analyzes the captured image provided by the imaging unit 420 and detects the position of the detection signal generated in the image display apparatus 100. Then, the coordinate information about the position of the detected detection signal is extracted. For example, the masking signal (or film) in which the coordinate information is defined may be masked, that is, overlaid on the captured image to obtain the coordinate information. Thereafter, the location information processing unit 410 may transmit the extracted coordinate information to the image display device 100 as the location information through the communication interface 400.
  • the position information processing unit 410 pre-stores information on the position of the infrared sensor, and then calculates a movement amount, that is, a movement amount based on the preset position, by using the extracted coordinate information and the preset value.
  • the calculated movement amount may be provided to the image display apparatus 100 as position information.
  • the imaging unit 420 may operate under the control of the location information processing unit 410 when it is determined that the user grips the remote control device 110. In fact, whether or not the grip is determined through a pressure sensor or a motion sensor.
  • the image display apparatus 100 transmits information indicating that the user grips the remote control apparatus 110.
  • the image display device 100 since the image display device 100 is more likely to mount a camera when it satisfies a consumer's desire for a product and is viewed from various aspects, such as a function, the captured image photographed by the camera in the image display device 100. If it is determined that the user has grasped the remote control device 110, it may inform the remote control device 110. When such a notification signal is received, the imaging unit 420 may operate under the control of the location information processing unit 410.
  • FIG. 5 is a block diagram illustrating another detailed structure of the remote control apparatus shown in FIG. 1.
  • a remote control apparatus 110 ′ may include a communication interface 500, a location information processor 510, an imaging unit 520, and a sensing unit 530. And some or all, wherein "including some or all" is synonymous with the foregoing.
  • the remote controller 110 ′ of FIG. 5 operates in the sleep mode to operate the communication interface 500 and the imaging unit 520 in a power supply unit (not shown) such as a battery. It can cut off the power supplied to. Accordingly, power may be supplied only to the location information processing unit 510 and the sensing unit 530. If the user grips the remote controller 110 ′, the location information processor 510 may operate the imaging unit 520 in an active mode. After a predetermined time has elapsed, the location information processor 510 may control the imaging unit 520 to perform an imaging operation.
  • a power supply unit not shown
  • the location information processor 510 may operate the imaging unit 520 in an active mode. After a predetermined time has elapsed, the location information processor 510 may control the imaging unit 520 to perform an imaging operation.
  • the location information processing unit 510 of FIG. 5 additionally provides location information for controlling the pointer in a relative coordinate method to the image display apparatus 100. can do.
  • the location information processing unit 510 may control the sensing unit 530 to obtain a sensing value, and provide the acquired sensing value to the image display apparatus 100 as location information.
  • the sensing unit 530 includes various types of sensors.
  • the user when the user grips the remote control device 110 ′, the user may include a pressure sensor that recognizes the remote control device 110 ′, and may include a six-axis sensor, that is, a gyro sensor and an acceleration sensor, for controlling the pointer in a relative coordinate method. have. Through such a sensor, a sensing value such as a moving direction and a moving distance of the remote controller 110 ′ may be generated and provided to the position information processor 510.
  • the communication interface 500 and the location information processing unit 510 of FIG. 5 are not so different from the communication interface 400 and the location information processing unit 410 of FIG. .
  • FIG. 6 is a block diagram illustrating another detailed structure of the remote control apparatus illustrated in FIG. 1, and FIG. 7 is a diagram illustrating a structure of the controller of FIG. 6.
  • the remote control apparatus 110 ′′ may include a communication interface 600, an imaging unit 610, a controller 620, a storage unit 630, It includes a part or all of the sensing unit 640 and the location information processing unit 650, where "including some or all" is the same as the above meaning.
  • the remote control device 110 ′′ shown in FIG. 6 is not significantly different from the remote control device 110 ′ shown in FIG. 5. However, the remote controller 110 ′′ of FIG. 6 is physically separated into a control unit 620 performing a control function in the position information processing unit 510 of FIG. 5 and a position information processing unit 650 generating position information. There is a difference in that.
  • the control unit 620 in FIG. 6 controls the location information processing unit. There is a difference in that the operation of generating location information can be performed at 650.
  • the location information processing unit 650 may output coordinate information of the detection signal detected from the captured image provided by the image capturing unit 610 to output the pointer on the screen of the image display apparatus 100 by the absolute coordinate method.
  • the calculated coordinate information is used as positional information.
  • the communication interface 600, the imaging unit 610, the controller 620, the storage unit 630, the sensing unit 640, and the location information processor 650 of FIG. 6 may communicate with each other in FIG. 5. Since the interface unit 500, the location information processing unit 510, the image capturing unit 520, and the sensing unit 530 are not significantly different from each other, the contents will be replaced by the contents.
  • the controller 620 of FIG. 6 may include a processor 700 and a memory 710 as shown in FIG. 7.
  • the processor 700 is responsible for the control function as mentioned above.
  • the processor 700 may load a program stored in the location information processor 650 of FIG. 6 into the memory 710. Thereafter, the processor 700 executes a program stored in the memory 710 to perform an operation for generating location information.
  • the remote controller 110 ′′ may increase the data processing speed as compared to FIG. 6.
  • FIG. 8 is a flowchart illustrating a driving process of a remote control apparatus according to the present disclosure.
  • the remote control apparatus 110 determines whether the remote control apparatus 110 instructs or directs the screen of the image display apparatus 100 (S800). Such orientation may be achieved by, for example, analyzing the photographed image photographing the image display apparatus 100 in the remote control apparatus 110. For example, when a sensing signal provided by the image display apparatus 100, that is, an infrared signal, is detected in the captured image, the remote controller 110 may determine that the screen is directed.
  • a sensing signal provided by the image display apparatus 100 that is, an infrared signal
  • the remote control apparatus 110 transmits the position information related to the instruction position to the image display apparatus 100 so that the pointer is displayed at the instruction position on the screen (S810).
  • the remote controller 110 transmits the position information for moving the pointer displayed on the image display apparatus 100 by the relative coordinate method to the image display apparatus 100.
  • the remote control device 110 may transmit the sensing value sensed by the internal sensor as position information.
  • FIG. 9 is a flowchart illustrating a driving process of a remote control apparatus according to another embodiment of the present disclosure.
  • the remote control apparatus 110 may detect a detection signal when the image display apparatus 100 is initially directed to the remote control apparatus 110. ex., it is determined whether the infrared signal) is recognized in the screen area of the image display apparatus 100 (S900). That is, the remote controller 110 determines whether a detection signal exists in the captured image of the image display apparatus 100.
  • the remote controller 110 calculates coordinate information of the sensing signal (by absolute coordinate method) in the captured image and controls the pointer output of the image display apparatus 100. It is used in (S910).
  • the remote control apparatus 110 may provide the image display apparatus 100 with the calculated coordinate information or its modified form as position information.
  • the remote control device 110 After the initial output of the pointer is made on the screen of the image display apparatus 100, the remote control device 110 operates so that subsequent pointer movement is performed by the relative coordinate method (S920). To this end, the remote controller 110 may transmit the sensing values generated by the gyro sensor and the acceleration sensor to the image display apparatus 100 as position information.
  • step S900 if it is determined in step S900 that the detection signal is not recognized in the screen area of the image display apparatus 100, the remote control apparatus 110 operates to output a pointer to the center of the screen of the image display apparatus 100 (S930). ).
  • the remote controller 110 may transmit the coordinate information corresponding to the center of the screen to the image display apparatus 100, but the image display apparatus 100 and the remote control apparatus 110 for faster information processing. In accordance with the pre-regulation of the remote control device 110, it will be able to transmit only a signal indicating this to the image display device (100).
  • the remote control device 110 displays an image of the sensing value sensed by the sensor so that the subsequent pointer movement is made by the relative coordinate method as in step S920 above. May transmit to the device 100.
  • the remote control apparatus 110 may not include an imaging unit such as a camera, but only the image display apparatus 110 may include an imaging unit such as a camera.
  • the remote control device 110 may be notified from the image display device 110 to the remote control device 110 by analyzing the captured image.
  • the "screen area” may be understood to include a margin, that is, an error range.
  • the remote controller 110 may operate the gyro sensor and the acceleration sensor therein to transmit the sensing value to the image display apparatus 110.
  • the sensing value may be used to display the pointer in a relative coordinate method in the image display apparatus 110.
  • FIG. 10 is a flowchart illustrating a driving process of an image display apparatus according to the present disclosure.
  • the image display apparatus 100 outputs a detection signal for sensing by the remote control apparatus 110 (S1000).
  • the sensing signal may be an infrared signal.
  • the image display apparatus 100 receives location information provided from the remote control apparatus 110 based on the detected detection signal (S1010).
  • the received position information may be coordinate information or a distance value indicating a movement amount.
  • the image display apparatus 100 determines the position of the pointer for displaying on the screen of the image display apparatus 100 on the basis of the received position information (S1020).
  • the pointer corresponds to a visual notation or mark for selecting an item displayed on the screen. Since the image display apparatus 100 already knows a setting value of a preset position of the infrared sensor that outputs a detection signal, the image display apparatus 100 may calculate the position of the pointer based on the setting value and the received position information. As mentioned above, in the case of two coordinates, the image display apparatus 100 finds the distance value therefrom and determines the position of the pointer by applying the distance value and the direction based on the preset position. To this end, the image display apparatus 100 may execute a separate program for determining the position of the pointer.
  • the image display apparatus 100 displays a pointer at the determined position (S1030).
  • the remote control apparatus 110 Since the above process is performed by using the outputted detection signal, the remote control apparatus 110 provides coordinate information generated by the absolute coordinates of the detection signal in the captured image as position information, and thus outputs a pointer using the absolute coordinate method. This can be explained.
  • the image display apparatus 100 outputs the pointer in a relative coordinate method according to the sensing value sensed by the sensor of the remote control apparatus 110. For example, when the initial output position of the pointer is determined according to the absolute coordinate method, the position of the pointer is changed by continuously reflecting the direction information and the distance information as the center.
  • the image display device 100 may be linked to the remote control device 110 that does not include an imaging unit such as a camera.
  • the image display apparatus 100 may determine whether the remote controller 110 is directed to the screen area by analyzing the photographed image by driving the camera, and the determination result is notified to the remote controller 110. Can give Accordingly, the image display apparatus 100 may receive a sensing value sensed by a gyro sensor or the like from the remote control apparatus 110.
  • the image display device 100 detects the direction that the remote control device 110 points on the screen when analyzing the captured image, and infers the direction and the point to which the target is directed through the calculation of the angle, and thus absolute coordinates. In this way, you can print the pointer early. Thereafter, the pointer may be moved in a relative coordinate method using the received sensing value.
  • the detailed operation may be somewhat different depending on how the image display apparatus 100 interoperates with the remote control apparatus 110 using hardware resources to output the pointer on the screen in the absolute coordinate method and the relative coordinate method. Therefore, the present disclosure is not particularly limited to the above contents.
  • FIG. 11 is a flowchart illustrating a screen display method of an image display apparatus according to the present disclosure.
  • the image display apparatus 100 displays a user selectable item on a screen of the image display apparatus 100 (S1100).
  • the item may be an item for selecting a specific program in the EPG, and may include various items such as a specific product for internet shopping.
  • the image display apparatus 100 displays the screen based on the position information generated by the captured image photographed by the remote controller 110.
  • a pointer is displayed at the instruction position (S1110).
  • the image display device 100 displays the pointer directly in the direction and position of the screen rather than the center of the screen.
  • the image display apparatus 100 may display the pointer on the screen more intuitively to make the image display apparatus 100 feel more friendly to the user.
  • the remote controller 110 initially displays the pointer in the absolute coordinate manner as mentioned above so as to output the pointer on the screen.
  • the remote control device 110 may use the captured image.
  • the present invention is not necessarily limited to these embodiments.
  • all of the components may be selectively operated in combination with one or more.
  • each or some of the components of the components are selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer-readable non-transitory computer readable media and read and executed by a computer, thereby implementing an embodiment of the present invention.
  • the non-transitory readable recording medium refers to a medium that stores data semi-permanently and can be read by a device, not a medium storing data for a short time such as a register, a cache, or a memory.
  • the above-described programs may be stored and provided in a non-transitory readable recording medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시는 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 본 개시에 따른 원격제어장치는, 원격제어장치가 영상표시장치의 화면을 지시하는지 판단하는 프로세서, 및 판단 결과 화면을 지시하면, 화면의 지시 위치에 포인터가 표시되도록 지시 위치에 관련된 위치 정보를 프로세서의 제어 하에 영상표시장치로 전송하는 통신 인터페이스부를 포함할 수 있다.

Description

원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
본 개시는 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관한 것으로서, 더 상세하게는 가령 사용자가 리모컨을 사용할 때, 영상표시장치의 화면에 표시된 항목을 선택하기 위한 포인터를 보다 직관적으로 제어하는 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체에 관련된다.
전자 기술의 발달에 따라 전자 장치를 제어하기 위한 다양한 방안이 개발되었다. 종래에는 전자 장치에 구비된 버튼이나 전자 장치와 별도의 장치인 리모컨을 이용하여 전자 장치를 제어하였다. 별도의 장치인 리모컨을 이용하여 전자 장치를 제어하는 경우, 사용자는 자신이 원하는 조작을 위하여 리모컨에 구비된 버튼을 일일이 확인하여 누름 조작을 해야 하는 문제가 있었다.
예를 들어, 전자 장치 화면상에서 특정 컨텐츠를 선택하기 위하여 화면상에 표시된 포인터를 이용하는 경우, 사용자는 리모컨의 네 방향 버튼을 수차례 번갈아 선택하여 포인터를 해당 컨텐츠 영역까지 이동시키고, 해당 컨텐츠 영역 상에서 리모컨에 구비된 선택 버튼을 누름 조작하여 특정 컨텐츠를 선택할 수 있었다. 즉, 사용자는 리모컨에 구비된 버튼을 수차례 확인하고 수차례 누름 조작하는 동작을 통해 해당 컨텐츠를 선택해야 하는 불편함이 있었다.
이를 보완하기 위하여, 종래에는 리모컨 내에 센서를 구비하고 구비된 센서에 의해 사용자의 움직임 즉 리모컨의 움직임을 감지하여 사용자가 원하는 항목으로 포인터를 이동시켜 원하는 항목을 선택할 수 있는 방안도 있었다.
그런데, 이러한 방식은 상대좌표 포인팅 방식으로 포인터를 DTV 등의 화면 정중앙에 항시 표시해 주므로 사용자에게 직관적이지 못한 문제가 있었다. 이에 따라 사용자가 원거리에서도 더욱 편리하게 전자 장치의 화면상에 표시된 정보를 탐색하기 위한 방안이 요구되고 있다.
본 개시에 의한 실시예는 가령 사용자가 리모컨을 사용할 때, 영상표시장치의 화면에 표시된 항목을 선택하기 위한 포인터를 보다 직관적으로 제어하는 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체를 제공함에 그 목적이 있다.
본 개시에 따른 원격제어장치의 구동방법은 원격제어장치가 영상표시장치의 화면을 지시하는지 판단하는 단계, 및 판단 결과 화면을 지시하면, 상기 화면의 지시 위치에 포인터가 표시되도록 상기 지시 위치에 관련된 위치 정보를 상기 영상표시장치로 전송하는 단계를 포함한다.
상기 원격제어장치의 구동방법은, 상기 원격제어장치의 움직임이 감지되면, 상기 영상표시장치를 촬상하는 단계, 및 상기 촬상한 촬영 영상을 이용하여 상기 위치 정보를 생성하는 단계를 더 포함할 수 있다.
상기 판단하는 단계는, 상기 영상표시장치에서 발생된 감지 신호가 상기 촬영 영상에서 검출되면, 상기 화면을 지시하는 것으로 판단할 수 있다.
상기 원격제어장치의 구동방법은, 상기 감지 신호의 발생 위치에 대한 설정값을 기저장하는 단계, 및 상기 기저장한 설정값과 상기 검출된 감지 신호의 위치에 근거하여 상기 위치 정보를 생성하는 단계를 더 포함할 수 있다.
상기 발생 위치는, 상기 영상표시장치의 가장자리부위에 해당될 수 있다.
상기 원격제어장치의 구동방법은, 판단 결과 화면의 지시가 없으면, 상기 화면의 정중앙에 상기 포인터가 표시되도록 상기 지시가 없음을 통지하는 단계를 더 포함할 수 있다.
상기 원격제어장치의 구동방법은, 상기 지시 위치가 변경되면, 센서에 의해 감지된 변경량을 상기 위치 정보로서 제공하는 단계를 더 포함할 수 있다.
또한, 본 개시에 따른 영상표시장치의 구동방법은, 원격제어장치에서 감지하기 위한 감지 신호를 출력하는 단계, 상기 출력한 감지 신호를 근거로 상기 원격제어장치에서 제공하는 위치 정보를 수신하는 단계, 상기 수신한 위치 정보를 근거로, 영상표시장치의 화면에 표시하기 위한 포인터의 위치를 결정하는 단계, 및 상기 결정한 위치에 상기 포인터를 표시하는 단계를 포함한다.
상기 감지 신호를 출력하는 단계는, 상기 감지 신호로서 적외선 신호를 출력할 수 있다.
상기 위치 정보는, 상기 영상표시장치를 촬영한 촬영 영상에서 검출된 상기 출력한 감지 신호의 위치에 관련될 수 있다.
상기 영상표시장치의 구동방법은, 사용자가 상기 원격제어장치를 움직이면, 상기 원격제어장치의 움직임을 센싱한 센싱값을 상기 위치 정보로서 수신하는 단계, 및 상기 센싱값을 근거로 상기 표시한 포인터의 위치를 변경하는 단계를 더 포함할 수 있다.
본 개시에 따른 원격제어장치는, 원격제어장치가 영상표시장치의 화면을 지시하는지 판단하는 프로세서, 및 판단 결과 화면을 지시하면, 상기 화면의 지시 위치에 포인터가 표시되도록 상기 지시 위치에 관련된 위치 정보를 상기 프로세서의 제어 하에 상기 영상표시장치로 전송하는 통신 인터페이스부를 포함한다.
상기 원격제어장치는, 상기 원격제어장치의 움직임이 감지되면, 상기 영상표시장치를 촬상하는 촬상부를 더 포함하며, 상기 프로세서는, 상기 촬상한 촬영 영상을 이용하여 상기 위치 정보를 생성할 수 있다.
상기 프로세서는, 상기 영상표시장치에서 발생된 감지 신호가 상기 촬영 영상에서 검출되면, 상기 화면을 지시하는 것으로 판단할 수 있다.
상기 원격제어장치는, 상기 감지 신호의 발생 위치에 대한 설정값을 기저장하는 저장부를 더 포함하며, 상기 프로세서는, 상기 기저장한 설정값과 상기 검출된 감지 신호의 위치에 근거하여 상기 위치 정보를 생성할 수 있다.
상기 발생 위치는, 상기 영상표시장치의 가장자리부위에 해당될 수 있다.
상기 프로세서는, 판단 결과 화면의 지시가 없으면, 상기 화면의 정중앙에 상기 포인터가 표시되도록 상기 지시가 없음을 통지할 수 있다.
상기 프로세서는, 상기 지시 위치가 변경되면, 센서에 의해 감지된 변경량을 상기 위치 정보로서 제공할 수 있다.
나아가, 본 개시에 따른 영상표시장치는, 원격제어장치에서 감지하기 위한 감지 신호를 출력하는 감지신호 발생부, 상기 출력한 감지 신호를 근거로 상기 원격제어장치에서 제공하는 위치 정보를 수신하는 통신 인터페이스부, 상기 수신한 위치 정보를 근거로, 영상표시장치의 화면에 표시하기 위한 포인터의 위치를 결정하는 프로세서, 및 상기 결정한 위치에 상기 포인터를 표시하는 디스플레이부를 포함할 수 있다.
상기 감지신호 발생부는, 상기 감지 신호로서 적외선 신호를 출력할 수 있다.
상기 위치 정보는, 상기 영상표시장치를 촬영한 촬영 영상에서 검출된 상기 출력한 감지 신호의 위치에 관련될 수 있다.
상기 통신 인터페이스부는, 사용자가 상기 원격제어장치를 움직이면, 상기 원격제어장치의 움직임을 센싱한 센싱값을 상기 위치 정보로서 수신하며, 상기 프로세서는, 상기 센싱값을 근거로 상기 표시한 포인터의 위치를 변경할 수 있다.
한편, 본 개시에 따른 컴퓨터 판독가능 기록매체는, 영상표시장치의 화면표시방법을 실행하기 위한 프로그램을 포함하는 컴퓨터 판독가능 기록매체에 있어서, 상기 영상표시장치의 화면표시방법은, 상기 영상표시장치의 화면상에 선택 가능 항목을 표시하는 단계, 및 원격제어장치가 상기 화면을 지시하면, 상기 원격제어장치에서 상기 영상표시장치를 촬영한 촬영 영상에 의해 생성된 위치 정보를 근거로 상기 화면의 지시 위치에 포인터를 표시하는 단계를 실행한다.
도 1은 본 개시에 따른 영상처리시스템을 나타내는 도면,
도 2는 도 1에 도시된 영상표시장치의 일례로서 TV의 외관을 보여주는 도면,
도 3은 도 1에 도시된 영상표시장치의 세부 구조를 예시하여 나타낸 블록다이어그램,
도 4는 도 1의 원격제어장치의 세부 구조를 예시하여 나타낸 블록다이어그램,
도 5는 도 1에 도시된 원격제어장치의 다른 세부 구조를 예시하여 나타낸 블록다이어그램,
도 6은 도 1에 도시된 원격제어장치의 또 다른 세부 구조를 예시하여 나타낸 블록다이어그램,
도 7은 도 6의 제어부의 구조를 예시하여 나타낸 도면,
도 8은 본 개시에 따른 원격제어장치의 구동 과정을 나타내는 흐름도,
도 9는 본 개시의 다른 실시예에 따른 원격제어장치의 구동 과정을 나타내는 흐름도,
도 10은 본 개시에 따른 영상표시장치의 구동 과정을 나타내는 흐름도, 그리고
도 11은 본 개시에 따른 영상표시장치의 화면표시방법을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 개시에 대하여 상세히 설명한다.
도 1은 본 개시에 따른 영상처리시스템을 나타내는 도면이고, 도 2는 도 1에 도시된 영상표시장치의 일례로서 TV의 외관을 보여주는 도면이다.
도 1에 도시된 바와 같이, 본 개시에 따른 영상처리시스템(90)은 영상표시장치(100), 원격제어장치(110), 통신망(120) 및 서비스제공장치(130)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 통신망(120)이 시스템(90)에서 생략되어 구성됨으로써 서비스제공장치(130)(ex. BD 재생기 등)가 영상표시장치(100)와 직접 통신(ex. P2P, HDMI 케이블)할 수 있는 것을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
영상표시장치(100)는 원격제어장치(110)와 연동하는 전자 장치가 바람직하다. 예컨대, 영상표시장치(100)는 DTV, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 PC, 오디오 기기 등을 포함할 수 있다. 이러한 영상표시장치(100)는 시청자의 영상 시청을 방해하지 않기 위하여 사용자가 리모컨 즉 원격제어장치(110)를 파지한 경우에만 화면상에 포인터를 표시해 주므로, 항시 마우스의 포인터를 표시해 주는 일반 컴퓨터와 대비된다. 여기서, 포인터는 영상표시장치(100)의 화면상에서 원격제어장치(110)의 움직임을 시각적으로 보여주는 표기(또는 표식)이다.
본 개시에 따른 영상표시장치(100)는 사용자가 원격제어장치(110)를 파지한 경우, 원격제어장치(110)에서 제공하는 통신 신호를 수신할 수 있다. 이때, 통신 신호는 다양한 형태를 가질 수 있는데, 예를 들어 원격제어장치(110)는 통신 신호에 좌표 정보가 포함되도록 제공할 수 있고, 만약 좌표 정보가 없는 경우에는 좌표 정보가 없음을 알리는 정보를 포함하여 제공할 수 있다.
수신된 신호의 정보 분석에 따라 영상표시장치(100)는 화면에 출력하는 포인터의 출력 방식을 결정할 수 있다. 물론 본 개시에 따른 영상표시장치(100)는 출력방식을 결정하지 않을 수 있다. 다시 말해, 원격제어장치(110)로부터 좌표 정보가 수신될 경우에만 그 정보를 근거로 절대좌표방식에 따라 사용자가 지정한 위치에 포인터를 출력할 수 있기 때문이다. 따라서, 본 개시에서는 출력방식을 결정하는 것에 특별히 한정하지는 않을 것이다.
본 개시에 따라 영상표시장치(100)는 사용자가 원격제어장치(110)를 파지하여 영상표시장치(100)의 화면을 지향(또는 화면 방향을 지시)하는 경우, 지향한 방향의 지시 위치에 포인터를 표시하며, 화면을 지향하지 않는 경우에는 화면의 정 중앙에 포인터를 표시해 줄 수 있다. 본 개시에 따라, 전자는 절대좌표방식에 의한 포인터 출력이고, 후자는 상대좌표방식에 의한 포인터 출력이라 명명될 수 있다. 즉 영상표시장치(100)는 사용자가 원격제어장치(110)로 영상표시장치(100)의 화면을 지향하는지에 따라 다른 방식으로 포인터를 화면에 출력하는 것이다.
좀 더 구체적으로, 영상표시장치(100)는 포인터를 절대좌표방식으로 화면에 출력하기 위하여, 도 2의 감지 센서(100a)를 기준으로 위치 정보를 생성한다. 다시 말해, 원격제어장치(110)에서 위치 정보 즉 좌표 정보를 전송해 주면, 감지 센서(100a)의 기설정된 위치에 대한 설정값과 원격제어장치(110)에서 수신된 좌표 정보를 근거로 포인터의 표시 위치를 결정하여 결정된 위치에 포인터를 표시하게 된다. 만약 원격제어장치(110)가 사용자에 의해 파지된 이후에 수신되는 신호가 없거나, 위치 정보로서 좌표값 (0, 0)의 신호가 수신되거나, 좌표 정보가 없다는 통지를 받는 경우, 영상표시장치(100)는 시스템 설계자의 초기 설정에 따라 화면의 정중앙에 포인터를 출력하게 된다.
이후, 영상표시장치(100)는 사용자가 원격제어장치(110)를 조작할 때 제공되는 위치 정보를 근거로 포인터의 위치를 변경하게 된다. 즉 최초 화면에 표시되는 포인터는 절대좌표방식으로 결정되어 표시되지만, 이후의 포인터의 이동은 상대좌표방식으로 계산되어 이루어지게 된다.
한편, 영상표시장치(100)는, 원격제어장치(110)가 카메라(또는 모션 트래킹 센서) 등을 구비하지 않는다 하더라도, 원격제어장치(110)가 영상표시장치(100)의 화면 영역을 지향하는지 여부를 판단하고, 판단 결과를 원격제어장치(110)로 통지할 수도 있다. 예를 들어, 영상표시장치(100)가 카메라를 구비하여 이를 동작시키는 경우 사용자가 원격제어장치(110)를 파지하여 화면을 지향하는지 등은 촬영 영상의 분석을 통해 알 수 있을 것이다. 이때, 사용자가 원격제어장치(110)로 지향하는 지점을 산출해 냄으로써 절대좌표방식으로 포인터를 화면에 표시해 줄 수 있을 것이다. 이후, 상대좌표방식으로 표시되는 좌표값은 원격제어장치(110)에서 제공하는 센싱값을 이용하면 될 것이다. 여기서, "화면(영역)"은 영상이 표시되는 영상표시장치(110)의 화면표시영역을 의미하지만, 마진을 더 포함할 수 있다. 다시 말해, 화면표시영역에서 조금 벗어나는 것으로 판단되더라도, 오차 범위 내에 있다면 화면표시영역의 가장자리에 위치하는 것으로 판단하여 포인터를 표시해 주는 것이다.
원격제어장치(110)는 사용자의 파지 여부를 판단하는 센서를 포함한다. 이러한 센서는 예컨대 사용자가 원격제어장치(110)를 파지하였는지 압력 등을 통해 인식하는 압력 센서를 포함하는 인식 센서, 그리고 원격제어장치(110)의 움직임이 발생하는지 판단하는 모션 센서 등을 포함할 수 있다. 이와 같은 센서에 의해 신호가 수신되면, 원격제어장치(110)는 일정 시간 후에, 내부의 카메라 등을 이용해 촬영 동작을 수행할 수 있다. 즉 영상표시장치(100)의 전면부(ex. 화면)를 촬영한다.
이어, 원격제어장치(110)는 촬영된 촬영 영상을 분석하여 영상표시장치(100)에서 출력한 감지 신호의 위치가 어디인지를 판단한다. 물론 이러한 분석은 서비스제공장치(130)에 의존할 수도 있겠지만, 이는 논외로 한다. 원격제어장치(110)에서 촬영된 영상은 프레임 단위의 정지 영상이므로, 원격제어장치(110)는 절대좌표방식으로 좌표 정보를 산출하여 영상표시장치(100)로 전송할 수 있다. 이의 경우, 영상표시장치(100)는 감지 센서(100a)의 기설정된 위치에 대한 설정값과 원격제어장치(110)에서 수신된 좌표 정보를 근거로 이동량(또는 방향 포함)을 산출하여 포인터 출력에 이용할 수 있다. 물론, 원격제어장치(110)는 촬영 영상에서 산출한 좌표 정보와, 내부에 저장해 둔 감지 센서(100a)의 기설정된 위치에 대한 설정값을 이용하여 계산된 이동량 즉 변화량의 형태로 위치 정보를 영상표시장치(100)에 전송해 줄 수도 있다. 이는 어디까지만, 제품 출고시에 결정될 수 있는 사항이므로 어느 하나의 방식에 특별히 한정하지는 않을 것이다.
예를 들어, 원격제어장치(110)에서 변화량을 위치 정보로서 계산하고, DTV의 해상도가 1920 × 1080인 경우를 가정해 보자. 화면의 좌측 상단을 (1, 1)로 지정하는 절대좌표방식이라면, 도 2의 감지 센서(100a)에 대한 기설정된 위치의 설정값은 좌표정보 (1080, 960)이 될 수 있다. 만약 촬영된 촬영 영상에서 판단된 감지 신호의 좌표값이 (540, 960)으로 계산되었다면, 두 좌표의 거리(d) 구하는 공식에 따라 거리를 계산할 수 있다. 이와 같이 계산된 거리 즉 변화량을 원격제어장치(110)는 위치 정보로서 영상표시장치(100)로 제공할 수 있을 것이다.
이와 같은 과정이 완료되면, 즉 절대좌표방식으로 포인터를 표시하기 위한 동작이 완료되면, 원격제어장치(110)는 내부의 센서들을 동작시켜 영상표시장치(100)가 상대좌표방식으로 포인터를 표시할 수 있도록 방향 정보와 이동량 정보를 영상표시장치(100)로 제공한다. 정보 생성을 위해 원격제어장치(110)는 6축 센서 즉 자이로 센서, 가속도 센서 등을 포함하며, 이러한 센서들을 동작시켜 상대좌표방식으로 동작시키기 위한 센싱값을 영상표시장치(100)로 제공할 수 있다.
통신망(120)은 유무선 통신망을 모두 포함한다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(120)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망 등에 사용될 수 있다. 가령, 통신망(120)이 유선 통신망인 경우 통신망(120) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Station Transmission), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(120)은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 영상표시장치(100)가 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 영상표시장치(100)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 영상표시장치(100)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함될 수 있다.
서비스제공장치(130)는 방송 서비스를 제공하는 방송국 서버 또는 전문 검색 포탈 업체의 서비스를 제공하는 검색 서버 등을 포함할 수 있다. 다시 말해, 서비스제공장치(130)는 본 개시에 따라 사용자가 요청하는 영상 서비스원으로 동작하는 것이 바람직하다. 이에 따라, 서비스제공장치(130)는 통신망(120)이 생략되어 시스템(90)이 구성되는 경우, 가령 영상표시장치(100)와 다이렉트로 동작하는 BD(blu-ray disk) 재생기나 다른 미디어 장치가 될 수 있을 것이다.
상기의 구성 결과, 사용자가 원격제어장치(110)의 조작시 사용자가 원하는 화면의 위치에 포인터를 직관적으로 표시하여 사용자에게 친화적이며, 조작 수를 줄이므로 사용자의 편의를 도모할 수 있을 것이다.
도 3은 도 1에 도시된 영상표시장치의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 3을 도 1과 함께 참조하면, 본 개시에 따른 영상표시장치(100)는 통신 인터페이스부(300), 감지신호 발생부(310), 제어부(320), 디스플레이부(330), GUI 생성부(340) 및 저장부(350)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 GUI 생성부(340) 또는 저장부(350)와 같은 일부 구성요소가 생략되어 구성되거나, 제어부(320)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(300)는 통신망(120)을 경유하여 서비스제공장치(130)와 통신을 수행한다. 이를 통해 서비스제공장치(130)에서 제공하는 영상을 수신하여 제어부(320)에 전달할 수 있다.
또한, 통신 인터페이스부(300)는 감지신호 발생부(310)에서 발생된 감지 신호의 감지 결과에 근거하여 원격제어장치(110)에서 제공하는 위치 정보를 수신할 수 있다. 이때 위치 정보는 앞서 언급한 대로 다양한 형태로 제공될 수 있으며, 위치 정보가 없다 하더라도 통신 인터페이스부(300)는 다양한 형태의 신호를 원격제어장치(110)로부터 수신할 수 있다. 예를 들어, 위치 정보가 없음을 알리는 신호가 대표적이다.
감지신호 발생부(310)는 적외선 센서를 포함하며, 발광소자가 바람직하다. 본 개시에 따라 감지신호 발생부(310)는 사용자가 발광 상태를 인지하지 않도록 적외선 파장대의 광을 발생할 수 있다. 또는 이러한 광은 주기적으로 발생할 수 있을 것이다. 이에 따라 시청자는 적외선 광이 발생하더라도 영상 시청에 방해를 받지 않게 된다.
감지신호 발생부(310)는 본 개시에 따라 도 2에서와 같이 화면의 하단 중앙 부위에 위치할 수 있다. 그러나, 이는 어디까지나 선택사항일 뿐 가장자리 부위의 어디에 위치하여도 무관할 것이다.
제어부(320)는 영상표시장치(100) 내의 구성요소들에 대한 전반적인 동작을 제어할 수 있다. 예를 들어, 통신 인터페이스부(300)를 통해 영상 신호가 수신되는 경우, 이를 처리하여 디스플레이부(330)에 표시할 수 있다. 이의 과정에서, 수신된 영상 신호를 비디오 신호, 오디오 신호 및 부가 정보로 분리하고, 분리된 비디오/오디오 신호를 디코딩하며, 디코딩된 신호를 후처리(ex. 비디오 신호의 스케일링, 오디오 신호의 증폭 등)하는 등 다양한 동작을 수행한 후 디스플레이부(330)에 영상을 표시하고, 음향 출력부(미도시)로 음향을 출력할 수 있다.
이의 과정에서 제어부(320)는 통신 인터페이스부(300)를 통해 수신되는 위치 정보가 있는 경우, GUI 생성부(340)를 동작시켜 포인터가 디스플레이부(330)의 화면에 표시되도록 제어한다. 가령 GUI 생성부(340)에서 출력된 포인터가 디스플레이부(330)에 출력되는 비디오 영상에 합성(또는 조합)되어 표시되는 것이다. 이때, 제어부(320)는 통신 인터페이스부(300)로 수신된 위치 정보를 근거로 포인터가 출력될 위치를 결정하고, 결정된 위치에 포인터가 출력되도록 한다.
예를 들어, 디스플레이부(330)로 출력되는 비디오 영상과 GUI 생성부(340)에서 출력되는 GUI 영상(포인터 포함)은 서로 다른 층(layer)을 형성할 수 있다. 따라서, GUI 생성부(340)는 좌표 정보에 따른 GUI 영상을 기저장한 후, 제어부(320)에서 입력된 위치 정보에 매칭되는 포인터가 포함된 특정 GUI 영상을 출력할 수 있고, 제어부(320)는 이를 합성하여 디스플레이부(330)로 출력할 수 있다. 이러한 영상 처리와 관련해서도 다양한 방식이 가능하므로 더 이상의 설명은 생략한다.
디스플레이부(330)는 위에서 언급한 대로, 제어부(320)에서 처리된 영상을 화면에 표시한다. 이때, 최초로 화면에 표시되는 포인터는 본 개시에 따라 절대좌표방식에 근거하여 출력되고, 그 이후의 포인터 이동은 상대좌표방식에 근거하여 이루어지게 된다.
GUI 생성부(340)는 제어부(320)의 제어에 따라 기저장된 GUI 영상을 출력한다. 이때 GUI 영상은 포인터가 포함된 하나의 영상일 수 있지만, 포인터의 위치가 좌표별로 위치하는 다수의 단위 프레임 영상일 수 있다. 가령 하나의 영상인 경우, 포인터의 위치를 좌표 정보에 따라 이동시켜 출력할 수 있고, 포인터가 좌표별로 저장되는 경우, GUI 생성부(340)는 제어부(320)에서 제공하는 위치 정보에 매칭되는 단위 프레임 영상을 출력할 수 있을 것이다.
저장부(350)는 제어부(320)에서 처리되는 다양한 데이터 또는 정보를 저장한 후, 제어부(320)의 요청이 있을 때 출력할 수 있다. 또한 저장부(350)는 영상표시장치(100)의 감지신호 발생부(310)에 대한 위치를 설정값으로 기저장할 수 있다. 가령 제어부(320)가 GUI 생성부(340)에서 출력되는 포인터의 위치를 결정해야 할 때, 저장부(350)는 제어부(320)의 제어 하에 저장된 설정값을 제공할 수 있다.
제어부(320)와 관련해, 좀 더 살펴보면 제어부(320)는 원격제어장치(110)에서 어떠한 형태로 위치 정보를 전송하도록 규정하였는지에 따라 다르게 동작할 수 있다. 다시 말해, 제어부(320)는 감지신호 발생부(310)로서 적외선 센서의 위치에 대한 정보를 이미 알고 있기 때문에 이동량(혹은 크기와 방향 정보를 갖는 벡터)의 형태로 위치 정보가 수신되는 경우, 포인터를 표시할 때, 이를 감안해서만 포인터의 위치를 결정하면 된다. 반면, 원격제어장치(110)에서 좌표값의 형태로 위치 정보를 제공하는 경우라면, 제어부(320)는 저장부(350)에 기저장된 설정값을 이용하여 이동량을 산출하고, 산출한 이동량을 근거로 포인터의 위치를 결정하여 영상을 출력하도록 디스플레이부(330)를 제어할 수 있다. 위의 방식은 어디까지나 제품 설계시 결정되므로, 본 개시에서는 특정 방식에 특별히 한정하지는 않을 것이다.
한편, 제어부(320)는 실질적인 제어 기능을 수행하기 위한 프로세서와, 이동량을 산출하는 프로그램(또는 알고리즘)을 저장하고 프로세서의 제어 하에 저장한 프로그램을 실행시키는 메모리를 포함할 수 있다. 따라서, 위의 제어부(320)의 동작은 프로세서의 동작이 될 수 있다. 자세한 내용은 도 7에서 다시 다루기로 한다.
도 4는 도 1의 원격제어장치의 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 4를 도 1과 함께 참조하면, 본 개시에 따른 원격제어장치(110)는 통신 인터페이스부(400), 위치정보 처리부(410) 및 촬상부(420)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함한다"는 것은 앞서의 의미와 동일하다.
통신 인터페이스부(400)는 영상표시장치(100)와 통신을 수행한다. 이를 위하여, 통신 인터페이스부(400)는 와이파이, 블루투스 등의 근거리 통신을 수행하는 통신 모듈을 포함할 수 있다.
통신 인터페이스부(400)는 위치정보 처리부(410)에서 제공되는 위치 정보를 영상표시장치(100)로 전송한다. 이의 과정에서 통신 인터페이스부(400)는 위치 정보의 변동이 없는 경우, 영상표시장치(100)로 이를 알리는 신호를 전송할 수 있다.
위치정보 처리부(410)는 본 개시에 따라 절대좌표방식으로 위치 정보를 생성할 수 있다. 다시 말해, 위치정보 처리부(410)는 촬상부(420)에서 제공되는 촬영 영상을 분석하여, 영상표시장치(100)에 발생되는 감지 신호의 위치를 검출한다. 그리고, 검출된 감지 신호의 위치에 대한 좌표 정보를 추출한다. 예를 들어, 좌표 정보가 정의되어 있는 마스킹 신호(또는 필름)를 촬영 영상에 마스킹 즉 덮어 씌어 좌표 정보를 획득할 수 있다. 이후, 위치정보 처리부(410)는 추출된 좌표 정보를 통신 인터페이스부(400)를 통해 영상표시장치(100)로 위치 정보로서 전송할 수 있다.
또한, 위치정보 처리부(410)는 가령 적외선 센서의 위치에 대한 정보를 기저장한 후, 추출된 좌표 정보와 기저장해 둔 설정값을 이용하여 이동량, 즉 기설정된 위치를 기준으로 한 이동량을 계산하여 계산한 이동량을 위치 정보로서 영상표시장치(100)로 제공할 수도 있을 것이다.
촬상부(420)는 사용자가 원격제어장치(110)를 파지한 것으로 판단될 때, 위치정보 처리부(410)의 제어 하에 동작할 수 있다. 실제로, 파지했는지의 여부는 압력 센서나 모션 센서 등을 통해 판단될 수 있다.
그러나, 이의 판단 여부는 그 이외에도 다양한 방식이 이용될 수 있다. 일 예로, 영상표시장치(100)에서 사용자가 원격제어장치(110)를 파지했다는 정보를 전송해주는 경우이다. 다시 말해, 영상표시장치(100)는 제품에 대한 소비자의 욕구를 충족시키고 기능 등의 여러 측면에서 볼 때 카메라를 탑재할 가능성이 높기 때문에, 영상표시장치(100)에서 카메라를 통해 촬영된 촬영 영상의 분석 결과 사용자가 원격제어장치(110)를 파지한 것으로 판단되면, 이를 원격제어장치(110)로 알릴 수 있다. 이와 같은 알림 신호가 수신될 때, 촬상부(420)는 위치정보 처리부(410)의 제어 하에 동작할 수 있을 것이다.
도 5는 도 1에 도시된 원격제어장치의 다른 세부 구조를 예시하여 나타낸 블록다이어그램이다.
도 5를 도 1과 함께 참조하면, 본 개시의 다른 실시예에 따른 원격제어장치(110')는 통신 인터페이스부(500), 위치정보 처리부(510), 촬상부(520) 및 센싱부(530)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서의 의미와 동일하다.
도 5에 도시된 원격제어장치(110')를 도 4에 도시된 원격제어장치(110)와 비교해 볼 때, 크게 차이는 없다. 다만, 도 5에 도시된 원격제어장치(110')는 자신의 움직임을 직접 감지할 수 있다는 데에 그 차이가 있다.
다시 말해, 도 5의 원격제어장치(110')는 사용자에 의한 움직임이 발생하지 않는 경우, 슬립 모드로 동작하여 배터리와 같은 전원부(미도시)에서 통신 인터페이스부(500) 및 촬상부(520)로 공급되는 전력을 차단할 수 있다. 이에 따라 위치정보 처리부(510)와 센싱부(530)에만 전원부의 전력이 공급될 수 있다. 만약 사용자가 원격제어장치(110')를 파지하는 경우, 위치정보 처리부(510)는 촬상부(520)를 액티브 모드로 동작시킬 수 있다. 그리고 일정 시간이 경과된 후, 위치정보 처리부(510)는 촬상 동작을 수행하도록 촬상부(520)를 제어할 수 있다.
이후의 동작은 도 4의 위치정보 처리부(410)와 크게 다르지 않지만, 도 5의 위치정보 처리부(510)는 포인터를 상대좌표방식으로 제어하기 위한 위치 정보를 추가로 영상표시장치(100)에 제공할 수 있다. 이를 위하여, 위치정보 처리부(510)는 센싱부(530)를 제어하여 센싱값을 취득하고, 취득한 센싱값을 위치 정보로서 영상표시장치(100)에 제공할 수 있다.
센싱부(530)는 다양한 종류의 센서를 포함한다. 예를 들어, 사용자가 원격제어장치(110')를 파지하는 경우 이를 인식하는 압력 센서를 포함할 수 있으며, 포인터를 상대좌표방식으로 제어하기 위한 6축 센서 즉 자이로 센서와 가속도 센서를 포함할 수 있다. 이러한 센서를 통해 원격제어장치(110')의 이동 방향 및 움직인 거리 등의 센싱값을 생성하여 위치정보 처리부(510)로 제공할 수 있다.
이러한 점을 제외하면, 도 5의 통신 인터페이스부(500) 및 위치정보 처리부(510)는 도 4의 통신 인터페이스부(400) 및 위치정보 처리부(410)와 크게 다르지 않으므로 그 내용들로 대신하고자 한다.
도 6은 도 1에 도시된 원격제어장치의 또 다른 세부 구조를 예시하여 나타낸 블록다이어그램이고, 도 7은 도 6의 제어부의 구조를 예시하여 나타낸 도면이다.
도 6에 도시된 바와 같이, 본 개시의 또 다른 실시예에 따른 원격제어장치(110'')는 통신 인터페이스부(600), 촬상부(610), 제어부(620), 저장부(630), 센싱부(640) 및 위치정보 처리부(650)의 일부 또는 전부를 포함하며, 여기서 "일부 또는 전부를 포함"한다는 것은 앞서의 의미와 동일하다.
도 6에 도시된 원격제어장치(110'')는 도 5에 도시된 원격제어장치(110')와 크게 다르지 않다. 다만, 도 6의 원격제어장치(110'')는 도 5의 위치정보 처리부(510)에서 제어 기능을 수행하는 제어부(620)와, 위치정보를 생성하는 위치정보 처리부(650)로 물리적으로 분리된다는 점에서 차이가 있다.
다시 말해, 도 5의 위치정보 처리부(510)는 제어 기능과 위치 정보의 생성 동작을 하나의 SW 즉 프로그램을 통해 실행할 수도 있다면, 도 6에서는 제어부(620)에서 제어 기능을 담당하고, 위치정보 처리부(650)에서 위치정보의 생성 동작을 수행할 수 있다는 점에서 차이가 있다.
다시 간략히 언급해 보면, 위치정보 처리부(650)는 포인터를 영상표시장치(100)의 화면에 절대좌표방식에 의해 출력하기 위하여 촬상부(610)에서 제공된 촬영 영상으로부터 검출된 감지 신호의 좌표 정보를 산출하고, 산출한 좌표 정보를 위치 정보로서 이용하게 되는 것이다.
이러한 점을 제외하면, 도 6의 통신 인터페이스부(600), 촬상부(610), 제어부(620), 저장부(630), 센싱부(640) 및 위치정보 처리부(650)는 도 5의 통신 인터페이스부(500), 위치정보 처리부(510), 촬상부(520) 및 센싱부(530)와 크게 다르지 않으므로 그 내용들로 대신하고자 한다.
한편, 도 6의 제어부(620)는 도 7에서와 같이 프로세서(700) 및 메모리(710)를 포함할 수 있다. 프로세서(700)는 앞서 언급한 대로 제어 기능을 담당하게 된다. 그리고, 프로세서(700)는 원격제어장치(110'')의 초기 구동시, 도 6의 위치정보 처리부(650)에 저장된 프로그램을 메모리(710)로 로딩할 수 있다. 이후, 위치 정보를 생성하기 위한 동작을 수행하기 위하여 프로세서(700)는 메모리(710)에 저장된 프로그램을 실행시키게 된다. 그 결과, 원격제어장치(110'')는 도 6에 비하여 데이터 처리 속도를 증가시킬 수 있을 것이다.
도 8은 본 개시에 따른 원격제어장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 8을 도 1과 함께 참조하면, 본 개시에 따른 원격제어장치(110)는 원격제어장치(110)가 영상표시장치(100)의 화면을 지시 즉 지향하는지를 판단한다(S800). 이와 같은 지향 여부는 가령 원격제어장치(110)에서 영상표시장치(100)를 촬영한 촬영 영상을 분석하여 이루어질 수 있다. 예를 들어, 촬영 영상 내에 영상표시장치(100)에서 제공한 감지 신호, 즉 적외선 신호가 감지되면 원격제어장치(110)가 화면을 지향하는 것으로 판단할 수 있다.
판단 결과 화면을 지시한다고 판단되면, 원격제어장치(110)는 화면의 지시 위치에 포인터가 표시되도록 지시 위치에 관련된 위치 정보를 영상표시장치(100)로 전송한다(S810).
이후 원격제어장치(110)는 영상표시장치(100)에 표시된 포인터를 상대좌표방식에 의해 이동시키기 위한 위치 정보를 영상표시장치(100)로 전송한다. 이를 위해 원격제어장치(110)는 내부의 센서에 의해 센싱된 센싱값을 위치 정보로서 전송할 수 있을 것이다.
도 9는 본 개시의 다른 실시예에 따른 원격제어장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 9를 도 1과 함께 참조하면, 본 개시의 다른 실시예에 따른 원격제어장치(110)는 원격제어장치(110)로 영상표시장치(100)를 초기 지향할 때, 감지 신호(ex. 적외선 신호)가 영상표시장치(100)의 화면 영역에서 인식되는지 판단한다(S900). 즉 원격제어장치(110)는 영상표시장치(100)를 촬영한 촬영 영상 내에 감지 신호가 존재하는지를 판단한다.
이어, 원격제어장치(110)는 감지 신호가 화면 영역에서 인식되면, 촬영 영상에서 (절대좌표방식에 의한) 감지 신호의 좌표 정보를 산출하여 이를 영상표시장치(100)의 포인터 출력을 제어하는 데에 이용한다(S910). 이를 위해 원격제어장치(110)는 산출한 좌표 정보 또는 이의 변형된 형태의 정보를 위치 정보로서 영상표시장치(100)에 제공할 수 있다.
영상표시장치(100)의 화면에 포인터의 초기 출력이 이루어지고 나면, 원격제어장치(110)는 이후의 포인터 이동이 상대좌표방식에 의해 이루어지도록 동작한다(S920). 이를 위해 원격제어장치(110)는 자이로 센서 및 가속도 센서에 의해 생성된 센싱값을 위치 정보로서 영상표시장치(100)로 전송해 줄 수 있다.
한편, 원격제어장치(110)는 S900 단계에서, 감지 신호가 영상표시장치(100)의 화면 영역에서 인식되지 않는다고 판단되면, 영상표시장치(100)의 화면 정중앙에 포인터를 출력하도록 동작한다(S930).
이를 위하여 원격제어장치(110)는 화면의 정중앙에 해당되는 좌표 정보를 영상표시장치(100)로 전송해 줄 수 있겠지만, 더욱 빠른 정보 처리를 위하여 영상표시장치(100)와 원격제어장치(110)의 사전 규약에 따라, 원격제어장치(110)에서 단순히 이를 알리는 신호만을 영상표시장치(100)로 전송해 줄 수 있을 것이다.
이와 같이 화면의 정중앙에 포인터를 표시하도록 동작한 후에도, 원격제어장치(110)는 위의 S920 단계와 같이, 이후의 포인터 이동은 상대좌표방식에 의해 이루어지도록 센서에 의해 센싱된 센싱값을 영상표시장치(100)로 전송할 수 있다.
한편, 앞서 설명한 바와 같이 원격제어장치(110)는 카메라 등의 촬상부를 구비하지 않고, 영상표시장치(110)만 카메라 등의 촬상부를 구비할 수 있다.
이의 경우, 원격제어장치(110)가 영상표시장치(110)의 화면 영역을 지향하는지 여부는 가령 촬영 영상의 분석에 의해 영상표시장치(110)에서 원격제어장치(110)로 통지될 수 있다. 여기서 "화면 영역"은 마진 즉 오차 범위를 포함하는 것으로 이해될 수 있을 것이다.
위의 통지에 따라, 원격제어장치(110)는 내부의 자이로 센서 및 가속도 센서를 동작시켜 센싱값을 영상표시장치(110)로 전송해 줄 수 있다. 센싱값은 영상표시장치(110)에서 포인터를 상대좌표방식으로 표시하기 위해 이용할 수 있을 것이다.
도 10은 본 개시에 따른 영상표시장치의 구동 과정을 나타내는 흐름도이다.
설명의 편의상 도 10을 도 1과 함께 참조하면, 본 개시에 따른 영상표시장치(100)는 원격제어장치(110)에서 감지하기 위한 감지 신호를 출력한다(S1000). 여기서, 감지 신호는 적외선 신호가 바람직할 수 있다.
이어 영상표시장치(100)는 출력한 감지 신호를 근거로 원격제어장치(110)에서 제공하는 위치 정보를 수신한다(S1010). 이때 수신한 위치 정보는 좌표 정보이거나 이동량을 나타내는 거리값일 수 있다.
또한 영상표시장치(100)는 수신한 위치 정보를 근거로, 영상표시장치(100)의 화면에 표시하기 위한 포인터의 위치를 결정한다(S1020). 여기서, 포인터는 화면에 표시된 항목을 선택하기 위한 시각적 표기 또는 표식에 해당된다. 영상표시장치(100)는 감지 신호를 출력하는 가령 적외선 센서의 기설정된 위치에 대한 설정값을 이미 알고 있기 때문에 이의 설정값과 수신된 위치 정보를 근거로 포인터의 위치를 계산할 수 있다. 앞서 언급한 대로, 두 개의 좌표인 경우 영상표시장치(100)를 이로부터 거리값을 찾고, 기설정된 위치를 기준으로 거리값과 방향을 적용하여 포인터의 위치를 판단하는 것이다. 이를 위하여, 영상표시장치(100)는 포인터의 위치를 결정하기 위한 별도의 프로그램을 실행시킬 수 있을 것이다.
그리고 영상표시장치(100)는 결정한 위치에 포인터를 표시한다(S1030).
상기의 과정은 출력된 감지 신호를 이용해서, 원격제어장치(110)가 촬영 영상에서 감지 신호를 절대좌표에 의해 생성한 좌표 정보를 위치 정보로서 제공하여 이루어지기 때문에, 절대좌표방식에 의한 포인터 출력이라 설명될 수 있다.
이와 같이 포인터의 초기 출력 과정이 이루어지고 나면, 영상표시장치(100)는 원격제어장치(110)의 센서에 의해 센싱된 센싱값에 따라 상대좌표방식으로 포인터를 출력해 준다. 예를 들어, 절대좌표방식에 따라 포인터의 초기 출력 위치가 결정되면, 이를 중심으로서 방향 정보와 거리 정보를 계속해서 반영하여 포인터의 위치를 변경하게 되는 것이다.
한편, 영상표시장치(100)는 도면에 도시하지는 않았지만, 카메라 등의 촬상부를 구비하지 않는 원격제어장치(110)와 연동할 수도 있다.
이의 경우, 영상표시장치(100)는 카메라를 구동시켜 촬영 영상의 분석을 통해 원격제어장치(110)가 화면 영역을 지향하는지 판단할 수 있고, 이때 판단 결과는 원격제어장치(110)로 통지해 줄 수 있다. 이에 따라 영상표시장치(100)는 원격제어장치(110)로부터 자이로 센서 등에 의해 센싱된 센싱값을 수신할 수 있다.
또한, 영상표시장치(100)는 촬영 영상의 분석시 원격제어장치(110)가 화면에서 지향하는 방향을 검출하고, 가령 각도의 산출을 통해 지향하는 방향과 지향하는 지점을 추측하고 이를 통해 절대좌표방식으로 포인터를 초기에 출력해 줄 수 있다. 이후 수신된 센싱값을 이용하여 상대좌표방식으르 포인터를 이동시킬 수 있다.
이와 같이 영상표시장치(100)가 절대좌표방식과 상대좌표방식으로 포인터를 화면에 출력해주기 위하여 원격제어장치(110)와 하드웨어 자원 등을 사용하여 어떻게 연동하느냐에 따라 세부 동작은 다소 상이할 수 있다. 따라서, 본 개시에서는 위의 내용들에 특별히 한정하지는 않을 것이다.
도 11은 본 개시에 따른 영상표시장치의 화면표시방법을 나타내는 흐름도이다.
설명의 편의상 도 11을 도 1과 함께 참조하면, 본 개시에 따른 영상표시장치(100)는 영상표시장치(100)의 화면상에 사용자가 선택 가능한 항목을 표시한다(S1100). 이때 항목은 EPG에서의 특정 프로그램을 선택하기 위한 항목일 수 있고, 인터넷 쇼핑을 위한 특정 상품 등 다양한 것을 포함할 수 있다.
이어, 영상표시장치(100)는 원격제어장치(110)가 화면을 지시하면, 원격제어장치(110)에서 영상표시장치(100)를 촬영한 촬영 영상에 의해 생성된 위치 정보를 근거로 화면의 지시 위치에 포인터를 표시한다(S1110).
즉 영상표시장치(100)는 사용자가 원격제어장치(110)를 지향할 때, 화면의 정중앙 부위가 아니라, 지향하는 방향과 위치에 포인터를 바로 표시해 준다.
이를 통해 영상표시장치(100)는 보다 직관적으로 포인터를 화면에 표시해 줌으로써 사용자로부터 영상표시장치(100)가 좀더 친화적임을 느끼도록 할 수 있다.
예를 들어, 사용자가 원격제어장치(110)를 통해 EPG를 호출하는 메뉴 명령을 선택하였다고 가정하자. 이후 원격제어장치(110)는 초기에 포인터를 화면에 출력하기 위해 위에서 지금까지 언급한 바와 같이 절대좌표방식으로 포인터를 표시하게 되는 것이다. 이를 위하여, 원격제어장치(110)는 촬영 영상을 이용할 수 있다.
한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

Claims (15)

  1. 원격제어장치가 영상표시장치의 화면을 지시하는지 판단하는 단계; 및
    판단 결과 화면을 지시하면, 상기 화면의 지시 위치에 포인터가 표시되도록 상기 지시 위치에 관련된 위치 정보를 상기 영상표시장치로 전송하는 단계;를 포함하는 원격제어장치의 구동방법.
  2. 제1항에 있어서,
    상기 원격제어장치의 움직임이 감지되면, 상기 영상표시장치를 촬상하는 단계; 및
    상기 촬상한 촬영 영상을 이용하여 상기 위치 정보를 생성하는 단계;를 더 포함하는 원격제어장치의 구동방법.
  3. 제2항에 있어서,
    상기 판단하는 단계는,
    상기 영상표시장치에서 발생된 감지 신호가 상기 촬영 영상에서 검출되면, 상기 화면을 지시하는 것으로 판단하는 원격제어장치의 구동방법.
  4. 제3항에 있어서,
    상기 감지 신호의 발생 위치에 대한 설정값을 기저장하는 단계; 및
    상기 기저장한 설정값과 상기 검출된 감지 신호의 위치에 근거하여 상기 위치 정보를 생성하는 단계;를 더 포함하는 원격제어장치의 구동방법.
  5. 제4항에 있어서,
    상기 발생 위치는, 상기 영상표시장치의 가장자리부위에 해당되는 원격제어장치의 구동방법.
  6. 제1항에 있어서,
    판단 결과 화면의 지시가 없으면, 상기 화면의 정중앙에 상기 포인터가 표시되도록 상기 지시가 없음을 통지하는 단계;를 더 포함하는 원격제어장치의 구동방법.
  7. 제1항에 있어서,
    상기 지시 위치가 변경되면, 센서에 의해 감지된 변경량을 상기 위치 정보로서 제공하는 단계;를 더 포함하는 원격제어장치의 구동방법.
  8. 원격제어장치에서 감지하기 위한 감지 신호를 출력하는 단계;
    상기 출력한 감지 신호를 근거로 상기 원격제어장치에서 제공하는 위치 정보를 수신하는 단계;
    상기 수신한 위치 정보를 근거로, 영상표시장치의 화면에 표시하기 위한 포인터의 위치를 결정하는 단계; 및
    상기 결정한 위치에 상기 포인터를 표시하는 단계;를 포함하는 영상표시장치의 구동방법.
  9. 제8항에 있어서,
    상기 감지 신호를 출력하는 단계는,
    상기 감지 신호로서 적외선 신호를 출력하는 영상표시장치의 구동방법.
  10. 제9항에 있어서,
    상기 위치 정보는, 상기 영상표시장치를 촬영한 촬영 영상에서 검출된 상기 출력한 감지 신호의 위치에 관련되는 영상표시장치의 구동방법.
  11. 제8항에 있어서,
    사용자가 상기 원격제어장치를 움직이면, 상기 원격제어장치의 움직임을 센싱한 센싱값을 상기 위치 정보로서 수신하는 단계; 및
    상기 센싱값을 근거로 상기 표시한 포인터의 위치를 변경하는 단계;를
    더 포함하는 영상표시장치의 구동방법.
  12. 원격제어장치가 영상표시장치의 화면을 지시하는지 판단하는 프로세서; 및
    판단 결과 화면을 지시하면, 상기 화면의 지시 위치에 포인터가 표시되도록 상기 지시 위치에 관련된 위치 정보를 상기 프로세서의 제어 하에 상기 영상표시장치로 전송하는 통신 인터페이스부;를 포함하는 원격제어장치.
  13. 제12항에 있어서,
    상기 원격제어장치의 움직임이 감지되면, 상기 영상표시장치를 촬상하는 촬상부;를 더 포함하며,
    상기 프로세서는, 상기 촬상한 촬영 영상을 이용하여 상기 위치 정보를 생성하는 원격제어장치.
  14. 원격제어장치에서 감지하기 위한 감지 신호를 출력하는 감지신호 발생부;
    상기 출력한 감지 신호를 근거로 상기 원격제어장치에서 제공하는 위치 정보를 수신하는 통신 인터페이스부;
    상기 수신한 위치 정보를 근거로, 영상표시장치의 화면에 표시하기 위한 포인터의 위치를 결정하는 프로세서; 및
    상기 결정한 위치에 상기 포인터를 표시하는 디스플레이부;를 포함하는 영상표시장치.
  15. 제14항에 있어서,
    상기 통신 인터페이스부는, 사용자가 상기 원격제어장치를 움직이면, 상기 원격제어장치의 움직임을 센싱한 센싱값을 상기 위치 정보로서 수신하며,
    상기 프로세서는, 상기 센싱값을 근거로 상기 표시한 포인터의 위치를 변경하는 영상표시장치.
PCT/KR2016/012561 2015-11-16 2016-11-03 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체 WO2017086635A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP16866587.5A EP3352466A4 (en) 2015-11-16 2016-11-03 Remote control device, method for driving remote control device, image display device, method for driving image display device, and computer-readable recording medium
US15/773,091 US20180321757A1 (en) 2015-11-16 2016-11-03 Remote control device, method for driving remote control device, image display device, method for driving image display device, and computer-readable recording medium
CN201680066977.0A CN108353206A (zh) 2015-11-16 2016-11-03 遥控设备、用于驱动遥控设备的方法、图像显示设备、用于驱动图像显示设备的方法以及计算机可读记录介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150160669A KR20170057056A (ko) 2015-11-16 2015-11-16 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR10-2015-0160669 2015-11-16

Publications (1)

Publication Number Publication Date
WO2017086635A1 true WO2017086635A1 (ko) 2017-05-26

Family

ID=58717513

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/012561 WO2017086635A1 (ko) 2015-11-16 2016-11-03 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체

Country Status (5)

Country Link
US (1) US20180321757A1 (ko)
EP (1) EP3352466A4 (ko)
KR (1) KR20170057056A (ko)
CN (1) CN108353206A (ko)
WO (1) WO2017086635A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020013764A1 (en) * 2018-07-11 2020-01-16 National University Of Singapore Self-powered triboelectric based devices
WO2023191118A1 (ko) * 2022-03-28 2023-10-05 엘지전자 주식회사 디스플레이 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100011417A (ko) * 2008-07-25 2010-02-03 대우디스플레이주식회사 텔레비전의 메뉴 설정 장치 및 방법
US8689145B2 (en) * 2006-11-07 2014-04-01 Apple Inc. 3D remote control system employing absolute and relative position detection
WO2015046649A1 (ko) * 2013-09-27 2015-04-02 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
KR20150039579A (ko) * 2013-10-02 2015-04-10 삼성전자주식회사 화상 표시 장치 및 그의 포인팅 방법
JP2015122053A (ja) * 2013-10-25 2015-07-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、プログラム及び画像表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
KR100235239B1 (ko) * 1995-09-29 1999-12-15 모리 하루오 가형정보의 출력장치, 가형정보의 출력방법, 지도표시장치, 지도표시방법, 네비게이션장치 및 네비게이션방법
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6677987B1 (en) * 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6753849B1 (en) * 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US7623115B2 (en) * 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
KR100714722B1 (ko) * 2005-06-17 2007-05-04 삼성전자주식회사 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
WO2008108352A1 (ja) * 2007-03-07 2008-09-12 Rohm Co., Ltd. リモコンシステム、テレビ、及び、リモコン
US20090285443A1 (en) * 2008-05-15 2009-11-19 Sony Ericsson Mobile Communications Ab Remote Control Based on Image Recognition
US8751942B2 (en) * 2011-09-27 2014-06-10 Flickintel, Llc Method, system and processor-readable media for bidirectional communications and data sharing between wireless hand held devices and multimedia display systems
US8717289B2 (en) * 2010-06-22 2014-05-06 Hsni Llc System and method for integrating an electronic pointing device into digital image data
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
CN103049110B (zh) * 2012-12-21 2016-02-24 深圳市创荣发电子有限公司 基于遥控终端的空间定位方法及系统
US10185406B2 (en) * 2013-03-14 2019-01-22 Omnivision Technologies, Inc. Information technology device input systems and associated methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8689145B2 (en) * 2006-11-07 2014-04-01 Apple Inc. 3D remote control system employing absolute and relative position detection
KR20100011417A (ko) * 2008-07-25 2010-02-03 대우디스플레이주식회사 텔레비전의 메뉴 설정 장치 및 방법
WO2015046649A1 (ko) * 2013-09-27 2015-04-02 엘지전자 주식회사 영상표시장치 및 영상표시장치 동작방법
KR20150039579A (ko) * 2013-10-02 2015-04-10 삼성전자주식회사 화상 표시 장치 및 그의 포인팅 방법
JP2015122053A (ja) * 2013-10-25 2015-07-02 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、プログラム及び画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3352466A4 *

Also Published As

Publication number Publication date
KR20170057056A (ko) 2017-05-24
CN108353206A (zh) 2018-07-31
US20180321757A1 (en) 2018-11-08
EP3352466A4 (en) 2018-10-10
EP3352466A1 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
WO2017078356A1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
WO2017119684A1 (en) Display system, display apparatus and method for controlling the same
WO2017034130A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2015190798A1 (en) Method and apparatus for generating image data by using region of interest set by position information
EP3417630A1 (en) Display device and operating method thereof
EP3138280A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
WO2017065535A1 (ko) 전자 장치 및 그 제어 방법
US9432645B2 (en) Information processing method and electronic device
WO2018048178A1 (en) Display device
WO2018093160A2 (ko) 디스플레이장치, 시스템 및 기록매체
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2014104686A1 (en) Display apparatus and method for controlling display apparatus thereof
WO2015182935A1 (en) Method of controlling display device and remote controller thereof
WO2017086635A1 (ko) 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
WO2014104685A1 (en) Display apparatus and method for providing menu thereof
WO2017069502A1 (ko) 디스플레이 장치, 그의 통합 리모컨 설정 방법 및 시스템
WO2016047824A1 (ko) 화상 정보 영사 장치 및 그 영사 장치의 제어 방법
WO2017065556A1 (ko) 영상 투사 장치, 그의 투사 영역 확장 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
WO2022177073A1 (en) Display device for managing external device connected thereto through bluetooth communication and method for managing bluetooth-connected external device
WO2017065553A1 (ko) 영상 투사 장치, 그의 영상 투사 방법 및 비일시적 컴퓨터 판독가능 기록매체
WO2017217612A1 (ko) 원터치를 이용한 동영상 컨텐츠의 자막 생성 및 공유 방법
EP3314889A1 (en) Display device and operation method thereof
WO2016200171A1 (ko) 전자 장치, 주변 기기 및 그 제어 방법
WO2020075926A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16866587

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2016866587

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 15773091

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE