WO2014065595A1 - 영상표시장치 및 그 제어방법 - Google Patents

영상표시장치 및 그 제어방법 Download PDF

Info

Publication number
WO2014065595A1
WO2014065595A1 PCT/KR2013/009487 KR2013009487W WO2014065595A1 WO 2014065595 A1 WO2014065595 A1 WO 2014065595A1 KR 2013009487 W KR2013009487 W KR 2013009487W WO 2014065595 A1 WO2014065595 A1 WO 2014065595A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture
control
information
unit
input
Prior art date
Application number
PCT/KR2013/009487
Other languages
English (en)
French (fr)
Inventor
한순보
송효진
박상조
이동영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US14/437,726 priority Critical patent/US9600077B2/en
Priority claimed from KR1020130126785A external-priority patent/KR102135355B1/ko
Publication of WO2014065595A1 publication Critical patent/WO2014065595A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to an image display device that can be controlled using a gesture.
  • the video display device includes both a device for receiving and displaying a broadcast, recording and playing a video, and a device for recording and playing audio.
  • the image display apparatus includes, for example, a television, a computer monitor, a projector, a tablet, and the like.
  • the image display device may selectively use screen information displayed on the image display device by executing the Internet or the like, or in conjunction with a mobile terminal or a computer.
  • the screen information displayed on the image display device may be captured or stored and stored in a memory or the like, or stored in another output method.
  • one image display apparatus may detect a predefined gesture and execute only a function within a limited range.
  • an aspect of the present invention is to provide an image display device controlled by an independent gesture optimized for an application.
  • a mobile terminal is an example associated with the present invention
  • the sensing unit for detecting a user's input gesture, when the application is executed, the execution data of the application
  • a display unit for outputting visual information
  • a collecting unit for collecting control gesture information included in the execution data, and an input gesture detected by the sensing unit and the control gesture information while the application is executed
  • a controller configured to execute an event of the application included in the execution data and corresponding to the control gesture information.
  • the controller is defined by an extractor which extracts a component forming the input gesture, a tracker that tracks a movement trace of the extracted component, and a movement trace of the component and the component. And a matching unit for comparing the input gesture with the control gesture information.
  • control gesture information may include the number of components, a direction of movement of the components, distance information between a plurality of components, a time at which the components move, and a shape in which the components move.
  • Text including at least one of and a control signal associated with the event.
  • control gesture information includes a preset condition corresponding to a control command for deactivating or reactivating the detection of the input gesture.
  • control gesture information includes a preset condition to ignore the input gesture.
  • the extractor extracts the component based on the text forming the collected control gesture information.
  • the controller stops matching of the input gesture and the control gesture information.
  • the controller when the application is terminated, the controller generates a preset control command to correspond to the input gesture by the input gesture.
  • a control method of a mobile terminal comprises the steps of detecting a user's input gesture, when the application is executed, receiving the execution data of the application, the Collecting control gesture information corresponding to an event of the application from execution data; comparing the control gesture information with the input gesture while the application is running; and if the control gesture information matches the input gesture, the event Generating a step.
  • comparing the control gesture information with the input gesture while the application is executed may include extracting a component of the input gesture, tracking a trajectory of the component, and Detecting a change in distance between the components.
  • the image display device can be controlled by different gestures according to the executed application. Accordingly, the developer of the application can apply a gesture suitable for the nature of the application.
  • control gesture information for controlling the application may provide improved gesture control, including conditions for more accurately determining an input gesture, and may limit gesture control when unnecessary.
  • FIG. 1 is a block diagram illustrating a terminal according to one embodiment disclosed herein.
  • FIG. 2 and 3 is a conceptual diagram of a communication system capable of operating a terminal according to the present invention.
  • Figure 4a is a front perspective view of an example of a terminal related to the present invention.
  • FIG. 4b is a rear perspective view of the terminal shown in FIG. 4a;
  • FIG 4 is an internal block diagram of an image display apparatus according to an embodiment of the present invention.
  • 4D is a conceptual diagram of an image display apparatus according to an embodiment of the present invention.
  • FIG. 5 is a block diagram illustrating components of a gesture engine for controlling an application based on a gesture, according to an exemplary embodiment.
  • 6A is a flowchart illustrating a method of controlling an application based on a gesture, according to an exemplary embodiment.
  • FIG. 6B is a conceptual diagram for describing a control method of FIG. 6A, according to an exemplary embodiment.
  • FIG. 6C is a conceptual diagram illustrating the control method of FIG. 6A according to another embodiment.
  • FIG. 6C is a conceptual diagram illustrating the control method of FIG. 6A according to another embodiment.
  • FIG. 7A is a conceptual diagram illustrating a method of controlling a video display device using control gesture information including a condition.
  • 7B illustrates gesture information including condition information according to an embodiment.
  • 8A is a flowchart for describing a method of controlling an image display device by a continuously input gesture.
  • FIG. 8B and 8C are conceptual views illustrating the control method of FIG. 8A.
  • 9A illustrates control gesture information including information about speed, according to one embodiment.
  • 9B illustrates input gestures that move at different speeds.
  • the terminal described herein includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, a slate PC, It may include a tablet PC, an ultrabook, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • slate PC It may include a tablet PC, an ultrabook, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • slate PC It may include a tablet PC, an ultrabook, and the like.
  • the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, etc., except when applicable only to the terminals.
  • FIG. 1 is a block diagram illustrating a terminal according to an exemplary embodiment disclosed herein.
  • the terminal 100 includes a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, a memory 160, and an interface unit. 170, the controller 180, and the power supply 190 may be included.
  • the components shown in FIG. 1 are not essential, so a terminal having more or fewer components may be implemented.
  • the wireless communication unit 110 may include one or more modules that enable wireless communication between the terminal 100 and the wireless communication system or between the terminal 100 and a network in which the terminal 100 is located.
  • the wireless communication unit 110 may include at least one of the broadcast receiving module 111, the mobile communication module 112, the wireless internet module 113, the short range communication module 114, and the location information module 115. Can be.
  • the broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal.
  • the broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.
  • the broadcast related information may mean information related to a broadcast channel, a broadcast program, or a broadcast service provider.
  • the broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.
  • the broadcast related information may exist in various forms. For example, it may exist in the form of Electronic Program Guide (EPG) of Digital Multimedia Broadcasting (DMB) or Electronic Service Guide (ESG) of Digital Video Broadcast-Handheld (DVB-H).
  • EPG Electronic Program Guide
  • DMB Digital Multimedia Broadcasting
  • ESG Electronic Service Guide
  • DVB-H Digital Video Broadcast-Handheld
  • the broadcast receiving module 111 may include, for example, Digital Multimedia Broadcasting-Terrestrial (DMB-T), Digital Multimedia Broadcasting-Satellite (DMB-S), Media Forward Link Only (MediaFLO), and Digital Video Broadcast (DVB-H).
  • Digital broadcast signals can be received using digital broadcasting systems such as Handheld and Integrated Services Digital Broadcast-Terrestrial (ISDB-T).
  • ISDB-T Handheld and Integrated Services Digital Broadcast-Terrestrial
  • the broadcast receiving module 111 may be configured to be suitable for not only the above-described digital broadcasting system but also other broadcasting systems.
  • the broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the memory 160.
  • the mobile communication module 112 transmits and receives a wireless signal with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call call signal, or a text / multimedia message.
  • the mobile communication module 112 is configured to implement a video call mode and a voice call mode.
  • the video call mode refers to a state of making a call while viewing the other party's video
  • the voice call mode refers to a state of making a call without viewing the other party's image.
  • the mobile communication module 112 is configured to transmit and receive at least one of audio and video.
  • the wireless internet module 113 refers to a module for wireless internet access and may be built in or external to the terminal 100.
  • Wireless Internet technologies include Wireless LAN (WLAN), Wireless Fidelity (WiFi) Direct, Digital Living Network Alliance (DLNA), Wireless broadband (Wibro), World Interoperability for Microwave Access (Wimax), High Speed Downlink Packet Access (HSDPA), and more. This can be used.
  • the short range communication module 114 refers to a module for short range communication.
  • Short range communication technologies include Bluetooth TM, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Near Field Communication (NFC). Can be.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • NFC Near Field Communication
  • the location information module 115 is a module for obtaining a location of a terminal, and a representative example thereof is a Global Position System (GPS) module or a Wireless Fidelity (WiFi) module.
  • GPS Global Position System
  • WiFi Wireless Fidelity
  • the A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122.
  • the camera 121 processes image frames such as still images or moving images obtained by the image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 151.
  • the image frame processed by the camera 121 may be stored in the memory 160 or transmitted to an external device through the wireless communication unit 110.
  • the position information of the user may be calculated from the image frame acquired by the camera 121.
  • Two or more cameras 121 may be provided according to the use environment.
  • the microphone 122 receives an external sound signal by a microphone in a call mode, a recording mode, a voice recognition mode, etc., and processes the external sound signal into electrical voice data.
  • the processed voice data may be converted into a form transmittable to the mobile communication base station through the mobile communication module 112 and output in the call mode.
  • the microphone 122 may implement various noise removing algorithms for removing noise generated in the process of receiving an external sound signal.
  • the user input unit 130 generates input data according to a control command for controlling the operation of the terminal 100 applied from the user.
  • the user input unit 130 may include a key pad, a dome switch, a touch pad (constant voltage / capacitance), a jog wheel, a jog switch, and the like.
  • the sensing unit detects the current state of the terminal 100 such as an open / closed state of the terminal 100, a position of the terminal 100, presence or absence of a user contact, orientation of the terminal, acceleration / deceleration of the terminal, and the like.
  • a detection signal for controlling the operation of the terminal 100 is generated.
  • the sensing unit 140 may detect whether the slide phone is opened or closed when the terminal 100 is in the form of a slide phone.
  • the sensing unit 140 may detect whether the power supply unit 190 supplies power or whether the interface unit 170 is coupled to an external device.
  • the output unit 150 is used to generate an output related to visual, auditory or tactile senses, and may include a display unit 151, an audio output module 153, an alarm unit 154, and a haptic module 155. have.
  • the display unit 151 displays (outputs) information processed by the terminal 100. For example, when the terminal is in a call mode, the terminal displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the terminal 100 is in a video call mode or a photographing mode, the display unit 151 displays a photographed and / or received image, a UI, or a GUI.
  • UI user interface
  • GUI graphic user interface
  • the display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible). display, a 3D display, or an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • flexible display flexible display
  • display a 3D display, or an e-ink display.
  • Some of these displays can be configured to be transparent or light transmissive so that they can be seen from the outside. This may be referred to as a transparent display.
  • a representative example of the transparent display is TOLED (Transparant OLED).
  • the rear structure of the display unit 151 may also be configured as a light transmissive structure. With this structure, the user can see the object located behind the terminal body through the area occupied by the display unit 151 of the terminal body.
  • two or more display units 151 may exist.
  • a plurality of display units may be spaced apart or integrally disposed on one surface of the terminal 100, or may be disposed on different surfaces.
  • the display unit 151 may be configured as a stereoscopic display unit 152 for displaying a stereoscopic image.
  • the stereoscopic image represents a three-dimensional stereoscopic image
  • the three-dimensional stereoscopic image represents a gradual depth and reality in which an object is placed on a monitor or a screen. It is a video that makes you feel the same as the real space.
  • 3D stereoscopic images are implemented using binocular disparity. Binocular disparity means disparity made by the position of two eyes that are separated. When two eyes see different two-dimensional images and the images are transferred to the brain through the retina and are fused, they can feel the depth and reality of the three-dimensional image. do.
  • the stereoscopic display unit 152 may be a three-dimensional display method such as stereoscopic (glasses), auto stereoscopic (glasses), projection (holographic). Stereoscopic methods commonly used in home television receivers include a Wheatstone stereoscope method.
  • Examples of the auto stereoscopic method include a parallax barrier method, a lenticular method, an integrated imaging method, a switchable lens, and the like.
  • Projection methods include reflective holographic methods and transmissive holographic methods.
  • a 3D stereoscopic image is composed of a left image (left eye image) and a right image (right eye image).
  • a top-down method in which the left and right images are arranged up and down in one frame according to the way in which the left and right images are merged into three-dimensional stereoscopic images.
  • L-to-R (left-to-right, side by side) method to be arranged as a checker board method to arrange the pieces of the left and right images in the form of tiles, a column unit of the left and right images Or an interlaced method of alternately arranging rows, and a time sequential (frame by frame) method of alternately displaying left and right images by time.
  • the 3D thumbnail image may generate a left image thumbnail and a right image thumbnail from the left image and the right image of the original image frame, respectively, and combine them to generate one 3D thumbnail image.
  • a thumbnail refers to a reduced image or a reduced still image.
  • the left image thumbnail and the right image thumbnail generated as described above may be displayed with a three-dimensional space by displaying left and right distances on the screen by a depth corresponding to the parallax between the left and right images.
  • the left image and the right image necessary for implementing the 3D stereoscopic image may be displayed on the stereoscopic display 152 by a stereoscopic processor (not shown).
  • the stereo processing unit receives a 3D image and extracts a left image and a right image therefrom, or receives a 2D image and converts the image into a left image and a right image.
  • the display unit 151 and a sensor for detecting a touch operation form a mutual layer structure (hereinafter, referred to as a “touch screen”)
  • the display unit 151 outputs the same.
  • the touch sensor may have, for example, a form of a touch film, a touch sheet, a touch pad, or the like.
  • the touch sensor may be configured to convert a change in pressure applied to a specific portion of the display unit 151 or capacitance generated in a specific portion of the display unit 151 into an electrical input signal.
  • the touch sensor may be configured to detect not only the position and area where the touch object is touched on the touch sensor but also the pressure at the touch.
  • the touch object is an object applying a touch to the touch sensor and may be, for example, a finger, a touch pen or a stylus pen, a pointer, or the like.
  • the touch controller processes the signal (s) and then transmits the corresponding data to the controller 180. As a result, the controller 180 can know which area of the display unit 151 is touched.
  • a proximity sensor 141 may be disposed in an inner region of a terminal surrounded by the touch screen or near the touch screen.
  • the proximity sensor 141 may be provided as an example of the sensing unit 140.
  • the proximity sensor 141 may be configured to determine whether an object approaching a predetermined detection surface or an object present in the vicinity of an object is applied to the force of an electromagnetic field.
  • the proximity sensor 141 has a longer life and higher utilization than a contact sensor.
  • Examples of the proximity sensor 141 include a transmissive photoelectric sensor, a direct reflective photoelectric sensor, a mirror reflective photoelectric sensor, a high frequency oscillating proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.
  • the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by a change in an electric field according to the proximity of a conductive object (hereinafter, referred to as a pointer).
  • the touch screen may be classified as a proximity sensor.
  • proximity touch an act of allowing the pointer to be recognized without being in contact with the touch screen so that the pointer is located on the touch screen
  • contact touch an act of actually touching the pointer on the screen.
  • the position at which the proximity touch is performed by the pointer on the touch screen means a position where the pointer is perpendicular to the touch screen when the pointer is in proximity proximity.
  • the proximity sensor 141 detects a proximity touch and a proximity touch pattern (for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state). Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.
  • a proximity touch and a proximity touch pattern for example, a proximity touch distance, a proximity touch direction, a proximity touch speed, a proximity touch time, a proximity touch position, and a proximity touch movement state.
  • Information corresponding to the sensed proximity touch operation and proximity touch pattern may be output on the touch screen.
  • a stereoscopic touch screen When the stereoscopic display unit 152 and the touch sensor form a mutual layer structure (hereinafter referred to as a “stereoscopic touch screen”), or when the stereoscopic display unit 152 and the 3D sensor for detecting a touch operation are combined with each other.
  • the stereoscopic display unit 152 may also be used as a three-dimensional input device.
  • the sensing unit 140 may include a proximity sensor 141, a stereoscopic touch sensing unit 142, an ultrasonic sensing unit 143, and a camera sensing unit 144.
  • the proximity sensor 141 measures the distance between a sensing object (for example, a user's finger or a stylus pen) and a detection surface to which a touch is applied without mechanical contact by using an electromagnetic force or infrared rays.
  • the terminal recognizes which part of the stereoscopic image is touched using this distance.
  • the touch screen is capacitive, the proximity of the sensing object is detected by a change in electric field according to the proximity of the sensing object, and the touch screen is configured to recognize a three-dimensional touch using the proximity.
  • the stereoscopic touch sensing unit 142 is configured to detect the intensity or duration of the touch applied to the touch screen. For example, the three-dimensional touch sensing unit 142 detects a pressure to apply a touch, and if the pressure is strong, recognizes it as a touch on an object located farther from the touch screen toward the inside of the terminal.
  • the ultrasonic sensing unit 143 uses ultrasonic waves to recognize position information of the sensing object.
  • the ultrasonic sensing unit 143 may be formed of, for example, an optical sensor and a plurality of ultrasonic sensors.
  • the optical sensor is configured to detect light
  • the ultrasonic sensor is configured to detect ultrasonic waves. Because light is much faster than ultrasonic waves, the time that light reaches the optical sensor is much faster than the time that ultrasonic waves reach the ultrasonic sensor. Therefore, the position of the wave generation source can be calculated using the time difference from the time when the ultrasonic wave reaches the light as the reference signal.
  • the camera sensing unit 144 includes at least one of a camera 121, a photo sensor, and a laser sensor.
  • the camera 121 and the laser sensor are combined with each other to detect a touch of a sensing object with respect to a 3D stereoscopic image.
  • 3D information may be obtained.
  • a photo sensor may be stacked on the display element.
  • the photo sensor is configured to scan the movement of the sensing object in proximity to the touch screen. More specifically, the photo sensor mounts a photo diode and a transistor (TR) in a row / column and scans contents mounted on the photo sensor by using an electrical signal that changes according to the amount of light applied to the photo diode. That is, the photo sensor calculates coordinates of the sensing object according to the amount of change of light, and thereby obtains the position information of the sensing object.
  • TR transistor
  • the sound output module 153 may output audio data received from the wireless communication unit 110 or stored in the memory 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like.
  • the sound output module 153 may also output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, etc.) performed by the terminal 100.
  • the sound output module 153 may include a receiver, a speaker, a buzzer, and the like.
  • the alarm unit 154 outputs a signal for notifying occurrence of an event of the terminal 100.
  • Examples of events generated in the terminal 100 include call signal reception, message reception, key signal input, and touch input.
  • the alarm unit 154 may output a signal for notifying occurrence of an event by using a form other than a video signal or an audio signal, for example, vibration.
  • the video signal or the audio signal may be output through the display unit 151 or the sound output module 153, and thus the display unit 151 and the sound output module 153 may be classified as part of the alarm unit 154. .
  • the haptic module 155 generates various tactile effects that a user can feel.
  • a representative example of the tactile effect generated by the haptic module 155 may be vibration.
  • the intensity and pattern of vibration generated by the haptic module 155 may be controlled by the user's selection or the setting of the controller. For example, the haptic module 155 may output different synthesized vibrations or sequentially output them.
  • the haptic module 155 may be configured to provide a pin array that vertically moves with respect to the contact skin surface, a jetting force or suction force of air through the jetting or suction port, grazing to the skin surface, contact of the electrode, electrostatic force, and the like.
  • Various tactile effects can be generated, such as effects by the endothermic and the reproduction of a sense of cold using the elements capable of endotherm or heat generation.
  • the haptic module 155 may not only transmit the haptic effect through direct contact, but also may implement the user to feel the haptic effect through the muscle sense such as a finger or an arm. Two or more haptic modules 155 may be provided according to a configuration aspect of the terminal 100.
  • the memory 160 may store a program for the operation of the controller 180 and may temporarily store input / output data (for example, a phone book, a message, a still image, a video, etc.).
  • the memory 160 may store data relating to various patterns of vibration and sound output when a touch input on the touch screen is performed.
  • the memory 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory), RAM random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), programmable read-only memory (PROM), magnetic memory, magnetic It may include a storage medium of at least one type of a disk and an optical disk.
  • the terminal 100 may be operated in connection with a web storage that performs a storage function of the memory 160 on the Internet.
  • the interface unit 170 serves as a path with all external devices connected to the terminal 100.
  • the interface unit 170 receives data from an external device, receives power, transfers the power to each component inside the terminal 100, or transmits data inside the terminal 100 to an external device.
  • the audio input / output (I / O) port, video input / output (I / O) port, earphone port, and the like may be included in the interface unit 170.
  • the identification module is a chip that stores a variety of information for authenticating the usage rights of the terminal 100, a user identification module (UIM), subscriber identity module (SIM), universal user authentication module It may include a universal subscriber identity module (USIM) and the like.
  • a device equipped with an identification module hereinafter referred to as an 'identification device' may be manufactured in the form of a smart card. Therefore, the identification device may be connected to the terminal 100 through the interface unit 170.
  • the interface unit 170 may be a passage for supplying power from the cradle to the terminal 100 when the terminal 100 is connected to an external cradle, or various commands input from the cradle by a user. It may be a passage through which a signal is transmitted to the terminal 100. Various command signals or power input from the cradle may operate as signals for recognizing that the terminal 100 is correctly mounted on the cradle.
  • the controller 180 typically controls the overall operation of the terminal 100. For example, control and processing related to voice calls, data communications, video calls, and the like are performed.
  • the controller 180 may include a multimedia module 181 for playing multimedia.
  • the multimedia module 181 may be implemented in the controller 180 or may be implemented separately from the controller 180.
  • controller 180 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on the touch screen as text and an image, respectively.
  • the controller 180 may execute a lock state for limiting input of a user's control command to applications.
  • the controller 180 may control the lock screen displayed in the locked state based on the touch input sensed by the display unit 151 in the locked state.
  • the power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.
  • Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.
  • the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs). It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. In some cases, the embodiments described herein may be implemented by the controller 180 itself.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments such as the procedures and functions described herein may be implemented as separate software modules.
  • Each of the software modules may perform one or more functions and operations described herein.
  • the software code may be implemented as a software application written in a suitable programming language.
  • the software code may be stored in the memory 160 and executed by the controller 180.
  • 2A and 2B are conceptual views of a communication system in which the terminal 100 according to the present invention can operate.
  • a communication system may use different air interfaces and / or physical layers.
  • a radio interface that can be used by a communication system includes frequency division multiple access (FDMA), time division multiple access (TDMA), and code division multiple access (CDMA). ), Universal Mobile Telecommunications Systems (UMTS) (in particular, Long Term Evolution (LTE)), Global System for Mobile Communications (GSM), and the like.
  • FDMA frequency division multiple access
  • TDMA time division multiple access
  • CDMA code division multiple access
  • UMTS Universal Mobile Telecommunications Systems
  • LTE Long Term Evolution
  • GSM Global System for Mobile Communications
  • CDMA Code Division Multiple Access
  • the CDMA wireless communication system includes at least one terminal 100, at least one base station (BS) 270, and at least one base station controller 180 (Base Station Controllers, BSCs). 275, a mobile switching center (MSC) 280.
  • the MSC 280 is configured to connect with a Public Switched Telephone Network (PSTN) 290 and BSCs 275.
  • PSTN Public Switched Telephone Network
  • the BSCs 275 may be coupled to the BS 270 through a backhaul line.
  • the backhaul line may be provided according to at least one of E1 / T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL, or xDSL.
  • a plurality of BSCs 275 may be included in the system shown in FIG. 2A.
  • Each of the plurality of BSs 270 may include at least one sector, and each sector may include an omnidirectional antenna or an antenna pointing in a specific radial direction from the BS 270.
  • each sector may include two or more antennas of various types.
  • Each BS 270 may be configured to support multiple frequency assignments, each of which may have a specific spectrum (eg, 1.25 MHz, 5 MHz, etc.).
  • BS 270 may be called Base Station Transceiver Subsystem (BTSs).
  • BTSs Base Station Transceiver Subsystem
  • one BSC 275 and at least one BS 270 may be referred to as a “base station”.
  • the base station may also indicate "cell site”.
  • each of the plurality of sectors for a particular BS 270 may be called a plurality of cell sites.
  • a broadcasting transmitter (BT) 295 transmits a broadcast signal to terminals 100 operating in a system.
  • the broadcast receiving module 111 illustrated in FIG. 1 is provided in the terminal 100 to receive a broadcast signal transmitted by the BT 295.
  • FIG. 2A illustrates a satellite 300 of a Global Positioning System (GPS).
  • GPS Global Positioning System
  • the satellite 300 helps to locate the terminal 100. Although two satellites are shown in FIG. 2A, useful location information may be obtained by two or less or more satellites.
  • the location information module 115 shown in FIG. 1 cooperates with the satellite 300 shown in FIG. 2A to obtain desired location information.
  • the location of the terminal 100 may be tracked using all the technologies capable of tracking the location as well as the GPS tracking technology.
  • at least one of the GPS satellites 300 may optionally or additionally be responsible for satellite DMB transmission.
  • BS 270 receives a reverse link signal from terminal 100.
  • the terminal 100 is connecting a call, transmitting or receiving a message, or performing another communication operation.
  • Each of the reverse link signals received by a particular base station 270 is processed within by the particular base station 270.
  • the data generated as a result of the processing is transmitted to the connected BSC 275.
  • BSC 275 provides call resource allocation and mobility management functionality, including the organization of soft handoffs between base stations 270.
  • the BSCs 275 transmit the received data to the MSC 280, and the MSC 280 provides an additional transmission service for the connection with the PSTN 290.
  • the PSTN 290 is connected to the MSC 280
  • the MSC 280 is connected to the BSCs 275
  • the BSCs 275 are connected to the BS 100 so that the forward link signal is transmitted to the terminal 100. ) Can be controlled.
  • FIG. 2B illustrates a method of acquiring location information of a terminal using a Wi-Fi location tracking system (WPS: WiFi Positioning System).
  • WPS WiFi Positioning System
  • the Wi-Fi Positioning System (WPS) 300 uses a WiFi module provided in the terminal 100 and a wireless access point 320 that transmits or receives a wireless signal with the WiFi module.
  • WiFi Wireless Local Area Network
  • this refers to a WLAN (Wireless Local Area Network) based location positioning technology using WiFi.
  • the Wi-Fi location tracking system 300 may include a Wi-Fi location server 310, a terminal 100, a wireless AP 330 connected to the terminal 100, and a database 330 in which arbitrary wireless AP information is stored. Can be.
  • the Wi-Fi location positioning server 310 extracts information of the wireless AP 320 connected to the terminal 100 based on the location information request message (or signal) of the terminal 100. Information of the wireless AP 320 connected to the terminal 100 is transmitted to the Wi-Fi positioning server 310 through the terminal 100, or transmitted from the wireless AP 320 to the Wi-Fi positioning server 310 Can be.
  • the extracted wireless AP information includes MAC address, SSID, RSSI, channel information, privacy, network type, signal strength, and noise strength. There may be at least one.
  • the Wi-Fi positioning server 310 receives the information of the wireless AP 320 connected to the terminal 100 and includes information included in the pre-built database 330 and the received wireless AP 320 information. By comparing with, the location information of the terminal 100 is extracted (or analyzed).
  • the wireless AP connected to the terminal 100 is illustrated as the first, second, and third wireless APs 320 as an example. However, the number of wireless APs connected to the terminal 100 may vary depending on the wireless communication environment in which the terminal 100 is located.
  • the Wi-Fi location tracking system 300 may track the location of the terminal 100 when the terminal 100 is connected to at least one wireless AP.
  • the database 330 may store various information of arbitrary wireless APs disposed at different locations.
  • the information on any wireless AP stored in the database 300 includes MAC address, SSID, RSSI, channel information, Privacy, Network Type, latitude and longitude coordinates of the wireless AP, the name of the building where the wireless AP is located, the number of floors, indoor detailed location information. (GPS coordinates available), the AP owner's address, phone number and the like.
  • the Wi-Fi positioning server 310 is connected to the terminal 100 in the database 330.
  • the location information of the terminal 100 may be extracted by searching for wireless AP information corresponding to the information of the connected wireless AP 320 and extracting location information matched with the retrieved wireless AP information.
  • 3A is a front perspective view of an example of a terminal 100 according to the present invention.
  • the disclosed terminal 100 has a terminal body in the form of a bar.
  • the present invention is not limited thereto and may be applied to various structures such as a watch type, a clip type, a glasses type, or a folder type, a flip type, a slide type, a swing type, a swivel type, in which two or more bodies are relatively movable. have.
  • the body includes a case (frame, housing, cover, etc.) that forms an exterior.
  • the case may be divided into a front case 101 and a rear case 102.
  • Various electronic components are built in the space formed between the front case 101 and the rear case 102.
  • At least one intermediate case may be additionally disposed between the front case 101 and the rear case 102, and the battery cover 103 covering the battery 191 may be detachably attached to the rear case 102. have.
  • the cases may be formed by injecting synthetic resin, or may be formed of metal, for example, stainless steel (STS), aluminum (Al), titanium (Ti), or the like.
  • STS stainless steel
  • Al aluminum
  • Ti titanium
  • the front of the terminal body, the display unit 151, the first sound output module 153a, the first camera 121a, the first operation unit 131, and the like are disposed, the side of the microphone 122, the interface unit 170 ), The second operation unit 132 may be provided.
  • the display unit 151 is configured to display (output) information processed by the terminal 100.
  • the display unit 151 includes a liquid crystal display (LCD) for visually representing information, a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED) ), At least one of a flexible display, a 3D display, and an e-ink display.
  • LCD liquid crystal display
  • TFT LCD thin film transistor-liquid crystal display
  • OLED organic light-emitting diode
  • the display unit 151 may include a touch sensing means to receive a control command by a touch method.
  • the touch sensing means may be configured to detect the touch and input content corresponding to the touched position.
  • the content input by the touch method may be letters or numbers or menu items that can be indicated or designated in various modes.
  • the touch sensing means is formed to be translucent so that the visual information output from the display unit 151 can be seen, and may include a structure for increasing the visibility of the touch screen in a bright place. According to FIG. 3A, the display unit 151 occupies most of the front surface of the front case 101.
  • the first sound output module 153a and the first camera 121a are disposed in an area adjacent to one end of both ends of the display unit 151, and the first operation unit 131 and the microphone 122 are located in an area adjacent to the other end. Is placed.
  • the second manipulation unit 132 (see FIG. 3B), the interface unit 170, and the like may be disposed on the side of the terminal body.
  • the first sound output module 153a may be implemented in the form of a receiver for transmitting a call sound to a user's ear or a loud speaker for outputting various alarm sounds or reproduction sounds of multimedia.
  • Sound generated from the first sound output module 153a may be configured to be emitted along an assembly gap between the structures.
  • the holes formed independently for the sound output may not be visible or may be hidden so that the appearance of the terminal 100 may be simplified.
  • the present invention is not limited thereto, and a hole for emitting the sound may be formed in the window.
  • the first camera 121a processes an image frame such as a still image or a moving image obtained by the image sensor in a video call mode or a photographing mode.
  • the processed image frame may be displayed on the display unit 151.
  • the user input unit 130 is manipulated to receive a command for controlling the operation of the terminal 100, and may include first and second manipulation units 131 and 132.
  • the first and second manipulation units 131 and 132 may be collectively referred to as manipulating portions, and may be employed in any manner as long as the user is tactile in a tactile manner such as touch, push, or scroll. Can be.
  • the first operation unit 131 is illustrated as a touch key, but the present invention is not limited thereto.
  • the first manipulation unit 131 may be a push key or a combination of a touch key and a push key.
  • Content input by the first and / or second manipulation units 131 and 132 may be variously set.
  • the first operation unit 131 receives a command such as a menu, a home key, a cancellation, a search, etc.
  • the second operation unit 132 adjusts the volume of the sound output from the first sound output module 153a or A command such as switching to the touch recognition mode of the display unit 151 may be input.
  • the microphone 122 is formed to receive a user's voice, other sounds, and the like.
  • the microphone 122 may be provided at a plurality of locations and configured to receive stereo sound.
  • the interface unit 170 serves as a path for allowing the terminal 100 to exchange data with an external device.
  • the interface unit 170 is a wired or wireless connection terminal for connecting to the earphone, a port for short-range communication (for example, an infrared port (IrDA Port), Bluetooth port (Bluetooth Port), wireless LAN port (Wireless) LAN Port) and the like, or at least one of power supply terminals for supplying power to the terminal 100.
  • the interface unit 170 may be implemented in the form of a socket for receiving an external card, such as a subscriber identification module (SIM) or a user identity module (UIM), a memory card for storing information.
  • SIM subscriber identification module
  • UIM user identity module
  • FIG. 3B is a rear perspective view of the terminal 100 shown in FIG. 3A.
  • a second camera 121b may be additionally mounted on the rear of the terminal body, that is, the rear case 102.
  • the second camera 121b has a photographing direction substantially opposite to that of the first camera 121a (see FIG. 3A), and may be a camera having different pixels from the first camera 121a.
  • the first camera 121a has a low pixel so that the user's face is photographed and transmitted to the counterpart in case of a video call, and the second camera 121b photographs a general subject and does not transmit it immediately. In many cases, it is desirable to have a high pixel.
  • the first and second cameras 121a and 121b may be installed in the terminal body so as to be rotatable or pop-up.
  • the flash 123 and the mirror 124 are further disposed adjacent to the second camera 121b.
  • the flash 123 shines light toward the subject when the subject is photographed by the second camera 121b.
  • the mirror 124 allows the user to see his / her own face or the like when photographing (self-photographing) the user using the second camera 121b.
  • the second sound output module 153b may be further disposed on the rear surface of the terminal body.
  • the second sound output module 153b may implement a stereo function together with the first sound output module 153a (see FIG. 3A), and may be used to implement a speakerphone mode during a call.
  • An antenna (not shown) for receiving a broadcast signal may be additionally disposed on the side of the terminal body.
  • An antenna that forms part of the broadcast receiving module 111 (refer to FIG. 1) may be installed to be pulled out of the terminal body.
  • the terminal body is provided with a power supply unit 190 (see FIG. 1) for supplying power to the terminal 100.
  • the power supply unit 190 may include a battery 191 embedded in the terminal body or detachably configured from the outside of the terminal body.
  • the battery cover 103 is coupled to the rear case 102 so as to cover the battery 191 to limit the detachment of the battery 191, and to protect the battery 191 from external shocks and foreign matters. .
  • the extracted location information of the terminal 100 is transmitted to the terminal 100 through the Wi-Fi positioning server 310, the terminal 100 may obtain the location information.
  • the terminal may perform a function of searching for information related to a search word input by a user using a communication system and the wireless communication unit 110.
  • the user may search for desired information among the information stored in the memory 160 or search for information related to the input search word among information existing on the web.
  • the controller controls the display unit to output the retrieved information.
  • the control unit controls the display unit to arrange and output the retrieved information according to a preset layout.
  • the terminal according to the present invention may include a video display device for outputting an image as well as a portable terminal.
  • 4A is a block diagram illustrating an image display apparatus according to an embodiment of the present invention
  • FIG. 4B is a conceptual diagram of an image display apparatus according to an embodiment of the present invention.
  • the image display apparatus 100 ′ may include a tuner unit 182, a demodulator 183, an external device interface unit 172, and a network interface unit. 173, the storage unit 160, the user input interface unit 171, the sensor unit (not shown), the controller 180, the display unit 151 ′, the sound output unit 153, and the 3D viewing apparatus 184. ) May be included.
  • the tuner 182 selects an RF broadcast signal corresponding to a channel selected by a user or all channels stored in advance from among radio frequency (RF) broadcast signals received through an antenna.
  • RF radio frequency
  • the selected RF broadcast signal is converted into an intermediate frequency signal or a baseband video or audio signal.
  • the selected RF broadcast signal is a digital broadcast signal
  • it is converted into a digital IF signal (DIF)
  • the analog broadcast signal is converted into an analog baseband video or audio signal (CVBS / SIF). That is, the tuner 182 may process a digital broadcast signal or an analog broadcast signal.
  • the analog baseband video or audio signal CVBS / SIF output from the tuner 182 may be directly input to the controller 180.
  • the tuner unit 182 may receive an RF broadcast signal of a single carrier according to the Advanced Television System Committee (ATSC) scheme or an RF broadcast signal of a plurality of carriers according to the Digital Video Broadcasting (DVB) scheme.
  • ATSC Advanced Television System Committee
  • DVD Digital Video Broadcasting
  • the tuner unit 182 sequentially selects RF broadcast signals of all broadcast channels stored through a channel memory function among RF broadcast signals received through an antenna in the present invention, and converts them to intermediate frequency signals or baseband video or audio signals. Can be converted to
  • the tuner unit 182 may include a plurality of tuners in order to receive broadcast signals of a plurality of channels. Alternatively, a single tuner may be used to receive broadcast signals of multiple channels simultaneously.
  • the demodulator 183 receives the digital IF signal DIF converted by the tuner 182 and performs a demodulation operation. For example, when the digital IF signal output from the tuner 182 is an ATSC scheme, the demodulator 183 performs 7-VSB (7-Vestigal Side Band) demodulation. In addition, the demodulator 183 may perform channel decoding. To this end, the demodulator 183 includes a trellis decoder, a de-interleaver, a reed solomon decoder, and the like. Soloman decryption can be performed.
  • the demodulator 183 when the digital IF signal output from the tuner 182 is a DVB scheme, the demodulator 183 performs Coded Orthogonal Frequency Division Modulation (COFDMA) demodulation.
  • the demodulator 183 may perform channel decoding.
  • the demodulator 183 may include a convolution decoder, a deinterleaver, a reed-soloman decoder, and the like to perform convolutional decoding, deinterleaving, and reed soloman decoding.
  • the demodulator 183 may output a stream signal TS after performing demodulation and channel decoding.
  • the stream signal may be a signal multiplexed with a video signal, an audio signal, or a data signal.
  • the stream signal may be an MPEG-2 Transport Stream (TS) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, and the like.
  • the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.
  • the demodulation unit 183 described above can be provided separately according to the ATSC system and the DVB system. That is, it can be provided with an ATSC demodulation part and a DVB demodulation part.
  • the stream signal output from the demodulator 183 may be input to the controller 180.
  • the controller 180 After performing demultiplexing, image / audio signal processing, and the like, the controller 180 outputs an image to the display unit 151 ′ and outputs an audio to the sound output unit 153.
  • the external device interface unit 172 may transmit or receive data with the connected external device 190.
  • the external device interface unit 172 may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • the external device interface unit 172 may be connected to the external device 190 such as a digital versatile disk (DVD), a Blu-ray, a game device, a camera, a camcorder, a computer (laptop), or the like by wire or wireless. .
  • the external device interface unit 172 transfers an image, audio, or data signal input from the outside through the connected external device 190 to the controller 180 of the image display device 100.
  • the controller 180 may output an image, audio, or data signal processed by the controller 180 to a connected external device.
  • the external device interface unit 172 may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • the A / V input / output unit includes a USB terminal, a CVBS (Composite Video Banking Sync) terminal, a component terminal, an S-video terminal (analog), and a DVI so that video and audio signals of an external device can be input to the video display device 100.
  • CVBS Composite Video Banking Sync
  • component terminal an S-video terminal (analog)
  • DVI Digital Visual Interface
  • HDMI High Definition Multimedia Interface
  • RGB terminal High Definition Multimedia Interface
  • the wireless communication unit may perform near field communication with another electronic device.
  • the image display apparatus 100 may communicate with Bluetooth, Radio Frequency Identification (RFID), Infrared Data Association (IrDA), Ultra Wideband (UWB), ZigBee, and Digital Living Network Alliance (DLNA). Depending on the specification, it can be networked with other electronic devices.
  • RFID Radio Frequency Identification
  • IrDA Infrared Data Association
  • UWB Ultra Wideband
  • ZigBee ZigBee
  • DLNA Digital Living Network Alliance
  • the external device interface unit 172 may be connected through various set-top boxes and at least one of the various terminals described above to perform input / output operations with the set-top box.
  • the external device interface unit 172 may transmit / receive data with the 3D viewing device 184.
  • the network interface unit 173 provides an interface for connecting the image display apparatus 100 to a wired / wireless network including an internet network.
  • the network interface unit 173 may include an Ethernet terminal for connecting to a wired network, and for connecting to a wireless network, a wireless LAN (WLAN) (Wi-Fi), Wibro (Wireless). Broadband, Wimax (World Interoperability for Microwave Access), High Speed Downlink Packet Access (HSDPA) communication standards, and the like may be used.
  • the network interface unit 173 may receive content or data provided by the Internet or a content provider or a network operator through a network. That is, content such as a movie, an advertisement, a game, a VOD, a broadcast signal, and related information provided from the Internet, a content provider, etc. may be received through a network. In addition, it is possible to receive the update information and the update file of the firmware provided by the network operator. It may also transmit data to the Internet or content provider or network operator.
  • the network interface unit 173 is connected to, for example, an IP (internet protocol) TV, and receives a video, audio, or data signal processed by the set-top box for the IPTV so as to enable bidirectional communication.
  • the signal processed by the controller 180 may be transmitted to the set top box for the IPTV.
  • IPTV may mean ADSL-TV, VDSL-TV, FTTH-TV, etc. according to the type of transmission network, and include TV over DSL, Video over DSL, TV overIP (TVIP), and Broadband TV ( BTV) and the like.
  • IPTV may be meant to include an Internet TV, a full browsing TV that can be connected to the Internet.
  • the storage unit 160 may store a program for processing and controlling each signal in the controller 180 or may store a signal-processed video, audio, or data signal.
  • the storage unit 160 may perform a function for temporarily storing an image, audio, or data signal input to the external device interface unit 172.
  • the storage 160 may store information about a predetermined broadcast channel through a channel storage function such as a channel map.
  • the storage unit 160 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), RAM, ROM
  • the image display apparatus 100 may reproduce a file (video file, still image file, music file, document file, etc.) stored in the storage unit 160 and provide the same to the user.
  • a file video file, still image file, music file, document file, etc.
  • the storage unit 160 may be included in the controller 180.
  • the user input interface unit 171 transmits a signal input by the user to the controller 180 or transmits a signal from the controller 180 to the user.
  • the user input interface unit 171 may power on / off, select a channel, and display a screen from the remote controller 200 according to various communication methods such as a radio frequency (RF) communication method and an infrared (IR) communication method.
  • RF radio frequency
  • IR infrared
  • the user input interface unit 171 may transmit a user input signal input from a local key (not shown) such as a power key, a channel key, a volume key, and a set value to the controller 180.
  • the sensor 140 may detect a location of a user or a gesture, a touch, or a location of the 3D viewing device 184.
  • the sensing unit 140 may include a touch sensor, a voice sensor, a position sensor, a motion sensor, a gyro sensor, and the like.
  • the detected user's location, user's gesture, touch, or location signal of the 3D viewing device 184 may be input to the controller 180. Alternatively, unlike the drawing, it may be input to the controller 180 through the user input interface unit 171.
  • the controller 180 demultiplexes the input stream or processes the demultiplexed signals through the tuner 182, the demodulator 183, or the external device interface 172, and outputs a video or audio signal. Signals can be generated and output.
  • the image signal processed by the controller 180 may be input to the display unit 151 ′ and displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 180 may be input to the external output device through the external device interface unit 172.
  • the voice signal processed by the controller 180 may be sound output to the sound output unit 153.
  • the voice signal processed by the controller 180 may be input to the external output device through the external device interface unit 172.
  • controller 180 may control overall operations of the image display apparatus 100.
  • the controller 180 may control the tuner 182 to select and tune an RF broadcast corresponding to a channel selected by a user or a pre-stored channel.
  • the controller 180 may control the image display apparatus 100 by a user command or an internal program input through the user input interface unit 171.
  • the controller 180 controls the tuner 182 to input a signal of a selected channel according to a predetermined channel selection command received through the user input interface 171.
  • the video, audio, or data signal of the selected channel is processed.
  • the controller 180 allows the channel information selected by the user to be output through the display unit 151 'or the audio output unit 153 together with the processed image or audio signal.
  • the controller 180 may receive an external device 190, for example, a camera, input through the external device interface unit 172 according to an external device image playback command received through the user input interface unit 171.
  • the video signal or the audio signal from the camcorder may be output through the display unit 151 ′ or the audio output unit 153.
  • the controller 180 may control the display unit 151 ′ to display an image. For example, a broadcast image input through the tuner unit 182, an external input image input through the external device interface unit 172, or an image input through the network interface unit 173 or stored in the storage unit 160. The image may be controlled to be displayed on the display unit 151 ′.
  • the image displayed on the display unit 151 ′ may be a still image or a video, and may be a 2D image or a 3D image.
  • the controller 180 may generate and display a 3D object with respect to a predetermined object in the image displayed on the display unit 151 ′.
  • the object is a connected web screen (newspaper, magazine, etc.), an EPG (Electronic Program Guide), or the like. At least one of a variety of menus, widgets, icons, still images, videos, and text.
  • the 3D object may be processed to have a depth different from that of the image displayed on the display unit 151 ′.
  • the 3D object may be processed to appear protruding from the image displayed on the display unit 151 ′.
  • the controller 180 recognizes the position of the user based on the image photographed from the photographing unit (not shown). For example, the distance (z-axis coordinate) between the user and the image display apparatus 100 may be determined. In addition, the x-axis coordinates and the y-axis coordinates in the display unit 151 ′ corresponding to the user position can be grasped.
  • the controller 180 may perform signal processing to enable viewing of a corresponding video according to the viewing device. For example, when the sensing unit 140 or the photographing unit (not shown) detects the presence, operation, or number of the viewing device 195, the controller 180 may perform pairing with the viewing device 195. Signal processing can be performed. That is, the display device 184 may control to output the pairing signal to the viewing device 184 and control to receive the response signal from the viewing device 195.
  • the controller 180 may control the tuner 182 to receive a broadcast image according to the number of detected viewing devices 195. For example, when the number of detected viewing apparatuses is three, the tuner 182 including the plurality of tuners may be controlled to receive broadcast images of different channels. In addition, the controller 180 may control to display each broadcast video at different times in synchronization with each viewing device.
  • the controller 180 may also receive an input external input image according to the number of detected viewing devices. For example, when the number of detected viewing apparatuses is three, each of the plurality of viewing apparatuses may be controlled to receive an external input image from an optical device such as a broadcast image or a DVD and an external input image from a PC. In addition, the controller 180 may control to display each video (broadcast video, DVD video, PC video) at different times in synchronization with each viewing device.
  • the controller 180 may increase the vertical synchronization frequency Vsync of the displayed image and control the corresponding images to be displayed whenever the number of viewing apparatuses detected during image display increases. For example, for 1/60 seconds, the first image and the second image are displayed in synchronization with the first viewing device and the second 3D viewing device, respectively, and when the third viewing device is used, for 1/60 seconds, The first to third images may be controlled to be displayed in synchronization with the first to third viewing devices, respectively. That is, the first image and the second image may be displayed at 120 Hz, and the first to third images may be displayed at 180 HZ.
  • the controller 180 may set a different image search target that can be viewed, for example, a channel search target of a broadcast video, for each viewing device.
  • a channel search target may be set differently for each age such as an adult and a child, and the search target may be different when the channel is searched.
  • the controller 180 may control to notify a message indicating that the message is a duplicate.
  • a message may be displayed in the form of an object on the display unit 151 ′ or transmitted as a wireless signal to each viewing device.
  • the channel browsing processor may receive a stream signal TS output from the demodulator 183 or a stream signal output from the external device interface 172, and extract a video from the input stream signal to generate a thumbnail image.
  • the generated thumbnail image may be input as it is or encoded to the controller 180.
  • the generated thumbnail image may be encoded in a stream form and input to the controller 180.
  • the controller 180 may display a thumbnail list including a plurality of thumbnail images on the display unit 151 'using the input thumbnail image.
  • the thumbnail list may be displayed in a simple viewing manner displayed in a partial region while a predetermined image is displayed on the display 180 or in an entire viewing manner displayed in most regions of the display unit 151 ′.
  • the thumbnail images in the thumbnail list may be updated sequentially.
  • the display unit 151 ′ converts and drives an image signal, a data signal, an OSD signal, a control signal, or an image signal, data signal, control signal, etc. received from the external device interface unit 172. Generate a signal.
  • the display unit 151 ′ may be a PDP, an LCD, an OLED, a flexible display unit 151 ′ (flexible display), or a 3D display unit 151 ′ (3D display).
  • the display unit 151 ′ may be divided into an additional display unit 151 ′ and an independent display unit 151 ′.
  • the independent display unit 151 ' may be implemented as a 3D image by the display unit 151' alone, without an additional display unit 151 ', for example, glasses.
  • Various methods such as a lenticular method and a parallax barrier may be applied.
  • the additional display method as the 3D viewing device 184 in addition to the display unit 151 ', using the additional display unit 151' can implement a 3D image, for example, head-mounted display (HMD) type Various methods such as glasses type can be applied.
  • HMD head-mounted display
  • the spectacle type may be divided into a passive system such as a polarized glasses type and an active system such as a shutter glass type.
  • the head mounted display can be divided into a passive type and an active type.
  • the 3D viewing apparatus 184 may be a 3D glass capable of viewing a stereoscopic image.
  • the 3D glass 195 may include a passive polarized glass or an active shutter glass, and is described in a concept including the aforementioned head mount type.
  • the display unit 151 ′ may be configured as a touch screen and used as an input device in addition to the output device.
  • the sound output unit 153 receives a signal processed by the controller 180, for example, a stereo signal, a 3.1 channel signal, or a 5.1 channel signal, and outputs the sound.
  • the voice output unit 185 may be implemented by various types of speakers.
  • FIG. 5 is a block diagram illustrating components of a gesture engine controlling an application based on a gesture, according to an exemplary embodiment.
  • FIG. 6A is a flowchart illustrating a method of controlling an application based on a gesture, according to an exemplary embodiment. .
  • the gesture engine 520 includes an extraction unit 521, a tracking unit 522, a matching unit 523, and a parser 524.
  • the gesture engine 520 generates an event 602 of an application preset by the input gesture 501 sensed by the sensor 510.
  • the detector 510 detects a user's gesture outside the image display apparatus 100 (50).
  • the gesture of the user may correspond to a specific shape or movement using the user's body and the user's hand.
  • the sensing unit 510 may detect not only a part of a user's body but also a shape or a movement of a preset object.
  • the sensor may be implemented as a camera, and the camera may instantaneously image a part of a user's body or photograph a moving image for a preset time.
  • time information of execution data of the application is output to the display unit 151 (S20).
  • the application is executed based on a control command or a preset condition that is authorized by the user.
  • the execution may include an activation state of an application in which an execution screen is output on the display unit among a plurality of different applications currently being executed. That is, the visual information corresponds to an execution screen of the application.
  • the collection unit collects control gesture information 601 of the execution data (S30).
  • the control gesture information 601 may be named as GML (Gesture Markup Language).
  • the control gesture information 601 includes a control signal for generating an event for controlling the application and text representing a gesture for comparison with the sensed input gesture.
  • the control gesture information 601 is defined by the developer of each application, and the parser 524 interprets the control gesture information 601 provided from each application.
  • the GML is a language for defining or describing a gesture, and the gesture may be defined in an XML language or a Javascript language.
  • the GML consists of text, and the parser 524 interprets the GML.
  • the parser 524 is configured to perform a lexical analysis step of splitting the text token and a syntactic analysis step of configuring the tokens in a predetermined tree shape according to grammar.
  • the developer of the application defines the gesture as text that is split into the token, and the parser 524 of the gesture engine provided with the GML analyzes each GML. That is, the gesture engine analyzes the gesture indicated by the GML unique to each application.
  • the gesture engine 510 compares the input gesture with the control gesture information (S40). Specifically, the input gesture detected by the detector 510
  • the gesture engine 520 receives the input gesture 501 from the sensing unit 510 and receives control gesture information 601 included in execution data of the application from the application control unit 600.
  • the extractor 521 extracts a component of the input gesture 501.
  • the extractor 521 may analyze the control gesture information 601 and extract necessary components from the input gesture 501 captured by the detector. For example, when the control gesture information 601 includes text indicating movement of a finger in a circular shape, the extractor may extract information regarding a finger shape and a finger movement from the input gesture 501. That is, the extractor 521 extracts the necessary components from the input gesture 601 based on the text forming the control gesture information 601.
  • the tracking unit 522 tracks the moving trajectories of the extracted components.
  • the tracking unit 522 may track the movement trajectories of the components based on the extracted components and the text representing the trajectories included in the control gesture information 601. For example, the tracking unit 522 may track a trajectory similar to the circular shape during the movement of various components based on the text about the circular motion. That is, when the plurality of components are moving, the tracking unit 522 may track the trajectories of the components forming the curved track.
  • the tracking unit 522 may record the trajectory of the components to define the gesture of the user.
  • the order of driving the extraction unit 521 and the extraction unit 522 is not limited.
  • the tracker 522 may track the trajectory by an input gesture sensed by the sensor 510.
  • the parser 524 may change a language suitable for matching the control gesture information 601 provided from the application controller 600.
  • the matching unit 523 compares the control gesture information 601 changed from the parser 524 with the input gesture 501 (S40).
  • the matching unit 523 determines whether the input gesture 501 matches the control gesture information 601 with information about components and trajectories of the extractor 521 and the tracking unit 522. do.
  • the matching between the input gesture 501 and the control gesture information 601 may be determined whether the detected input gesture 501 is represented by text included in the control gesture information 601. . That is, when the information about each component of the input gesture 501 and the trajectory of each of the components substantially corresponds to the control gesture information, the matching unit 523 is configured to control the control gesture information 501 and the information. It may be determined that the input gesture 501 matches.
  • the matching unit 523 When the input gesture 501 and the control gesture information 601 match, the matching unit 523 generates an event 602 corresponding to the control gesture information 601 (S50). That is, the application control unit 600 may be controlled by an event included in the control gesture information 601. That is, the controller 180 controls the application based on a control signal included in the control gesture information and matching the input gesture.
  • the matching unit 523 transmits the information in which the input gesture 501 and the control gesture information 601 match or the control signal included in the event 602 to the application control unit 600. .
  • the other input gesture 501 and the control gesture information 601 are determined. Compare.
  • the application may be controlled by input of other control commands as well as an event included in the gesture information 601.
  • the detection unit 510 preferably continuously detects a user's gesture while the application is executed.
  • the extractor 521 and the matching unit 523 track component extraction and trajectory for the continuously detected input gesture 501 and record the result of the analyzed input gesture 501.
  • the memory 160 may be controlled.
  • the matching unit 523 may receive data related to another input gesture from the memory 160.
  • the detector 510 detects an input gesture (S10).
  • the detector 510 may detect the input gesture of the user even when the application is not executed.
  • the controller 180 controls the display unit 151 to output time information 710 of execution data of the application (S20).
  • the detector 510 detects the input gesture 501 while the application is running.
  • the detector 510 detects the shape of the finger and the movement trajectory of the finger.
  • the control gesture information included in the execution data of the application may correspond to a control signal for enlarging the visual information. If the control gesture information includes text corresponding to an operation of moving one finger upward, the controller 180 may control the display unit to switch the visual information 710 to the enlarged visual information 711. Can be.
  • the controller 180 may ignore the detected input gesture when the user's finger movement does not match the control gesture information.
  • FIG. 6B (d) illustrates a display unit in which the application is terminated and the time information 711 is switched to other screen information.
  • the gesture engine stops collecting control gesture information of the application, which is collected when the application is terminated. Also. Even if an input gesture is detected by the sensing unit, the input unit does not match the control gesture information.
  • the gesture engine may include unique gesture information corresponding to a control signal for controlling the image display itself.
  • the sensing unit 510 matches the control gesture information of the application with the input gesture when an input gesture 501 in which a user's finger moves upward is detected after the application is terminated. And the input gesture may be compared with the unique gesture information.
  • the controller may control the image display device in different ways even when the same input gesture is detected by the sensor.
  • the controller 180 may adjust the volume of the output sound based on an operation of moving one finger up of the user.
  • the user may control the application by using an input gesture applied to the application while the application is running.
  • the application is not applied when the application is terminated, thereby preventing confusion with a gesture control method inherent in the image display device itself.
  • the display unit 151 outputs first visual information 720 about the first application.
  • the gesture engine receives control gesture information included in execution data of the first application.
  • the matching unit 523 compares the detected input gesture 501 with the control gesture information, and controls the first application if a match is found.
  • the detector detects an input gesture in which a user's finger moves in a spiral shape.
  • the gesture engine determines whether the input gesture 501 corresponds to a control signal for changing a channel. If it is determined by the matching unit 523 that the input gesture 501 is matched with the control gesture information, the controller 180 controls the display unit to change the channel to output another screen information 721. do.
  • 6C and 6D are conceptual views for explaining a method of controlling the image display apparatus based on the input gesture when a first application is executed.
  • the second application is distinguished from the first application, and the second application is activated after the first application is terminated or the first application is inactive.
  • the display unit 151 outputs second visual information 730 of the second application.
  • the sensing unit 510 detects the input gesture 501 while the second application is executed.
  • the input gesture 501 of FIG. 6C and the input gesture 501 of FIG. 6C. Is substantially the same.
  • the input gestures shown in each drawing may be substantially the same in the shape of the user's fingers and the moving trajectory.
  • the gesture engine receives control gesture information for the second application to control the second application among execution data.
  • the matching unit 523 of the gesture engine compares the received gesture information with the input gesture.
  • the controller may control the video display device based on different control signals by substantially the same input gesture.
  • the controller 180 controls the display unit 151 to move a part of the image of the game using the input gesture 501.
  • control signals are applied to different first and second applications when substantially the same input gesture is input. That is, the execution data of each application may include different control signals corresponding to substantially the same input gesture.
  • the application may include information about a unique gesture for generating a control signal, which is controlled to be applicable only when the application is executed.
  • FIG. 7A is a conceptual diagram illustrating a method of controlling an image display apparatus using control gesture information including a condition.
  • FIG. 7B is a diagram illustrating gesture information including condition information according to an exemplary embodiment.
  • the control gesture information includes a 'flick' event or a 'rotate' event and includes texts indicating that the 'flick' function is executed.
  • the control gesture information includes text regarding a condition for stopping or stopping control by a gesture.
  • a condition in which the control by the gesture is stopped when the reception of the input gesture is temporarily stopped for functioning a condition in which the control is resumed when the reception of the input gesture is resumed, When disappearing, the control may also include at least one of a remove condition.
  • the present invention is not limited thereto.
  • the controller 180 converts the visual information 710 into another visual information 712 by the input gesture 501. To control.
  • the controller 180 may control to deactivate the detector 150.
  • the input gesture detection function of the detection unit 150 is stopped.
  • the controller 180 stops the control by the gesture. Therefore, even if the input gesture 501 is applied, the controller 180 can ignore it.
  • the driving of the gesture engine for generating the control signal can be temporarily stopped even while the application is running. Accordingly, power consumption for driving the gesture engine can be reduced.
  • FIG. 8A is a flowchart for describing a method of controlling the image display device by a continuously input gesture
  • FIG. 8B is a conceptual diagram for explaining the control method of FIG. 8A.
  • the extractor 521 extracts at least one component of the input gesture (S41).
  • the tracking unit 522 tracks the trajectory of the component (S42).
  • the matching unit 523 may specifically identify the image of the component. For example, the distance between the first and second components may be tracked (S43).
  • the matching unit 523 determines the up control signal UP.
  • the up control signal UP may generate an event such as raising screen information output to the display unit, moving an image up, or increasing a volume in a game application.
  • the matching unit 523 may have a distance between the first and second components f1 and f2 than a preset distance (as shown in the drawing, the preset distance may correspond to five).
  • the up control signal is changed to a down control signal DOWN.
  • the control unit changes back to the up control signal UP.
  • the matching unit 523 determines whether the additional component is detected (S44). The matching unit 523 determines the input gesture when the additional component is no longer detected.
  • the matching unit 523 determines the input gesture by measuring the distance between the additional components (S46). For example, when the third component f3 is additionally detected, the matching unit 523 may turn up when the distance between the first and second components f1 and f2 is greater than a preset distance. It can be confirmed by the control signal UP.
  • control signal is double-downed (TWO FINGER). DOWN).
  • the matching unit 523 may determine a control signal for the moving component and the added component based on the text included in the control gesture information.
  • FIG. 9A is a diagram illustrating control gesture information including information about speeds
  • FIG. 9B is a diagram illustrating input gestures moving at different speeds.
  • the control gesture information defines an input gesture that forms a triangle. According to the text of the triangle, the end point of the straight line vector and the start distance of the previous straight line vector must meet each other. That is, it includes text explaining that the distance between the end of move t and move t-2 is zero. In addition, the control gesture information defines the error tolerance as 0.3, and the operation range is designated as 500.
  • control gesture information may include text describing a shape formed by the component moving, vector information on which the component moves, and information related to accuracy.
  • control gesture information may be included in the execution data of each application, the developer of the application may generate various control signals using the gesture.
  • differentiated gestures can provide more interesting applications to the user.
  • the above-described image display apparatus and its control method are not limited to the configuration and method of the above-described embodiments, but the embodiments may be all or part of each of the embodiments so that various modifications can be made. It may be configured in combination.
  • the embodiments of the present invention control an application by using an input gesture when each application is activated by using control gesture information preset in each application, and can be applied to various industrial fields related thereto.

Abstract

본 발명은 사용자의 입력 제스처를 감지하는 감지부, 애플리케이션이 실행되면, 상기 애플리케이션의 실행 데이터 중 시각정보를 출력하는 디스플레이부, 상기 실행 데이터에 포함되는 제어 제스처 정보를 수집하는 수집부, 상기 애플리케이션이 실행되는 동안, 상기 감지부에 의하여 감지된 입력 제스처와 상기 제어 제스처 정보가 매칭되면, 상기 실행 데이터에 포함되고 상기 제어 제스처정보와 대응되는 상기 애플리케이션의 이벤트를 실행시키는 제어부를 포함하는 영상표시장치를 제공한다.

Description

영상표시장치 및 그 제어방법
본 발명은 제스처를 이용하여 제어 가능한 영상표시장치에 관한 것이다.
영상표시기기는 방송을 수신하여 표시하거나, 동영상을 기록 및 재생하는 장치와 오디오를 기록 및 재생하는 장치를 모두 포함한다. 상기 영상표시기기는 예를 들어, 텔레비전, 컴퓨터 모니터, 프로젝터, 테블릿 등을 포함한다.
이와 같은 영상표시기기는 기능이 다양화됨에 따라, 방송이나, 음악이나 동영상 파일의 재생 기능 외에도, 사진이나 동영상의 촬영, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다. 나아가, 최근에는 영상표시기기가 스마트 기기(예를 들어, 스마트 텔레비전)로서 구현되고 있다. 따라서, 영상표시기기는 인터넷 등을 실행시키거나, 이동 단말기나 컴퓨터와 연동하여 영상표시기기에 표시되는 화면정보를 선택적으로 이용할 수 있다. 예를 들어, 상기 영상표시기기에 표시되는 화면정보를 캡쳐하거나 저장하여 메모리 등에 저장하거나, 다른 출력방식으로 저장하는 등으로 활용할 수 있다.
최근에는 감지되는 사용자의 제스처에 근거하여 기능을 제어하는 기술이 개발되고 있다. 다만, 하나의 영상표시장치는 기 정의된 제스처를 감지하고, 제한된 범위 내의 기능만 실행시킬 수 있다.
다만, 영상표시장치의 기능이 다양해지고 실행가능한 애플리케이션이증가함에 따라 제스처를 이용한 애플리케이션의 제어에 한계가 있다.
이에 본 발명의 기술적 과제는 애플리케이션에 최적화된 독립적인 제스처에 의하여 제어되는 영상표시장치를 제공하는 것에 있다.
이와 같은 본 발명의 과제를 달성하기 위하여, 본 발명의 일 실시예에 따른 이동 단말기는 본 발명과 관련된 일 예로서, 사용자의 입력 제스처를 감지하는 감지부, 애플리케이션이 실행되면, 상기 애플리케이션의 실행 데이터 중 시각정보를 출력하는 디스플레이부, 상기 실행 데이터에 포함되는 제어 제스처 정보를 수집하는 수집부 및 상기 애플리케이션이 실행되는 동안, 상기 감지부에 의하여 감지된 입력 제스처와 상기 제어 제스처 정보가 매칭되면, 상기 실행 데이터에 포함되고 상기 제어 제스처정보와 대응되는 상기 애플리케이션의 이벤트를 실행시키는 제어부를 포함한다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 입력 제스처를 이루는 구성요소를 추출하는 추출부, 상기 추출된 구성요소의 이동궤적을 추적하는 추적부 및 상기 구성요소 및 구성요소의 이동궤적에 의하여 정의된 입력제스처와 상기 제어제스처 정보를 비교하는 매칭부를 포함한다.
본 발명과 관련된 일 예로서, 상기 제어 제스처 정보는 상기 구성요소의 개수, 상기 구성요소의 이동 방향, 복수의 구성요소 사이의 거리정보, 상기 구성요소가 이동하는 시간 및 상기 구성요소가 이동하는 형상 중 적어도 하나를 포함하는 텍스트와 상기 이벤트와 관련된 제어신호로 이루어진다.
본 발명과 관련된 일 예로서, 상기 제어 제스처 정보는, 상기 입력 제스처의 감지를 비활성화 또는 재활성화시키는 제어명령에 대응되는 기 설정된 조건을 포함한다.
본 발명과 관련된 일 예로서, 상기 제어 제스처 정보는, 상기 입력 제스처를 무시하도록 기 설정된 조건을 포함한다.
본 발명과 관련된 일 예로서, 상기 추출부는 상기 수집된 제어 제스처 정보를 이루는 텍스트에 근거하여 상기 구성요소를 추출한다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 애플리케이션이 종료되면 상기 입력 제스처와 상기 제어 제스처 정보의 매칭을 중단한다.
본 발명과 관련된 일 예로서, 상기 제어부는 상기 애플리케이션이 종료되면, 상기 입력 제스처에 의하여 상기 입력 제스처에 대응되도록 기 설정된 제어명령을 생성한다.
이와 같은 본 발명의 과제를 달성하기 위하여, 본 발명의 다른 실시예에 따른 이동 단말기의 제어방법은 사용자의 입력 제스처를 감지하는 단계, 애플리케이션이 실행되면, 상기 애플리케이션의 실행데이터를 수신하는 단계, 상기 실행데이터 중 상기 애플리케이션의 이벤트와 대응되는 제어 제스처 정보를 수집하는 단계, 상기 애플리케이션이 실행되는 동안 상기 제어 제스처 정보와 상기 입력 제스처를 비교하는 단계 및 상기 제어 제스처 정보와 상기 입력 제스처가 매칭되면 상기 이벤트를 발생시키는 단계를 포함한다.
본 발명과 관련된 일 예로서, 상기 애플리케이션이 실행되는 동안 상기 제어 제스처 정보와 상기 입력 제스처를 비교하는 단계는, 상기 입력 제스처의 구성요소를 추출하는 단계, 상기 구성요소의 궤도를 추적하는 단계, 상기 구성요소들 사이의 거리변화를 감지하는 단계를 포함한다.
본 발명에 따르면, 실행되는 애플리케이션에 따라 서로 다른 제스처로 영상표시장치를 제어할 수 있다. 이에 따라 애플리케이션의 개발자는 상기 애플리케이션의 성격에 적합한 제스처를 적용시킬 수 있다.
또한, 애플리케이션을 제어하는 제어 제스처 정보는 입력 제스처를 보다 정확하게 판단하는 조건들을 포함하여 보다 품질이 향상된 제스처 제어를 제공할 수 있으며, 조건들을 이용하여 불필요한 경우의 제스처 제어를 제한할 수 있다.
도 1은 본 명세서에 개시된 일 실시 예에 따른 단말기를 나타내는 블록도.
도 2 및 도 3은 본 발명에 따른 단말기가 동작 가능한 통신 시스템의 개념도.
도 4a 은 본 발명과 관련된 단말기의 일 예를 전면에서 바라본 사시도.
도 4b은 도 4a에 도시된 단말기의 후면 사시도.
도 4ㅊ는 본 발명의 일 실시예에 따른 영상표시장치의 내부 블록도.
도 4d는 본 발명의 일 실시예에 따른 영상표시장치의 개념도.
도 5는 일 실시예에 따라 제스처에 근거하여 애플리케이션을 제어하는 제스처엔진의 구성요소를 설명하기 위한 블록도.
도 6a는 일 실시예에 따라 제스처에 근거한 애플리케이션의 제어방법을 설명하기 위한 흐름도.
도 6b는 일 실시예에 따른 도 6a의 제어방법을 설명하기 위한 개념도.
도 6c는 다른 실시예에 따른 도 6a의 제어방법을 설명하기 위한 개념도.
도 7a는 조건을 포함하는 제어 제스처 정보를 이용한 영상표시장치의 제어방법을 설명하기 위한 개념도.
도 7b는 일 실시예에 따른 조건정보를 포함하는 제스처 정보를 나타내는 도면.
도 8a는 연속적으로 입력되는 입력 제스처에 의하여 영상표시장치를 제어하는 방법을 설명하기 위한 흐름도.
도 8b 및 도 8c는 도 8a의 제어방법을 설명하기 위한 개념도.
도 9a는 일 실시예 따른 속도에 관한 정보를 포함하는 제어 제스처 정보를 나타내는 도면.
도 9b는 서로 다른 속도로 이동하는 입력 제스처를 나타내는 도면.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 명세서에서 설명되는 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시 예에 따른 구성은 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 명세서에 개시된 일 실시 예에 따른 단말기를 나타내는 블록도이다.
상기 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 감지부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 단말기가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 단말기(100)와 무선 통신 시스템 사이 또는 단말기(100)와 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115)중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈(112)은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance),Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다.
위치정보 모듈(115)은 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 여기에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라는(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부 기기로 전송될 수 있다. 또한, 카메라(121)에서 획득되는 화상 프레임으로부터 사용자의 위치 정보 등이 산출될 수 있다.카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자입력부(130)는 사용자로부터 인가되는 단말기(100)의 동작을 제어하기 위한 제어명령에 따른입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
감지부(또는 센싱부, 140)는 단말기(100)의 개폐 상태, 단말기(100)의 위치, 사용자 접촉 유무, 단말기의 방위, 단말기의 가속/감속 등과 같이 단말기(100)의 현 상태를 감지하여 단말기(100)의 동작을 제어하기 위한 감지 신호 (또는 센싱 신호)를 발생시킨다. 예를 들어 감지부(140)는단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 감지할 수 있다. 또한, 감지부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 감지할 수도 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(153), 알람부(154) 및 햅틱 모듈(155) 등이 포함될 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에 디스플레이부(151)는촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디(body)의 후방에 위치한 사물을 볼 수 있다.
단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부(152)로서 구성될 수 있다.
여기서, 입체영상은 3차원 입체영상(3-dimensional stereoscopic image)을 나타내며, 3차원 입체 영상(3-dimensional stereoscopic image)은 모니터나 스크린 상에서 사물이 위치한 점진적 깊이감(depth)과 실체(reality)를 현실 공간과 동일하게 느낄 수 있도록 한 영상이다. 3차원 입체 영상은 양안시차(binocular disparity)를 이용하여 구현된다. 양안시차란 떨어져 있는 두 눈의 위치에 의하여 이루어지는 시차를 의미하는 것으로, 두 눈이 서로 다른 2차원 화상을 보고 그 화상들이 망막을 통하여 뇌로 전달되어 융합되면 입체 영상의 깊이감 및 실제감을 느낄 수 있게 된다.
상기 입체 디스플레이부(152)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. 가정용 텔레비전 수신기 등에 많이 이용되는 스테레오스코픽 방식에는 휘스톤스테레오스코프 방식 등이 있다.
상기 오토 스테레오스코픽 방식의 예로서, 패럴렉스 배리어(parallex barrier) 방식, 렌티큘러(lenticular) 방식, 집적영상(integral imaging) 방식, 스위츠블 렌즈(switchable lens) 등이 있다. 프로젝션 방식에는 반사형홀로그래픽 방식, 투과형홀로그래픽 방식 등이 있다.
일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.
또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이를 합쳐서 하나의 3차원 썸네일 영상을 생성할 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감감(depth)만큼 화면 상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.
3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부(미도시)에 의하여 입체 디스플레이부(152)에 표시될 수 있다. 입체 처리부는 3D 영상을 입력받아 이로부터 좌 영상과 우 영상을 추출하거나, 2D 영상을 입력받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.
한편, 디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 대상체가 터치 센서 상에 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
도 1을 참조하면, 상기 터치 스크린에 의해 감싸지는 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 근접 센서(141)는 상기 센싱부(140)의 일 예로서 구비될 수 있다.상기 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(141)의 예로는 투과형광전 센서, 직접 반사형광전 센서, 미러반사형광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 전도성을 갖는 물체(이하, 포인터라 함)의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
입체디스플레이부(152)와 터치 센서가 상호 레이어 구조를 이루는 경우(이하, '입체 터치스크린'이라 함)나, 입체 디스플레이부(152)와 터치 동작을 감지하는 3차원 센서가 서로 조합되는 경우에는 상기 입체 디스플레이부(152)는 3차원의 입력 장치로도 사용될 수 있다.
상기 3차원 센서의 예로서, 상기 센싱부(140)는 근접 센서(141), 입체 터치센싱부(142), 초음파 센싱부(143), 카메라 센싱부(144)를 포함할 수 있다.
근접센서(141)는 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 터치를 가하는 감지대상(예를 들어, 사용자의 손가락이나 스타일러스 펜)와 검출면과의 거리를 측정한다. 단말기는 이러한 거리를 이용하여 입체영상의 어느 부분이 터치되었는지를 인식하게 된다. 특히, 터치스크린이 정전식인 경우에는 상기 감지대상의 근접에 따른 전계의 변화로 상기 감지대상의 근접 정도를 검출하고, 이러한 근접 정도를 이용하여 3차원상의 터치를 인식하도록 구성된다.
입체터치센싱부(142)는 터치 스크린상에 가해지는 터치의 세기나 지속시간을 감지하도록 이루어진다. 예를 들어, 입체 터치센싱부(142)는 터치를 가하는 압력을 감지하고, 가압력이 강하면 이를 단말기의 내부를 향하여 터치 스크린과 보다 멀리 위치한 객체에 대한 터치로 인식한다.
초음파센싱부(143)는 초음파를 이용하여, 감지대상의 위치정보를 인식하도록 이루어진다.
초음파센싱부(143)는, 예를 들어 광 센서와 복수의 초음파 센서로 이루어질 수 있다. 광 센서는 광을 감지하도록 형성되며, 초음파 센서는 초음파를 감지하도록 형성된다. 광이 초음파보다 매우 빠르기 때문에, 광이 광 센서에 도달하는 시간은 초음파가 초음파 센서에 도달하는 시간보다 매우 빠르다. 따라서, 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치를 산출할 수 있게 된다.
카메라센싱부(144)는 카메라(121), 포토 센서, 레이저 센서 중 적어도 하나를 포함한다.
예를 들어,카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지한다. 카메라에 의하여 촬영된 2차원 영상에 레이저 센서에 의하여 감지된 거리정보가 더해지면, 3차원 정보가 획득될 수 있다.
또 다른 예로서, 포토 센서가 디스플레이 소자에 적층될 수 있다. 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보를 획득하게 된다.
음향 출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(153)은 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(153)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
알람부(154)는 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 단말기(100)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(154)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동을 이용하여, 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(153)을 통해서도 출력될 수 있어서, 디스플레이부(151) 및 음향 출력 모듈(153)은 알람부(154)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(155)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(155)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅택 모듈(155)이 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(155)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(155)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(155)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(155)은 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.
인터페이스부(170)는 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 단말기(100) 내부의 각 구성요소에 전달하거나, 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(170)에 포함될 수 있다.
한편, 식별 모듈은 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(170)를 통하여 단말기(100)와 연결될 수 있다.
또한, 상기인터페이스부(170)는 단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 단말기(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 단말기(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.
제어부(controller, 180)는 통상적으로 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
또한, 상기 제어부(180)는 상기 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.
또한, 상기 제어부(180)는 상기 단말기의 상태가 설정된 조건을 만족하면, 애플리케이션들에 대한 사용자의 제어 명령의 입력을 제한하는 잠금 상태를 실행할 수 있다. 또한, 상기 제어부(180)는 상기 잠금 상태에서 상기 디스플레이부(151)를 통해 감지되는 터치 입력에 근거하여 상기 잠금 상태에서 표시되는 잠금화면을 제어할 수 있다.
전원공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들은제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
다음으로,본 발명에 따른 단말기(100)를 통해 실시 가능한 통신 시스템에 대하여 살펴본다. 도 2a 및 도2b는 본 발명에 따른 단말기(100)가 동작 가능한 통신 시스템의 개념도이다.
먼저, 도 2a를 살펴보면, 통신 시스템은, 서로 다른 무선 인터페이스 및/또는 물리 계층을 이용할 수도 있다. 예를 들어, 통신 시스템에 의해 이용 가능한 무선 인터페이스에는, 주파수 분할 다중 접속(Frequency Division Multiple Access, FDMA), 시분할 다중 접속(Time Division Multiple Access, TDMA), 코드 분할 다중 접속(Code Division Multiple Access, CDMA), 범용 이동통신 시스템(Universal Mobile Telecommunications Systems, UMTS)(특히, LTE(Long Term Evolution)), 이동통신 글로벌 시스템(Global System for Mobile Communications, GSM) 등이 포함될 수 있다.
이하에서는, 설명의 편의를 위하여, CDMA에 한정하여 설명하도록 한다. 그러나, 본 발명은, CDMA 무선 통신 시스템을 포함한 모든 통신 시스템 적용될 수 있음은 자명하다.
도2a에 도시된 바와 같이, CDMA 무선 통신 시스템은, 적어도 하나의 단말기(100), 적어도 하나의 기지국(Base Station, BS)(270), 적어도 하나의 기지국 제어부(180)(Base Station Controllers, BSCs)(275), 이동 스위칭 센터(Mobile Switching Center, MSC)(280)를 포함할 수 있다. MSC(280)는, 일반 전화 교환망(Public Switched Telephone Network, PSTN)(290) 및 BSCs(275)와 연결되도록 구성된다. BSCs(275)는, 백홀 라인(backhaul line)을 통하여, BS(270)와 짝을 이루어 연결될 수 있다. 백홀 라인은, E1/T1, ATM, IP, PPP, Frame Relay, HDSL, ADSL 또는 xDSL 중 적어도 하나에 따라서 구비될 수 있다. 따라서, 복수의 BSCs(275)가 도 2a에 도시된 시스템에 포함될 수 있다.
복수의 BS(270) 각각은 적어도 하나의 섹터를 포함할 수 있고, 각각의 섹터는, 전방향성 안테나 또는 BS(270)로부터 방사상의 특정 방향을 가리키는 안테나를 포함할 수 있다. 또한, 각각의 섹터는, 다양한 형태의 안테나를 두 개 이상 포함할 수도 있다. 각각의 BS(270)는, 복수의 주파수 할당을 지원하도록 구성될 수 있고, 복수의 주파수 할당은 각각 특정 스펙트럼(예를 들어, 1.25MHz, 5MHz 등)을 가질 수 있다.
섹터와 주파수 할당의 교차는, CDMA 채널이라고 불릴 수 있다. BS(270)은 는, 기지국 송수신 하부 시스템(Base Station Transceiver Subsystem, BTSs)이라고 불릴수 있다.이러한 경우, 하나의 BSC(275) 및 적어도 하나의 BS(270)를 합하여“기지국”이라고 칭할 수 있다.기지국은, 또한 "셀 사이트"를 나타낼 수도 있다. 또는, 특정 BS(270)에 대한 복수의 섹터들 각각은, 복수의 셀 사이트로 불릴 수도 있다.
도2a에 도시된 바와 같이, 방송 송신부(Broadcasting Transmitter, BT)(295)는, 시스템 내에서 동작하는 단말기들(100)에게 방송 신호를 송신한다. 도 1에 도시된 방송 수신 모듈(111)은, BT(295)에 의해 전송되는 방송 신호를 수신하기 위해 단말기(100) 내에 구비된다.
뿐만 아니라, 도 2a에서는, 위성 위치 확인 시스템(Global Positioning System, GPS)의 위성(300)을 도시한다. 상기 위성(300)은, 단말기(100)의 위치를 파악하는 것을 돕는다. 도 2a에서는 두 개의 위성이 도시되어 있지만, 유용한 위치 정보는, 두 개 이하 또는 이상의 위성들에 의해 획득될 수도 있다. 도 1에 도시된 위치정보 모듈(115)은, 원하는 위치 정보를 획득하기 위하여 도 2a에 도시된 위성(300)과 협력한다. 여기에서는, GPS 추적 기술뿐만 아니라 위치를 추적할 수 있는 모든 기술들을 이용하여 단말기(100)의 위치가 추적될 수 있다. 또한, GPS 위성(300) 중 적어도 하나는, 선택적으로 또는 추가로 위성 DMB 전송을 담당할 수도 있다.
무선 통신 시스템의 전형적인 동작 중, BS(270)는, 단말기(100)로부터 역 링크 신호를 수신한다. 이때, 단말기(100)는, 호를 연결 중이거나, 메시지를 송수신 중이거나 또는 다른 통신 동작을 수행하고 있다. 특정 기지국(270)에 의해 수신된 역 링크 신호들 각각은, 특정 기지국(270)에 의해 내에서 처리된다. 상기 처리 결과 생성된 데이터는, 연결된 BSC(275)로 송신된다. BSC(275)는, 기지국들(270) 간의 소프트 핸드오프(soft handoff)들의 조직화를 포함하여, 호 자원 할당 및 이동성 관리 기능을 제공한다. 또한, BSCs(275)는, 상기 수신된 데이터를 MSC(280)로 송신하고, MSC(280)는, PSTN(290)과의 연결을 위하여 추가적인 전송 서비스를 제공한다. 또한, 이와 유사하게 PSTN(290)은 MSC(280)와 연결되고, MSC(280)는 BSCs(275)와 연결되고, BSCs(275)는 단말기(100)로 순 링크 신호가 전송되도록 BS(270)를 제어할 수 있다.
다음으로, 도 2b에서는 와이파이 위치추적 시스템(WPS: WiFi(Wireless Fidelity) Positioning System)을 이용하여, 단말기의 위치정보를 획득하는 방법에 대하여 살펴본다.
와이파이 위치추적 시스템(WPS: WiFi Positioning System, 300)은 단말기(100)에 구비된 WiFi모듈 및 상기 WiFi모듈과 무선신호를 송신 또는 수신하는 무선 AP(Wireless Access Point, 320)를 이용하여, 단말기(100)의 위치를 추적하는 기술로서, WiFi를 이용한 WLAN(Wireless Local Area Network)기반의 위치 측위 기술을 의미한다.
와이파이 위치추적 시스템(300)은 와이파이위치측위 서버(310), 단말기(100), 상기 단말기(100)와 접속된 무선 AP(330), 임의의 무선 AP정보가 저장된 데이터 베이스(330)를 포함할 수 있다.
와이파이위치측위 서버(310)는 단말기(100)의 위치정보 요청 메시지(또는 신호)에 근거하여, 단말기(100)와 접속된 무선 AP(320)의 정보를 추출한다. 상기 단말기(100)와 접속된 무선 AP(320)의 정보는 단말기(100)를 통해 상기 와이파이위치측위 서버(310)로 전송되거나, 무선 AP(320)에서와이파이위치측위 서버(310)로 전송될 수 있다.
상기 단말기(100)의 위치정보 요청 메시지에 근거하여, 추출되는 무선 AP의 정보는 MAC Address, SSID, RSSI, 채널정보, Privacy, Network Type, 신호세기(Signal Strength) 및노이즈 세기(Noise Strength )중 적어도 하나일 수 있다.
와이파이위치측위 서버(310)는 위와 같이, 단말기(100)와 접속된 무선 AP(320)의 정보를 수신하여, 미리 구축된 데이터베이스(330)에 포함된 정보와상기 수신된 무선 AP(320) 정보를 비교하여, 상기 단말기(100)의 위치정보를 추출(또는 분석)한다.
한편, 도 2b에서는 일 예로서, 단말기(100)와 접속되어 있는 무선 AP를 제1, 제2 및 제3 무선 AP(320)로 도시하였다. 그러나, 단말기(100)와 접속되는 무선 AP의 수는 단말기(100)가 위치한 무선 통신환경에 따라 다양하게 변경될 수 있다. 와이파이위치추척 시스템(300)은 단말기(100)가 적어도 하나의 무선 AP와 접속되는 경우, 단말기(100)의 위치를 추적하는 것이 가능하다.
다음으로, 임의의 무선 AP정보가 저장되어 있는 데이터 베이스(330)에 대하여 보다 구체적으로 살펴보면, 상기 데이터 베이스(330)에는 서로 다른 위치에 배치된 임의의 무선 AP들의 다양한 정보가 저장될 수 있다.
상기 데이터 베이스(300)에 저장되는 임의의 무선 AP들의 정보는 MAC Address, SSID, RSSI, 채널정보, Privacy, Network Type, 무선 AP의 위경도 좌표, 무선 AP가 위치한 건물명, 층수, 실내 상세 위치정보(GPS 좌표 이용가능), AP소유자의 주소, 전화번호 등의 정보일 수 있다.
이와 같이, 상기 데이터베이스(330)에는 임의의 무선 AP정보 및 상기 임의의 무선 AP에 대응되는 위치정보가 함께 저장되어 있으므로, 와이파이위치측위 서버(310)는 상기 데이터베이스(330)에서 단말기(100)에 접속된 무선 AP(320)의 정보와 대응되는 무선 AP정보를 검색하고, 검색된 무선 AP정보에 매칭된 위치정보 추출함으로써, 단말기(100)의 위치정보를 추출할 수 있다.
도 3a 은 본 발명과 관련된 단말기(100)의 일 예를 전면에서 바라본 사시도이다.
개시된 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 와치 타입, 클립 타입, 안경 타입 또는 2 이상의 바디들이 상대 이동 가능하게 결합되는 폴더 타입, 플립 타입, 슬라이드 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용될 수 있다.
바디는 외관을 이루는 케이스(프레임, 하우징, 커버 등)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 중간 케이스가 추가로 배치될 수 있으며, 배터리(191)를 덮는 배터리 커버(103)가 리어 케이스(102)에 착탈 가능하게 구성될 수도 있다.
케이스들은 합성수지를 사출하여 형성되거나 금속, 예를 들어 스테인레스 스틸(STS), 알루미늄(Al), 티타늄(Ti) 등으로 형성될 수도 있다.
단말기바디의 전면에는 디스플레이부(151), 제1음향출력모듈(153a), 제1카메라(121a), 제1조작유닛(131) 등이 배치되며, 측면에는 마이크(122), 인터페이스부(170), 제2조작유닛(132) 등이 구비될 수 있다.
디스플레이부(151)는 단말기(100)에서 처리되는 정보를 표시(출력)하도록 이루어진다. 디스플레이부(151)는 정보를 시각적으로 표현하는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
상기 디스플레이부(151)는 터치방식에 의하여 제어 명령을 입력 받을 수 있게 터치감지수단을 포함할 수 있다. 디스플레이부(151) 상의 어느 한 곳에 대하여 터치가 이루어지면 터치감지수단은 이를 감지하고 그 터치된 위치에 대응하는 내용이 입력되게 구성될 수 있다. 터치방식에 의하여 입력되는 내용은 문자 또는 숫자이거나, 각종 모드에서의 지시 또는 지정 가능한 메뉴항목 등일 수 있다.
터치감지수단은 디스플레이부(151)에서 출력되는 시각 정보가 보일 수 있도록 투광성으로 형성되며, 밝은 곳에서 터치스크린의 시인성(visibility)을 높이기 위한 구조가 포함될 수 있다. 도 3a에 의하면, 디스플레이부(151)는 프론트 케이스(101)의 전면(front surface)의 대부분을 차지한다.
디스플레이부(151)의 양단부 중 일단부에 인접한 영역에는 제1음향출력모듈(153a)과제1카메라(121a)가 배치되고, 다른 단부에 인접한 영역에는 제1조작유닛(131)과 마이크(122)가 배치된다. 제2조작유닛(132, 도 3b 참조), 인터페이스부(170) 등은 단말기 바디의 측면에 배치될 수 있다.
제1음향출력모듈(153a)은 통화음을 사용자의 귀에 전달시키는 리시버(receiver) 또는 각종 알람음이나 멀티미디어의 재생음을 출력하는 라우드 스피커(loud speaker)의 형태로 구현될 수 있다.
제1음향출력모듈(153a)로부터 발생되는 사운드는 구조물 간의 조립틈을 따라 방출되도록 구성될 수 있다. 이 경우, 외관상 음향 출력을 위하여 독립적으로 형성되는 홀이 보이지 않거나, 숨겨져 단말기(100)의 외관이 보다 심플해질 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니며, 상기 사운드의 방출을 위한 홀이 윈도우에 형성될 수 있다.
제1카메라(121a)는 화상통화 모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
사용자입력부(130)는 단말기(100)의 동작을 제어하기 위한 명령을 입력 받기 위해 조작되는 것으로서, 제1 및 제2조작유닛(131, 132)을 포함할 수 있다. 제1 및 제2조작유닛(131, 132)은 조작부(manipulating portion)로도 통칭될 수 있으며, 터치, 푸쉬, 스크롤 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.
본 도면에서는 제1 조작유닛(131)이 터치키(touch key)인 것을 기준으로 예시하나, 본 발명은 이에 한정되는 것은 아니다. 예를 들어 제1 조작유닛(131)은 푸시키(mechanical key)가 되거나, 터치키와 푸시키의 조합으로 구성될 수 있다.
제1 및/또는 제2조작유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1조작유닛(131)은 메뉴, 홈키, 취소, 검색 등과 같은 명령을 입력 받고, 제2조작유닛(132)은 제1음향출력모듈(153a)에서 출력되는 음향의 크기 조절 또는 디스플레이부(151)의 터치 인식 모드로의 전환 등과 같은 명령을 입력 받을 수 있다.
마이크(122)는 사용자의 음성, 기타 소리 등을 입력 받도록 형성된다. 마이크(122)는 복수의 개소에 구비되어 스테레오음향을 입력받도록 구성될 수 있다.
인터페이스부(170)는 단말기(100)가 외부기기와 데이터 교환 등을 할 수 있게 하는 통로가 된다. 예를 들어, 인터페이스부(170)는 유선 또는 무선으로 이어폰과 연결하기 위한 접속단자, 근거리 통신을 위한 포트{예를 들어 적외선 포트(IrDA Port), 블루투스 포트(Bluetooth Port), 무선 랜 포트(Wireless LAN Port)등}, 또는 단말기(100)에 전원을 공급하기 위한 전원공급 단자들 중 적어도 하나일 수 있다. 이러한 인터페이스부(170)는 SIM(Subscriber Identification Module) 또는 UIM(User Identity Module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 소켓의 형태로 구현될 수 있다.
도3b은 도 3a에 도시된 단말기(100)의 후면 사시도이다.
도3b를 참조하면, 단말기 바디의 후면, 다시 말해서 리어 케이스(102)에는 제2카메라(121b)가 추가로 장착될 수 있다. 제2카메라(121b)는 제1카메라(121a, 도 3a 참조)와 실질적으로 반대되는 촬영 방향을 가지며, 제1카메라(121a)와 서로 다른 화소를 가지는 카메라일 수 있다.
예를 들어, 제1카메라(121a)는 화상 통화 등의 경우에 사용자의 얼굴을 촬영하여 상대방에 전송함에 무리가 없도록 저 화소를 가지며, 제2카메라(121b)는 일반적인 피사체를 촬영하고 바로 전송하지는 않는 경우가 많기에 고 화소를 가지는 것이 바람직하다. 제1 및 제2카메라(121a,121b)는 회전 또는 팝업(pop-up) 가능하게 단말기 바디에 설치될 수도 있다.
제2카메라(121b)에 인접하게는 플래시(123)와 거울(124)이 추가로 배치된다. 플래시(123)는 제2카메라(121b)로 피사체를 촬영하는 경우에 피사체를 향해 빛을 비추게 된다. 거울(124)은 사용자가 제2카메라(121b)를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다.
단말기 바디의 후면에는 제2음향출력모듈(153b)이 추가로 배치될 수도 있다. 제2음향출력모듈(153b)은제1음향출력모듈(153a, 도 3a 참조)과 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.
단말기 바디의 측면에는 통화 등을 위한 안테나 외에 방송신호 수신용 안테나(미도시)가 추가적으로 배치될 수 있다. 방송수신모듈(111, 도 1 참조)의 일부를 이루는 안테나는 단말기 바디에서 인출 가능하게 설치될 수 있다.
단말기 바디에는 단말기(100)에 전원을 공급하기 위한 전원공급부(190, 도 1 참조)가 구비된다. 전원공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 착탈 가능하게 구성되는 배터리(191)를 포함할 수 있다. 본 도면에서는 배터리 커버(103)가 배터리(191)를 덮도록 리어 케이스(102)에 결합되어 배터리(191)의 이탈을 제한하고, 배터리(191)를 외부 충격과 이물질로부터 보호하는 것을 예시하고 있다.
그리고, 이렇게 추출된 단말기(100)의 위치정보는 상기 와이파이 위치측위 서버(310)를 통해 단말기(100)로 전송됨으로써, 단말기(100)는 위치정보를 획득할 수 있다.
본 발명에 따르면 상기 단말기는 통신시스템 및 상기 무선 통신부(110)를 이용하여 사용자가 입력한 검색어와 관련된 정보를 검색하는 기능을 수행할 수 있다. 예를 들어, 상기 메모리(160)에 저장된 정보 중 사용자가 원하는 정보를 검색하거나, 웹 상에 존재하는 정보들 중 입력된 검색어와 관련된 정보를 검색할 수 있다.
상기 제어부는 검색된 정보를 출력하도록 상기 디스플레이부를 제어한다. 본 발명에 따르면 상기 제어부는 상기 검색된 정보를 기 설정된 레이아웃에 따라 정렬하여 출력하도록 상기 디스플레이부를 제어한다.
한편, 본 발명에 따른 단말기는 휴대가 가능한 단말기뿐만 아니라 이미지를 출력하는 영상표시장치를 포함할 수 있다. 도 4a는 본 발명의 일 실시예에 따른 영상표시장치의 내부 블록도이고, 도 4b는 본 발명의 일 실시예에 따른 영상표시장치의 개념도이다.
위에 단말기를 단말기로 다시 표시
도 1, 도 4a 및 도 4b를 참조하면, 본 발명의 일 실시예 따른 영상표시장치(100')는 튜너부(182), 복조부(183), 외부장치 인터페이스부(172), 네트워크 인터페이스부(173), 저장부(160), 사용자입력 인터페이스부(171), 센서부(미도시), 제어부(180), 디스플레이부(151'), 음향 출력부(153), 및 3D 시청장치(184)를 포함할 수 있다. 튜너부(182)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기 저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너부(182)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(182)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성신호(CVBS/SIF)는 제어부(180)로 직접 입력될 수 있다.
또한, 튜너부(182)는 ATSC(Advanced Television System Committee) 방식에 [0017] 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다.
한편, 튜너부(182)는, 본 발명에서 안테나를 통해 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.
한편, 튜너부(182)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(183)는 튜너부(182)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 예를 들어, 튜너부(182)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(183)는 8-VSB(7-Vestigal Side Band) 복조를 수행한다. 또한, 복조부(183)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(183)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.
예를 들어, 튜너부(182)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(183)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(183)는, 채널 복호화를 수행할 수 도 있다. 이를 위해, 복조부(183)는, 컨벌루션 디코더(convolution decoder), 디인터리버, 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다. 복조부(183)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
한편, 상술한 복조부(183)는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비되는 것이 가능하다. 즉, ATSC 복조부와, DVB 복조부로 구비되는 것이 가능하다.
복조부(183)에서 출력한 스트림 신호는 제어부(180)로 입력될 수 있다. 제어부(180)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(151')에 영상을 출력하고, 음향 출력부(153)로 음성을 출력한다.
외부장치 인터페이스부(172)는, 접속된 외부 장치(190)와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(172)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다. 외부장치 인터페이스부(172)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치(190)와 유/무선으로 접속될 수 있다. 외부장치 인터페이스부(172)는 접속된 외부 장치(190)를 통하여 외부에서 입력되는 영상, 음성 또는 데이터 신호를 영상표시장치(100)의 제어부(180)로 전달한다. 또한, 제어부(180)에서 처리된 영상, 음성 또는 데이터 신호를 연결된 외부 장치로 출력할 수 있다. 이를 위해, 외부장치 인터페이스부(172)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할수 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 영상표시장치(100)로 입력할 수 있도록, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자 등을 포함할 수 있다.
무선 통신부는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 영상표시장치(100)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee), DLNA(Digital Living Network Alliance) 등의 통신 규격에 따라 다른 전자기기와 네트워크 연결될 수 있다.
또한, 외부장치 인터페이스부(172)는, 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다. 한편, 외부장치 인터페이스부(172)는, 3D 시청장치(184)와 데이터를 송수신할 수 있다. 네트워크 인터페이스부(173)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 네트워크 인터페이스부(173)는, 유선 네트워크와의 접속을 위해, 이더넷(Ethernet) 단자 등을 구비할 수 있으며, 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 통신 규격 등이 이용될 수 있다.
네트워크 인터페이스부(173)는, 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크를 통하여 인터넷, 컨텐츠 제공자 등으로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있다. 또한, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
또한, 네트워크 인터페이스부(173)는, 예를 들어, IP(internet Protocol) TV와 접속되어, 양방향 통신이 가능하도록, IPTV용 셋탑 박스에서 처리된 영상, 음성 또는 데이터 신호를 수신하여 제어부(180)로 전달할 수 있으며, 제어부(180)에서 처리된 신호들을 IPTV용 셋탑 박스로 전달할 수 있다.
한편, 상술한 IPTV는, 전송네트워크의 종류에 따라 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함하는 의미일 수 있으며, TV over DSL, Video over DSL, TV overIP(TVIP), Broadband TV(BTV) 등을 포함하는 의미일 수 있다. 또한, IPTV는 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 포함하는 의미일 수도 있다.
저장부(160)는, 제어부(180) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
또한, 저장부(160)는 외부장치 인터페이스부(172)로 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(160)는, 채널 맵 등의 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
저장부(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬
(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시장치(100)는, 저장부(160) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수 있다.
도 1은 저장부(160)가 제어부(180)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(160)는 제어부(180) 내에 포함될 수 있다. 사용자입력 인터페이스부(171)는, 사용자가 입력한 신호를 제어부(180)로 전달하거나, 제어부(180)로부터의 신호를 사용자에게 전달한다. 예를 들어, 사용자입력 인터페이스부(171)는, RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 수신하거나, 제어부(180)로부터의 신호를 원격제어장치(200)로 송신할 수 있다.
또한, 예를 들어, 사용자입력 인터페이스부(171)는, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 제어부(180)에 전달할 수 있다. 감지부(140)는, 사용자의 위치 또는 사용자의 제스처, 터치 또는 3D 시청장치(184)의 위치를 감지할 수 있다. 이를 위해, 감지부(140)는, 터치 센서, 음성 센서, 위치 센서, 동작 센서, 자이로 센서 등을 포함할 수 있다.
감지된 사용자의 위치, 사용자의 제스처, 터치 또는 3D 시청장치(184)의 위치 신호는 제어부(180)에 입력될 수 있다. 또는, 도면과 달리, 사용자입력 인터페이스부(171)를 통해, 제어부(180)에 입력될 수도 있다.
제어부(180)는, 튜너부(182) 또는 복조부(183) 또는 외부장치 인터페이스부(172)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(180)에서 영상 처리된 영상 신호는 디스플레이부(151')로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(180)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(172)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(180)에서 처리된 음성 신호는 음향 출력부(153)로 음향 출력될 수 있다. [0047] 또한, 제어부(180)에서 처리된 음성 신호는 외부장치 인터페이스부(172)를 통하여 외부 출력장치로 입력될 수 있다.
그 외, 제어부(180)는, 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(180)는 튜너부(182)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(180)는 사용자입력 인터페이스부(171)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다. 예를 들어, 제어부(180)는, 사용자입력 인터페이스부(171)를 통하여 수신한 소정 채널 선택 명령에 따라 선택한 채널의 신호가 입력되도록 튜너부(182)를 제어한다. 그리고, 선택한 채널의 영상, 음성 또는 데이터 신호를 처리한다. 제어부(180)는, 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(151') 또는 음향 출력부(153)를 통하여 출력될 수 있도록 한다.
다른 예로, 제어부(180)는, 사용자입력 인터페이스부(171)를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부장치 인터페이스부(172)를 통하여 입력되는 외부 장치(190), 예를 들어, 카메라 또는 캠코더로부터의 영상신호 또는 음성 신호가 디스플레이부(151') 또는 음향 출력부(153)를 통해 출력될 수 있도록 한다.
한편, 제어부(180)는, 영상을 표시하도록 디스플레이부(151')를 제어할 수 있다. 예를 들어, 튜너부(182)를 통해 입력되는 방송 영상, 외부장치 인터페이스부(172)를 통해 입력되는 외부 입력 영상 또는 네트워크 인터페이스부(173)를 통해 입력되는 영상 또는 저장부(160)에 저장된 영상을 디스플레이부(151')에 표시하도록 제어할 수 있다.
이때, 디스플레이부(151')에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 제어부(180)는 디스플레이부(151')에 표시되는 영상 중에, 소정 오브젝트에 대해 3D 오브젝트로 생성하여 표시되도록 한다. 예를 들어, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다. 양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다. 이러한 3D 오브젝트는, 디스플레이부(151')에 표시되는 영상과 다른 깊이를 가지도록 처리될 수 있다. 바람직하게는 3D 오브젝트가 디스플레이부(151')에 표시되는 영상에 비해 돌출되어 보이도록 처리될 수 있다.
한편, 제어부(180)는, 촬영부(미도시)로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식한다. 예를 들어, 사용자와 영상표시장치(100)간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 사용자 위치에 대응하는 디스플레이부(151') 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
한편, 제어부(180)는, 시청 장치에 따라, 해당하는 영상의 시청이 가능하도록 신호 처리를 수행할 수 있다. 예를 들어, 감지부(140) 또는 촬영부(미도시)에서 시청 장치(195)의 존재, 동작 여부, 또는 개수를 감지하는 경우, 제어부(180)는, 시청 장치(195)와의 페어링을 위한 신호 처리를 수행할 수 있다. 즉, 페어링 신호를 시청장치(184)로 출력하도록 제어하며, 시청 장치(195)로부터 응답 신호를 수신하도록 제어할 수 있다.
한편, 제어부(180)는, 감지되는 시청 장치(195)의 개수에 따라, 방송 영상이 수신되도록 튜너부(182)를 제어할 수 있다. 예를 들어, 감지되는 시청 장치의 개수가 3개인 경우, 복수의 튜너를 구비하는 튜너부(182)를 제어하여, 서로 다른 채널의 방송 영상을 수신하도록 제어할 수 있다. 그리고, 제어부(180)는, 각 시청 장치에 동기시켜, 서로 다른 시간에, 각각의 방송 영상을 표시하도록 제어할 수 있다.
한편, 제어부(180)는, 감지되는 시청 장치의 개수에 따라, 입력되는 외부 입력 영상을 수신하는 것도 가능하다. 예를 들어, 감지되는 시청 장치의 개수가 3개인 경우, 각각, 방송 영상, DVD 등의 광학 장치로부터의 외부 입력영상, PC 로부터의 외부 입력 영상을 수신하도록 제어할 수 있다. 그리고, 제어부(180)는, 각 시청 장치에 동기시켜, 서로 다른 시간에, 각각의 영상(방송 영상, DVD 영상, PC 영상)을 표시하도록 제어할 수 있다.
한편, 제어부(180)는, 영상 표시 중, 감지되는 시청 장치의 개수가 증가할때 마다, 표시되는 영상의 수직 동기 주파수(Vsync)를 증가시켜, 해당 영상들이 표시되도록 제어할 수 있다. 예를 들어, 1/60초 동안, 제1 영상과 제2 영상이 각각 제1 시청 장치와 제2 3D 시청장치에 동기되어 표시되다가, 제3 시청 장치가 사용되는 경우, 1/60초 동안, 제1 영상 내지 제3 영상을 각각 제1 시청 장치 내지 제3 시청 장치에 동기되어 표시되도록 제어할 수 있다. 즉, 수직 동기 주파수를 120Hz로 하여, 제1 영상과 제2 영상을 표시하다가, 수직 동기 주파수를 180HZ로 하여, 제1 영상 내지 제3 영상을 표시하도록 제어할 수 있다.
한편, 제어부(180)는, 각 시청 장치 별로, 시청 가능한 영상 검색 대상, 예를 들어 방송 영상의 채널 검색 대상을 달리하여, 설정할 수 있다. 예를 들어, 어른과 아이 등 연령 별로, 채널 검색 대상을 달리 설정하여, 채널 검색시, 검색 대상을 달리할 수 있다. 그외, 취향별, 성별, 최근 시청 채널별, 또는 프로그램 등급별로 구분하여 제공하는 것도 가능하다.
한편, 제어부(180)는, 제1 시청 장치와 제2 시청 장치에서 서로 동일한 영상을 선택하는 경우, 중복임을 나타내는 메시지를 통지하도록 제어할 수 있다. 이러한 메시지는, 디스플레이부(151') 상에 오브젝트 형태로 표시되던가, 또는 각 시청 장치에, 무선 신호로서 전송될 수 있다.
한편, 도면에 도시하지 않았지만, 채널 신호 또는 외부 입력 신호에 대응하는 썸네일 영상을 생성하는 채널 브라우징 처리부가 더 구비되는 것도 가능하다. 채널 브라우징 처리부는, 복조부(183)에서 출력한 스트림 신호(TS) 또는 외부장치 인터페이스부(172)에서 출력한 스트림 신호 등을 입력받아, 입력되는 스트림 신호로부터 영상을 추출하여 썸네일 영상을 생성할 수 있다. 생성된 썸네일 영상은 그대로 또는 부호화되어 제어부(180)로 입력될 수 있다. 또한, 생성된 썸네일 영상은 스트림 형태로 부호화되어 제어부(180)로 입력되는 것도 가능하다.
제어부(180)는 입력된 썸네일 영상을 이용하여 복수의 썸네일 영상을 구비하는 썸네일 리스트를 디스플레이부(151')에 표시할 수 있다. 이때의 썸네일 리스트는, 디스플레이(180)에 소정 영상을 표시한 상태에서 일부 영역에 표시되는 간편 보기 방식으로 표시되거나, 디스플레이부(151')의 대부분 영역에 표시되는 전체 보기 방식으로 표시될 수 있다. 이러한 썸네일 리스트 내의 썸네일 영상은 순차적으로 업데이트 될 수 있다.
디스플레이부(151')는, 제어부(180)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(172)에서 수신되는 영상 신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다.
디스플레이부(151')는 PDP, LCD, OLED, 플렉시블 디스플레이부(151')(flexible display)등이 가능하며, 또한, 3차원 디스플레이부(151')(3D display)가 가능할 수도 있다. 이러한, 3차원 영상 시청을 위해, 디스플레이부(151')는, 추가 디스플레이부(151') 방식과 단독 디스플레이부(151') 방식으로 나뉠 수 있다. 단독 디스플레이부(151') 방식은, 별도의 추가 디스플레이부(151'), 예를 들어 안경(glass) 등이 없이, 디스플레이부(151') 단독으로 3D 영상을 구현할 수 있는 것으로서, 그 예로, 렌티큘라 방식, 파라랙스 베리어(parallax barrier) 등 다양한 방식이 적용될 수 있다.
한편, 추가 디스플레이 방식은, 디스플레이부(151') 외에 3D 시청장치(184)로서 추가 디스플레이부(151')를 사용하여, 3D영상을 구현할 수 있는 것으로서, 그 예로, 헤드 마운트 디스플레이(HMD) 타입, 안경 타입 등 다양한 방식이 적용될 수 있다.
한편, 안경 타입은, 편광 안경 타입 등의 패시브(passive) 방식과, 셔터 글래스(ShutterGlass) 타입 등의 액티브(active) 방식으로 다시 나뉠 수 있다. 그리고, 헤드 마운트 디스플레이 타입에서도 패시브 방식과 액티브 방식으로 나뉠 수 있다.
한편, 3D 시청장치(184)는, 입체 영상 시청이 가능한 3D용 글래스일 수도 있다. 3D용 글래스(195)는, 패시브 방식의 편광 글래스 또는 액티브 방식의 셔터 글래스를 포함할 수 있으며, 상술한 헤드 마운트 타입도 포함하는개념으로 기술된다.
한편, 디스플레이부(151')는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다. 음향 출력부(153)는, 제어부(180)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1채널 신호를 입력 받아 음성으로 출력한다. 음성 출력부(185)는 다양한 형태의 스피커로 구현될 수 있다.
도 5는 일 실시예에 따라 제스처에 근거하여 애플리케이션을 제어하는 제스처엔진의 구성요소를 설명하기 위한 블록도이고, 도 6a는 일 실시예에 따라 제스처에 근거한 애플리케이션의 제어방법을 설명하기 위한 흐름도이다.
상기 제스처 엔진(520)은 추출부(521), 추적부(522), 매칭부(523) 및 파서(524)로 이루어진다. 상기 제스처 엔진(520)은 감지부(510)에 의하여 감지되는 입력제스처(501)에 의하여 기 설정된 애플리케이션의 이벤트(602)를 발생시킨다.
상기 감지부(510)는 상기 영상표시장치(100)의 외부에서 사용자의 제스처를 감지한다(50). 여기에서 사용자의 제스처는 사용자의 신체, 사용자의 손을 이용한 특정 형상이나 움직임에 해당될 수 있다. 다만, 상기 감지부(510)는 사용자의 신체 일부뿐만 아니라 기 설정된 객체의 형상이나 움직임을 감지할 수 있다. 상기 감지부는 카메라 등으로 구현될 수 있고, 상기 카메라는 사용자의 신체 일부를 순간적으로 이미지화 하거나 기 설정된 시간 동안의 움직이는 이미지를 촬영할 수 있다.
상기 애플리케이션이 실행되면 상기 애플리케이션의 실행 데이터 중 시각 정보를 상기 디스플레이부(151)에 출력한다(S20). 상기 애플리케이션은 사용자에 의하여 인가되는 제어명령 또는 기 설정된 조건에 근거하여 실행된다. 또한 여기에서의 실행은 현재 실행 중인 복수의 서로 다른 애플리케이션 중에 상기 디스플레이부 상에 실행화면이 출력되는 애플리케이션의 활성화 상태를 포함할 수 있다. 즉, 상기 시각 정보는 상기 애플리케이션의 실행화면에 해당된다.
상기 수집부는 상기 실행 데이터 중 제어 제스처 정보(601)를 수집한다(S30). 여기에서 제어 제스처 정보(601)은 GML(Gesture Markup Language)로 명명될 수 있다. 상기 제어 제스처 정보(601)는 상기 애플리케이션을 제어하기 위한 이벤트를 발생시키는 제어신호와 상기 감지된 입력 제스처와 비교하기 위하여 제스처를 나타내는 텍스트를 포함한다.
상기 제어 제스처 정보(601, GML)는 각 애플리케이션의 개발자로부터 정의되고, 상기 파서(524)는 상기 각 애플리케이션으로부터 제공받은 제어 제스처 정보(601)을 해석한다. 상기 GML은 제스처를 정의 또는 기술하는 언어로서, 상기 제스처는 XML언어 또는 Javascript언어로 정의할 수 있다. 상기 GML은 텍스트로 이루어져 있으며, 상기 파서(524)는 상기 GML을 해석한다.
구체적으로 상기 파서(524)는 상기 텍스트를 토큰(token)분할하는 lexical analysis 단계와, 상기 토큰(token)들을 문법에 따라 기 설정된 형태(tree)형태로 구성하는 syntactic analysis 단계를 수행하도록 형성된다.
즉, 상기 애플리케이션의 개발자는 상기 토큰으로 분할가능한 텍스트로 상기 제스처를 정의하고, 상기 GML를 제공받은 상기 제스처 엔진의 파서(524)는 각 GML을 분석한다. 즉, 상기 제스처 엔진은 각 애플리케이션의 고유의 GML이 나타내는 제스처를 분석하는 단계를 수행한다.
상기 제스처 엔진(510)은 상기 입력 제스처와 상기 제어 제스처 정보를 비교한다(S40). 구체적으로 상기 감지부(510)에 의하여 감지된 입력 제스처
상기 제스처 엔진(520)은 상기 감지부(510)로부터 상기 입력 제스처(501)를 수신하고, 애플리케이션 제어부(600)로부터 상기 애플리케이션의 실행 데이터에 포함되는 제어 제스처 정보(601)을 수신한다.
상기 추출부(521)은 상기 입력 제스처(501)의 구성요소를 추출한다. 상기 추출부(521)는 상기 제어 제스처 정보(601)를 분석하고, 상기 감지부에 의하여 촬영된 입력 제스처(501)로부터 필요한 구성요소를 추출할 수 있다. 예를 들어, 상기 제어 제스처 정보(601)에 손가락의 원형상으로의 이동를 나타내는 텍스트를 포함하는 경우 상기 추출부는 상기 입력 제스처(501)로부터 손가락형상, 손가락의 움직임에 관한 정보를 추출할 수 있다. 즉, 상기 추출부(521)는 상기 제어 제스처 정보(601)를 이루는 텍스트에 근거하여 상기 입력 제스처(601)로부터 필요한 구성요소를 추출한다.
상기 추적부(522)는 상기 추출된 구성요소들의 이동 궤도를 추적한다. 상기 추적부(522)는 상기 추출된 구성요소 및 상기 제어 제스처 정보(601)에 포함된 궤도를 나타내는 텍스트를 기초로 하여 상기 구성요소들의 이동 궤도를 추적할 수 있다. 예를 들어, 원형상으로의 이동에 대한 텍스트에 근거하여 상기 추적부(522)는 다양한 구성요소의 이동 중 원형상과 유사한 궤도를 추적할 수 있다. 즉 상기 추적부(522)는 복수의 구성요소들이 움직이고 있는 경우, 상기 추적부(522)는 곡선의 궤도를 이루는 구성요소들의 궤도를 추적할 수 있다. 상기 추적부(522)는 상기 사용자의 제스처를 정의하기 위하여 상기 구성요소들의 이동궤도를 기록할 수 있다.
또한, 상기 추출부(521) 및 상기 추출부(522)의 구동의 순서에는 제한이 없다. 예를 들어 상기 추출부(521)에서 상기 텍스트에 근거하여 구성요소를 추출하기 전에 상기 추적부(522)는 상기 감지부(510)에 의하여 감지된 입력 제스처에 의하여 궤도를 추적할 수 있다,
상기 파서(524)는 상기 애플리케이션 제어부(600)로부터 제공받은 제어 제스처 정보(601)를 매칭시키기 좋은 언어로 변경할 수 있다. 상기 매칭부(523)은 상기 파서(524)로부터 변경된 상기 제어 제스처 정보(601)와 상기 입력 제스처(501)를 비교한다(S40).
상기 매칭부(523)는 상기 입력 제스처(501)는 상기 추출부(521)와 상기 추적부(522)에 의한 구성요소 및 궤도에 관한 정보를 상기 제어 제스처 정보(601)와 매칭되는지 여부를 판단한다. 여기에서 상기 입력 제스처(501)와 상기 제어 제스처 정보(601)의 매칭은, 상기 제어 제스처 정보(601)에 포함된 텍스트에 의하여 상기 감지된 입력 제스처(501)가 표현되는지 여부로 판단될 수 있다. 즉, 상기 입력 제스처(501)의 각 구성요소와 상기 각 구성요소의 궤도에 관한 정보가 상기 제어 제스처 정보에 실질적으로 대응되는 경우, 상기 매칭부(523)은 상기 제어 제스처 정보(501)와 상기 입력 제스처(501)가 매칭된다고 판단할 수 있다.
상기 입력 제스처(501)와 상기 제어 제스처 정보(601)가 매칭되는 경우 상기 매칭부(523)은 상기 제어 제스처 정보(601)에 대응되는 이벤트(602)를 발생시킨다(S50). 즉, 상기 애플리케이션 제어부(600)는 상기 제어 제스처 정보(601)에 포함되는 이벤트에 의하여 제어될 수 있다. 즉, 상기 제어부(180)은 상기 제어 제스처 정보에 포함되고 상기 입력 제스처와 매칭되는 제어신호에 근거하여 상기 애플리케이션을 제어한다.
예를 들어, 상기 매칭부(523)는 상기 입력 제스처(501)와 상기 제어 제스처 정보(601)가 매칭되는 정보 또는 상기 이벤트(602)에 포함되는 제어신호를 상기 애플리케이션 제어부(600)에 전달한다.
한편, 상기 매칭부(523)에 의하여 상기 입력 제스처(501)와 상기 제어 제스처 정보(601)가 매칭되지 아니하는 것으로 판단되는 경우, 상기 다른 입력 제스처(501)과 상기 제어 제스처 정보(601)를 비교한다.
다만, 상기 애플리케이션은 상기 제스처 정보(601)에 포함되는 이벤트뿐만 아니라 다른 제어명령의 입력에 의하여 제어될 수 잇다.
상기 감지부(510)는 상기 애플리케이션이 실행되는 동안 사용자의 제스처를 계속적으로 감지하는 것이 바람직하다. 또한, 상기 추출부(521)와 상기 매칭부(523)는 상기 계속적으로 감지되는 입력 제스처(501)에 대한 구성요소 추출 및 궤도를 추적하며, 상기 분석된 입력 제스처(501)의 결과를 기록하도록 상기 메모리(160)를 제어할 수 있다.
상기 매칭부(523)는 상기 입력 제스처(501)와 상기 제어 제스처 정보(601)가 매칭되지 아니하는 경우, 다른 입력 제스처에 관련된 데이터를 상기 메모리(160)로부터 제공받을 수 있다.
도 6b는 도 6a의 제어방법을 설명하기 위한 개념도이다. 상기 감지부(510)은 입력 제스처를 감지한다(S10). 상기 감지부(510)는 애플리케이션이 실행되어 있지 아니한 상태에서도 상기 사용자의 입력 제스처를 감지할 수 있다.
상기 애플리케이션이 실행되면, 상기 제어부(180)는 상기 애플리케이션의 실행 데이터 중 시각정보(710)를 출력하도록 상기 디스플레이부(151)를 제어한다(S20). 상기 감지부(510)는 상기 애플리케이션이 실행되는 동안 상기 입력 제스처(501)를 감지한다.
예를 들어, 사용자는 하나의 손가락을 아래에서 위로 이동시키는 경우, 상기 감지부(510)은 상기 손가락의 형상 및 상 상기 손가락의 이동 궤도를 감지한다. 상기 애플리케이션의 실행 데이터에 포함되는 제어 제스처 정보는, 시각정보를 확대하는 제어신호에 대응될 수 있다. 상기 제어부(180)은 상기 제어 제스처 정보가 하나의 손가락이 위로 이동하는 동작에 해당되는 텍스트를 포함하는 경우, 상기 시각 정보(710)를 확대된 시각 정보(711)로 전환하도록 상기 디스플레이부를 제어할 수 있다.
도면에 도시되지 아니하였으나, 상기 제어부(180)는 상기 사용자의 손가락 이동이 상기 제어 제스처 정보와 매칭되지 아니하는 경우, 상기 감지된 입력 제스처를 무시할 수 있다.
도 6b의 (d)는 상기 애플리케이션이 종료되고, 상기 시각 정보(711)가 다른 화면정보로 전환된 디스플레이부를 도시한다. 상기 제스처 엔진은 상기 애플리케이션이 종료되면 수집하였던, 상기 애플리케이션의 제어 제스처 정보의 수집을 중단한다. 또한. 상기 감지부에 의하여 입력 제스처가 감지되더라도 상기 제어 제스처 정보와 매칭시키지 아니한다.
예를 들어, 상기 애플리케이션이 실행이 중단된 경우에도 상기 제스처 엔진은 상기 영상표시자체를 제어하는 제어신호와 대응되는 고유 제스처 정보를 포함할 수 있다.
예를 들어, 상기 감지부(510)는 상기 애플리케이션이 종료된 뒤, 사용자의 하나의 손가락이 위로 이동하는 입력 제스처(501)가 감지된 경우, 상기 애플리케이션의 제어 제스처 정보와 상기 입력 제스처와의 매칭을 종료하고, 상기 입력 제스처를 상기 고유 제스처 정보와 비교할 수 있다.
즉, 상기 제어부는 상기 감지부에 의하여 실질적으로 동일한 입력 제스처가 감지되는 경우에도 서로 다른 방법으로 상기 영상표시장치를 제어할 수 있다. 예를 들어, 상기 제어부(180)는 사용자의 하나의 손가락이 위로 이동하는 동작에 근거하여 상기 출력되는 소리의 음량을 조절할 수 있다.
이에 따라, 사용자는 애플리케이션이 실행되는 동안, 애플리케이션에 적용되는 입력 제스처를 이용하여 애플리케이션을 제어할 수 있다. 또한, 상기 애플레리케이션이 종료되면 적용되지 아니하는 바, 영상표시장치 자체에 고유의 제스처 제어방법과의 혼란을 방지할 수 있다.
도 6c를 참조하여, 서로 다른 애플리케이션에 적용된 서로 다른 제어방법을 설명한다. 도 6c의 (a) 및 (b)를 참조하면, 상기 디스플레이부(151)은 상기 제1 애플리케이션에 관한 제1 시각정보(720)를 출력한다. 상기 애플리케이션이 실행되는 동안 상기 제스처 엔진은 상기 제1 애플리케이션의 실행 데이터에 포함되는 제어 제스처 정보를 수신한다. 상기 매칭부(523)는 상기 감지된 입력 제스처(501)와 상기 제어 제스처 정보를 비교하고, 매칭되는 경우 상기 제1 애플리케이션을 제어한다.
도 6c의 (a) 및 (b)에 도시된 바와 같이, 상기 감지부는 사용자의 손가락이 나선형을 그리며 이동하는 입력 제스처를 감지한다. 상기 제스처 엔진은 상기 입력 제스처(501)이 채널을 변경하는 제어신호에 대응되는 지 여부를 판단한다. 상기 제어부(180)는 상기 매칭부(523)에 의하여 상기 입력 제스처(501)가 상기 제어 제스처 정보와 매칭된다고 판단되는 경우, 상기 채널을 변경하여 다른 화면정보(721)를 출력하도록 상기 디스플레이부를 제어한다.
도 6c의 (c) 및 (d)는 제1 애플리케이션이 실행된 경우 상기 입력 제스처에 근거하여 상기 영상표시장치의 제어방법을 설명하기 위한 개념도이다. 상기 제2 애플리케이션은 제1 애플리케이션과 구별되며, 상기 제1 애플리케이션이 종료되거나 상기 제1 애플리케이션이 비활성상태로 전환된 후 상기 제2 애플리케이션이 활성화된다. 상기 디스플레이부(151)는 상기 제2 애플리케이션의 제2 시각 정보(730)을 출력한다.
상기 제2 애플리케이션이 실행되는 동안 상기 감지부(510)는 상기 입력 제스처(501)를 감지한다 도 6c의 (c)의 입력 제스처(501)와 상기 도 6c의 (b)의 입력 제스처(501)는 실질적으로 동일하다. 예를 들어, 각 도면에 도시된 입력 제스처는 사용자의 손가락 형상 및 이동 하는 궤도가 실질적으로 동일할 수 있다.
상기 제스처 엔진은 상기 제2 애플리케이션이 실행 데이터 중 상기 제 2 애플리케이션을 제어하기 위한 제어 제스처 정보를 수신한다. 상기 제스처 엔진의 상기 매칭부(523)은 수신된 제스처 정보와 상기 입력 제스처를 비교한다. 실질적으로 동일한 입력 제스처에 의하여 상기 제어부는 서로 다른 제어신호에 근거하여 상기 영상표시장치를 제어할 수 있다.
도 6c의 (c) 및 (d)를 참조하면, 상기 제어부(180)는 상기 입력 제스처(501)를 이용하여 게임의 일부 이미지를 움직이도록 상기 디스플레이부(151)를 제어한다.
즉, 도 6c에 도시된 바와 같이, 실질적으로 동일한 입력 제스처가 입력되는 경우에 서로 다른 제1 및 제2 애플리케이션에 서로 다른 제어신호가인가된다. 즉, 각 애플리케이션의 실행 데이터는 실질적으로 동일한 입력 제스처에 대응되는 서로 다른 제어신호를 포함할 수 있다.
이에 따라, 애플리케이션은 제어신호를 생성하기 위한 고유의 제스처에 관한 정보를 포함할 수 있으며, 이는 상기 애플리케이션이 실행된 상태에서만 적용가능하도록 제어된다.
도 7a는 조건을 포함하는 제어 제스처 정보를 이용한 영상표시장치의 제어방법을 설명하기 위한 개념도이고, 도 7b는 일 실시예에 따른 조건정보를 포함하는 제스처 정보를 나타내는 도면이다.
먼저 도 7b를 참조하면, 제어 제스처 정보는 'flick'이벤트 또는 'rotate'이벤트를 포함하고, 'flick' 기능이 실행된다는 텍스트들을 포함한다. 또한, 상기 제어 제스처 정보는 제스처에 의한 제어를 중단 또는 중지하는 조건에 관한 텍스트를 포함한다.
예를 들어, 기능수행을 위하여 입력 제스처의 수신이 일시적으로 정지되는 경우 제스처에 의한 제어가 중지(stop)되는 조건, 입력 제스처의 수신이 재개되는 경우 제어도 재개(resume)되는 조건, 입력 제스처가 사라지는 경우 제어도 사라지는(remove) 조건 중 적어도 하나를 포함할 수 있다. 다만, 이에 한정되는 것은 아니다.
도 7a의 (a) 및 (b)를 참조하면, 상기 제어부(180)는 상기 입력 제스처(501)에 의하여 상기 시각 정보(710)를 다른 시각정보(712)로 전환하도록 상기 디스플레이부(151)를 제어한다.
예를 들어, 상기 다른 시각정보(712)에 재생중인 동영상이 포함되는 경우, 상기 제어부(180)는 상기 감지부(150)를 비활성화시키도록 제어할 수 있다. 이 경우, 상기 감지부(150)의 상기 입력 제스처 감지 기능이 중단된다. 도 7b의 조건에 의하여, 상기 제어부(180)는 상기 제스처에 의한 제어를 중단한다. 따라서, 상기 입력 제스처(501)가 인가되어도 상기 제어부(180)는 이를 무시할 수 있다.
상기 제어 제스처 정보에 포함되는 조건에 근거하여, 상기 애플리케이션이 실행되고 있는 중에도 제어신호를 발생시키기 위한 제스처 엔진의 구동을 일시적으로 중단 할 수 있다. 이에 따라 제스처 엔진을 구동시키기 위한 전력소비를 감소시킬 수 잇다.
도 8a는 연속적으로 입력되는 입력 제스처에 의하여 영상표시장치를 제어하는 방법을 설명하기 위한 흐름도이고, 도 8b는 도 8a의 제어방법을 설명하기 위한 개념도이다.
상기 감지부(510)가 사용자의 입력 제스처를 감지하면(s10), 상기 추출부(521, 도 5 참조)은 상기 입력 제스처의 적어도 하나의 구성요소를 추출한다(S41). 또한, 상기 추적부(522, 도 5 참조)는 상기 구성요소의 궤적을 추적한다(S42).
상기 애플리케이션의 실행 데이터에서 상기 제어 제스처 정보가 수집되면, 상기 매칭부(523)는 상기 구성요소의 헝상을 구체적으로 파악할 수 있다. 예를 들어, 상기 제1 및 제2 구성요소 사이의 거리를 추적할 수 있다(S43).
도 8b 도 8c를 참조하여, 추출되는 구성요소 사이의 거리를 이용하여 이동하는 구성요소를 포함하는 입력 제스처에 대응되는 제어신호를 형성하는 제어방법을 설명한다. 상기 매칭부(523)은 제1 및 제2 구성요소(f1, f2)가 추출되는 경우, 업 제어신호(UP)으로 판단한다. 예를 들어, 업 제어신호(UP)는 상기 디스플레이부에 출력되는 화면정보를 위로 올리거나, 게임 애플리케이션의 경우 이미지를 위로 이동시키거나, 음량을 증가시키는 등의 이벤트를 발생시킬 수 있다.
다만, 상기 매칭부(523)는 상기 제1 및 제2 구성요소(f1, f2) 사이의 거리가 기 설정된 거리(도면에 도시된 바와 같이, 기 설정된 거리가 5에 해당될 수 있다.)보다 작도록 이동하면, 상기 업 제어신호를 다운 제어신호(DOWN)로 변경한다. 반대로, 상기 제1 및 제2 구성요소(f1, f2)가 이동하여 사이의 거리가 상기 기 설정된 거리보다 크게 추적되는 경우, 업 제어신호(UP)로 다시 변경한다.
상기 매칭부(523)은 추가 구성요소가 감지되는 지 여부를 판단한다(S44). 상기 매칭부(523)은 추가 구성요소가 더 이상 감지되지 아니하는 경우, 상기 입력제스처를 확정한다.
한편, 추가 구성요소가 감지되는 경우, 상기 매칭부(523)는 상기 추가구성요소 사이의 거리를 측정하여 상기 입력 제스처를 확정한다(S46). 예를 들어, 상기 제3 구성요소(f3)가 추가로 감지되는 경우 상기 매칭부(523)은 상기 제1 및 제2 구성요소(f1, f2) 사이의 거리가 기 설정된 거리보다 큰 경우, 업 제어신호(UP)로 확정할 수 잇다.
한편, 상기 제3 구성요소가 감지되면서 상기 제1 및 제2 구성요소 사이의 거리 및 상기 제2 및 제3 구성요소 사이의 거리 모두 기 설정된 기줄거리보다 작은 경우, 제어신호를 더블다운(TWO FINGER DOWN)으로 확정할 수 있다.
다만, 상기 구성요소 간의 거리를 통하여 제어신호가 결정되는 근거는 상기 제어 제스처 정보에 포함된다. 이에 따라, 상기 매칭부(523)은 상기 제어 제스처 정보에 포함되는 텍스트를 근거하여 상기 움직이는 구성요소 및 추가되는 구성요소에 대한 제어신호를 결정할 수 있다.
도 9a는 일 실시예 따른 속도에 관한 정보를 포함하는 제어 제스처 정보를 나타내는 도면이고, 도 9b는 서로 다른 속도로 이동하는 입력 제스처를 나타내는 도면이다.
상기 제어 제스처 정보는 삼각형(triangle)을 이루는 입력 제스처를 정의한다. 삼각형이라는 텍스트에 의하여 직선벡터의 종점과 이전의 직선 벡터의 시점 거리가 만나야 한다. 즉, 이동 t의 끝과 이동 t-2 사이의 거리가 0임을 설명하는 텍스트를 포함한다. 또한, 상기 제어 제스처 정보는 오차 허용도를 0.3으로 정의하고 있으며, 동작의 범위는 500으로 지정한다.
이처럼 제어 제스처 정보는 구성요소가 이동하는 경우, 구성요소가 이동하여 이루는 형상을 묘사하는 텍스트, 구성요소가 이동하는 벡터정보와 정확도에 관련된 정보들을 포함할 수 있다.
각 애플리케이션의 실행 데이터에 개별적인 제어 제스처 정보를 포함시킬 수 있는바, 애플리케이션의 개발자는 제스처를 이용하여 보다 다양한 제어신호를 생성시킬 수 있다. 또한, 차별화된 제스처로 사용자에게 보다 흥미로운 애플리케이션을 제공할 수 있다.
상기와 같이 설명된 영상표시장치 및 이의 제어방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 실시예들은 각 애플리케이션 내에서 기 설정된 제어 제스처 정보를 활용하여 각 애플리케이션이 활성화되었을때, 입력 제스처를 이용하여 애플리케이션을 제어하는 것으로서, 이와 관련된 다양한 산업분야에 적용될 수 있다.

Claims (10)

  1. 사용자의 입력 제스처를 감지하는 감지부;
    애플리케이션이 실행되면, 상기 애플리케이션의 실행 데이터 중 시각정보를 출력하는 디스플레이부;
    상기 실행 데이터에 포함되는 제어 제스처 정보를 수집하는 수집부;
    상기 애플리케이션이 실행되는 동안, 상기 감지부에 의하여 감지된 입력 제스처와 상기 제어 제스처 정보가 매칭되면, 상기 실행 데이터에 포함되고 상기 제어 제스처정보와 대응되는 상기 애플리케이션의 이벤트를 실행시키는 제어부를 포함하는 영상표시장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 입력 제스처를 이루는 구성요소를 추출하는 추출부;
    상기 추출된 구성요소의 이동궤적을 추적하는 추적부; 및
    상기 구성요소 및 구성요소의 이동궤적에 의하여 정의된 입력제스처와 상기 제어제스처 정보를 비교하는 매칭부를 포함하는 것을 특징으로 하는 영상표시장치.
  3. 제2항에 있어서,
    상기 제어 제스처 정보는 상기 구성요소의 개수, 상기 구성요소의 이동 방향, 복수의 구성요소 사이의 거리정보, 상기 구성요소가 이동하는 시간 및 상기 구성요소가 이동하는 형상 중 적어도 하나를 포함하는 텍스트와 상기 이벤트와 관련된 제어신호로 이루어지는 것을 특징으로 하는 영상표시장치.
  4. 제3항에 있어서,
    상기 제어 제스처 정보는, 상기 입력 제스처의 감지를 비활성화 또는재활성화시키는 제어명령에 대응되는 기 설정된 조건을 포함하는 것을 특징으로 하는 영상표시장치.
  5. 제4항에 있어서,
    상기 제어 제스처 정보는, 상기 입력 제스처를 무시하도록 기 설정된 조건을 포함하는 것을 특징으로 하는 영상표시장치.
  6. 제2항에 있어서,
    상기 추출부는 상기 수집된 제어 제스처 정보를 이루는 텍스트에 근거하여 상기 구성요소를 추출하는 것을 특징으로 하는 영상표시장치.
  7. 제1항에 있어서,
    상기 제어부는 상기 애플리케이션이 종료되면 상기 입력 제스처와 상기 제어 제스처 정보의 매칭을 중단하는 것을 특징으로 하는 영상표시장치.
  8. 제7항에 있어서,
    상기 제어부는 상기 애플리케이션이 종료되면, 상기 입력 제스처에 의하여 상기 입력 제스처에 대응되도록 기 설정된 제어명령을 생성하는 것을 특징으로 하는 영상표시장치.
  9. 사용자의 입력 제스처를 감지하는 단계;
    애플리케이션이 실행되면, 상기 애플리케이션의 실행데이터를 수신하는 단계;
    상기 실행데이터 중 상기 애플리케이션의 이벤트와 대응되는 제어 제스처 정보를 수집하는 단계;
    상기 애플리케이션이 실행되는 동안 상기 제어 제스처 정보와 상기 입력 제스처를 비교하는 단계; 및
    상기 제어 제스처 정보와 상기 입력 제스처가 매칭되면 상기 이벤트를 발생시키는 단계를 포함하는 영상표시장치의 제어방법.
  10. 제9항에 있어서, 상기 애플리케이션이 실행되는 동안 상기 제어 제스처 정보와 상기 입력 제스처를 비교하는 단계는,
    상기 입력 제스처의 구성요소를 추출하는 단계;
    상기 구성요소의 궤도를 추적하는 단계;
    상기 구성요소들 사이의 거리변화를 감지하는 단계를 포함하는 것을 특징으로 하는 영상표시장치의 제어방법.
PCT/KR2013/009487 2012-10-23 2013-10-23 영상표시장치 및 그 제어방법 WO2014065595A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/437,726 US9600077B2 (en) 2012-10-23 2013-10-23 Image display device and method for controlling same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261717310P 2012-10-23 2012-10-23
US61/717,310 2012-10-23
KR1020130126785A KR102135355B1 (ko) 2012-10-23 2013-10-23 영상표시장치 및 그 제어방법
KR10-2013-0126785 2013-10-23

Publications (1)

Publication Number Publication Date
WO2014065595A1 true WO2014065595A1 (ko) 2014-05-01

Family

ID=50544908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009487 WO2014065595A1 (ko) 2012-10-23 2013-10-23 영상표시장치 및 그 제어방법

Country Status (2)

Country Link
US (1) US9600077B2 (ko)
WO (1) WO2014065595A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750448A (zh) * 2015-03-23 2015-07-01 联想(北京)有限公司 一种信息处理的方法、电子设备及可穿戴设备
WO2016029779A1 (zh) * 2014-08-28 2016-03-03 深圳市国华识别科技开发有限公司 基于图像识别的智能电视交互控制系统和方法
CN105487642A (zh) * 2014-09-16 2016-04-13 洪永川 一种互动型智能终端系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111475059A (zh) * 2013-03-14 2020-07-31 视力移动科技公司 基于近距离传感器和图像传感器的手势检测
US20150205360A1 (en) * 2014-01-20 2015-07-23 Lenovo (Singapore) Pte. Ltd. Table top gestures for mimicking mouse control
CN108196952B (zh) * 2017-12-05 2020-06-05 阿里巴巴集团控股有限公司 一种资源分配方法、装置及设备
CN113473198B (zh) * 2020-06-23 2023-09-05 青岛海信电子产业控股股份有限公司 一种智能设备的控制方法及智能设备
CN112905008B (zh) * 2021-01-29 2023-01-20 海信视像科技股份有限公司 一种手势调节显示图像方法及显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027533A (ko) * 1999-09-14 2001-04-06 김운용 비디오 게임장치 및 그 제어방법
US20050212767A1 (en) * 2004-03-23 2005-09-29 Marvit David L Context dependent gesture response
KR20090056469A (ko) * 2007-11-30 2009-06-03 삼성전자주식회사 터치 스크린에서 터치 구동 장치 및 방법
WO2010046541A1 (en) * 2008-10-24 2010-04-29 Teknillinen Korkeakoulu Method and device for controlling an application
KR20120034637A (ko) * 2009-05-04 2012-04-12 오블롱 인더스트리즈, 인크 데이터의 표현, 조작 및 교환을 포함하는 제스처-기반 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140009378A1 (en) * 2012-07-03 2014-01-09 Yen Hsiang Chew User Profile Based Gesture Recognition
US8819812B1 (en) * 2012-08-16 2014-08-26 Amazon Technologies, Inc. Gesture recognition for device input

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010027533A (ko) * 1999-09-14 2001-04-06 김운용 비디오 게임장치 및 그 제어방법
US20050212767A1 (en) * 2004-03-23 2005-09-29 Marvit David L Context dependent gesture response
KR20090056469A (ko) * 2007-11-30 2009-06-03 삼성전자주식회사 터치 스크린에서 터치 구동 장치 및 방법
WO2010046541A1 (en) * 2008-10-24 2010-04-29 Teknillinen Korkeakoulu Method and device for controlling an application
KR20120034637A (ko) * 2009-05-04 2012-04-12 오블롱 인더스트리즈, 인크 데이터의 표현, 조작 및 교환을 포함하는 제스처-기반 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016029779A1 (zh) * 2014-08-28 2016-03-03 深圳市国华识别科技开发有限公司 基于图像识别的智能电视交互控制系统和方法
US10893316B2 (en) 2014-08-28 2021-01-12 Shenzhen Prtek Co. Ltd. Image identification based interactive control system and method for smart television
CN105487642A (zh) * 2014-09-16 2016-04-13 洪永川 一种互动型智能终端系统
CN104750448A (zh) * 2015-03-23 2015-07-01 联想(北京)有限公司 一种信息处理的方法、电子设备及可穿戴设备

Also Published As

Publication number Publication date
US20150293595A1 (en) 2015-10-15
US9600077B2 (en) 2017-03-21

Similar Documents

Publication Publication Date Title
WO2014065595A1 (ko) 영상표시장치 및 그 제어방법
WO2015046636A1 (ko) 이동 단말기 및 이의 제어방법
WO2017082627A1 (en) Mobile terminal and method for controlling the same
WO2018030594A1 (en) Mobile terminal and method for controlling the same
WO2015190666A1 (en) Mobile terminal and method for controlling the same
WO2016064096A2 (en) Mobile terminal and method for controlling the same
WO2016122151A1 (ko) 싱크 디바이스 및 그 제어 방법
WO2015137580A1 (en) Mobile terminal
WO2015133658A1 (en) Mobile device and method of controlling the same
WO2015199292A1 (en) Mobile terminal and method for controlling the same
WO2015199280A1 (en) Mobile terminal and method of controlling the same
EP3311557A1 (en) Mobile terminal and method for controlling the same
WO2015190662A1 (en) Mobile terminal and control system
WO2015130053A2 (en) Mobile terminal and method for controlling the same
WO2015194797A1 (en) Mobile terminal and method of controlling the same
WO2018124334A1 (ko) 전자장치
WO2016195147A1 (ko) 헤드 마운티드 디스플레이
WO2019160198A1 (ko) 이동 단말기 및 그 제어방법
WO2015137587A1 (en) Mobile terminal and method of controlling the same
WO2015130040A1 (en) Mobile terminal and controlling method thereof
WO2018151377A1 (en) Mobile terminal and controlling method thereof
EP2982042A1 (en) Terminal and control method thereof
WO2015125993A1 (ko) 이동 단말기 및 이동 단말기의 제어방법
WO2017010602A1 (ko) 단말기 및 그것을 포함한 시스템
WO2016068403A1 (en) Terminal and operating method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13849673

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14437726

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13849673

Country of ref document: EP

Kind code of ref document: A1