WO2022097947A1 - 디스플레이 장치 및 이의 제어 방법 - Google Patents
디스플레이 장치 및 이의 제어 방법 Download PDFInfo
- Publication number
- WO2022097947A1 WO2022097947A1 PCT/KR2021/014212 KR2021014212W WO2022097947A1 WO 2022097947 A1 WO2022097947 A1 WO 2022097947A1 KR 2021014212 W KR2021014212 W KR 2021014212W WO 2022097947 A1 WO2022097947 A1 WO 2022097947A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- display
- light
- light receiving
- front surface
- light emitting
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 33
- 238000007789 sealing Methods 0.000 claims description 12
- 230000001678 irradiating effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
Definitions
- the present disclosure relates to a display apparatus and a method for controlling the same, and more particularly, a display apparatus capable of identifying an area a user wants to point to on a display without direct contact with the display by recognizing an object disposed on the front surface of the display. and to a control method thereof.
- the present disclosure is intended to solve the above-described problems, and an object of the present disclosure is to identify an area that a user wants to point to on the display without direct contact with the display by identifying the position, size, and shape of an object disposed on the front side of the display.
- An object of the present invention is to provide an identifiable display device and a method for controlling the same.
- a display device includes a display, a plurality of displays disposed on first to fourth side surfaces of the display, and irradiating light in a direction transverse to the front surface of the display of the light-emitting element, which is disposed on each of the first to fourth side surfaces, and controls the display to display a plurality of light-receiving elements and images disposed between the plurality of light-emitting elements, and at least one of the plurality of light-emitting elements emits light and a processor for controlling the plurality of light emitting devices to irradiate the light and identifying at least one of a size or a shape of an object located on the front surface of the display based on sensing values of the plurality of light receiving devices.
- the display device further includes a bezel part disposed in an outer region of the display, and the bezel part includes a housing for accommodating the sensing device and a sealing member provided between the housing and the front surface of the display to maintain airtightness.
- the light irradiated from the light emitting device may be irradiated in a direction transverse to the front surface of the display through the sealing member.
- the plurality of light emitting devices and the plurality of light receiving devices may be alternately disposed.
- the processor identifies the position of the object located on the front surface of the display based on the sensed values of the plurality of light receiving elements, and at the position of the light receiving element having the largest value among the sensing values of the plurality of light receiving elements. Based on the location of the object can be identified.
- the processor identifies at least one of the size or shape of the object based on the sensed value of the light receiving element located on the side opposite to the side of the display on which the light receiving element having the largest sensing value is located can do.
- the processor may correct the position of the object based on the size and shape of the identified object.
- the processor may correct the position of the object to a position corresponding to the tip of the pointing finger.
- the processor may identify the size of the object based on the position of the light receiving element having a preset sensing value or more among the sensing values of the plurality of light receiving elements.
- the processor identifies the position of the object located on the front surface of the display based on the sensing values of the plurality of light receiving elements, and when the object is located at the identified position for a preset time, the identified position Based on the , a touch event for a specific region of the displayed image may be generated.
- the sealing member may be formed to be inclined toward the front surface of the display in a direction away from the periphery of the display.
- the light emitting device may radiate light in a direction crossing the front surface of the display at a predetermined angle with respect to the front surface of the display.
- control method of the display device includes the steps of controlling the display to display an image, controlling the plurality of light emitting devices so that at least one of the plurality of light emitting devices irradiates light, and and identifying at least one of a size and a shape of an object located on the front surface of the display based on a value sensed by a light receiving element.
- the plurality of light emitting elements and the plurality of light receiving elements may be alternately disposed.
- the method further includes the step of identifying the position of the object located on the front surface of the display based on the sensing values of the plurality of light receiving elements, wherein the identifying of the position of the object includes: among the values sensed by the plurality of light receiving elements The position of the object may be identified based on the position of the light receiving element having the largest value.
- the step of identifying at least one of the size or shape of the object may include a sensing value sensed by the light receiving element located on the side opposite to the side of the display on which the light receiving element having the largest sensing value is located. At least one of a size or a shape of the object may be identified.
- the method may further include correcting the position of the object based on the size and shape of the identified object.
- the position of the object may be corrected to a position corresponding to the tip of the index finger.
- the method may further include identifying the size of the object based on a position of the light receiving element having a preset sensing value or more among the sensing values of the plurality of light receiving elements.
- the method further comprises the step of identifying the position of the object located on the front surface of the display based on the sensing values of the plurality of light receiving elements, and when the object is located at the identified position for a preset time, the identified position
- the method may further include generating a touch event for a specific region of the displayed image based on the .
- the light emitting device may radiate light in a direction crossing the front surface of the display at a predetermined angle with respect to the front surface of the display.
- FIG. 1 is a diagram schematically illustrating a display device according to an embodiment of the present disclosure.
- FIG. 2 is a block diagram illustrating a configuration of a display device according to an embodiment of the present disclosure.
- FIG. 3 is a block diagram illustrating a detailed configuration of a display device according to an exemplary embodiment of the present disclosure.
- FIG. 4 is a view for explaining an operation in which the display device identifies the position of an object disposed on the front surface of the display according to an embodiment of the present disclosure
- FIG. 5 is a view for explaining the structure of a bezel part and a sensing device according to an embodiment of the present disclosure.
- FIG. 6 is a view for explaining the structure of a bezel part and a sensing device according to another embodiment of the present disclosure.
- FIG. 7 is a view for explaining that the sensing device according to an embodiment of the present disclosure senses a motion of an object.
- FIG. 8 is a diagram for explaining a case in which a user generates a touch event with his or her right hand.
- FIG. 9 is a diagram for explaining a case in which a user generates a touch event with his or her left hand.
- FIG. 10 is a view for explaining an operation of identifying the position and size of an object according to the size of the object and the distance from the bezel part, and illustrates a case in which one light emitting element irradiates light.
- FIG. 11 is a view for explaining an operation of identifying the position and size of an object according to the size of the object and the distance from the bezel part, and illustrates a case in which a plurality of light emitting devices irradiate light.
- FIG. 12 is a diagram schematically illustrating a display device according to another embodiment of the present disclosure.
- FIG. 13 is a view for explaining a method of controlling a display apparatus according to an embodiment of the present disclosure.
- each step should be understood as non-limiting unless the preceding step must be logically and temporally performed before the subsequent step. In other words, except for the above exceptional cases, even if the process described as the subsequent step is performed before the process described as the preceding step, the essence of the disclosure is not affected, and the scope of rights should also be defined regardless of the order of the steps.
- expressions such as “have,” “may have,” “include,” or “may include” indicate the presence of a corresponding characteristic (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
- first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The above terms may be used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present disclosure, a first component may be referred to as a second component, and similarly, a second component may also be referred to as a first component.
- the present specification describes components necessary for the description of each embodiment of the present disclosure, the present disclosure is not necessarily limited thereto. Accordingly, some components may be changed or omitted, and other components may be added. In addition, they may be distributed and arranged in different independent devices.
- FIG. 1 is a diagram schematically illustrating a display device according to an embodiment of the present disclosure.
- the display apparatus 100 includes a bezel part 10 , a display 110 , and a plurality of light emitting devices 210 and a plurality of light receiving devices 220 . device 200 .
- the plurality of light emitting devices 210 and the plurality of light receiving devices 220 are illustrated as being disposed on the bezel part 10 , but this is a relative relation between the plurality of light emitting devices 210 and the plurality of light receiving devices 220 . It is shown briefly to show the arrangement relationship, and the sensing device 200 including the plurality of light emitting elements 210 and the plurality of light receiving elements 220 may be accommodated in the bezel part 10 . Detailed structures of the bezel part 10 and the sensing device 200 will be described later with reference to FIGS. 5 to 6 .
- the display 110 may provide various content screens.
- the content screen may include various contents such as images, videos, texts, and music, an application execution screen, a graphic user interface (GUI) screen, and the like.
- GUI graphic user interface
- a user may point to a specific location on the front of the display 110 to generate a touch event without direct contact with the display 110 .
- FIG. 1 illustrates that the user points to a specific location on the front surface of the display 110 through the index finger of the right hand.
- the sensing device 200 may sense the position, size, or shape of an object disposed on the front surface of the display 110 .
- the sensing device 200 may include a plurality of light emitting devices 210 , for example, a light emitting diode (LED) and a plurality of light receiving devices 220 , for example, a photodiode or photo-detector (PD). .
- LED light emitting diode
- PD photo-detector
- a plurality of light emitting elements 210 and a plurality of light receiving elements 220 are respectively disposed on first to fourth side surfaces of the display 110 , and the light irradiated from the light emitting element 210 is displayed on the display ( It may be reflected from an object disposed on the front surface of 110 , and the reflected light may be received by the light receiving element 220 .
- a detailed description related to the sensing operation of the sensing device 200 will be described later.
- FIG. 2 is a block diagram illustrating a configuration of a display device according to an embodiment of the present disclosure.
- the display device 100 may include a display 110 , a processor 120 , and a sensing device 200 .
- the display device 100 may be implemented as various types of devices having a display function.
- kiosk KIOSK
- TV smart phone
- tablet tablet
- PMP Portable Multimedia Player
- PDA Personal Digital Assistants
- laptop laptop computer
- smart watch smart watch
- HMD Head mounted Display
- NED Near Eye Display
- digital signage etc.
- the display 110 has various types such as liquid crystal display (LCD), organic light-emitting diode (OLED), liquid crystal on silicon (LCoS), digital light processing (DLP), micro LED, quantum dot (QD) display panel, and the like. can be implemented as However, the present invention is not limited thereto.
- the display 110 may be implemented as a flexible display, a transparent display, or the like in some cases.
- the sensing device 200 may be disposed inside the bezel part 10 disposed in the outer region of the display 110 , more specifically, in the outer region of the display 110 .
- the sensing device 200 may include a plurality of light emitting elements 210 and a plurality of light receiving elements 220 .
- the light emitting device 210 may emit light of various intensities according to the magnitude of the applied current.
- the light emitting device 210 may emit light included in various regions, such as ultraviolet, visible, and infrared regions, according to a manufacturing method and material.
- the light emitting device may be implemented as an infrared diode (IRED).
- the light receiving element 220 may receive light.
- the light receiving device 220 may receive the light irradiated by the light emitting device 210 .
- the light receiving element 220 may receive the reflected light irradiated by the light emitting element 210 and reflected from the object.
- the light receiving element 220 may refer to an element that converts an optical signal or light energy into an electrical signal or electrical energy.
- the light receiving element 220 may be variously called a photo detector, a light receiving sensor, an infrared light receiving module, etc., but hereinafter, it will be collectively referred to as the light receiving element 220 .
- the light receiving element 220 may transmit the signal intensity of the received light and the signal intensity (or intensity) of the light reflected from the object to the processor 120 .
- each of the plurality of light receiving elements 220 may be disposed between the plurality of light emitting elements 210 .
- the plurality of light emitting devices 210 and the plurality of light receiving devices 220 may be alternately disposed. Meanwhile, such an arrangement is only an example, and the sensing device 200 may include a plurality of light emitting elements 210 and a plurality of light receiving elements 220 arranged in various shapes.
- the processor 120 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals, but is not limited thereto, and the central processing unit ( central processing unit (CPU), micro controller unit (MCU), micro processing unit (MPU), controller, application processor (AP), graphics-processing unit (GPU) or communication processor (CP)), may include one or more of an ARM processor, or may be defined by a corresponding term
- the processor 120 is a SoC (System on Chip) or LSI (large scale integration) in which a processing algorithm is embedded. It may be implemented in the form of a field programmable gate array (FPGA), and the processor 120 may perform various functions by executing computer executable instructions stored in a memory.
- DSP digital signal processor
- MCU micro controller unit
- MPU micro processing unit
- AP application processor
- GPU graphics-processing unit
- CP communication processor
- the processor 120 is a SoC (System on Chip) or LSI (large scale integration) in
- the processor 120 may control the overall operation of the display apparatus 100 .
- the processor 120 controls the display 110 to display an image, controls the plurality of light emitting devices 210 so that at least one of the plurality of light emitting devices 210 irradiates light, and the plurality of light receiving devices ( At least one of the position, size, and shape of the object located on the front surface of the display 110 may be identified based on the sensed value of 220 .
- FIG. 3 is a block diagram illustrating a detailed configuration of a display device according to an exemplary embodiment of the present disclosure.
- the display apparatus 100 includes a memory 130 , a communication interface 140 , and an input interface in addition to the display 110 , the processor 120 , and the sensing device 200 . At least one of 150 and the output interface 160 may be further included.
- the memory 130 may store instructions or programs executed by the processor 120 .
- information or data received through the communication interface 140 may be stored in the memory 130 .
- the memory 130 is accessed by the processor 120 , and reading/writing/modification/deletion/update of instructions, modules, artificial intelligence models or data may be performed by the processor 120 .
- the communication interface 140 may refer to hardware capable of transmitting and receiving various types of information (or data) by performing communication using a wired communication method or a wireless communication method with various external devices.
- the communication interface 140 is TCP/IP (Transmission Control Protocol/Internet Protocol), UDP (User Datagram Protocol), HTTP (Hyper Text Transfer Protocol), HTTPS (Secure Hyper Text Transfer Protocol), FTP (File Transfer Protocol) ), SFTP (Secure File Transfer Protocol), MQTT (Message Queuing Telemetry Transport), and other communication protocols (protocols) can be used to transmit and receive various information with various external devices.
- TCP/IP Transmission Control Protocol/Internet Protocol
- UDP User Datagram Protocol
- HTTP Hyper Text Transfer Protocol
- HTTPS Secure Hyper Text Transfer Protocol
- FTP File Transfer Protocol
- SFTP Secure File Transfer Protocol
- MQTT Message Queuing Telemetry Transport
- the input interface 150 may receive various user inputs and transmit them to the processor 120 .
- the input interface may include, for example, at least one of a touch panel, a pen sensor, a key, and a microphone.
- the touch panel may use, for example, at least one of a capacitive type, a pressure-sensitive type, an infrared type, and an ultrasonic type, and for this, the touch panel may include a control circuit.
- the touch panel may further include a tactile layer to provide a tactile response to the user.
- the pen sensor may be, for example, a part of the touch panel or may include a separate recognition sheet.
- the key may include, for example, a physical button, an optical key, or a keypad.
- Such an input interface may be implemented as a configuration of a user terminal device that is embedded in the display device 100 or communicates with the display device 100 such as a built-in keyboard, trackpad, button, touch panel, or the like.
- the output interface 160 may include at least one of a display and a speaker.
- the display is a device for outputting information in a visual form (eg, text, image, etc.).
- the display may display the image frame in all or part of the display area.
- the display area may refer to the entire area of a pixel unit in which information or data is visually displayed.
- a speaker is a device that outputs information in an audible form (eg, voice).
- the speaker may directly output various types of notification sounds or voice messages as well as various audio data on which various processing operations such as decoding, amplification, and noise filtering have been performed by an audio processing unit (not shown).
- FIG. 4 is a view for explaining an operation in which the display device identifies the position of an object disposed on the front surface of the display according to an embodiment of the present disclosure
- the plurality of light emitting devices 210 and the plurality of light receiving devices 220 may be respectively disposed in the outer region of the display 110 .
- the plurality of light-emitting elements 210 and the plurality of light-receiving elements 220 are disposed on each of the first to fourth side surfaces of the display 110 , and the plurality of light-receiving elements 220 includes the plurality of light-emitting elements 210 . may be disposed between them.
- Each of the light receiving elements 220 may receive the reflected light reflected from the object disposed on the front surface of the display 110 of the light irradiated from the light emitting element 210 .
- the processor 120 may identify the position of the object based on the sensing value of each light receiving element 220 .
- the plurality of light emitting devices 210 sequentially irradiate light one by one, and the sensing value of each light receiving device 220 is determined by the light reflected from the object irradiated from each light emitting device 210 . do.
- the processor 120 determines that the light receiving element 220 having the largest value among the sensing values of the plurality of light receiving elements 220 is located at the closest distance from the object, and based on the position of the light receiving element 220 , the object location can be identified.
- the position of the object may be identified by operating all of the plurality of light emitting devices 210 disposed on the first to fourth side surfaces of the display 110 , but the present invention is not limited thereto, and one side of the display 110 and the other adjacent thereto are not limited thereto.
- the position of the object may be identified by operating the plurality of light emitting devices 210 respectively disposed on the side surfaces.
- the position of the object may be identified, for example, in two-dimensional coordinates on the front surface of the display 110 .
- the size and shape of the object may be identified based on the identified position of the object and sensing values of the plurality of light receiving elements 220 disposed on each side of the display 110 . A detailed description related thereto will be described later with reference to FIGS. 8 to 9 .
- FIG. 5 is a view for explaining the structure of a bezel part and a sensing device according to an embodiment of the present disclosure.
- the bezel part 10 may include a housing 11 and a sealing member 12 .
- the housing 11 is disposed in the outer region of the display 110 and can accommodate the sensing device 200 therein.
- the sealing member 12 is provided between the housing 11 and the front surface of the display 110 to maintain airtightness, thereby preventing foreign substances from penetrating into the bezel part 10 .
- the sealing member 12 prevents the sensing device 200 from being seen through the vortex of the display device 100 , and selectively selects a signal of a specific wavelength of light emitted from the light emitting device 210 , for example, a wavelength in the infrared region. can be transmitted through
- the light emitting device 210 may be disposed inside the bezel part 10 in a form embedded in the substrate 230 , and may radiate light in a direction transverse to the front surface of the display 110 . In this case, the light irradiated from the light emitting device 210 may pass through the sealing member 12 to be irradiated.
- the sealing member 12 may be formed to be inclined toward the front surface of the display 110 in a direction away from the periphery of the display 110 .
- light irradiated from the light emitting device 210 and transmitted through the sealing member 12 may be refracted from a direction crossing the front surface of the display 110 to a direction toward the front of the display 110 . Accordingly, even if the object is disposed at a predetermined distance from the front surface of the display 110 without contacting the display 110 , the light irradiated from the light emitting element 210 may be reflected to the object, and the reflected light may be reflected by the light receiving element 220 .
- FIG. 6 is a view for explaining the structure of a bezel part and a sensing device according to another embodiment of the present disclosure.
- the substrate 230 in which the light emitting device 210 is embedded may be disposed in the bezel part 10 at a predetermined angle.
- the light emitting device 210 may radiate light in a direction that crosses the front surface of the display 110 at a predetermined angle with respect to the front surface of the display 110 . Accordingly, as in the embodiment shown in FIG. 5 , light can be irradiated to an object disposed at a distance from the front surface of the display 110 , and the light reflected from the object is received by the light receiving element 220 . can be
- FIG. 7 is a view for explaining that the sensing device according to an embodiment of the present disclosure senses a motion of an object.
- the processor 120 may generate a touch event for the area corresponding to the user's intention.
- the processor 120 may generate a touch event for a specific region of the image displayed on the display 110 based on the identified position.
- the processor 120 may generate a touch event by sensing the motion of the object. For example, referring to FIG. 7 , when the object approaches the front surface of the display 110 in a vertical direction, the area of the object reflected by the light irradiated from the light emitting device 210 increases, so that the light receiving the reflected light is received. The sensing value of the device 220 increases. Accordingly, a movement speed at which an object moves in a direction perpendicular to the front surface of the display 110 can be detected based on a change in the sensing value of the light receiving element 220 , and when an operation greater than or equal to a preset acceleration is detected, for the identified area A touch event can be generated.
- the location of the touch event intended by the user may be different depending on the shape of the user's hand used for pointing.
- the processor 120 may identify the position of the object with respect to the center of mass based on the signal received from the sensing device 200 .
- the pointing position of the finger may be different, whereas the location of the center of mass of each of the right and left hands reflects information on the finger pointing position. Since it is not marked, the pointed position may be identified incorrectly. Accordingly, it is necessary to correct the touch event occurrence location according to the shape of the hand pointed by the user.
- FIG. 8 is a diagram for explaining a case in which a user generates a touch event with their right hand
- FIG. 9 is a diagram for explaining a case where a user generates a touch event with their left hand.
- the area in which light reflected from the side of the hand where the pointing finger is located is received by the plurality of light receiving elements 220 disposed on one side of the display 110 is from the opposite side of the hand. There is a difference when compared with the area where the reflected light is received by the plurality of light receiving elements 220 located on opposite sides of the display 110 . Based on the sensing values of the plurality of light receiving elements 220 and the identified position of the object, an area for each surface on which light is reflected from the object may be calculated. Accordingly, the processor 120 may identify the size and shape of the object.
- a position at which a touch event is generated may be corrected from the center of mass of the object to the upper left corner.
- the shape of the hand is identified as the left hand as shown in FIG. 9
- the position where the touch event is generated may be corrected from the center of mass of the object to the upper right corner.
- FIG. 10 and 11 are views for explaining the operation of identifying the position and size of an object according to the size of the object and the distance from the bezel part, and FIG. 10 shows a case in which one light emitting element irradiates light. , FIG. 11 illustrates a case in which a plurality of light emitting devices irradiate light.
- a small object located at a close distance from the light emitting device 210 has a small distance from the light receiving device 220 but a small amount of reflected light, and emits light.
- a large object located far from the element 210 has a relatively large distance from the light receiving element 220, but a large amount of reflected light. When the distance is far away, the sensing value of the light receiving element 220 may appear the same.
- the above-described two cases can be distinguished by simultaneously operating the light emitting device 210 and the adjacent other light emitting device 210 .
- Referring to FIG. 11 when a small-sized object is nearby, even when the other light-emitting element 210 is operated, the light irradiated from the other light-emitting element 210 is not reflected by the object, so that the sensing value of the light-receiving element 220 is not affected.
- the other light-emitting element 210 when a large-sized object is nearby, when the other light-emitting element 210 is operated, the light irradiated from the other light-emitting element 210 is reflected by the object, so that the sensing value of the light-receiving element 220 is changed.
- FIG. 12 is a diagram illustrating a display device according to another embodiment of the present disclosure.
- a plurality of light emitting devices are disposed on one side of the display and the other side adjacent thereto, and a plurality of light emitting devices are disposed on a side opposite to each of the side surfaces on which the plurality of light emitting devices are disposed. of the light receiving element may be disposed.
- the light irradiated from the light emitting device disposed on one side of the display may be reflected from the object, and may be received by the light receiving device disposed on the side adjacent to the one side of the display.
- light irradiated from the light emitting device disposed on the other side of the display may be reflected from the object and received by the light receiving device disposed on the adjacent side thereof.
- the processor 120 may identify the position, size, and shape of the object based on the sensing values of the light receiving elements disposed on each side. Identifies the position, size, and shape of the object based on the sensing values of the light receiving elements Since the operation has been described above, a redundant description will be omitted.
- FIG. 13 is a view for explaining a method of controlling a display apparatus according to an embodiment of the present disclosure.
- the display apparatus 100 may control the display 110 to display an image ( S1310 ).
- the image displayed on the display 110 may include various contents such as an image, a moving picture, text, and music, an application execution screen, a graphic user interface (GUI) screen, and the like.
- contents such as an image, a moving picture, text, and music, an application execution screen, a graphic user interface (GUI) screen, and the like.
- GUI graphic user interface
- the display apparatus 100 may control the plurality of light emitting devices 210 so that at least one of the plurality of light emitting devices 210 emit light ( S1320 ).
- the plurality of light emitting devices 210 may be disposed on each of the first to fourth side surfaces of the display 110 to radiate light in a direction crossing the front of the display 110 , and the plurality of light receiving devices 220 . ) may be disposed between the plurality of light emitting devices 210 . In this case, the plurality of light emitting devices 210 and the plurality of light receiving devices 220 may be alternately disposed. Accordingly, when the light irradiated from the light emitting device 210 and reflected from the object is received by the light receiving device 220 , the light receiving device 220 disposed adjacent to the light emitting device 210 receives the light of the strongest intensity. Thus, it can have the largest sensing value.
- the display apparatus 100 may identify at least one of a size or a shape of an object located on the front surface of the display 110 based on the sensing values of the plurality of light receiving elements 220 ( S1330 ).
- the display apparatus 100 may identify the position of the object based on the position of the light receiving element 220 having the largest value among the sensing values of the plurality of light receiving elements 220, and the light receiving element having the largest sensing value ( The size or shape of the object may be identified based on a sensing value sensed by the light receiving element 220 positioned on the side opposite to the side of the display 110 on which the 220 is positioned.
- An area for one side of the object may be calculated.
- the other side of the display 110 based on the sensing values of the plurality of light receiving elements 220 disposed on the other side opposite to the one side of the display 110 and the distance from the object to the other side of the display 110 . It is possible to calculate the area for the other side of the object corresponding to . Accordingly, the size or shape of the object may be identified based on the areas viewed from different directions of the object.
- the method may further include correcting the position of the object based on the size and shape of the identified object.
- the position of the object may be corrected to a position corresponding to the tip of the index finger.
- the display apparatus 100 may identify the shape of a hand based on sensing values of each of the plurality of light receiving elements 220 disposed on both sides of the display 110 and determine the position of the pointing finger.
- a touch event may be generated for a specific area on the display corresponding to the user's intention.
- the display apparatus 100 may further include, when the object is located at the identified position for a preset time, generating a touch event for a specific region of the image displayed on the display based on the identified position.
- a touch event may be generated for the area corresponding to the user's intention without direct contact with the display.
- a non-transitory computer readable medium in which a program for controlling a display device according to an embodiment of the present disclosure is stored may be provided.
- the non-transitory readable medium refers to a medium that stores data semi-permanently, rather than a medium that stores data for a short moment, such as a register, cache, memory, and the like, and can be read by a device.
- a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, memory card, ROM, and the like.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
디스플레이 장치가 개시된다. 본 디스플레이 장치는 디스플레이, 디스플레이의 제1 내지 제4 측면 각각에 배치되며, 디스플레이의 전면을 가로지르는 방향으로 빛을 조사하는 복수의 발광 소자, 제1 내지 제4 측면 각각에 배치되며, 복수의 발광 소자 사이에 배치되는 복수의 수광 소자 및 영상이 표시되도록 디스플레이를 제어하고, 복수의 발광 소자 중 적어도 하나가 빛을 조사하도록 복수의 발광 소자를 제어하고, 복수의 수광 소자의 센싱 값에 기초하여 디스플레이의 전면 상에 위치한 물체의 크기 또는 형태 중 적어도 하나를 식별하는 프로세서를 포함한다.
Description
본 개시는 디스플레이 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는 디스플레이의 전면 상에 배치된 물체를 인식함으로써 디스플레이에 대한 직접적인 접촉 없이, 사용자가 디스플레이 상에서 포인팅하고자 하는 영역을 식별할 수 있는 디스플레이 장치 및 이의 제어 방법에 관한 것이다.
최근에는 키오스크와 같이 사용자로부터 디스플레이에 터치 방식으로 명령을 입력 받아 다양한 서비스를 제공하는 시스템이 보편화되어 있다.
다만, 다중이용 시설에 배치되는 터치 디스플레이의 경우, 여러 사람이 같은 디스플레이 화면에 대해 접촉하게 되므로 위생적으로 취약한 문제점이 존재하였다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 디스플레이의 전면 상에 배치된 물체의 위치, 크기 및 형태를 식별함으로써 디스플레이에 대한 직접적인 접촉 없이, 사용자가 디스플레이 상에서 포인팅하고자 하는 영역을 식별 가능한 디스플레이 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위해 본 개시의 일 실시예에 따른 디스플레이 장치는, 디스플레이, 상기 디스플레이의 제1 내지 제4 측면 각각에 배치되며, 상기 디스플레이의 전면을 가로지르는 방향으로 빛을 조사하는 복수의 발광 소자, 상기 제1 내지 제4 측면 각각에 배치되며, 상기 복수의 발광 소자 사이에 배치되는 복수의 수광 소자 및 영상이 표시되도록 상기 디스플레이를 제어하고, 상기 복수의 발광 소자 중 적어도 하나가 빛을 조사하도록 상기 복수의 발광 소자를 제어하고, 상기 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 크기 또는 형태 중 적어도 하나를 식별하는 프로세서를 포함한다.
이 경우, 상기 디스플레이 장치는 상기 디스플레이의 외곽 영역에 배치되는 베젤부를 더 포함하고, 상기 베젤부는, 상기 센싱 장치를 수용하는 하우징 및 상기 하우징과 상기 디스플레이의 전면 사이에 구비되어 기밀을 유지하는 실링 부재를 포함하고, 상기 발광 소자에서 조사된 광은 상기 실링 부재를 투과하여 상기 디스플레이의 전면을 가로지르는 방향으로 조사될 수 있다.
한편, 상기 복수의 발광 소자와 상기 복수의 수광 소자는 교번적으로 배치될 수 있다.
한편, 상기 프로세서는, 상기 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 위치를 식별하고, 상기 복수의 수광 소자의 센싱 값 중 가장 큰 값을 가지는 수광 소자의 위치에 기초하여 상기 물체의 위치를 식별할 수 있다.
이 경우, 상기 프로세서는, 상기 가장 큰 센싱 값을 갖는 수광 소자가 위치하는 디스플레이의 측면과 대향되는 측면에 위치하는 수광 소자에서 감지된 센싱 값을 기초로 상기 물체의 크기 또는 형태 중 적어도 하나를 식별할 수 있다.
이 경우, 상기 프로세서는, 식별된 물체의 크기 및 형태에 기초하여 상기 물체의 위치를 보정할 수 있다.
이 경우, 상기 프로세서는, 식별된 물체가 지시 손가락을 갖는 손이면, 상기 물체의 위치를 상기 지시 손가락의 끝단에 대응되는 위치로 보정할 수 있다.
한편, 상기 프로세서는, 상기 복수의 수광 소자의 센싱 값 중 기설정된 센싱 값 이상을 갖는 수광 소자의 위치에 기초하여 상기 물체의 크기를 식별할 수 있다.
한편, 상기 프로세서는, 상기 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 위치를 식별하고, 상기 물체가 기설정된 시간 동안 상기 식별된 위치에 위치하면, 상기 식별된 위치에 기초하여 상기 표시된 영상의 특정 영역에 대한 터치 이벤트를 생성할 수 있다.
한편, 상기 실링 부재는, 상기 디스플레이의 외곽으로부터 멀어지는 방향으로 상기 디스플레이의 전면을 향해 경사지도록 형성될 수 있다.
한편, 상기 발광 소자는, 상기 디스플레이의 전면에 대하여 기설정된 각도를 가지고 상기 디스플레이의 전면을 가로지르는 방향으로 빛을 조사할 수 있다.
한편, 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법은, 영상이 표시되도록 디스플레이를 제어하는 단계, 복수의 발광 소자 중 적어도 하나가 빛을 조사하도록 상기 복수의 발광 소자를 제어하는 단계 및 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 크기 또는 형재 중 적어도 하나를 식별하는 단계를 포함한다.
이 경우, 상기 복수의 발광 소자와 상기 복수의 수광 소자는 교번적으로 배치될 수 있다.
한편, 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 위치를 식별하는 단계를 더 포함하고, 상기 물체의 위치를 식별하는 단계는, 상기 복수의 수광 소자의 센싱 값 중 가장 큰 값을 가지는 수광 소자의 위치에 기초하여 상기 물체의 위치를 식별할 수 있다.
이 경우, 상기 물체의 크기 또는 형태 중 적어도 하나를 식별하는 단계는, 상기 가장 큰 센싱 값을 갖는 수광 소자가 위치하는 디스플레이의 측면과 대향되는 측면에 위치하는 수광 소자에서 감지된 센싱 값을 기초로 상기 물체의 크기 또는 형태 중 적어도 하나를 식별할 수 있다.
이 경우, 식별된 물체의 크기 및 형태에 기초하여 상기 물체의 위치를 보정하는 단계를 더 포함할 수 있다.
이 경우, 상기 보정하는 단계는, 식별된 물체가 지시 손가락을 갖는 손이면, 상기 물체의 위치를 상기 지시 손가락의 끝단에 대응되는 위치로 보정할 수 있다.
한편, 상기 복수의 수광 소자의 센싱 값 중 기설정된 센싱 값 이상을 갖는 수광 소자의 위치에 기초하여 상기 물체의 크기를 식별하는 단계를 더 포함할 수 있다.
한편, 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 위치를 식별하는 단계를 더 포함하고, 상기 물체가 기설정된 시간 동안 상기 식별된 위치에 위치하면, 상기 식별된 위치에 기초하여 상기 표시된 영상의 특정 영역에 대한 터치 이벤트를 생성하는 단계를 더 포함할 수 있다.
한편, 상기 발광 소자는, 상기 디스플레이의 전면에 대하여 기설정된 각도를 가지고 상기 디스플레이의 전면을 가로지르는 방향으로 빛을 조사할 수 있다.
도 1은 본 개시의 일 실시예에 따른 디스플레이 장치를 개략적으로 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 디스플레이 장치가 디스플레이의 전면 상에 배치된 물체의 위치를 식별하는 동작을 설명하기 위한 도면이다.
도 5는 본 개시의 일 실시예에 따른 베젤부 및 센싱 장치의 구조를 설명하기 위한 도면이다.
도 6은 본 개시의 다른 실시예에 따른 베젤부 및 센싱 장치의 구조를 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시예에 따른 센싱 장치가 물체의 동작을 감지하는 것을 설명하기 위한 도면이다.
도 8은 사용자가 오른손으로 터치 이벤트를 발생시키는 경우를 설명하기 위한 도면이다.
도 9는 사용자가 왼손으로 터치 이벤트를 발생시키는 경우를 설명하기 위한 도면이다.
도 10은 물체의 크기 및 베젤부로부터의 거리에 따라 물체의 위치 및 크기를 식별하는 동작을 설명하기 위한 도면으로, 하나의 발광 소자가 빛을 조사하는 경우를 도시한 것이다.
도 11은 물체의 크기 및 베젤부로부터의 거리에 따라 물체의 위치 및 크기를 식별하는 동작을 설명하기 위한 도면으로, 복수의 발광 소자가 빛을 조사하는 경우를 도시한 것이다.
도 12는 본 개시의 다른 실시예에 따른 디스플레이 장치를 개략적으로 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 도면이다.
이하에서 설명되는 실시 예는 본 개시의 이해를 돕기 위하여 예시적으로 나타낸 것이며, 본 개시는 여기서 설명되는 실시 예들과 다르게, 다양하게 변형되어 실시될 수 있음이 이해되어야 할 것이다. 다만, 이하에서 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명 및 구체적인 도시를 생략한다. 또한, 첨부된 도면은 개시의 이해를 돕기 위하여 실제 축척대로 도시된 것이 아니라 일부 구성요소의 치수가 과장되게 도시될 수 있다.
본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
그리고, 본 명세서에서는 본 개시의 각 실시 예의 설명에 필요한 구성요소를 설명한 것이므로, 반드시 이에 한정되는 것은 아니다. 따라서, 일부 구성요소는 변경 또는 생략될 수도 있으며, 다른 구성요소가 추가될 수도 있다. 또한, 서로 다른 독립적인 장치에 분산되어 배치될 수도 있다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 도 1 내지 도 13을 참고하여 본 개시를 상세히 설명한다.
도 1은 본 개시의 일 실시예에 따른 디스플레이 장치를 개략적으로 설명하기 위한 도면이다.
도 1을 참고하면, 본 개시의 일 실시예에 따른 디스플레이 장치(100)는 베젤부(10), 디스플레이(110) 및 복수의 발광 소자(210)와 복수의 수광 소자(220)를 포함하는 센싱 장치(200)를 포함할 수 있다.
도 1에서는 복수의 발광 소자(210) 및 복수의 수광 소자(220)가 베젤부(10) 상에 배치된 것으로 도시하였으나, 이는 복수의 발광 소자(210) 및 복수의 수광 소자(220)의 상대적인 배치 관계를 나타내기 위해 간략히 도시한 것이며, 복수의 발광 소자(210) 및 복수의 수광 소자(220)를 포함하는 센싱 장치(200)는 베젤부(10)의 내부에 수용될 수 있다. 베젤부(10) 및 센싱 장치(200)의 상세한 구조와 관련하여서는 도 5 내지 도 6에서 후술하기로 한다.
디스플레이(110)는 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
사용자는 디스플레이(110)에 대해 직접적인 접촉 없이 터치 이벤트를 발생시키기 위해 디스플레이(110)의 전면 상의 특정 위치를 지목할 수 있다. 일 예로, 도 1에서는 사용자가 오른손 검지를 통해 디스플레이(110)의 전면 상의 특정 위치를 지목하는 것을 도시하였다.
센싱 장치(200)는 디스플레이(110)의 전면 상에 배치된 물체의 위치, 크기 또는 형태를 감지할 수 있다. 센싱 장치(200)는 복수의 발광 소자(210), 예를 들어 LED(Light Emitting Diode) 및 복수의 수광 소자(220), 예를 들어, PD(photodiode, 또는 photo-detector)를 포함할 수 있다.
도 1을 참고하면, 복수의 발광 소자(210) 및 복수의 수광 소자(220)는 디스플레이(110)의 제1 내지 제4 측면에 각각 배치되며, 발광 소자(210)에서 조사된 빛은 디스플레이(110)의 전면 상에 배치된 물체로부터 반사될 수 있고, 반사된 빛은 수광 소자(220)에 의해 수신될 수 있다. 센싱 장치(200)의 센싱 동작과 관련한 상세한 설명은 후술하기로 한다.
도 2는 본 개시의 일 실시예에 따른 디스플레이 장치의 구성을 설명하기 위한 블록도이다.
도 2를 참고하면, 디스플레이 장치(100)는 디스플레이(110), 프로세서(120) 및 센싱 장치(200)를 포함할 수 있다.
디스플레이 장치(100)는 디스플레이 기능을 갖춘 다양한 유형의 장치로 구현될 수 있다. 예를 들어, 키오스크(KIOSK), TV, 스마트폰(smart phone), 태블릿(tablet) PC, PMP(Portable Multimedia Player), PDA(Personal Digital Assistants), 노트북(laptop computer), 스마트 워치(smart watch), HMD(Head mounted Display), NED(Near Eye Display), 디지털 사이니지(digital signage) 등과 같이 디스플레이 기능을 갖춘 장치로 구현될 수 있다.
디스플레이(110)는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), Micro LED, QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있다. 다만, 이에 한정되는 것은 아니다. 디스플레이(110)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
센싱 장치(200)는 디스플레이(110)의 외곽 영역, 보다 상세하게는 디스플레이(110)의 외곽 영역에 배치된 베젤부(10)의 내부에 배치될 수 있다. 센싱 장치(200)는 복수의 발광 소자(210) 및 복수의 수광 소자(220)를 포함할 수 있다.
발광 소자(210)는 인가되는 전류의 크기에 따라 다양한 세기의 광을 방출할 수 있다. 또한, 발광 소자(210)는 제조 방법, 재료에 따라 자외선, 가시광선 및 적외선 영역 등 다양한 영역에 포함되는 광을 방출할 수 있다. 일 예로, 발광 소자는 적외선 다이오드(Infrared Rays Emitting Diode; IRED)로 구현될 수 있다.
수광 소자(220)는 광을 수신할 수 있다. 일 예로, 수광 소자(220)는 발광 소자(210)에 의해 조사된 광을 수신할 수 있다. 또한, 수광 소자(220)는 발광 소자(210)에 의해 조사되고, 물체로부터 반사된 반사광을 수신할 수도 있다. 여기서, 수광 소자(220)는 광 신호, 광 에너지 등을 전기 신호나 전기 에너지로 전환시키는 소자를 의미할 수 있다. 한편, 수광 소자(220)는 광 검출기, 수광 센서, 적외선 수광 모듈 등 다양하게 불릴 수 있으나, 이하에서는 수광 소자(220)로 통칭하도록 한다.
본 개시의 일 실시 예에 따른 수광 소자(220)는 수신된 광의 신호 세기, 물체로부터 반사된 광의 신호 세기(또는, 강도(intensity))를 프로세서(120)로 전송할 수 있다.
본 개시의 일 실시 예에 따라 복수의 수광 소자(220) 각각은 복수의 발광 소자(210) 사이에 배치될 수 있다. 예를 들어, 복수의 발광 소자(210)와 복수의 수광 소자(220)는 교번적으로 배치될 수 있다. 한편, 이와 같은 배치는 일 실시 예에 불과하며 센싱 장치(200)는 다양한 형태로 배치된 복수의 발광 소자(210) 및 복수의 수광 소자(220)를 포함할 수 있다.
프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), GPU(graphics-processing unit) 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다. 프로세서(120)는 메모리에 저장된 컴퓨터 실행가능 명령어(computer executable instructions)를 실행함으로써 다양한 기능을 수행할 수 있다.
프로세서(120)는 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다.
특히, 프로세서(120)는 영상이 표시되도록 디스플레이(110)를 제어하고, 복수의 발광 소자(210) 중 적어도 하나가 빛을 조사하도록 복수의 발광 소자(210)를 제어하고, 복수의 수광 소자(220)의 센싱 값에 기초하여 디스플레이(110)의 전면 상에 위치한 물체의 위치, 크기 또는 형태 중 적어도 하나를 식별할 수 있다.
도 3은 본 개시의 일 실시예에 따른 디스플레이 장치의 세부 구성을 설명하기 위한 블록도이다.
도 3을 참고하면, 본 개시의 일 실시예에 따른 디스플레이 장치(100)는 디스플레이(110), 프로세서(120) 및 센싱 장치(200) 외에도, 메모리(130), 통신 인터페이스(140), 입력 인터페이스(150) 및 출력 인터페이스(160) 중 적어도 하나를 더 포함할 수 있다.
메모리(130)에는 프로세서(120)가 실행하는 명령어 또는 프로그램 등이 저장될 수 있다. 또한, 메모리(130)에는 통신 인터페이스(140)를 통해 수신된 정보 또는 데이터가 저장될 수 있다. 메모리(130)는 프로세서(120)에 의해 액세스되며, 프로세서(120)에 의해 인스트럭션, 모듈, 인공지능 모델 또는 데이터에 대한 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
통신 인터페이스(140)는 다양한 외부 장치와 유선 통신 방식 또는 무선 통신 방식의 통신을 수행하여, 다양한 정보(또는 데이터)를 송수신할 수 있는 하드웨어를 지칭할 수 있다. 이 경우, 통신 인터페이스(140)는 TCP/IP(Transmission Control Protocol/Internet Protocol), UDP(User Datagram Protocol), HTTP(Hyper Text Transfer Protocol), HTTPS(Secure Hyper Text Transfer Protocol), FTP(File Transfer Protocol), SFTP(Secure File Transfer Protocol), MQTT(Message Queuing Telemetry Transport) 등의 통신 규약(프로토콜)을 이용하여 다양한 외부 장치와 다양한 정보를 송수신할 수 있다.
입력 인터페이스(150)는 다양한 사용자 입력을 수신하여 프로세서(120)로 전달할 수 있다. 입력 인터페이스는 예를 들면, 터치 패널, 펜 센서, 키 및 마이크 중에서 적어도 하나를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있으며, 이를 위해 터치 패널은 제어 회로를 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. 펜 센서는 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키는 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 이와 같은 입력 인터페이스는 내장 키보드, 트랙패드, 버튼, 터치 패널 등과 같이 디스플레이 장치(100)에 내장되거나 디스플레이 장치(100)와 통신 가능한 사용자 단말 장치의 구성으로 구현될 수 있다.
출력 인터페이스(160)는 디스플레이 및 스피커 중 적어도 하나를 포함할 수 있다. 여기서, 디스플레이는 정보를 시각적인 형태(예: 문자, 이미지 등)로 출력하는 장치이다. 디스플레이는 이미지 프레임을 디스플레이 영역의 전체 또는 일부 영역에 표시할 수 있다. 디스플레이 영역은 정보 또는 데이터가 시각적으로 표시되는 픽셀 단위의 영역 전체를 지칭할 수 있다. 스피커는 정보를 청각적인 형태(예: 음성)로 출력하는 장치이다. 스피커는 오디오 처리부(미도시)에 의해 디코딩이나 증폭, 노이즈 필터링과 같은 다양한 처리 작업이 수행된 각종 오디오 데이터뿐만 아니라 각종 알림 음이나 음성 메시지를 직접 소리로 출력할 수 있다.
도 4는 본 개시의 일 실시예에 따른 디스플레이 장치가 디스플레이의 전면 상에 배치된 물체의 위치를 식별하는 동작을 설명하기 위한 도면이다.
도 4를 참고하면, 복수의 발광 소자(210) 및 복수의 수광 소자(220)는 각각 디스플레이(110)의 외곽 영역에 배치될 수 있다. 구체적으로, 복수의 발광 소자(210) 및 복수의 수광 소자(220)는 디스플레이(110)의 제1 내지 제4 측면 각각에 배치되며, 복수의 수광 소자(220)는 복수의 발광 소자(210) 사이에 각각 배치될 수 있다.
각각의 수광 소자(220)는 발광 소자(210)에서 조사된 빛이 디스플레이(110)의 전면 상에 배치된 물체로부터 반사된 반사광을 수신할 수 있다. 이 경우, 프로세서(120)는 각각의 수광 소자(220)의 센싱 값에 기초하여 물체의 위치를 식별할 수 있다.
예를 들어, 복수의 발광 소자(210)는 순차적으로 하나씩 빛을 조사하고, 각각의 발광 소자(210)에서 조사되어 물체로부터 반사된 빛에 의해 각각의 수광 소자(220)에서의 센싱 값이 결정된다. 프로세서(120)는 복수의 수광 소자(220)의 센싱 값 중 가장 큰 값을 가지는 수광 소자(220)가 물체로부터 가장 가까운 거리에 위치한 것으로 판단하여, 상기 수광 소자(220)의 위치에 기초하여 물체의 위치를 식별할 수 있다.
디스플레이(110)의 제1 내지 제4 측면에 배치된 복수의 발광 소자(210)를 모두 가동하여 물체의 위치를 식별할 수도 있으나 이에 한정되는 것은 아니며, 디스플레이(110)의 일 측면 및 이와 인접한 다른 측면에 각각 배치된 복수의 발광 소자(210)를 가동하여 물체의 위치를 식별할 수도 있다. 물체의 위치는 예를 들어, 디스플레이(110)의 전면 상에 2차원 좌표로 식별될 수 있다.
한편, 식별된 물체의 위치 및 디스플레이(110)의 각 측면에 배치된 복수의 수광 소자(220)의 센싱 값에 기초하여 물체의 크기 및 형태를 식별할 수 있다. 이와 관련한 상세한 설명은 도 8 내지 도 9에서 후술하기로 한다.
도 5는 본 개시의 일 실시예에 따른 베젤부 및 센싱 장치의 구조를 설명하기 위한 도면이다.
도 5는 디스플레이 장치(100)의 단면을 도시한 것이다. 도 5를 참고하면, 베젤부(10)는 하우징(11) 및 실링 부재(12)를 포함할 수 있다.
하우징(11)은 디스플레이(110)의 외곽 영역에 배치되며, 내부에 센싱 장치(200)를 수용할 수 있다.
실링 부재(12)는 하우징(11)과 디스플레이(110)의 전면 사이에 구비되어 기밀을 유지함으로써 베젤부(10) 내부로 이물질이 침투하는 것을 방지할 수 있다. 또한, 실링 부재(12)는 디스플레이 장치(100)의 와관으로 센싱 장치(200)가 보이는 것을 방지하며, 발광 소자(210)에서 방출되는 광의 특정 파장, 예를 들어 적외선 영역의 파장의 신호를 선택적으로 투과시킬 수 있다.
발광 소자(210)는 기판(230)에 내장된 형태로 베젤부(10)의 내부에 배치될 수 있으며, 디스플레이(110)의 전면을 가로지르는 방향으로 빛을 조사할 수 있다. 이 경우, 발광 소자(210)에서 조사된 광은 실링 부재(12)를 투과하여 조사될 수 있다.
도 5를 참고하면, 실링 부재(12)는 디스플레이(110)의 외곽으로부터 멀어지는 방향으로, 디스플레이(110)의 전면을 향해 경사지도록 형성될 수 있다. 이 경우, 발광 소자(210)에서 조사되어 실링 부재(12)를 투과한 빛은 디스플레이(110)의 전면을 가로지르는 방향에서 디스플레이(110)의 전방을 향하는 방향 쪽으로 굴절될 수 있다. 이에 따라, 물체가 디스플레이(110)에 접촉하지 않고 디스플레이(110)의 전면으로부터 일정 간격 떨어진 위치에 배치되더라도 발광 소자(210)에서 조사된 빛이 물체에 반사될 수 있으며, 반사된 빛이 수광 소자(220)에 의해 수신될 수 있다.
도 6은 본 개시의 다른 실시예에 따른 베젤부 및 센싱 장치의 구조를 설명하기 위한 도면이다.
도 6을 참고하면, 발광 소자(210)가 내장된 기판(230)은 베젤부(10) 내에서 일정 각도 기울어진 상태로 배치될 수 있다. 이 경우, 발광 소자(210)는 디스플레이(110)의 전면에 대하여 기설정된 각도를 가지고 디스플레이(110)의 전면을 가로지르는 방향으로 빛을 조사할 수 있다. 이에 따라, 도 5에 도시된 실시예와 같이, 디스플레이(110)의 전면으로부터 일정 간격 떨어진 위치에 배치된 물체에 빛을 조사할 수 있으며, 물체로부터 반사된 빛이 수광 소자(220)에 의해 수신될 수 있다.
도 7은 본 개시의 일 실시예에 따른 센싱 장치가 물체의 동작을 감지하는 것을 설명하기 위한 도면이다.
프로세서(120)는 사용자가 디스플레이(110) 상에서 특정 영역을 지목할 때, 사용자의 의도에 대응되는 영역에 대한 터치 이벤트를 생성할 수 있다.
일 예로, 프로세서(120)는 물체가 기설정된 시간 동안 식별된 위치에 위치하면, 식별된 위치에 기초하여 디스플레이(110)에 표시된 영상의 특정 영역에 대한 터치 이벤트를 생성할 수 있다.
한편, 프로세서(120)는 물체의 동작을 감지하여 터치 이벤트를 생성할 수도 있다. 예를 들어, 도 7을 참고하면, 물체가 디스플레이(110)의 전면을 향해 수직 방향으로 가까워지면, 발광 소자(210)에서 조사된 빛이 반사되는 물체의 면적이 커지므로, 반사광을 수신하는 수광 소자(220)의 센싱 값이 커지게 된다. 이에 따라, 수광 소자(220)의 센싱 값 변화에 기초하여 물체가 디스플레이(110) 전면에 수직한 방향으로 이동하는 이동 속도를 감지할 수 있고, 기설정된 가속도 이상의 동작이 감지되면 식별된 영역에 대해 터치 이벤트를 생성할 수 있다.
한편, 사용자가 디스플레이(110) 상에서 특정 영역을 지목하여 터치 이벤트를 발생시키고자 하는 경우, 사용자가 지목에 사용하는 손의 형태에 따라, 사용자가 의도한 터치 이벤트 발생 위치가 상이할 수 있다.
구체적으로, 프로세서(120)는 센싱 장치(200)로부터 수신한 신호에 기초하여 물체의 질량 중심에 대한 위치를 식별할 수 있다. 이 경우, 사용자가 오른손을 사용하여 지목하는 경우와 왼손을 사용하여 지목하는 경우 손가락의 지목 위치는 상이할 수 있는데 반해, 오른손과 왼손 각각의 질량 중심 위치는 손가락이 가리키는 지목 위치에 대한 정보가 반영되어 있지 않으므로 지목 위치가 부정확하게 식별될 수 있다. 이에 따라, 사용자가 지목하는 손의 형태에 따라 터치 이벤트 발생 위치를 보정할 필요가 있다.
도 8은 사용자가 오른손으로 터치 이벤트를 발생시키는 경우를 설명하기 위한 도면이고, 도 9는 사용자가 왼손으로 터치 이벤트를 발생시키는 경우를 설명하기 위한 도면이다.
도 8 및 도 9를 참고하면, 지시 손가락이 위치하는 손의 측면으로부터 반사된 빛이 디스플레이(110)의 일 측면에 배치된 복수의 수광 소자(220)에 의해 수신되는 영역은 손의 반대 측면으로부터 반사된 빛이 디스플레이(110)의 반대 측면에 위치한 복수의 수광 소자(220)에 의해 수신되는 영역과 비교할 때 차이가 있다. 이와 같은 복수의 수광 소자(220)의 센싱 값 및 식별된 물체의 위치에 기초하여 물체에서 빛이 반사되는 각 면에 대한 면적을 산출할 수 있다. 이에 따라, 프로세서(120)는 물체의 크기 및 형태를 식별할 수 있다.
예를 들어, 도 8과 같이 물체가 지시 손가락을 갖는 손으로 식별되고, 손의 형태가 오른손으로 식별되면, 터치 이벤트가 생성되는 위치를 물체의 질량 중심으로부터 좌측 상단으로 보정할 수 있다. 마찬가지로, 도 9과 같이 손의 형태가 왼손으로 식별되면, 터치 이벤트가 생성되는 위치를 물체의 질량 중심으로부터 우측 상단으로 보정할 수 있다.
도 10 및 도 11은 물체의 크기 및 베젤부로부터의 거리에 따라 물체의 위치 및 크기를 식별하는 동작을 설명하기 위한 도면으로, 도 10은 하나의 발광 소자가 빛을 조사하는 경우를 도시한 것이고, 도 11은 복수의 발광 소자가 빛을 조사하는 경우를 도시한 것이다.
도 10을 참고하면, 하나의 발광 소자(210)가 빛을 조사하는 경우, 발광 소자(210)로부터 가까운 거리에 위치한 작은 물체는 수광 소자(220)와의 거리는 가깝지만 반사되는 빛의 양이 적고, 발광 소자(210)로부터 먼 거리에 위치한 큰 물체는 수광 소자(220)와의 거리는 상대적으로 멀지만 반사되는 빛의 양이 많으므로, 상대적으로 작은 크기의 물체가 가까이 있는 경우와 상대적으로 큰 크기의 물체가 멀리 있는 경우 수광 소자(220)의 센싱 값은 동일하게 나타날 수 있다.
이 경우, 발광 소자(210)와 인접한 다른 발광 소자(210)를 동시에 가동하여, 상술한 두가지 경우를 구분할 수 있다. 도 11을 참고하면, 작은 크기의 물체가 가까이 있는 경우 다른 발광 소자(210)를 가동하여도 다른 발광 소자(210)에서 조사된 빛은 물체에 반사되지 않아 수광 소자(220)에서의 센싱 값에 변화가 없는 반면, 큰 크기의 물체가 가까이 있는 경우 다른 발광 소자(210)가 가동되면 다른 발광 소자(210)에서 조사된 빛이 물체에 반사되어 수광 소자(220)에서의 센싱 값에 변화가 생길 수 있다. 이에 따라, 하나의 측면에 배치된 발광 소자(210) 및 수광 소자(220)만을 이용하여, 물체의 크기 및 위치를 식별하는 것이 가능하다.
도 12는 본 개시의 다른 실시예에 따른 디스플레이 장치를 나타낸 도면이다.
도 12를 참고하면, 본 개시의 다른 실시예에 따른 디스플레이 장치는 디스플레이의 일 측면과 이에 인접한 다른 측면에 복수의 발광 소자가 배치되고, 복수의 발광 소자가 배치된 측면 각각에 대향되는 측면에 복수의 수광 소자가 배치될 수 있다.
디스플레이의 일 측면에 배치된 발광 소자에서 조사된 빛은 물체로부터 반사되어, 디스플레이의 일 측면과 인접한 측면에 배치된 수광 소자에 의해 수신될 수 있다.
한편, 디스플레이의 다른 측면에 배치된 발광 소자에서 조사된 빛은 물체로부터 반사되어, 이와 인접한 측면에 배치된 수광 소자에 의해 수신될 수 있다.
프로세서(120)는 각각의 측면에 배치된 수광 소자의 센싱 값에 기초하여, 물체의 위치, 크기 및 형태를 식별할 수 있다.수광 소자의 센싱 값에 기초하여 물체의 위치, 크기 및 형태를 식별하는 동작은 앞서 설명하였으므로, 중복되는 설명은 생략한다.
도 13은 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 도면이다.
도 13을 참고하면, 본 개시의 일 실시예에 따른 디스플레이 장치의 제어 방법은, 영상이 표시되도록 디스플레이를 제어하는 단계(S1310), 복수의 발광 소자 중 적어도 하나가 빛을 조사하도록 상기 복수의 발광 소자를 제어하는 단계(S1320) 및 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 크기 또는 형태 중 적어도 하나를 식별하는 단계(S1330)를 포함할 수 있다.
먼저, 디스플레이 장치(100)는 영상이 표시되도록 디스플레이(110)를 제어(S1310)할 수 있다.
여기에서, 디스플레이(110)에 표시되는 영상은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
그리고, 디스플레이 장치(100)는 복수의 발광 소자(210) 중 적어도 하나가 빛을 조사하도록 복수의 발광 소자(210)를 제어(S1320)할 수 있다.
여기에서, 복수의 발광 소자(210)는 디스플레이(110)의 제1 내지 제4 측면 각각에 배치되어 디스플레이(110)의 전면을 가로지르는 방향으로 빛을 조사할 수 있고, 복수의 수광 소자(220)는 복수의 발광 소자(210) 사이에 배치될 수 있다. 이 경우, 복수의 발광 소자(210)와 복수의 수광 소자(220)는 교번적으로 배치될 수 있다. 이에 따라, 발광 소자(210)에서 조사되어 물체로부터 반사된 광이 수광 소자(220)에 의해 수신되면, 발광 소자(210)와 인접하게 배치된 수광 소자(220)에서 가장 강한 세기의 광을 수신하게 되어, 가장 큰 센싱 값을 가질 수 있다.
그리고, 디스플레이 장치(100)는 복수의 수광 소자(220)의 센싱 값에 기초하여 디스플레이(110)의 전면 상에 위치한 물체의 크기 또는 형태 중 적어도 하나를 식별(S1330)할 수 있다.
디스플레이 장치(100)는 복수의 수광 소자(220)의 센싱 값 중 가장 큰 값을 가지는 수광 소자(220)의 위치에 기초하여 물체의 위치를 식별할 수 있으며, 가장 큰 센싱 값을 갖는 수광 소자(220)가 위치하는 디스플레이(110)의 측면과 대향되는 측면에 위치하는 수광 소자(220)에서 감지된 센싱 값을 기초로, 물체의 크기 또는 형태를 식별할 수 있다.
예를 들어, 디스플레이(110)의 일 측면에 배치된 복수의 수광 소자(220)들의 센싱 값과 물체가 디스플레이(110)의 일 측면으로부터 떨어진 거리에 기초하여 디스플레이(110)의 일 측면에 대응되는 물체의 일 측면에 대한 면적을 산출할 수 있다. 또한, 디스플레이(110)의 일 측면과 대향되는 타 측면에 배치된 복수의 수광 소자(220)들의 센싱 값과 물체가 디스플레이(110)의 타 측면으로부터 떨어진 거리에 기초하여 디스플레이(110)의 타 측면에 대응되는 물체의 타 측면에 대한 면적을 산출할 수 있다. 이에 따라, 물체의 서로 다른 방향에서 보이는 면적에 기초하여 물체의 크기 또는 형태를 식별할 수 있다.
이 경우, 식별된 물체의 크기 및 형태에 기초하여 물체의 위치를 보정하는 단계를 더 포함할 수 있다.
예를 들어, 식별된 물체가 지시 손가락을 갖는 손이면, 물체의 위치를 지시 손가락의 끝단에 대응되는 위치로 보정할 수 있다. 구체적으로, 디스플레이 장치(100)는 디스플레이(110)의 양 측면에 배치된 복수의 수광 소자(220) 각각의 센싱 값에 기초하여 손의 형태를 식별하고, 지시 손가락의 위치를 판단할 수 있다.
이에 따라, 사용자의 의도에 대응되는 디스플레이 상의 특정 영역에 대하여 터치 이벤트를 생성할 수 있다.
한편, 디스플레이 장치(100)는 물체가 기설정된 시간 동안 식별된 위치에 위치하면, 식별된 위치에 기초하여 디스플레이에 표시된 영상의 특정 영역에 대한 터치 이벤트를 생성하는 단계를 더 포함할 수 있다.
이에 따라, 사용자가 디스플레이 상에서 특정 영역을 지목하면, 디스플레이에 대하여 직접적인 접촉 없이도, 사용자의 의도에 대응되는 영역에 대하여 터치 이벤트를 생성할 수 있다.
한편, 본 개시의 일 실시예에 따른 디스플레이 장치를 제어하기 위한 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
Claims (15)
- 디스플레이 장치에 있어서,디스플레이;상기 디스플레이의 제1 내지 제4 측면 각각에 배치되며, 상기 디스플레이의 전면을 가로지르는 방향으로 빛을 조사하는 복수의 발광 소자;상기 제1 내지 제4 측면 각각에 배치되며, 상기 복수의 발광 소자 사이에 배치되는 복수의 수광 소자; 및영상이 표시되도록 상기 디스플레이를 제어하고, 상기 복수의 발광 소자 중 적어도 하나가 빛을 조사하도록 상기 복수의 발광 소자를 제어하고, 상기 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 크기 또는 형태 중 적어도 하나를 식별하는 프로세서;를 포함하는 디스플레이 장치.
- 제1항에 있어서,상기 디스플레이의 외곽 영역에 배치되는 베젤부;를 더 포함하고,상기 베젤부는,상기 센싱 장치를 수용하는 하우징; 및상기 하우징과 상기 디스플레이의 전면 사이에 구비되어 기밀을 유지하는 실링 부재;를 포함하고,상기 발광 소자에서 조사된 광은 상기 실링 부재를 투과하여 상기 디스플레이의 전면을 가로지르는 방향으로 조사되는, 디스플레이 장치.
- 제1항에 있어서,상기 복수의 발광 소자와 상기 복수의 수광 소자는 교번적으로 배치되는, 디스플레이 장치.
- 제1항에 있어서,상기 프로세서는,상기 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 위치를 식별하고,상기 복수의 수광 소자의 센싱 값 중 가장 큰 값을 가지는 수광 소자의 위치에 기초하여 상기 물체의 위치를 식별하는, 디스플레이 장치.
- 제4항에 있어서,상기 프로세서는,상기 가장 큰 센싱 값을 갖는 수광 소자가 위치하는 디스플레이의 측면과 대향되는 측면에 위치하는 수광 소자에서 감지된 센싱 값을 기초로 상기 물체의 크기 또는 형태 중 적어도 하나를 식별하는, 디스플레이 장치.
- 제5항에 있어서,상기 프로세서는,식별된 물체의 크기 및 형태에 기초하여 상기 물체의 위치를 보정하는, 디스플레이 장치.
- 제6항에 있어서,상기 프로세서는,식별된 물체가 지시 손가락을 갖는 손이면, 상기 물체의 위치를 상기 지시 손가락의 끝단에 대응되는 위치로 보정하는, 디스플레이 장치.
- 제1항에 있어서,상기 프로세서는,상기 복수의 수광 소자의 센싱 값 중 기설정된 센싱 값 이상을 갖는 수광 소자의 위치에 기초하여 상기 물체의 크기를 식별하는, 디스플레이 장치.
- 제1항에 있어서,상기 프로세서는,상기 복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 위치를 식별하고,상기 물체가 기설정된 시간 동안 상기 식별된 위치에 위치하면, 상기 식별된 위치에 기초하여 상기 표시된 영상의 특정 영역에 대한 터치 이벤트를 생성하는, 디스플레이 장치.
- 제2항에 있어서,상기 실링 부재는,상기 디스플레이의 외곽으로부터 멀어지는 방향으로 상기 디스플레이의 전면을 향해 경사지도록 형성되는, 디스플레이 장치.
- 제1항에 있어서,상기 발광 소자는,상기 디스플레이의 전면에 대하여 기설정된 각도를 가지고 상기 디스플레이의 전면을 가로지르는 방향으로 빛을 조사하는, 디스플레이 장치.
- 디스플레이 장치의 제어 방법에 있어서,영상이 표시되도록 디스플레이를 제어하는 단계;복수의 발광 소자 중 적어도 하나가 빛을 조사하도록 상기 복수의 발광 소자를 제어하는 단계; 및복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 크기 또는 형태 중 적어도 하나를 식별하는 단계;를 포함하는, 제어 방법.
- 제12항에 있어서,상기 복수의 발광 소자와 상기 복수의 수광 소자는 교번적으로 배치되는, 제어 방법.
- 제12항에 있어서,복수의 수광 소자의 센싱 값에 기초하여 상기 디스플레이의 전면 상에 위치한 물체의 위치를 식별하는 단계;를 더 포함하고,상기 물체의 위치를 식별하는 단계는,상기 복수의 수광 소자의 센싱 값 중 가장 큰 값을 가지는 수광 소자의 위치에 기초하여 상기 물체의 위치를 식별하는, 제어 방법.
- 제14항에 있어서,상기 물체의 크기 또는 형태 중 적어도 하나를 식별하는 단계는,상기 가장 큰 센싱 값을 갖는 수광 소자가 위치하는 디스플레이의 측면과 대향되는 측면에 위치하는 수광 소자에서 감지된 센싱 값을 기초로 상기 물체의 크기 또는 형태 중 적어도 하나를 식별하는, 제어 방법.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2020-0145986 | 2020-11-04 | ||
KR1020200145986A KR20220060228A (ko) | 2020-11-04 | 2020-11-04 | 디스플레이 장치 및 이의 제어 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022097947A1 true WO2022097947A1 (ko) | 2022-05-12 |
Family
ID=81457158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/KR2021/014212 WO2022097947A1 (ko) | 2020-11-04 | 2021-10-14 | 디스플레이 장치 및 이의 제어 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20220060228A (ko) |
WO (1) | WO2022097947A1 (ko) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11110116A (ja) * | 1997-08-07 | 1999-04-23 | Fujitsu Ltd | 光学式位置検出装置 |
JP2006323521A (ja) * | 2005-05-17 | 2006-11-30 | Takenaka Komuten Co Ltd | 非接触式入力装置 |
KR101596499B1 (ko) * | 2009-01-14 | 2016-02-23 | 삼성전자주식회사 | 휴대용 기기의 키 입력 방법 및 장치 |
KR20160109205A (ko) * | 2015-03-10 | 2016-09-21 | 엘지전자 주식회사 | 차량용 디스플레이 장치 |
KR20170121601A (ko) * | 2016-04-25 | 2017-11-02 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 차량 |
-
2020
- 2020-11-04 KR KR1020200145986A patent/KR20220060228A/ko unknown
-
2021
- 2021-10-14 WO PCT/KR2021/014212 patent/WO2022097947A1/ko active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11110116A (ja) * | 1997-08-07 | 1999-04-23 | Fujitsu Ltd | 光学式位置検出装置 |
JP2006323521A (ja) * | 2005-05-17 | 2006-11-30 | Takenaka Komuten Co Ltd | 非接触式入力装置 |
KR101596499B1 (ko) * | 2009-01-14 | 2016-02-23 | 삼성전자주식회사 | 휴대용 기기의 키 입력 방법 및 장치 |
KR20160109205A (ko) * | 2015-03-10 | 2016-09-21 | 엘지전자 주식회사 | 차량용 디스플레이 장치 |
KR20170121601A (ko) * | 2016-04-25 | 2017-11-02 | 엘지전자 주식회사 | 차량용 디스플레이 장치 및 차량 |
Also Published As
Publication number | Publication date |
---|---|
KR20220060228A (ko) | 2022-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018182285A1 (ko) | 디스플레이의 균열을 감지하기 위한 회로 및 이를 포함하는 전자 장치 | |
WO2014204048A1 (en) | Portable device and method for controlling the same | |
WO2016204471A1 (en) | User terminal device and method for adjusting luminance thereof | |
WO2019088667A1 (ko) | 디스플레이를 이용하여 지문을 인식하기 위한 전자 장치 | |
TWI695296B (zh) | 內建感應器及光源模組之鍵盤裝置 | |
WO2015122559A1 (en) | Display device and method of controlling therefor | |
WO2019156437A1 (ko) | 터치입력장치의 블랙화면모드에서 압력으로 인한 지문 센싱 방법 및 터치입력장치 | |
WO2013133618A1 (en) | Method of controlling at least one function of device by using eye action and device for performing the method | |
WO2016021779A1 (ko) | 이동 단말기 | |
WO2016017855A1 (en) | Wearable device and method of controlling therefor | |
KR20120058449A (ko) | 힘/변위 감지를 이용한 터치 감지 인터페이스를 포함하는 전자 장치의 동작 방법, 관련 장치 및 컴퓨터 프로그램 제품 | |
WO2020009452A1 (ko) | 생체 센서를 이용하여 획득된 생체 정보를 포함하는 이미지의 상태에 기반하여, 생체 정보와 관련된 인증을 수행 하는 방법 및 이를 구현한 전자 장치 | |
JP5367339B2 (ja) | メニュー表示装置、メニュー表示装置の制御方法、およびメニュー表示プログラム | |
WO2020256463A1 (en) | Electronic device including sub display and method of operating same | |
WO2016080557A1 (ko) | 웨어러블 디바이스 및 그 제어 방법 | |
WO2021162283A1 (en) | Portable terminal having speaker and acoustic output path for speaker | |
EP3642701A1 (en) | Electronic device and method for controlling touch sensing signals and storage medium | |
AU2018321518B2 (en) | Method for determining input detection region corresponding to user interface and electronic device thereof | |
WO2022097947A1 (ko) | 디스플레이 장치 및 이의 제어 방법 | |
WO2012081900A2 (ko) | 광 터치 패널 | |
EP3298762A1 (en) | User terminal device and method for adjusting luminance thereof | |
WO2015105232A1 (ko) | 이동 단말기 | |
WO2017217762A1 (ko) | 터치 처리 방법 및 이를 지원하는 전자 장치 | |
WO2022220659A1 (ko) | 전자 장치 및 전자 장치에서 외부 전자 장치를 이용하여 정보를 입력하는 방법 | |
KR20180113406A (ko) | 가상 공간을 이탈한 컨트롤러의 추적 방법 및 그 전자장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21889412 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21889412 Country of ref document: EP Kind code of ref document: A1 |