WO2021034065A1 - 디스플레이장치와 그의 제어방법, 및 기록매체 - Google Patents

디스플레이장치와 그의 제어방법, 및 기록매체 Download PDF

Info

Publication number
WO2021034065A1
WO2021034065A1 PCT/KR2020/010938 KR2020010938W WO2021034065A1 WO 2021034065 A1 WO2021034065 A1 WO 2021034065A1 KR 2020010938 W KR2020010938 W KR 2020010938W WO 2021034065 A1 WO2021034065 A1 WO 2021034065A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
boundary
display device
processor
page
Prior art date
Application number
PCT/KR2020/010938
Other languages
English (en)
French (fr)
Inventor
김선영
김주연
육현수
정소영
권희진
Original Assignee
삼성전자(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주) filed Critical 삼성전자(주)
Publication of WO2021034065A1 publication Critical patent/WO2021034065A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to a display device capable of preventing content from being cut off when content exists at the boundary between pages, a control method thereof, and a storage medium.
  • the electronic board supports a variety of pen colors, styles, and thicknesses through a digital method, while providing a soft and familiar feel like the existing analog method, and can be used by multiple users at the same time.
  • the electronic board can be cut out by visually optimized quality of the desired screen during team collaboration, and work on it.
  • the electronic board can perform tasks by scrolling within a number of divided digital conversion pages. These work can be easily shared with colleagues via email, network printer, server, USB, or web drive. However, since the conventional electronic board performs a work continuously without page division through scrolling, the work may exist at the boundary between pages when a work is printed on multiple pages for sharing, and as a result, the work is both sides. There may be a problem that the page is truncated and printed.
  • An object of the present invention is to solve a conventional problem, and to provide a display device capable of preventing the cutting of output content, a control method thereof, and a recording medium in which a computer program is stored.
  • a display device for achieving the above object is provided.
  • the display device controls the display to display a work image on the screen according to a display, a sensor capable of sensing a touch on the screen of the display, an output unit, and the sensed touch, and included in the contents of the work image. Identifying whether an object of the working image exists at a boundary between a plurality of pages, and generating a page with the boundary moved so that the object does not exist based on the identification of the object being present at the boundary, and And a processor controlling to output the generated page through the output unit.
  • the processor may display a UI indicating the existence of the object at the border, control the display, and move the border according to a user command.
  • the processor may move the boundary in a direction moving a relatively short distance from the object.
  • the processor may control the display to display the image of the job in the unit of the page and to display by scrolling between two adjacent pages.
  • the processor may move the boundary based on the object having the longest movement distance based on the identification of the plurality of objects as being present in the boundary.
  • the moving distance of the boundary may include a margin from the object.
  • the processor may output the content to at least one of a file of a predetermined format, a printer, a computer, a USB, a server, or a mobile device.
  • a method of controlling a display device includes: sensing a touch on a screen of the display, controlling the display to display a work image on the screen according to the sensed touch, and between a plurality of pages included in the content of the work image Identifying whether the object of the working image exists at the boundary of, and generating a page with the boundary moved so that the object does not exist based on the identification of the object being present at the boundary of And controlling the output unit to output the generated page.
  • a computer-readable recording medium in which a computer program executed by a computer according to an embodiment of the present invention is stored.
  • the computer program senses a touch on the screen of the display, controls the display to display a work image on the screen according to the sensed touch, and controls the display at the boundary between a plurality of pages included in the content of the work image.
  • the display apparatus may identify whether an object of the output content exists at a page boundary, and if an object exists at the page boundary, move the boundary to prevent the content from being cut.
  • FIG. 1 is a diagram showing a display device according to a first embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a state in which the display device of FIG. 1 scrolls and works.
  • FIG. 3 is a block diagram showing the configuration of the display device of FIG. 1.
  • FIG. 4 is a flowchart illustrating a method of controlling a display device according to a first embodiment of the present invention.
  • FIG. 5 is a diagram showing the image contents worked in FIGS. 1 and 2.
  • FIG. 6 is a diagram illustrating a state in which the page division line is moved in FIG. 5.
  • FIG. 7 is a diagram showing a state of an object existing at a boundary between pages.
  • FIG. 8 is a diagram showing another state of an object existing at a boundary between pages.
  • FIG. 9 is a diagram showing a reference for moving a boundary between pages according to the first embodiment of the present invention.
  • FIG. 10 is a diagram illustrating a reference for moving a boundary between pages according to a second embodiment of the present invention.
  • FIG. 11 is a diagram showing a reference for moving a boundary between pages according to a third embodiment of the present invention.
  • FIG. 12 is a diagram illustrating a reference for moving a boundary between pages according to a fourth embodiment of the present invention.
  • FIG. 13 is a diagram showing a reference for moving a boundary between pages according to a fifth embodiment of the present invention.
  • expressions such as “A or B,” “at least one of A or/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” includes (1) at least one A, (2) at least one B, Or (3) it may refer to all cases including both at least one A and at least one B.
  • a device configured to may mean that the device “can” along with other devices or parts.
  • a subprocessor configured (or configured) to perform A, B, and C means a dedicated processor (eg, an embedded processor) for performing the operation, or executing one or more software programs stored in a memory device. By doing so, it may mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
  • the display device 10 is an electronic device that is supplied with various types of content, for example, an electronic blackboard, a smartphone, a tablet PC, a desktop PC, a laptop PC, a netbook computer, and a workstation. It may include at least one of. In some embodiments, the display apparatus 10 may include, for example, at least one of a television, a digital video disk (DVD) player, or an electronic picture frame.
  • an electronic blackboard for example, an electronic blackboard, a smartphone, a tablet PC, a desktop PC, a laptop PC, a netbook computer, and a workstation. It may include at least one of.
  • the display apparatus 10 may include, for example, at least one of a television, a digital video disk (DVD) player, or an electronic picture frame.
  • DVD digital video disk
  • the term user may refer to a person using the display device 10 or a device (eg, an artificial intelligence electronic device) using the display device 10.
  • a device eg, an artificial intelligence electronic device
  • FIG. 1 shows a display device 10 according to a first embodiment of the present invention.
  • the display device 100 is a touch screen device capable of touch input using a predetermined input means 20 for the screen of the display 11 displaying an image, as shown in FIG. 1. Can be implemented.
  • the type of the input means 20 is not limited. As shown in FIG. 1, the input means 20 is on the screen such as a user's body 21, such as one or more fingers or palms, and a pen or a brush (for example, a painting brush). Various types of input devices 22 capable of pointing may be included.
  • the input device 22 includes a passive type device (hereinafter also referred to as a passive pen) such as a general pen (for example, a stylus) or a brush (brush) having a shape extending in one direction,
  • a passive type device such as a general pen (for example, a stylus) or a brush (brush) having a shape extending in one direction
  • the input device 22 may include an active type device (hereinafter, also referred to as an active pen) capable of generating a signal by itself.
  • the passive pen when the passive pen held by the user touches the screen of the display 11, the touch position can be continuously identified by a touch sensing unit (12 in FIG. 2) to be described later of the display device 10.
  • the passive pen may have different sizes (width and height of a cross section) of both ends.
  • the active pen may include, for example, a structure that generates an electromagnetic field at a tip.
  • the display device 10 may continuously identify a touch position by sensing an electromagnetic field generated when an active pen held by a user touches the screen of the display 11, that is, approaches or comes into contact with it.
  • a user may perform writing, for example, a handwriting input or a drawing input on the screen of the display 11.
  • the type/type of continuous touch is not limited.
  • the continuous touch of the present invention may include various types of touches, such as drag or flick in a predetermined direction.
  • the display device 10 may continuously display an image corresponding to the identified touch position on the screen of the display 11.
  • the display apparatus 10 generates corresponding images 31 and 32 along the trajectory that the user has worked on the screen of the display 11 using the input means 20. It can be displayed on the identified touch position.
  • the display device 11 may continuously display an image corresponding to the touch position and the touch size of the identified input means 20 on the screen of the display 11.
  • the display device 10 uses various input means 20 having different areas (touch sizes) that the user touches the screen to work on the screen of the display 11.
  • the corresponding images 31 and 32 along the trajectory may be displayed at the identified touch positions.
  • FIG. 2 is a diagram illustrating a scrolling state of a screen in FIG. 1.
  • the display apparatus 10 may scroll the screen for the user's work continuity.
  • the scroll movement may be performed by sensing the user's body 21, that is, an input pushed up or down with a finger.
  • the display device 10 displays the corresponding images 33 and 34 at the identified touch positions along the work trajectory on the screen scrolled by the input device 22, as shown in FIG. 2. can do.
  • the display device 10 may be implemented as an interactive whiteboard (IWB) capable of receiving various touch inputs including a work input from a user, but is not limited thereto. That is, the display device 10 is a touch screen device of various types capable of a touch input by the input means 20 on the screen, for example, a television (TV), a monitor, a video wall, a smart pad such as a tablet, a smart It will be possible to implement it as a phone.
  • IWB interactive whiteboard
  • FIG 1 and 2 illustrate a case in which the display 11 of the display device 10 implemented as an electronic board is in a portrait mode as an example. However, since the display 11 has a structure capable of rotation, the horizontal mode ( landscape).
  • the display device 10 implemented as an electronic blackboard may have a main body that can be connected to the display 11 and wired or wirelessly so that an image is displayed on the display 11.
  • the display device 10 may be configured with one display 11.
  • the present invention also includes a case in which the display apparatus 10 has a structure in which a plurality of displays, that is, panels, are arranged in a matrix form according to the implementation method thereof, thereby implementing a large screen screen.
  • the display apparatus 10 may be provided to implement the function of the electronic blackboard through execution of a predetermined embedded application.
  • the display device 10 when the display device 10 is a television, the display device 10 may receive and process broadcast content based on at least one of broadcast signals, broadcast information, or broadcast data received from transmission equipment of a broadcaster. have.
  • the display device 10 may wirelessly receive a radio frequency (RF) signal transmitted from a broadcasting station, that is, a broadcast signal, and for this purpose, an antenna for receiving a broadcast signal and a tuner for tuning the broadcast signal for each channel may be provided.
  • RF radio frequency
  • broadcast signals can be received through terrestrial waves, cables, satellites, and the like, and a signal supply source is not limited to a broadcasting station. That is, any device or station capable of transmitting and receiving data may be included in the source device of the present invention.
  • the display device 10 can operate as a smart TV or an Internet Protocol TV (IP TV).
  • a smart TV can receive and display broadcast signals in real time, and has a web browsing function, so it is possible to search and consume various contents through the Internet at the same time as displaying real-time broadcast signals, and to provide a convenient user environment for this purpose. to be.
  • the smart TV includes an open software platform, so it can provide interactive services to users. Accordingly, the smart TV can provide a variety of contents, for example, an application that provides a predetermined service to a user through an open software platform.
  • These applications are applications capable of providing various types of services, and include applications that provide services such as SNS, finance, news, weather, maps, music, movies, games, and electronic books.
  • the standard of the signal received from the display device 10 may be configured in various ways corresponding to the implementation type of the device, for example, a high definition multimedia interface (HDMI), a digital visual interface (DVI), and a display port. port, DP), D-sub, composite video, component video, super video, SCART (Syndicat des Constructeurs d'Appareils Radiorecepteurs et Televiseurs), USB (universal serial bus) ), you can send and receive data by wire.
  • HDMI high definition multimedia interface
  • DVI digital visual interface
  • DP digital visual interface
  • DP digital visual interface
  • D-sub composite video
  • component video component video
  • super video super video
  • SCART Syndicat des Constructeurs d'Appareils Radiorecepteurs et Televiseurs
  • USB universal serial bus
  • the display device 10 may receive data from various external devices including a server or a source device through wireless communication.
  • the type of wireless communication is not limited, and the display apparatus 10 may perform at least one of wireless communication through an access point (AP) or wireless communication directly connected to another device without an AP.
  • the display device 10 may transmit and receive data to and from an external device through wireless communication such as Wi-Fi, Wi-Fi Direct, or Bluetooth.
  • the display device 10 may display an image of a mobile device such as a smartphone, a tablet, or a PDA through mirroring. Conversely, the image displayed on the display 11 of the display device 10 may be output to a mobile device.
  • a mobile device such as a smartphone, a tablet, or a PDA through mirroring.
  • the image displayed on the display 11 of the display device 10 may be output to a mobile device.
  • the display apparatus 10 may include a display 11, a touch sensing unit 12, an image processing unit 13, a signal input/output unit 14, a storage unit 15, and a processor 16.
  • the configuration included in the display apparatus 10 is not limited by the above-described exemplary embodiment, and may be configured by excluding or changing some configurations, or may be implemented including additional other configurations.
  • the display device 10 is installed in a front or side area and is implemented as a keypad (or input panel) composed of buttons such as a power key and a menu key, and further includes a user input unit for receiving a user input.
  • the user input unit generates a preset command/data/information/signal to remotely control the display device 100 and transmits it to the display device 10 (for example, a remote control ), a mouse, a keyboard, and a smartphone with an application capable of remotely controlling the display device 10), or a voice input unit for receiving voice/sound uttered from the user, such as a microphone.
  • the display device 10 may receive a signal corresponding to a user input through an input unit 14 to be described later.
  • the display 11 may include a screen that displays a touch input as an image.
  • the implementation method of the display 11 is not limited, and for example, liquid crystal, plasma, light-emitting diode, organic light-emitting diode, surface conduction electron gun ( It can be implemented in various display methods such as surface-conduction electron-emitter), carbon nano-tube, and nano-crystal.
  • the display 11 includes a display panel constituting a screen on which an image is displayed, and may further include an additional component (driver) according to the implementation method.
  • the driving unit is implemented with one or more driver ICs (integrated circuits) to display an image on the display 11 based on the signal received from the image processing unit 13, an electrical signal that drives a light source or an electronic device constituting a screen Can be printed.
  • the touch sensing unit 12 can identify the touch position and the touch size of the input means 20.
  • the touch sensing unit 12 includes an optical sensor that transmits and receives light from the display 11, and a touch position and a touch size may be identified based on the light transmitted and received by the optical sensor.
  • the optical sensor may be implemented as an IR sensor that transmits and receives straight infrared light.
  • the implementation form of the touch sensing unit 12 is not limited to the IR sensor, and for example, an ultrasonic sensor may be included in the touch sensing unit 12 of the present invention.
  • the image processing unit 13 generates an image signal for displaying an image in an area touched by the input unit 20 on the screen based on the touch position and the touch size by the input unit 20.
  • the image signal processed by the image processing unit 13 is transmitted to the display 11, and the display 11 is driven by the image signal so that an image may be displayed on the screen.
  • the image signal processed by the image processing unit 13 may be derived from data stored in a nonvolatile storage unit 15 such as a flash memory or a hard disk.
  • the image processing unit 13 when the touch position by the input means 20 is continuously moved, such as handwriting input or drawing input, the image processing unit 13 corresponds to the identified touch size according to the trajectory of the moved touch position. An image signal for displaying an image whose width is continuously adjusted can be generated.
  • the display device 10 displays on the screen of the display 11 an image whose width is continuously adjusted in response to the touch size of the input means 20 along the trajectory of the touch position moved as described above, It is possible to provide an analog input experience of directly writing (writing) or drawing on the screen.
  • the image processing unit 13 may generate an image file of a corresponding predetermined format by processing an image (a handwritten image or a drawing image) displayed on the screen of the display 11.
  • the generated image file may be stored in the storage unit 15 or transmitted to at least one external device through the signal input/output unit 14, and thus may be shared among participants such as meetings or classes.
  • the image processing unit 13 When the display device 10 is a device capable of receiving and processing content such as a television or a monitor, the image processing unit 13 performs various preset video/audio processing on the video signal of the content. The image processing unit 13 performs such a process to output a signal generated or combined to the display 11 to display an image corresponding to the signal output on the screen.
  • the image processing unit 13 includes a decoder that decodes the image signal to correspond to the image format of the display device 10 and a scaler that adjusts the image signal to conform to the output standard of the display 11.
  • the decoder may be implemented as, for example, an MPEG (Moving Picture Experts Group) decoder, and the type of content processed by the image processing unit 13 in the present invention is not limited.
  • the content processed by the image processing unit 13 may include not only moving images such as video but also still images such as photos.
  • the image processing unit 13 may be implemented as a group of individual configurations capable of independently performing each of these processes, or may be implemented as a form included in a main SoC (System-on-Chip) in which several functions are integrated.
  • the main SoC may further include a processor 16 implemented as at least one microprocessor or CPU.
  • the image processing unit 13 may be implemented as a board mounted on a printed circuit board (PCB) with circuit configurations such as various chipsets, memories, electronic components, and wiring for performing each of these processes.
  • the image processing unit 13 and the processor 16 may be provided on a single board.
  • this is only an example and may be disposed on a plurality of printed circuit boards communicatively connected to each other.
  • the signal input/output unit 14 may input or output various content signals or command signals to/from at least one external device.
  • the external device may include, for example, a content supply device (set-top) that supplies image content, a computer, a USB, a mobile device, a server, a remote control, a printer, and the like.
  • the signal input/output unit 14 may include a signal input unit for receiving content or command signals or a signal output unit for outputting to the outside.
  • the signal input unit and the signal output unit may be integrated into one module or may be implemented as separate modules.
  • the signal input/output unit 14 may include a broadcast receiving module, a communication module, or a connection module.
  • the broadcast receiving module may be implemented as, for example, a tuner or a TV card, and may receive a content signal from an over-the-air broadcasting station, a cable broadcasting station, or a media broadcasting station.
  • the content signal may be a wired signal or a wireless signal, and may be a digital signal or an analog signal.
  • the content signal may be an over-the-air signal, a cable signal, a satellite signal, or a network signal.
  • the communication module may be implemented as a communication circuitry including a communication module (S/W module, chip, etc.) corresponding to various types of communication protocols.
  • a communication module S/W module, chip, etc.
  • the communication module may include a wireless LAN unit such as a WiFi communication module.
  • the wireless LAN unit may be wirelessly connected to an external device through an access point (AP) under the control of the processor 16.
  • AP access point
  • the communication module includes a short-range communication module that supports direct communication between the display device 10 and an external device wirelessly without an AP.
  • the short-range communication module includes Wi-Fi Direct, Bluetooth, Bluetooth low energy, RF (radio frequency) communication, infrared data association (IrDA), Zigbee, UWB (Ultra-Wideband), NFC (Near Field Communication) may include at least one of.
  • the storage unit 15 may store address information (eg, a MAC address or an IP address) for an external device that is a communication target device.
  • the communication module may be provided to perform wireless communication with an external device by at least one of a wireless LAN unit or a short-range communication module according to performance.
  • the communication module may include a wired communication module such as Ethernet.
  • the communication module may include a communication module using various communication methods such as mobile communication such as LTE, EM communication including a magnetic field, visible light communication, and sound wave communication.
  • connection module may be implemented as a communication circuitry including a data input/output interface in which a communication module (S/W module, chip, etc.) corresponding to various types of communication protocols and a port are combined.
  • a communication module S/W module, chip, etc.
  • connection module may be configured in various ways corresponding to the standard of the signal received from the display device 10, for example, HDMI, DVI, display port (DP), D-sub, Data can be transmitted/received by wire through composite video, component video, super video, SCART, USB, or the like.
  • the communication module may receive content from the source device.
  • the storage unit 15 is configured to store various data of the display device 10.
  • the storage unit 15 must remain data even when the power supplied to the display device 10 is cut off, and may be provided as a writable nonvolatile memory (writable ROM) so as to reflect changes. That is, the storage unit 15 may be provided with at least one of a flash memory, an EPROM, or an EEPROM.
  • the storage unit 15 may further include a volatile memory such as DRAM or SRAM in which the display device 10 reads or writes faster than the nonvolatile memory.
  • the data stored in the storage unit 15 includes, for example, an operating system for driving the display device 10 and various software, programs, applications, image data, and additional data that can be executed on the operating system.
  • the storage unit 15 may be stored by an application that performs an electronic blackboard function.
  • the storage unit 15 may store an image file of a predetermined format in which an image (a handwritten image or a drawing image) displayed on the screen of the display 11 is processed.
  • the storage unit 15 may store graphic data that the display apparatus 10 receives from the outside or provided by itself. Graphic data is an image signal processed by the image processing unit 13 and is output to the display 11, and an OSD (on-screen display) or graphic user interface (GUI) (hereinafter, referred to as UI) is displayed in one area of the screen. (also referred to as user interface)).
  • OSD on-screen display
  • GUI graphic user interface
  • the processor 16 controls all components of the display device 10 to operate.
  • the processor 16 determines the touch position of the input means 20 on the screen based on the touch signal of the touch sensing unit 12 for the user's work (writing, drawing) by the input means 20.
  • the image processing unit 13 may be controlled to display an image on the screen according to the moved touch position.
  • the processor 16 may output an image displayed on the screen as a plurality of pages through the signal input/output unit 14 according to an output command of a user.
  • the processor 16 may identify whether an object of image content exists at the boundary between pages, and if the object exists at the boundary, move the boundary to prevent the object from being cut during output.
  • the processor 16 may generate image content whose borders are shifted.
  • the processor 16 may output the image content whose border is moved to at least one of a file of a predetermined format, a printer, a computer, a USB, a server, or a mobile device.
  • the control program may include program(s) implemented in at least one of a BIOS, a device driver, an operating system, a firmware, a platform, and an application program (application).
  • the application program is preinstalled or stored in the display device 10 when the display device 10 is manufactured, or when using the application program from the outside when using the display device 10 in advance, based on the received data. It may be installed in the display device 10.
  • the application program data may be downloaded to the display device 10 from an external server such as an application market.
  • an external server is an example of the computer program product of the present invention, but is not limited thereto.
  • the display device 10 may download and execute a computer program stored in a separate computer program product to perform an operation of the processor 16.
  • the recognition unit may acquire target data in order to perform an operation of applying the best boundary movement in consideration of various types of objects existing at the boundary between pages.
  • the target data may be data to be recognized by the neural network.
  • the recognition unit may perform pre-processing on the acquired target data or select data to be used for recognition from among a plurality of target data before applying the target data to the learned neural network network. For example, the recognition unit may process the target data into a preset format, filter it, or add/remove noise to process the target data into a form suitable for recognition.
  • the recognition unit may obtain an output value output from the neural network network by applying the preprocessed target data to the neural network network.
  • the recognition unit may acquire an education rate value (or a reliability value) together with an output value.
  • FIG. 4 is a flow chart showing a control method of the display apparatus 10 according to an embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

필기 또는 드로잉 작업 영상 컨텐츠를 표시하고 출력하는 디스플레이장치가 개시된다. 디스플레이장치는, 디스플레이, 상기 디스플레이의 화면 상의 터치를 감지할 수 있는 센서, 출력부, 및 상기 감지된 터치에 따라 상기 화면에 작업 영상이 표시되도록 상기 디스플레이를 제어하고, 상기 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 상기 작업 영상의 오브젝트가 존재하는지 여부를 식별하고, 상기 경계에 상기 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 상기 오브젝트가 존재하지 않도록 상기 경계가 이동된 페이지를 생성하고, 상기 생성된 페이지를 상기 출력부를 통해 출력하도록 제어하는 프로세서를 포함한다.

Description

디스플레이장치와 그의 제어방법, 및 기록매체
본 발명은 페이지 간 경계에 컨텐츠가 존재할 때에 컨텐츠의 잘림을 방지할 수 있는 디스플레이장치와 그의 제어방법, 및 저장매체에 관한 것이다.
최근 터치 입력이 가능한 디스플레이장치로서 전자칠판이 널리 보급되고 있다. 전자칠판은 디지털 방식을 통해 다양한 펜 색상, 스타일 및 굵기를 지원함과 동시에 기존의 아날로그 방식과 같은 부드럽고 익숙한 느낌을 제공하고, 다수의 사용자가 동시 사용할 수 있다. 전자칠판은 팀 공동작업 진행 시, 원하는 화면을 시각적으로 최적화된 품질로 캡쳐하여 오려내고 그 위에 작업 할 수 있다.
전자칠판은 분할된 다수의 디지털 전환 페이지 내에서 스크롤 하여 작업을 수행할 수 있다. 이러한 작업물은 이메일, 네트워크 프린터, 서버, USB, 웹 드라이브를 통해 동료와 쉽게 공유할 수 있다. 그러나, 종래의 전자칠판은 스크롤을 통해 연속적으로 페이지 구분없이 작업을 수행하기 때문에 공유를 위해 작업물을 복수 페이지로 출력할 때 작업물이 페이지 간 경계에 존재할 수 있고, 그 결과 작업물이 양 쪽 페이지로 잘려져 출력되는 문제가 발생할 수 있다.
본 발명의 목적은, 종래의 문제를 해결하기 위한 것으로, 출력되는 컨텐츠의 잘림을 방지할 수 있는 디스플레이장치와 그의 제어방법, 및 컴퓨터 프로그램이 저장된 기록매체를 제공하는 데에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디스플레이장치가 제공된다. 디스플레이장치는, 디스플레이, 상기 디스플레이의 화면 상의 터치를 감지할 수 있는 센서, 출력부 및 상기 감지된 터치에 따라 상기 화면에 작업 영상이 표시되도록 상기 디스플레이를 제어하고, 상기 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 상기 작업 영상의 오브젝트가 존재하는지 여부를 식별하고, 상기 경계에 상기 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 상기 오브젝트가 존재하지 않도록 상기 경계가 이동된 페이지를 생성하고, 상기 생성된 페이지를 상기 출력부를 통해 출력하도록 제어하는 프로세서를 포함한다.
상기 프로세서는, 상기 경계에 상기 오브젝트가 존재하는 것을 나타내는 UI를 표시하고 상기 디스플레이를 제어하고, 사용자명령에 따라 상기 경계를 이동시킬 수 있다.
상기 프로세서는, 상기 경계를 상기 오브젝트로부터 상대적으로 짧은 거리를 이동하는 방향으로 이동시킬 수 있다.
상기 프로세서는, 상기 페이지 단위로 상기 작업의 영상을 표시하고, 2개의 인접한 상기 페이지 간을 스크롤 전환하여 표시하도록 상기 디스플레이를 제어할 수 있다.
상기 프로세서는, 상기 복수의 오브젝트가 상기 경계에 존재하는 것으로 식별되는 것에 기초하여, 이동 거리가 가장 긴 오브젝트를 기준으로 상기 경계를 이동시킬 수 있다.
상기 프로세서는, 상기 이동 방향으로 상기 오브젝트와 이격된 제2오브젝트가 존재하는 것으로 식별됨에 따라 최단 이격 거리에서 분배된 위치로 상기 경계를 이동시킬 수 있다.
상기 경계의 이동 거리는 상기 오브젝트로부터의 마진을 포함할 수 있다.
상기 프로세서는, 상기 컨텐츠를 소정 포맷의 파일, 프린터, 컴퓨터, USB, 서버, 또는 모바일장치 중 적어도 하나로 출력할 수 있다.
본 발명의 실시예에 따른 디스플레이장치의 제어방법이 제공된다. 디스플레이장치의 제어방법은, 디스플레이의 화면 상의 터치를 감지하는 단계, 상기 감지된 터치에 따라 상기 화면에 작업 영상이 표시되도록 상기 디스플레이를 제어하는 단계, 상기 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 상기 작업 영상의 오브젝트가 존재하는지 여부를 식별하는 단계, 상기 경계에 상기 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 상기 오브젝트가 존재하지 않도록 상기 경계가 이동된 페이지를 생성하는 단계 및 상기 생성된 페이지를 출력하도록 출력부를 제어하는 단계를 포함한다.
본 발명의 실시예에 따른 컴퓨터에 의해 실행되는 컴퓨터 프로그램이 저장되는, 컴퓨터 판독 가능 기록매체가 제공된다. 상기 컴퓨터 프로그램은, 디스플레이의 화면 상의 터치를 감지하고, 상기 감지된 터치에 따라 상기 화면에 작업 영상이 표시되도록 상기 디스플레이를 제어하고, 상기 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 상기 작업 영상의 오브젝트가 존재하는지 여부를 식별하고, 상기 경계에 상기 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 상기 오브젝트가 존재하지 않도록 상기 경계가 이동된 페이지를 생성하고, 상기 생성된 페이지를 출력하도록 출력부를 제어하는 동작을 수행한다.
본 발명에 의한 디스플레이장치는 출력되는 컨텐츠의 오브젝트가 페이지 경계에 존재하는지를 식별하고, 페이지 경계에 오브젝트가 존재하는 경우 경계를 이동시켜 컨텐츠의 잘림을 방지할 수 있다.
도 1은 본 발명의 제1실시예에 따른 디스플레이장치를 나타내는 도면이다.
도 2는 도 1의 디스플레이장치에서 화면을 스크롤 이동하여 작업하는 상태를 나타내는 도면이다.
도 3은 도 1의 디스플레이장치의 구성을 나타내는 블록도이다.
도 4는 본 발명의 제1실시예에 따른 디스플레이장치의 제어방법을 나타내는 순서도이다.
도 5는 도 1 및 도 2에서 작업한 영상컨텐츠를 나타내는 도면이다.
도 6은 도 5에서 페이지 구분선을 이동시킨 상태를 나타내는 도면이다.
도 7은 페이지 간 경계에 존재하는 오브젝트의 상태를 나타내는 도면이다.
도 8은 페이지 간 경계에 존재하는 오브젝트의 다른 상태를 나타내는 도면이다.
도 9는 본 발명의 제1실시예에 따른 페이지 간 경계를 이동시키는 기준을 나타내는 도이다.
도 10은 본 발명의 제2실시예에 따른 페이지 간 경계를 이동시키는 기준을 나타내는 도이다.
도 11은 본 발명의 제3실시예에 따른 페이지 간 경계를 이동시키는 기준을 나타내는 도이다.
도 12는 본 발명의 제4실시예에 따른 페이지 간 경계를 이동시키는 기준을 나타내는 도이다.
도 13은 본 발명의 제5실시예에 따른 페이지 간 경계를 이동시키는 기준을 나타내는 도이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
또한, 본 발명의 실시예에서 '상부', '하부', '좌측', '우측', '내측', '외측', '내면', '외면', '전방', '후방' 등의 용어는 도면을 기준으로 정의한 것이며, 이에 의해 각 구성요소의 형상이나 위치가 제한되는 것은 아니다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 서브 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서의 다양한 실시예들에 따른 디스플레이장치(10)는, 다양한 종류의 컨텐츠를 공급받는 전자기기, 예를 들면, 전자칠판, 스마트폰, 태블릿 PC, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 디스플레이장치(10)는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
본 문서에서, 사용자라는 용어는 디스플레이장치(10)를 사용하는 사람 또는 디스플레이장치(10)를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 발명의 제1실시예에 따른 디스플레이장치(10)를 도시한다.
본 발명 실시예에 따른 디스플레이장치(100)는, 도 1에 도시된 바와 같이, 영상을 표시하는 디스플레이(11)의 화면에 대해, 소정 입력수단(20)을 이용하여 터치입력 가능한 터치화면 장치로서 구현될 수 있다.
입력수단(20)의 종류는 한정되지 않는다. 입력수단(20)은, 도 1에 도시된 바와 같이, 하나 이상의 손가락이나 손바닥 등 사용자의 신체(21)와, 펜이나 붓(예를 들면, 페인딩 브러시(painting brush))과 같이 화면 상에 포인팅이 가능한 다양한 형태의 입력 디바이스(22)를 포함할 수 있다.
입력 디바이스(22)는 일 방향으로 연장된 형상을 갖는 일반적인 펜(예를 들면, 스타일러스(stylus))이나 붓(브러시)과 같은 패시브(passive) 타입의 디바이스(이하, 패시브 펜 이라고도 한다)와, 입력 디바이스(22)가 자체적으로 신호를 생성할 수 있는 액티브 타입의 디바이스(이하, 액티프 펜 이라고도 한다)를 포함할 수 있다.
패시브 펜은, 사용자에 의해 파지된 패시브 펜이 디스플레이(11)의 화면에 터치되면, 디스플레이장치(10)의 후술하는 터치감지부(도 2의 12)에 의해 그 터치위치가 연속적으로 식별될 수 있다. 여기서, 패시브 펜은 양 단부의 크기(단면의 너비와 높이)가 상이하게 구성될 수 있다.
액티브 펜은, 예를 들면, 선단부(tip)에 전자기장을 생성하는 구조를 포함할 수 있다. 디스플레이장치(10)는 사용자에 의해 파지된 액티브 펜이 디스플레이(11)의 화면에 터치 즉, 접근되거나 접촉되었을 때 발생하는 전자기장을 감지하는 방식으로 터치위치를 연속적으로 식별할 수 있다.
사용자는 입력수단(20)을 이용한 연속적인 터치(successive touches)에 따른 터치입력으로서, 디스플레이(11)의 화면 상에 작업(writing), 예컨대 필기 입력 또는 드로잉(drawing) 입력을 할 수 있다. 연속적인 터치의 종류/타입은 한정되지 않는다. 본 발명의 연속적인 터치에는 예를 들면, 소정방향으로의 드래그(drag)나 플릭(flick) 등 다양한 종류의 터치가 포함될 수 있다.
디스플레이장치(10)는 식별된 터치위치에 대응하는 영상을 연속적으로 디스플레이(11)의 화면에 표시할 수 있다. 다시 말해, 디스플레이장치(10)는, 도 1에 도시된 바와 같이, 사용자가 입력수단(20)을 사용하여 디스플레이(11)의 화면 상에 작업한 궤적을 따라 대응되는 영상(31, 32)을 식별된 터치위치에 표시할 수 있다.
디스플레이장치(11)는 식별된 입력수단(20)의 터치위치 및 터치크기에 대응하는 영상을 연속적으로 디스플레이(11)의 화면에 표시할 수 있다. 다시 말해, 디스플레이장치(10)는, 도 1에 도시된 바와 같이, 사용자가 화면에 접촉되는 면적(터치크기)이 상이한 다양한 입력수단(20)을 사용하여 디스플레이(11)의 화면 상에 작업한 궤적을 따라 대응되는 영상(31, 32)을 식별된 터치위치에 표시할 수 있다.
도 2는 도 1에서 화면의 스크롤 이동 상태를 나타낸 도면이다. 디스플레이장치(10)는 사용자의 작업 연속성을 위하여 화면을 스크롤 이동시킬 수 있다. 스크롤 이동은 사용자의 신체(21), 즉 손가락으로 밀어 올리거나 내리는 입력을 감지하여 이루어질 수 있다. 이때, 디스플레이장치(10)는, 도 2에 도시된 바와 같이, 입력 디바이스(22)에 의해 스크롤 이동된 화면 상에 작업한 궤적을 따라 대응되는 영상(33, 34)을 식별된 터치위치에 표시할 수 있다.
본 발명 일 실시예에 따르면, 디스플레이장치(10)는 사용자로부터 작업 입력을 포함한 다양한 터치입력이 수신 가능한 전자칠판(interactive whiteboard, IWB)으로 구현될 수 있으며, 이에 한정되지 않는다. 즉, 디스플레이장치(10)는 화면 상에 입력수단(20)에 의한 터치입력이 가능한 다양한 형태의 터치화면 장치, 예를 들면, 텔레비전(TV), 모니터, 비디오 월, 태블릿과 같은 스마트 패드, 스마트 폰 등으로도 구현 가능할 것이다.
도 1 및 2는 전자칠판으로 구현된 디스플레이장치(10)의 디스플레이(11)가 세로모드(portrait)인 경우를 예로 들어 도시하였으나, 디스플레이(11)는 회전이 가능한 구조를 가지므로, 가로모드(landscape)로 설치될 수도 있다.
일 실시예에서, 전자칠판으로 구현된 디스플레이장치(10)는 디스플레이(11)와 유선 또는 무선으로 연결 가능한 본체가 별도로 구비되어, 디스플레이(11)에 영상이 표시되도록 할 수 있다.
일 실시예에서, 디스플레이장치(10)는 하나의 디스플레이(11)로 구성될 수 있다. 다만, 디스플레이장치(10)가 그 구현 방식에 따라 복수의 디스플레이 즉, 패널이 매트릭스 형태로 배치됨으로써, 대화면의 화면을 구현하는 구조인 경우도 본 발명에 포함된다.
일 실시예에서, 디스플레이장치(10)는 내장된 소정 어플리케이션의 실행을 통해 전자칠판의 기능이 구현되도록 마련될 수 있다.
일 실시예에서, 디스플레이장치(10)가 텔레비전인 경우, 디스플레이장치(10)는 방송국의 송출장비로부터 수신되는 방송신호, 방송정보, 또는 방송데이터 중 적어도 하나에 기초한 방송 컨텐츠를 수신 및 처리할 수 있다. 디스플레이장치(10)는 방송국으로부터 송출되는 RF(radio frequency) 신호 즉, 방송신호를 무선으로 수신할 수 있으며, 이를 위해 방송신호를 수신하는 안테나와 방송신호를 채널 별로 튜닝하기 위한 튜너가 마련될 수 있다. 디스플레이장치(10)에서, 방송신호는 지상파, 케이블, 위성 등을 통해서 수신 가능하며, 신호공급원은 방송국에 한정되지 않는다. 즉, 데이터의 송수신이 가능한 장치 또는 스테이션이라면 본 발명의 소스장치에 포함될 수 있다.
일 실시예에서 디스플레이장치(10)는 스마트 TV 또는 IP TV(Internet Protocol TV)로 동작 가능하다. 스마트 TV는 실시간으로 방송신호를 수신하여 표시할 수 있고, 웹 브라우징 기능을 가지고 있어 실시간 방송신호의 표시와 동시에 인터넷을 통하여 다양한 컨텐츠 검색 및 소비가 가능하고 이를 위하여 편리한 사용자 환경을 제공할 수 있는 텔레비전이다. 또한, 스마트 TV는 개방형 소프트웨어 플랫폼을 포함하고 있어 사용자에게 양방향 서비스를 제공할 수 있다. 따라서, 스마트 TV는 개방형 소프트웨어 플랫폼을 통하여 다양한 컨텐츠, 예를 들어 소정의 서비스를 제공하는 어플리케이션을 사용자에게 제공할 수 있다. 이러한 어플리케이션은 다양한 종류의 서비스를 제공할 수 있는 응용 프로그램으로서, 예를 들어 SNS, 금융, 뉴스, 날씨, 지도, 음악, 영화, 게임, 전자 책 등의 서비스를 제공하는 어플리케이션을 포함한다.
디스플레이장치(10)에서 수신되는 신호의 규격은 장치의 구현 형태에 대응하여 다양한 방식으로 구성될 수 있으며, 예를 들면, HDMI(high definition multimedia interface), DVI(digital visual interface), 디스플레이 포트(display port, DP), 디서브(D-sub), 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART(Syndicat des Constructeurs d'Appareils Radiorecepteurs et Televiseurs), USB(universal serial bus) 등에 의하여 유선으로 데이터를 송수신할 수 있다.
또한, 디스플레이장치(10)는 서버나 소스장치를 포함하는 다양한 외부장치들로부터 무선 통신에 의해 데이터를 제공받을 수 있다. 무선 통신의 종류는 한정되지 않으며, 디스플레이장치(10)는 AP(access point)를 통한 무선 통신 또는 AP 없이 타 기기와 다이렉트 연결되는 무선 통신 중 적어도 하나를 수행할 수 있다. 예를 들면, 디스플레이장치(10)는 와이파이(Wi-Fi), 와이파이 다이렉트(Wi-Fi Direct), 또는 블루투스(bluetooth)와 같은 무선 통신을 통해 외부장치와 데이터를 송수신할 수 있다.
디스플레이장치(10)는 미러링을 통해 스마트폰, 태블릿, PDA 등과 같은 모바일 장치의 영상을 표시할 수 있다. 반대로, 디스플레이장치(10)의 디스플레이(11)에 표시된 영상은 모바일장치로 출력될 수도 있다.
도 3은 본 발명의 실시예에 따른 디스플레이장치(10)의 구성을 나타내는 블록도이다. 디스플레이장치(10)는 디스플레이(11), 터치감지부(12), 영상처리부(13), 신호입출력부(14), 저장부(15) 및 프로세서(16)를 포함할 수 있다.
디스플레이장치(10)에 포함되는 구성은 상기한 일 실시예에 의해 한정되지 않고, 일부 구성을 제외 또는 변경하여 구성되거나, 추가적인 다른 구성들을 포함하여 구현될 수 있다.
예를 들어, 디스플레이장치(10)는 전면이나 측면의 일 영역에 설치되며 전원키, 메뉴키 등의 버튼으로 구성된 키패드(또는 입력패널)로 구현되어, 사용자입력을 수신하는 사용자입력부를 더 포함할 수 있다. 일 실시예에서, 사용자입력부는 디스플레이장치(100)를 원격으로 제어 가능하게 기설정된 커맨드/데이터/정보/신호를 생성하여 디스플레이장치(10)로 전송하는 입력장치(예를 들어, 리모컨(remote control), 마우스, 키보드, 디스플레이장치(10)를 원격제어 가능한 어플리케이션이 설치된 스마트폰 등)이나, 마이크(microphone)와 같이 사용자로부터 발화된 음성/사운드를 수신하는 음성입력부를 더 포함할 수 있다. 디스플레이장치(10)는 후술하는 입력부(14)를 통해 사용자입력에 대응하는 신호를 수신할 수 있다.
디스플레이(11)는 터치 입력을 영상으로 표시하는 화면을 포함할 수 있다. 디스플레이(11)의 구현 방식은 한정되지 않으며, 예를 들면 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
일 실시예에서, 디스플레이(11)는 영상이 표시되는 화면을 구성하는 디스플레이 패널을 포함하며, 그 구현 방식에 따라서 부가적인 구성(구동부)을 더 포함할 수 있다. 구동부는 하나 이상의 드라이버 IC(integrated circuit)로 구현되어, 영상처리부(13)로부터 수신된 신호에 기초하여 디스플레이(11)에 영상이 표시되도록, 광원 또는 화면을 구성하는 전자소자 등을 구동하는 전기적 신호를 출력할 수 있다.
터치감지부(12)는 디스플레이(11)의 화면에 대해, 입력수단(20)을 이용한 사용자의 터치가 발생하면, 입력수단(20)의 터치위치와 터치크기를 식별할 수 있다.
일 실시예에서, 터치감지부(12)는 디스플레이(11)의 광을 송수신하는 광센서를 포함하며, 광센서에 의해 송수신되는 광에 기초하여 터치위치와 터치크기가 식별될 수 있다. 여기서, 광센서는 직진성을 갖는 적외선 광(infrared light)을 송수신하는 IR 센서로 구현될 수 있다. 다만 본 발명에서 터치감지부(12)의 구현 형태는 IR 센서에 한정되는 것은 아니며, 예를 들어 초음파 센서인 경우도 본 발명의 터치감지부(12)에 포함될 수 있다.
영상처리부(13)는 입력수단(20)에 의한 터치위치 및 터치크기를 기초로, 화면 상에서 입력수단(20)에 의해 터치된 영역에 영상이 표시되도록 하기 위한 영상신호를 생성한다.
영상처리부(13)에서 처리된 영상신호는 디스플레이(11)로 전달되며, 디스플레이(11)가 영상신호에 의해 구동됨으로써 화면 상에 영상이 표시될 수 있다.
영상처리부(13)에서 처리되는 영상신호는 플래시메모리, 하드디스크 등과 같은 비휘발성의 저장부(15)에 저장된 데이터로부터 기인한 것일 수 있다.
일 실시예에서, 필기 입력 또는 드로잉 입력과 같이 입력수단(20)에 의한 터치위치가 연속적으로 이동되는 경우, 영상처리부(13)는 이동되는 터치위치의 궤적을 따라, 식별된 터치크기에 대응하여 그 폭이 연속적으로 조정되는 영상을 표시하도록 하는 영상신호를 생성할 수 있다.
디스플레이장치(10)는 상기와 같이 이동되는 터치위치의 궤적을 따라, 입력수단(20)의 터치크기에 대응하여 그 폭이 연속적으로 조정되는 영상을 디스플레이(11)의 화면에 표시함으로써, 사용자로 하여금 화면에 직접 필기(판서) 또는 드로잉하는 아날로그 입력의 경험을 제공할 수 있게 된다.
영상처리부(13)는 디스플레이(11)의 화면 상에 표시된 영상(필기 영상 또는 드로잉 영상)을 처리하여, 대응하는 소정 포맷의 이미지 파일을 생성할 수 있다. 생성된 이미지 파일은 저장부(15)에 저장되거나, 신호입출력부(14)를 통해 적어도 하나의 외부장치로 전송됨으로써, 회의나 수업 등의 참석자들 간에 공유될 수 있다.
디스플레이장치(10)가 텔레비전이나, 모니터와 같이 컨텐츠를 수신 및 처리 가능한 장치인 경우, 영상처리부(13)는 컨텐츠의 영상신호에 대해 기 설정된 다양한 영상/음성 처리를 수행한다. 영상처리부(13)는 이러한 프로세스를 수행하여 생성 또는 결합한 신호를 디스플레이(11)에 출력함으로써, 화면 상에 출력된 신호에 대응하는 영상이 표시되게 한다.
여기서, 영상처리부(13)는 영상신호를 디스플레이장치(10)의 영상 포맷에 대응하도록 디코드하는 디코더(decoder)와, 영상신호를 디스플레이(11)의 출력규격에 맞도록 조절하는 스케일러(scaler)를 포함할 수 있다. 디코더는 예를 들어, MPEG (Moving Picture Experts Group) 디코더로 구현될 수 있으며, 본 발명에서 영상처리부(13)가 처리하는 컨텐츠의 종류는 한정되지 않는다. 예를 들어, 영상처리부(13)가 처리하는 컨텐츠는 비디오와 같은 동영상뿐 아니라, 사진 등의 정지화상을 포함할 수 있다.
영상처리부(13)는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적 구성의 그룹으로 구현되거나, 또는 여러 기능을 통합시킨 메인 SoC(System-on-Chip)에 포함되는 형태로서 구현 가능하다. 메인 SoC는 적어도 하나의 마이크로프로세서 또는 CPU로서 구현되는 프로세서(16)를 더 포함할 수 있다.
영상처리부(13)는 이러한 각 프로세스를 수행하기 위한 다양한 칩셋, 메모리, 전자부품, 배선 등의 회로 구성이 인쇄회로기판(PCB) 상에 실장된 보드로 구현될 수 있다. 이 경우, 디스플레이장치(10)에는 영상처리부(13) 및 프로세서(16)가 단일의 보드에 마련될 수 있다. 물론, 이는 일례에 불과하고 서로 통신 가능하게 연결된 복수의 인쇄회로기판에 배치될 수도 있다.
신호입출력부(14)는 적어도 하나의 외부장치로(부터) 다양한 컨텐츠 신호 또는 명령 신호를 입력 또는 출력할 수 있다. 외부장치는 예컨대, 영상컨텐츠를 공급하는 컨텐츠 공급장치(셋톱), 컴퓨터, USB, 모바일장치, 서버, 리모컨, 프린터 등을 포함할 수 있다.
신호입출력부(14)는 컨텐츠 또는 명령 신호를 수신하는 신호입력부 또는 외부로 출력하는 신호출력부를 포함할 수 있다. 이때, 신호입력부와 신호출력부는 하나의 모듈로 통합되거나 별도의 모듈로 구현될 수도 있다.
신호입출력부(14)는 방송수신모듈, 통신모듈 또는 접속모듈을 포함할 수 있다.
방송수신모듈은 예를 들면 튜너, TV수시카드 등으로 구현될 수 있으며, 공중파 방송국, 케이블방송국, 미디어방송국 등으로부터 컨텐츠신호를 수신할 수 있다. 컨텐츠신호는 유선신호 또는 무선신호일 수 있고, 디지털신호 또는 아날로그신호일 수도 있다. 컨텐츠신호는 공중파 신호, 케이블신호, 위성신호 또는 네트워크신호일 수도 있다.
통신모듈은 다양한 종류의 통신 프로토콜에 대응하는 통신모듈(S/W module, chip 등)을 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
통신모듈은 와이파이 통신모듈과 같은 무선랜유닛을 포함할 수 있다. 무선랜유닛은 프로세서(16)의 제어에 따라 AP(access point)를 통해 무선으로 외부장치와 연결될 수 있다.
통신모듈은 AP 없이 무선으로 디스플레이장치(10)와 외부장치 사이에 다이렉트로 통신을 지원하는 근거리 통신모듈을 포함한다. 근거리 통신모듈은 와이파이 다이렉트, 블루투스, 블루투스 로우 에너지(bluetooth low energy), RF(radio frequency) 통신, 적외선통신(infrared data association, IrDA), 지그비(Zigbee), UWB(Ultra-Wideband), NFC(Near Field Communication) 중 적어도 하나를 포함할 수 있다. 디스플레이장치(10)가 외부장치와 다이렉트로 통신을 수행하는 경우, 저장부(15)에는 통신 대상 기기인 외부장치에 대한 어드레스정보(예를 들어, MAC address 또는 IP address)가 저장될 수 있다.
본 발명 일 실시예에 따른 디스플레이장치(10)에서, 통신모듈은 성능에 따라 무선랜유닛 또는 근거리 통신모듈 중 적어도 하나에 의해 외부장치와 무선 통신을 수행하도록 마련될 수 있다.
통신모듈은 이더넷(Ethernet) 등과 같은 유선통신모듈을 포함할 수 있다. 통신모듈은 LTE와 같은 이동통신, 자기장을 포함하는 EM 통신, 가시광통신, 음파통신 등의 다양한 통신방식에 의한 통신모듈을 포함할 수 있다.
접속모듈은 다양한 종류의 통신 프로토콜에 대응하는 통신모듈(S/W module, chip 등)과 포트(port) 등이 조합된 데이터 입출력 인터페이스를 포함하는 통신회로(communication circuitry)로서 구현될 수 있다.
접속모듈의 구현 형태는 디스플레이장치(10)에서 수신되는 신호의 규격에 대응하여 다양한 방식으로 구성될 수 있으며, 예를 들면, HDMI, DVI, 디스플레이 포트(DP), 디서브(D-sub), 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART, USB 등에 의하여 유선으로 데이터를 송수신할 수 있다.
일 실시예에서, 디스플레이장치(10)가 텔레비전인 경우, 통신모듈은 소스장치로부터 컨텐츠를 수신할 수 있다.
저장부(15)는 디스플레이장치(10)의 다양한 데이터를 저장하도록 구성된다. 저장부(15)는 디스플레이장치(10)에 공급되는 전원이 차단되더라도 데이터들이 남아있어야 하며, 변동사항을 반영할 수 있도록 쓰기 가능한 비휘발성 메모리(writable ROM)로 구비될 수 있다. 즉, 저장부(15)는 플래시 메모리(flash memory), EPROM 또는 EEPROM 중 적어도 하나로 구비될 수 있다. 저장부(15)는 디스플레이장치(10)의 읽기 또는 쓰기 속도가 비휘발성 메모리에 비해 빠른 DRAM 또는 SRAM과 같은 휘발성 메모리(volatile memory)를 더 구비할 수 있다.
저장부(15)에 저장되는 데이터는, 예를 들면 디스플레이장치(10)의 구동을 위한 운영체제를 비롯하여, 이 운영체제 상에서 실행 가능한 다양한 소프트웨어, 프로그램, 어플리케이션, 영상데이터, 부가데이터 등을 포함한다.
저장부(15)는 전자칠판 기능을 수행하도록 하는 어플리케이션이 저장할 수 있다.
저장부(15)는 디스플레이(11)의 화면 상에 표시된 영상(필기 영상 또는 드로잉 영상)이 처리된 소정 포맷의 이미지 파일을 저장할 수 있다.
저장부(15)는 디스플레이장치(10)가 외부로부터 수신하거나, 자체적으로 제공하는 그래픽데이터가 저장될 수 있다. 그래픽데이터는 영상처리부(13)에 의해 처리된 영상신호로서 디스플레이(11)로 출력되어, 화면의 일 영역에 OSD(on-screen display) 또는 그래픽 유저 인터페이스(graphic user interface, GUI)(이하, UI(user interface) 라고도 한다) 등의 그래픽으로 표시될 수 있다.
프로세서(16)는 디스플레이장치(10)의 제반 구성들이 동작하기 위한 제어를 수행한다.
구체적으로, 프로세서(16)는 입력수단(20)에 의한 사용자의 작업(필기, 드로잉)에 대한 터치감지부(12)의 터치신호에 기초하여, 화면에 대한 입력수단(20)의 터치위치를 식별하고, 식별된 입력수단(20)의 터치위치의 이동에 대응하여, 이동되는 터치위치를 따라 화면에 영상을 표시하도록 영상처리부(13)를 제어할 수 있다.
프로세서(16)는 사용자의 출력 명령에 따라 신호입출력부(14)를 통해 화면에 표시된 영상을 복수의 페이지로 출력할 수 있다. 이때, 프로세서(16)는 페이지 간 경계에 영상컨텐츠의 오브젝트가 존재하는지를 식별하고, 오브젝트가 경계에 존재하는 경우 경계를 이동시켜 출력 시에 오브젝트가 잘리는 것을 방지할 수 있다. 프로세서(16)는 이와 같이 경계가 이동된 영상컨텐츠를 생성할 수 있다. 또한, 프로세서(16)는 경계가 이동된 영상컨텐츠를 소정 포맷의 파일, 프린터, 컴퓨터, USB, 서버, 또는 모바일장치 중 적어도 하나로 출력할 수 있다.
프로세서(16)는 이러한 제어 동작을 수행할 수 있도록 하는 제어프로그램(혹은 인스트럭션)을 실행한다. 프로세서(16)는 제어프로그램이 설치된 비휘발성의 메모리로부터 제어프로그램의 적어도 일부를 휘발성의 메모리로 로드하고, 로드된 제어프로그램을 실행하는 적어도 하나의 범용 프로세서를 포함하며, 예를 들면 CPU(Central Processing Unit), AP(application processor), 또는 마이크로프로세서(microprocessor)로 구현될 수 있다.
프로세서는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 프로세서는 복수의 프로세서, 예를 들어, 메인 프로세서(main processor) 및 슬립 모드(sleep mode, 예를 들어, 대기 전원만 공급되고 디스플레이장치로서 동작하지 않는)에서 동작하는 서브 프로세서(sub processor)를 포함할 수 있다. 또한, 프로세서, 롬 및 램은 내부 버스(bus)를 통해 상호 연결되며, 롬과 램은 저장부(15)에 포함된다.
본 발명에서 프로세서(16)를 구현하는 일례인 프로세서는 디스플레이장치(10)에 내장되는 PCB 상에 실장되는 메인 SoC(Main SoC)에 포함되는 형태로서 구현 가능하다. 다른 실시예에서 메인 SoC는 영상처리부(13)를 더 포함할 수 있다.
제어프로그램은, BIOS, 디바이스드라이버, 운영체계, 펌웨어, 플랫폼 및 응용프로그램(어플리케이션) 중 적어도 하나의 형태로 구현되는 프로그램(들)을 포함할 수 있다. 일 실시예로서, 응용프로그램은, 디스플레이장치(10)의 제조 시에 디스플레이장치(10)에 미리 설치 또는 저장되거나, 혹은 추후 사용 시에 외부로부터 응용프로그램의 데이터를 수신하여 수신된 데이터에 기초하여 디스플레이장치(10)에 설치될 수 있다. 응용 프로그램의 데이터는, 예컨대, 어플리케이션 마켓과 같은 외부 서버로부터 디스플레이장치(10)로 다운로드될 수도 있다. 이와 같은 외부 서버는, 본 발명의 컴퓨터프로그램제품의 일례이나, 이에 한정되는 것은 아니다.
프로세서(16)의 동작은 디스플레이장치(10)와 별도로 마련되는 컴퓨터프로그램제품(미도시)에 저장된 컴퓨터프로그램으로 구현될 수도 있다. 이 경우, 컴퓨터프로그램제품은 컴퓨터프로그램에 해당하는 인스트럭션이 저장된 메모리와, 프로세서를 포함한다. 인스트럭션은, 프로세서에 의해 실행되면, 입력수단(20)의 이동되는 터치위치를 따라 화면에 영상을 표시하며, 터치위치의 이동 중에 수신되는 터치신호에 기초하여 입력수단(20)의 터치크기를 식별하고, 식별된 터치크기의 변경에 대응하여 화면에 표시되는 영상의 폭을 조정하는 것을 포함한다.
이에 따라, 디스플레이장치(10)는 별도의 컴퓨터프로그램제품에 저장된 컴퓨터프로그램을 다운로드 및 실행하여, 프로세서(16)의 동작을 수행할 수 있다.
특히, 프로세서(16)는 사용자의 출력 명령에 따라 출력할 페이지 간의 경계에 출력 영상 컨텐츠의 오브젝트가 경계에 존재하는지를 식별한 후 가장 적절한, 예를 들면 최소 이동거리를 고려하여 경계를 이동시는 동작을 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 프로세서(16)는 학습부 및 인식부의 기능을 수행할 수 있다. 학습부는, 예를 들면, 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 예를 들면, 학습부는 학습 데이터를 저장부(15) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 예를 들면, 페이지 간 경계에 존재하는 오브젝트에서 최적의 경계 이동거리를 학습하는 동작 등을 학습 데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 예를 들면, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 복수의 오브젝트가 경계 이동 방향으로 중첩되는지 복수의 오브젝트 중 가장 긴 오브젝트를 판단하는 학습동작 등을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 페이지 간 경계에 존재하는 다양한 형태의 오브젝트들을 고려하여 최상의 경계 이동을 적용하는 동작 등을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는, 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 예를 들면, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 다양한 실시예에 따르면, 인식부는 출력값과 함께 학률값(또는, 신뢰도값)을 함께 획득할 수 있다.
또한, 프로세서(16)의 동작은 기록매체에 저장되며 컴퓨터가 판독 가능한 프로그램으로 구현될 수도 있다. 기록매체에 저장된 프로그램 즉, 데이터는 프로세서(16)에 의해 직접 액세스되어 실행되거나, 컴퓨터 시스템이 상호 결합된 유무선 네트워크를 통해 구현되는 전송매체를 통해 디스플레이장치(10)로 다운로드되어 실행됨으로써, 동작을 수행할 수 있다.
도 4는 본 발명의 실시예에 따른 디스플레이장치(10)의 제어방법을 나타내는 순서도이다.
단계 S11에서, 프로세서(16)는 디스플레이(11)의 화면 상에 입력되는 터치입력을 터치감지부(12)를 통해 수신할 수 있다. 예컨대, 사용자는 도 1 및 2에 나타낸 바와 같이 디스플레이(11)의 화면 상에 입력수단(20)으로 A, B, C, D를 필기 또는 드로잉 할 수 있다.
단계 S12에서, 프로세서(16)는 디스플레이(11)의 화면 상에 작업 영상이 표시되도록 디스플레이(11)를 제어할 수 있다.
도 5는 도 1 및 도 2에서 작업한 영상컨텐츠를 나타내는 도면이다. 도시한 바와 같이, 작업 영상컨텐츠는 A(31), B(32), C(33), D(34)를 포함할 수 있다. 디스플레이(11)의 화면에는 페이지 간 경계를 나타내는 페이지 구분선(40)을 포함하고 있다.
단계 S13에서, 프로세서(16)는 작업 영상컨텐츠에 포함되는 복수의 페이지 사이의 경계에 작업 영상의 오브젝트(A, B, C, D)가 존재하는지 여부를 식별할 수 있다. 도 5에 나타낸 바와 같이, 페이지 구분선(40) 상에는 오브젝트 C(33)가 존재함을 알 수 있다. 프로세서(16)는 페이지 구분선(40) 상에 오브젝트 C(33)가 존재하는 경우, 경계에 오브젝트가 존재하는 것을 나타내는 UI(50)를 표시하도록 디스플레이(11)를 제어할 수 있다. UI(50)는 사용자가 페이지 구분선(40)을 수동으로 이동하게 하거나, 자동으로 이동시키기 위한 사용자명령을 포함할 수 있다. 물론, 프로세서(16)는 출력 명령을 수신하면 UI(50)를 표시하지 않고 자동으로 페이지 구분선(40)을 이동시킬 수 있다. 도 5에서, 페이지 구분선(40)을 이동시키지 않고 출력할 경우, 오브젝트 C(33)는 2개의 페이지로 나뉘어 출력될 것이다.
단계 S14에서, 프로세서(16)는 페이지 경계, 즉 페이지 구분선(40)을 오브젝트 C(33)와 오브젝트 D(34) 사이로 이동시키고, 경계가 이동된 페이지를 생성할 수 있다.
도 6은 도 5에서 페이지 구분선(40)을 이동시킨 상태를 나타내는 도면이다. 도시한 바와 같이, 페이지 구분선(40)을 오브젝트 C(33)와 오브젝트 D(34) 사이로 이동시킨 작업 영상컨텐츠는 페이지 1(p1)에 오브젝트 A(31), B(32), C(33)가 포함되고, 페이지 2(p2)에 오브젝트 D(34)가 포함될 수 있다.
단계 S15에서, 프로세서(16)는 페이지 구분선(40)을 오브젝트 C(33)와 오브젝트 D(34) 사이로 이동시킨 페이지를 출력하도록 신호입출력부(14)를 제어할 수 있다. 프로세서(16)는 경계가 이동된 페이지를 소정 포맷의 파일, 프린터, 컴퓨터, 서버, 또는 모바일장치 중 적어도 하나로 출력할 수 있다.
이하, 페이지 간 경계에 오브젝트가 존재할 때 페이지 구분선(40)을 이동하는 방법을 설명한다.
도 7 및 8은 각각 페이지 간 경계에 존재하는 오브젝트의 상태를 나타내는 도면이다.
도 7을 참조하면, 오브젝트 C(33)는 페이지 구분선(40)을 기준으로 하측으로 치우쳐 있음을 알 수 있다. 이때, 페이지 구분선(40)은 상측으로 이동할 경우 3의 거리만큼 이동하는데 반해, 하측으로 이동할 경우 7의 거리만큼 이동되어야 한다. 따라서, 프로세서(16)는 페이지 구분선(40)을 최소 이동거리에 해당하는 상측으로 이동시킬 수 있다.
도 8을 참조하면, 오브젝트 C(33)는 페이지 구분선(40)을 기준으로 상측으로 치우쳐 있음을 알 수 있다. 이때, 페이지 구분선(40)은 상측으로 이동할 경우 7의 거리만큼 이동하는데 반해, 하측으로 이동할 경우 3의 거리만큼 이동되어야 한다. 따라서, 프로세서(16)는 페이지 구분선(40)을 최소 이동거리에 해당하는 하측으로 이동시킬 수 있다.
이상과 같이, 프로세서(16)는 페이지 구분선(40)을 오브젝트 C(33)로부터 상대적으로 짧은 거리를 이동하는 방향으로 이동시킬 수 있다.
도 9는 본 발명의 제1실시에에 따른 페이지 구분선(40)의 이동하는 기준을 설명하기 위한 도이다. 도 9를 참조하면, 프로세서(16)는 도 7 또는 8에서 페이지 구분선(40)이 이동할 방향이 정해지면 오브젝트 C(33)와 오브젝트 D(34) 사이의 위치를 결정하여야 한다. 프로세서(16)는 페이지 구분선(40)을 오브젝트 C(33)와 오브젝트 D(34) 사이의 간격(l1)의 분배 위치, 예를 들면 등간격 위치로 이동시킬 수 있다. 물론, 프로세서(16)는 등간격 위치일 필요는 없으며 사전 설정된 분배 간격 위치로 이동시킬 수 있다.
도 10은 본 발명의 제2실시예에 따른 페이지 구분선(40)을 이동시키는 기준을 나타내는 도이다. 도시된 바와 같이, 페이지 구분선(40)의 이동거리(l2)는 설정된 페이지 마진(l3)을 포함할 수 있다. 즉, 페이지 구분선(40)은 오브젝트 C(33)로부터 페이지 마진(l3)만큼 떨어진 위치로 이동될 수 있다. 물론, 페이지 구분선(40)은 C(33)와 오브젝트 D(34) 사이의 간격이 페이지 마진(l3)보다 2배 미만인 경우 도 9에 나타낸 분배 간격, 예컨대 등간격 위치로 이동될 수 있다.
도 11은 본 발명의 제3실시예에 따른 페이지 구분선(40)을 이동시키는 기준을 나타내는 도이다. 도시된 바와 같이, 오브젝트 C(33)와 오브젝트 B(32)는 길이방향으로 중첩될 수도 있다. 이 경우, 페이지 구분선(40)은 도 7의 기준을 적용하면 상측으로 이동하여야 하나, 오브젝트 B(32)의 잘림을 방지하기 위해 오브젝트 B를 벗어나도록 이동시켜야 한다. 따라서, 프로세서(16)는 최소거리 이동을 위해 페이지 구분선(40)을 하측으로 이동시킬 수 있다.
도 12는 본 발명의 제4실시예에 따른 페이지 구분선(40)을 이동시키는 기준을 나타내는 도이다. 도시한 바와 같이, 페이지 간 경계에 서로 다른 오브젝트(35,36)가 존재할 수 있다. 이 경우, 프로세서(16)는 페이지 구분선(40)을 이동거리가 가장 긴 오브젝트(36)를 기준으로 이동시킬 수 있다.
도 13은 본 발명의 제5실시예에 따른 페이지 간 경계를 이동시키는 기준을 나타내는 도이다. 도시한 바와 같이, 프로세서(16)는 사용자의 출력 명령을 수신하면 오브젝트 C(33)가 페이지 간 경계에 존재할 때 사용자에 의해 미세 조정이 가능한 페이지 구분선(40)을 디스플레이(11)의 화면에 제공할 수 있다. 사용자는 페이지 구분선(40)을 입력수단(20)을 이용하여 원하는 위치로 미세 조정하여 이동시킬 수 있다.
본 발명의 실시예에 따른 컴퓨터 판독 가능 기록매체로서, 저장부(15)는 디스플레이(11)의 화면 상의 터치를 감지하고, 감지된 터치에 따라 화면에 작업 영상이 표시되도록 디스플레이(11)를 제어하고, 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 작업 영상의 오브젝트가 존재하는지 여부를 식별하고, 경계에 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 오브젝트가 존재하지 않도록 경계가 이동된 페이지를 생성하고, 생성된 페이지를 출력하도록 출력부를 제어하는 동작을 수행하는 컴퓨터 프로그램을 저장할 수 있다. 이러한 컴퓨터 프로그램은 저장부(15)에 저장된 컴퓨터프로그램제품 또는 네트워크통신으로 송수신되는 컴퓨터프로그램 제품으로 구현될 수 있다.
이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (10)

  1. 디스플레이장치에 있어서,
    디스플레이;
    상기 디스플레이의 화면 상의 터치를 감지할 수 있는 센서;
    출력부; 및
    상기 감지된 터치에 따라 상기 화면에 작업 영상이 표시되도록 상기 디스플레이를 제어하고,
    상기 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 상기 작업 영상의 오브젝트가 존재하는지 여부를 식별하고,
    상기 경계에 상기 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 상기 오브젝트가 존재하지 않도록 상기 경계가 이동된 페이지를 생성하고,
    상기 생성된 페이지를 상기 출력부를 통해 출력하도록 제어하는
    프로세서를 포함하는 디스플레이장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 경계에 상기 오브젝트가 존재하는 것을 나타내는 UI를 표시하고 상기 디스플레이를 제어하고,
    사용자명령에 따라 상기 경계를 이동시키는 디스플레이장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 경계를 상기 오브젝트로부터 상대적으로 짧은 거리를 이동하는 방향으로 이동시키는 디스플레이장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 페이지 단위로 상기 작업의 영상을 표시하고,
    2개의 인접한 상기 페이지 간을 스크롤 전환하여 표시하도록 상기 디스플레이를 제어하는 디스플레이장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 오브젝트가 상기 경계에 존재하는 것으로 식별되는 것에 기초하여, 이동 거리가 가장 긴 오브젝트를 기준으로 상기 경계를 이동시키는 디스플레이장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 이동 방향으로 상기 오브젝트와 이격된 제2오브젝트가 존재하는 것으로 식별됨에 따라 최단 이격 거리에서 분배된 위치로 상기 경계를 이동시키는 디스플레이장치.
  7. 제1항에 있어서,
    상기 경계의 이동 거리는 상기 오브젝트로부터의 마진을 포함하는 디스플레이장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 컨텐츠를 소정 포맷의 파일, 프린터, 컴퓨터, USB, 서버, 또는 모바일장치 중 적어도 하나로 출력하는 디스플레이장치.
  9. 디스플레이장치의 제어방법에 있어서,
    디스플레이의 화면 상의 터치를 감지하는 단계;
    상기 감지된 터치에 따라 상기 화면에 작업 영상이 표시되도록 상기 디스플레이를 제어하는 단계;
    상기 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 상기 작업 영상의 오브젝트가 존재하는지 여부를 식별하는 단계;
    상기 경계에 상기 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 상기 오브젝트가 존재하지 않도록 상기 경계가 이동된 페이지를 생성하는 단계; 및
    상기 생성된 페이지를 출력하도록 출력부를 제어하는 단계를 포함하는 디스플레이장치의 제어방법.
  10. 컴퓨터에 의해 실행되는 컴퓨터 프로그램이 저장되는, 컴퓨터 판독 가능 기록매체에 있어서,
    상기 컴퓨터 프로그램은,
    디스플레이의 화면 상의 터치를 감지하고,
    상기 감지된 터치에 따라 상기 화면에 작업 영상이 표시되도록 상기 디스플레이를 제어하고,
    상기 작업 영상의 컨텐츠에 포함되는 복수의 페이지 사이의 경계에 상기 작업 영상의 오브젝트가 존재하는지 여부를 식별하고,
    상기 경계에 상기 오브젝트가 존재하는 것으로 식별되는 것에 기초하여, 상기 오브젝트가 존재하지 않도록 상기 경계가 이동된 페이지를 생성하고,
    상기 생성된 페이지를 출력하도록 출력부를 제어하는 동작을 수행하는 컴퓨터 판독가능 기록매체.
PCT/KR2020/010938 2019-08-22 2020-08-18 디스플레이장치와 그의 제어방법, 및 기록매체 WO2021034065A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0103034 2019-08-22
KR1020190103034A KR20210023185A (ko) 2019-08-22 2019-08-22 디스플레이장치와 그의 제어방법, 및 기록매체

Publications (1)

Publication Number Publication Date
WO2021034065A1 true WO2021034065A1 (ko) 2021-02-25

Family

ID=74659549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/010938 WO2021034065A1 (ko) 2019-08-22 2020-08-18 디스플레이장치와 그의 제어방법, 및 기록매체

Country Status (2)

Country Link
KR (1) KR20210023185A (ko)
WO (1) WO2021034065A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5371560B2 (ja) * 2009-06-09 2013-12-18 キヤノン株式会社 レイアウト編集装置、レイアウト編集方法及びプログラム
KR101564108B1 (ko) * 2009-03-20 2015-10-28 엘지전자 주식회사 듀얼 디스플레이부를 구비한 이동 통신 단말기에서의 아이템 제어 방법 및 이를 적용한 이동 통신 단말기
JP5813046B2 (ja) * 2013-04-22 2015-11-17 京セラ株式会社 情報端末装置
JP5951719B2 (ja) * 2014-09-26 2016-07-13 京セラ株式会社 表示機能付き携帯電子装置および表示機能付き携帯電子装置の制御方法
KR101994415B1 (ko) * 2018-11-15 2019-06-28 넷마블 주식회사 사용자 인터페이스 제공 방법 및 이를 수행하는 단말

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101564108B1 (ko) * 2009-03-20 2015-10-28 엘지전자 주식회사 듀얼 디스플레이부를 구비한 이동 통신 단말기에서의 아이템 제어 방법 및 이를 적용한 이동 통신 단말기
JP5371560B2 (ja) * 2009-06-09 2013-12-18 キヤノン株式会社 レイアウト編集装置、レイアウト編集方法及びプログラム
JP5813046B2 (ja) * 2013-04-22 2015-11-17 京セラ株式会社 情報端末装置
JP5951719B2 (ja) * 2014-09-26 2016-07-13 京セラ株式会社 表示機能付き携帯電子装置および表示機能付き携帯電子装置の制御方法
KR101994415B1 (ko) * 2018-11-15 2019-06-28 넷마블 주식회사 사용자 인터페이스 제공 방법 및 이를 수행하는 단말

Also Published As

Publication number Publication date
KR20210023185A (ko) 2021-03-04

Similar Documents

Publication Publication Date Title
KR102625830B1 (ko) 디스플레이장치, 그 제어방법 및 기록매체
WO2019228294A1 (zh) 对象分享方法及移动终端
WO2016052940A1 (en) User terminal device and method for controlling the user terminal device thereof
US20100231556A1 (en) Device, system, and computer-readable medium for an interactive whiteboard system
KR102262051B1 (ko) 디스플레이장치, 이를 포함하는 다중 디스플레이 시스템 및 그 제어방법
WO2017135642A1 (en) Image display apparatus and method of operating the same
WO2018043977A1 (en) Image display apparatus and operating method thereof
US20120081615A1 (en) Remote control
CN105302285A (zh) 多屏显示方法、设备及系统
WO2013048131A2 (en) Method and apparatus for providing user interface in portable device
WO2013125914A1 (en) Method and apparatus for object size adjustment on a screen
WO2015167158A1 (en) User terminal device, method for controlling user terminal device and multimedia system thereof
KR102254856B1 (ko) 컴퓨터 시스템
KR20130007811A (ko) 외부 장치와 연결된 휴대 단말기의 화면 표시 방법 및 장치
WO2019223492A1 (zh) 信息显示方法、移动终端和计算机可读存储介质
WO2015119389A1 (en) User terminal and control method thereof
US8896611B2 (en) Bi-directional data transmission system and method
WO2015178691A1 (en) Display apparatus and controlling method thereof
WO2020042921A1 (zh) 屏幕控制方法及电子设备
EP2461256A2 (en) Method and apparatus for providing an electronic book service in a mobile device
WO2021040180A1 (ko) 디스플레이장치 및 그 제어방법
WO2014129748A1 (en) Display apparatus and control method thereof
US20190179474A1 (en) Control method, electronic device, and non-transitory computer readable recording medium
US20140035816A1 (en) Portable apparatus
WO2021088707A1 (zh) 应用程序界面的交互方法和电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20854912

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20854912

Country of ref document: EP

Kind code of ref document: A1