WO2015037851A1 - 스크린 샷 처리 디바이스 및 그 방법 - Google Patents

스크린 샷 처리 디바이스 및 그 방법 Download PDF

Info

Publication number
WO2015037851A1
WO2015037851A1 PCT/KR2014/008157 KR2014008157W WO2015037851A1 WO 2015037851 A1 WO2015037851 A1 WO 2015037851A1 KR 2014008157 W KR2014008157 W KR 2014008157W WO 2015037851 A1 WO2015037851 A1 WO 2015037851A1
Authority
WO
WIPO (PCT)
Prior art keywords
screenshot
data
predetermined function
executing
file
Prior art date
Application number
PCT/KR2014/008157
Other languages
English (en)
French (fr)
Inventor
펜양
얀롱순
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP14844885.5A priority Critical patent/EP3023930B1/en
Priority to US14/914,294 priority patent/US10402483B2/en
Publication of WO2015037851A1 publication Critical patent/WO2015037851A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/14—Tree-structured documents
    • G06F40/143—Markup, e.g. Standard Generalized Markup Language [SGML] or Document Type Definition [DTD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/216—Handling conversation history, e.g. grouping of messages in sessions or threads

Definitions

  • the present invention relates to a screen shot processing device and method thereof.
  • the screenshot function is a function generally provided in a computer and a mobile terminal.
  • Some mobile terminals offer the ability to edit the screenshot, such as changing the style of the screenshot or capturing a portion of the screenshot.
  • these editing functions include only relatively simple functions, and thus do not satisfy the various high-level requirements of the user.
  • the main purpose for a user to create a screenshot on a mobile terminal is to save a portion of the screenshot, share the screenshot with a third party, or select a portion of the screenshot to execute a particular function, in which case the user The diverse and high-level needs of are not met.
  • Embodiments of the present invention are to enhance the usability of the screen shot by adding a predetermined function to the screen shot.
  • a screen shot processing method includes determining a target area and generating a screenshot file in which data for executing the predetermined function is combined with the screen shot.
  • the generating of the screen shot may include storing at least one view node constituting the displayed screen, information about the view node, and capturing the displayed screen.
  • the information about the view node may include at least one of information about ID, name, coordinates, and size of the view node.
  • the at least one target area may be determined manually by a user input or automatically determined by a predetermined format.
  • Data for executing the predetermined function may be obtained from an external device or a local device.
  • the data for executing the predetermined function may be replaced with URL data of an external device that stores data for executing the predetermined function.
  • the screen shot processing method may share the screen shot file with an external device.
  • the screenshot processing method may further include displaying the generated screenshot file, identifying an area selected by a user from all areas of the displayed screenshot file, decoding the screenshot file, and The method may further include executing a function added to the selected area.
  • the decoding of the screenshot file may include obtaining display information of a device on which the added function is to be executed and adjusting the screenshot and data for executing the predetermined function based on the obtained display information. You can do
  • the decoding of the screenshot file may include acquiring information stored in the external device based on data for executing the predetermined function, wherein the data for executing the predetermined function is stored in the external device.
  • the data may be replaced with URL data, and the function added to the area selected by the user may be executed by the information stored in the external device.
  • At least one target region to generate a screenshot of the input screen and the displayed screen for receiving a screen shot request, and a predetermined function is added from the entire region of the generated screenshot
  • a processor configured to generate a screenshot file incorporating data to execute the predetermined function into the screenshot.
  • the processor may store at least one view node constituting the displayed screen and information about the view node, and capture the displayed screen.
  • the information about the view node may include at least one of information about ID, name, coordinates, and size of the view node.
  • the processor may determine the at least one target area manually by a user input or automatically by a predetermined format.
  • Data for executing the predetermined function may be obtained from an external device or a local device.
  • the data for executing the predetermined function may be replaced with URL data of an external device that stores data for executing the predetermined function.
  • the processor may be configured to share the screenshot file with an external device.
  • the screenshot processing device may further include a display configured to display the generated screenshot file, and the processor may identify an area selected by a user among all areas of the displayed screenshot file, and the screenshot file It decodes and executes a function added to the area selected by the user.
  • the processor may obtain display information of a device on which the added function is to be executed and adjust the screen shot and data for executing the predetermined function based on the obtained display information.
  • the processor obtains information stored in the external device based on data for executing the predetermined function, wherein the data for executing the predetermined function is data replaced with URL data of the external device,
  • the user may perform a function added to the area selected by the user based on the stored information.
  • Screenshot users can save a portion of the screenshot, share the screenshot with a third party, or select a portion of the screenshot to execute a particular function.
  • FIG. 1 is a block diagram of a screen shot processing device according to an embodiment of the present invention.
  • FIG. 2 is a flowchart for generating a screenshot file according to an embodiment of the present invention.
  • FIG 3 illustrates an example of an Android screen and view tree for explaining an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a process of generating a screen shot according to an embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a process of determining a target area in a screen shot generated according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a process of encoding by adding a function to a target region determined according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a process of decoding to execute a predetermined function in a selected area when executing a screenshot file generated according to an embodiment of the present invention.
  • FIG. 8 is a schematic diagram illustrating an information flow of a screen shot processing device on the basis of a screen shot generating unit according to an embodiment of the present invention.
  • 9 is a schematic diagram showing the information flow of the screen shot processing device on the basis of the target area determination unit according to an embodiment of the present invention.
  • 10 is a schematic diagram showing the information flow of the screen shot processing device on the basis of the encoding unit according to an embodiment of the present invention.
  • 11 is a schematic diagram showing the information flow of the screen shot processing device on the basis of the decoding unit according to an embodiment of the present invention.
  • 12 is a flowchart illustrating a connection relationship between screenshot processing device components according to an embodiment of the present invention.
  • Figure 13 shows an example of combining a screenshot and text to create one screenshot file in accordance with one embodiment of the present invention.
  • Figure 14 shows an example of execution of a screenshot file generated in accordance with one embodiment of the present invention.
  • FIG. 15 illustrates an example of combining a screenshot and an application installation file to generate one screenshot file according to an embodiment of the present invention.
  • Figure 16 shows an example of execution of a screenshot file created in accordance with one embodiment of the present invention.
  • FIG. 17 illustrates an example of selecting a target area from a screen shot and extracting data for executing an added function in the selected target area according to an embodiment of the present invention.
  • FIG. 18 shows an example of execution of a screenshot file created in accordance with one embodiment of the present invention.
  • 19 shows an example of selecting data of a target region from a screen shot and extracting data for executing an added function in the selected target region according to an embodiment of the present invention.
  • FIG. 20 shows an example of execution of a screenshot file created in accordance with one embodiment of the present invention.
  • Fig. 21 shows an example of selecting data of a target area from a screen shot and extracting data for executing an added function in the selected target area according to an embodiment of the present invention.
  • Figure 22 shows an example of execution of a screenshot file generated according to one embodiment of the present invention.
  • Generating a screen shot of the displayed screen determining at least one target area to which a predetermined function is added among all areas of the generated screen shot, and combining data for executing the predetermined function with the screenshot; It provides a screenshot processing method comprising the step of generating a screenshot file.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • screen shot means screen display contents that are saved as a graphic file or copied to a text editor or graphic editor.
  • the screenshot can be generated using the Print Screen key on a Windows platform.
  • a "screen shot file” means a file created by combining additional information with a screen shot. For example, you can combine a screenshot with a specific image to create a screenshot file. The process of incorporating additional information into the screen shot is called an "encoding" process.
  • mobile terminal refers to a portable computing device including a mobile phone, a smart phone, a tablet PC, a laptop PC, a portable multidedia player (PMP), a personal digital assistant (PDA), and the like.
  • PMP portable multidedia player
  • PDA personal digital assistant
  • FIG. 1 is a block diagram of a screen shot processing device according to an embodiment of the present invention.
  • the screen shot processing device 100 for processing a screen shot generates a screen shot of the input unit 110 and the displayed screen to receive a screen shot request, and the entire area of the generated screen shot.
  • the processor 130 may include a processor 130 that determines at least one target area to which a predetermined function is to be added, and generates one screenshot file by combining the screenshot and data for executing the predetermined function.
  • the screen shot request may include a user sweeping a screen of a mobile terminal with a palm, a user clicking a screen shot button on the screen, a user inputting a voice command requesting a screen shot, or the screen shot processing device 100.
  • An optical sensor within may be made by recognizing the irradiated light or by clicking on a physical button in the screen shot processing device 100.
  • the screenshot request is not limited to these operations, and various other types of operations are possible.
  • the input unit 110 may receive various types of screen shot requests.
  • the processor 130 may exist inside a mobile terminal such as a laptop PC, a PDA, a mobile phone, or the like, but may also exist outside the laptop PC or the mobile terminal.
  • the processor 130 may include a screenshot generator, a target region determiner, an encoder, a storage, and a communicator.
  • the processor 130 may further include a file identifier, a decoder, a user manipulation identifier, and a data analysis processor.
  • the screen shot processing device 100 for processing a screen shot may further include a display unit for displaying a screen shot and a predetermined function in addition to the input unit 110 and the processor 130.
  • the processor 130 may further include a function of identifying a region selected by the user among the entire regions of the displayed screenshot file, decoding the identified region, and executing a function added to the identified region.
  • FIG. 2 is a flowchart for generating a screenshot file according to an embodiment of the present invention.
  • the screenshot processing device 100 generates a screenshot of the displayed screen.
  • the screenshot processing device 100 may store at least one view node constituting the displayed screen and information such as ID, name, coordinates, and size of the view node together. have.
  • the screen shot processing device 100 may also determine a selectable area that the user can determine as the target area.
  • the screen shot processing device 100 may determine at least one target area to which a predetermined function is to be added from among the selectable areas of the generated screen shot.
  • the determination of the target area can be made by identifying a user input for the displayed screen shot.
  • the determination of the target area may be made automatically by a predetermined format.
  • the screenshot processing device 100 may generate one screenshot file by combining the screenshot and data for executing a predetermined function to be added to the target area determined by the user.
  • the predetermined function to be added to the target area may be executing a text editor, playing an image, loading a file or displaying an image present in an external device, executing a specific application, or the like.
  • FIG 3 illustrates an example of an Android screen and view tree for explaining an embodiment of the present invention.
  • a mobile terminal equipped with the Android platform can create a new window for the activity, register the created window with the window manager service, and view structure for each window screen. You can also store the view hierarchy.
  • activity refers to a screen in Android
  • view refers to each UI component in the activity.
  • the view becomes a component of the screen visible to the user, and the view corresponds to a button, a text field, and a check box.
  • a view group is a layout.
  • a layout is a type of view container that arranges the elements of the screen, that is, the view on the screen.
  • Android provides linear layout, table layout, grid layout and more.
  • View groups are different from views, but inheriting the view's properties can be treated as a view view.
  • the Android window screen 350 may be in the form of an XML view tree 330, and by analyzing the properties of each view node constituting the view tree 330, information 310 of a screen area of interest to the user may be obtained. have.
  • FIG. 4 is a flowchart illustrating a process of generating a screen shot according to an embodiment of the present invention.
  • the screenshot processing device 100 may acquire a RootView node of the current window screen.
  • the RootView node is the node that starts the view tree. Therefore, acquiring a RootView node means acquiring a starting point for generating a view tree.
  • the screenshot processing device 100 may add the current View node to the view tree.
  • Each of the view nodes shown on the view tree 330 of FIG. 3 may be the current View node.
  • the current View node is not one of the ViewGroup nodes, information such as node ID, name, coordinates, size, etc. may be recorded for the node (S470). If there are no more nodes to be analyzed on the current screen in addition to the current View node (S480), if there are no more nodes to be analyzed, a screen shot is generated by capturing the screen displayed in S490 (S490). If there are more nodes to be analyzed, perform S430 again with the next node to be analyzed as the current View node.
  • FIG. 5 is a flowchart illustrating a process of determining a target area in a screen shot generated according to an embodiment of the present invention.
  • the screenshot processing device 100 loads the view tree file.
  • the screenshot processing device 100 displays the screenshot.
  • the screenshot processing device 100 receives a user input.
  • the user input may be in the form of performing various touches on the displayed screen shot.
  • the screen shot processing device 100 checks areas selected by the user from the entire screen shot area displayed through the user input.
  • the user's region selection may be performed in units of view nodes in the view tree file stored by the screen shot.
  • the areas selected by the user may be target areas to which a predetermined function is to be added.
  • the screenshot processing device 100 performs an encoding operation for combining the screen shot with data for executing a predetermined function to be added to the selected target area (S570). If the target areas are not selected, the user may check whether the user wants to share the screen shot (S580), and if the user wants to share the same, the user may share with the third party (S590). Sharing with third parties may be accomplished by uploading to a server via a network or directly via a wired or wireless network.
  • FIG. 6 is a flowchart illustrating a process of encoding by adding a function to a target region determined according to an embodiment of the present invention.
  • the screenshot processing device 100 may analyze the view node of the target area.
  • information such as node ID, name, coordinates, and size stored in the target area view node may be used when generating the screenshot.
  • the screenshot processing device 100 determines whether a server or cloud input is required.
  • the screenshot processing device 100 stores the data in a server or a cloud. Then, the URL data of the storage location is received, and the data for executing the predetermined function is replaced with the received URL data. The encoded URL data is then encoded along with the screenshot.
  • the screenshot processing device 100 receives the position information data of the external device in which the corresponding information is stored and performs the predetermined function. In order to replace the necessary data with the received location information data. The replaced location data can then be encoded with the screenshot.
  • the screen shot processing device 100 determines that a server or cloud input is required. If it is determined that a server or cloud input is required, the screenshot processing device 100 may communicate with the server or the cloud through a network (S630).
  • the screen shot processing device 100 determines whether data for executing a predetermined function to be added to the target area is needed (S640).
  • the screenshot processing device 100 may obtain data for executing a predetermined function to be added to the target area (S650). For example, the screenshot processing device 100 may obtain data for executing a predetermined function to be added to the target area through the content provider.
  • the screen shot processing device 100 combines the screen shot with data for executing a predetermined function.
  • the combined result is one screenshot file.
  • the screenshot processing device 100 may store the generated screenshot file in a storage unit.
  • the storage function may be excluded, and in other embodiments, the storage function may be stored in a server through a network to be shared with other users.
  • FIG. 7 is a flowchart illustrating a process of decoding to execute a predetermined function in a selected area when executing a screenshot file generated according to an embodiment of the present invention.
  • the screenshot processing device 100 analyzes the screenshot file.
  • the screenshot file may be a file encoded with the screenshot and data for executing a predetermined function added to some areas of the screenshot.
  • the screen shot processing device 100 may display the screen shot and inquire the display information of the target device on which the added function is to be executed.
  • the display information may include the size and resolution of the screen.
  • the target device may be the same device as the screen shot processing device 100 of the present invention or may be another device.
  • the screen shot processing device 100 may adjust the screen shot and data for executing a predetermined function according to the display information obtained in S720. This adjustment allows the data to be optimized for the target device.
  • the screenshot processing device 100 may display the screenshot on the target device.
  • the screen shot processing device 100 may display a target area to which a predetermined function is added by highlighting it.
  • the screenshot processing device 100 may analyze information about the view node corresponding to the area selected by the user from the entire area of the screen shot.
  • the user may select at least one target area by clicking on a selectable area of the entire screenshot area.
  • the screenshot processing device 100 may determine whether the view node corresponding to the target area selected by the user includes a hidden function.
  • the screenshot processing device 100 may execute the hidden function included in the node (S770). For example, a text inputter may be executed, an image may be played, an installation file may be loaded, an application may be executed, or the like.
  • the concealed function may be executed by obtaining information stored in the external device based on data for executing a predetermined function.
  • the data for executing a predetermined function is data replaced with URL data of the external device, the function added to the area selected by the user by the information stored in the external device can be executed.
  • the screenshot processing device 100 may check whether there are nodes that have not been analyzed yet, and if there are nodes that have not yet been analyzed, may execute S750 again.
  • FIG. 8 is a schematic diagram illustrating an information flow of the screenshot processing device 100 on the basis of the screenshot generation unit according to an embodiment of the present invention.
  • the screen shot generator 830 may request information on at least one view node and the view node constituting the screen displayed on the mobile terminal controller 810.
  • the information about the view node may include information such as node ID, name, size, coordinates, etc. of each node constituting the view tree for the displayed screen.
  • the mobile terminal controller 810 can provide the screen shot generator 830 with at least one view node constituting the current display screen and information about each view node.
  • the screen shot generator 830 generates a view tree file by integrating the view nodes acquired from the mobile terminal controller 810 and information about each view node.
  • the screen shot generator 830 may request the mobile terminal controller 810 to capture a current screen.
  • the mobile terminal controller 810 may capture a current screen and transmit the captured screen to the screenshot generator 830.
  • the screen shot generator 830 transmits a screen shot of the displayed screen and at least one view node constituting the displayed screen and information about the view nodes to the target area determiner 850.
  • the screen shot generator 830 may be an independent component in the processor 130 included in the screen shot processing device 100, or may correspond to some functions of the processor 130 instead of the independent components.
  • the screen shot processing device 100 may be an independent device that is separate from the mobile terminal 810.
  • the screenshot processing device 100 may be one hardware device combined with the mobile terminal 810.
  • the target area determiner 930 may identify the target area input by the user.
  • the target area refers to an area selected by the user as a target to hide a predetermined function from all areas included in the screen shot.
  • the input of the target area may be performed in a form of performing various touches on the displayed screen shot.
  • the target area determiner 930 may transmit the target area information and the data for executing the predetermined function to the encoding unit 950 when the data for executing the predetermined function to be concealed exists in the determined target region.
  • the target area determiner 930 may request the encoded result from the encoder 950.
  • the encoder 950 may transmit the encoded screen shot file to the target area determiner 930.
  • the target area determiner 930 may transmit the screenshot file received from the encoder 950 to the share controller 910 for sharing.
  • FIG. 10 is a schematic diagram illustrating an information flow of a screen shot processing device on the basis of an encoding unit determiner according to an embodiment of the present invention.
  • the encoder 1030 may analyze information about at least one view node corresponding to a target area to which a predetermined function is to be added. In this case, when data of the external device 1010 is needed to execute a predetermined function, the external device 1010 may request data.
  • the external device 1010 may transmit data for executing a predetermined function to the encoding unit 1030 in response to a request of the encoding unit 1030.
  • the encoding unit 1030 may upload the data to the server or the cloud through the communication unit 1070.
  • the communication unit 1070 transmits URL data of a place where data for executing a predetermined function is uploaded to the encoding unit 1030.
  • the encoding unit replaces the data for executing the predetermined additional functions with the received URL data.
  • the encoder 1030 may request the URL of the place where the file exists from the communication unit 1070.
  • the communication unit 1070 may transmit URL data of a place where a file necessary for the encoding unit 1030 exists to the encoding unit 1030.
  • the encoding unit replaces the data for executing the predetermined additional functions with the received URL data.
  • the encoding unit 1030 integrates data for executing a screenshot and certain additional functions.
  • the encoding unit 1030 may transmit the generated screenshot file to the storage unit 1050.
  • FIG. 11 is a schematic diagram illustrating an information flow of a screenshot processing device on the basis of a decoding unit according to an embodiment of the present invention.
  • the decoding unit 1130 may decode the screenshot file.
  • the decoder 1130 may inquire the display information of the mobile terminal controller 1110.
  • the mobile terminal controller 1110 may transmit display information to the decoding unit 1130.
  • the decoder 1130 may adjust screen shots and data for executing a predetermined function according to the received display information. This adjustment allows the data to be optimized for the display screen.
  • the decoding unit 1130 may transmit the screen shot so that the display unit 1150 may display the screen shot.
  • the decoding unit 1130 may provide data for executing the added function so that the display unit 1150 may perform a predetermined added function included in the screenshot file.
  • FIG. 12 is a flowchart illustrating a connection relationship between screenshot processing device components according to an embodiment of the present invention.
  • the screenshot processing device 100 may be connected to the server 200 through a wired or wireless network.
  • the connection with the external server 200 may be made through the communication unit 1211.
  • the communication unit 1211 may be configured to perform wired or wireless communication with other mobile terminals or various servers 200. In some embodiments, such communication may be limited depending on the user.
  • the communication unit 1211 is Bluetooth, Zigbee, WLAN, WiFi. It may be configured to support a wireless communication protocol such as home RF, UWB, and the like.
  • the screen shot processing device 100 may include a screen shot request receiver 1201, a screen shot generator 1203, a target region determiner 1205, an encoder 1207, a storage 1209, a communication unit 1211, and a share.
  • the controller 1213, the file identifier 1215, the decoder 1217, the display 1219, the user manipulation identifier 1221, and the data analysis processor 1223 may be included.
  • the screenshot request receiver 1201 may receive a screenshot request of the user.
  • the user's request may include a user sweeping the screen of the mobile terminal with a palm, a user clicking a screenshot button on the screen, a user inputting a voice command requesting a screenshot, or the screenshot processing device 100.
  • the light sensor in the inside may be made by recognizing the irradiated light.
  • the screenshot generator 1203 When a screenshot request is received, the screenshot generator 1203 generates a view tree file for the displayed window screen and performs screen capture.
  • the view tree file may store information about each view node.
  • the target area determiner 1205 may receive a user input and determine a target area to which a predetermined function is to be added.
  • the encoder 1207 may generate a screenshot file by combining the screenshot and data for executing a predetermined function.
  • the generated screenshot file may be shared with other users through the sharing controller 1213.
  • the generated screenshot file may be stored in the storage 1209.
  • the screenshot file generated by the encoder 1207 or the screenshot file stored in the storage 1209 may be uploaded to the external server 200 through the communication unit 1211 if necessary.
  • the file identification unit 1215 may identify the screenshot file, and may identify an area where a predetermined function is hidden from the entire area of the screenshot. In addition, in some embodiments, the file identifier 1215 may identify a region selected by the user from the entire screen shot area.
  • the decoder 1217 may decode the screen shot coupled to the screen shot file and data for executing an additional function.
  • the display unit 1219 may display the screenshot in a form optimized for the display device when the user opens the screenshot file. In this case, an area in which a predetermined function is hidden among the entire screen shots may be highlighted and displayed.
  • the area where certain functions are hidden among the entire screen shots may be displayed inside the semi-transparent box added in the form of a figure such as a rectangle, a circle, an ellipse, or the like.
  • the display unit 1219 may display a predetermined function added to a portion of the screen shot.
  • the user operation identification unit 1221 may identify a user's operation on the executed function.
  • the user operation identification unit 1221 may identify the content edited by the user.
  • the data analysis processor 1223 may analyze statistics about execution of a function added to the screenshot file.
  • Statistics relating to the execution of the functions added to the screenshot file may include statistics on the frequency and embodiment of the execution of the functions added to the screenshot file.
  • the result analyzed by the data analysis processor 1223 may be stored and shared in the external server 200 through the communication unit 1211.
  • Figure 13 shows an example of combining a screenshot and text to create a screenshot file in accordance with one embodiment of the present invention.
  • Combining and encoding the screenshot 1310 and the text string 1350 may generate an encoded screenshot file 1370.
  • the function of providing the text string 1350 may be executed by using the area 1330 including text among the entire screen area 1310 as the target area.
  • all regions represented by text among the preliminary regions 1310 of the screenshot may be determined as target regions, and each text string may be encoded together with the screenshot.
  • Figure 14 shows an example of execution of a screenshot file generated in accordance with one embodiment of the present invention.
  • the encoded screenshot file 1410 may be displayed on the display unit.
  • the target area 1430 concealing a predetermined function may be highlighted.
  • a predetermined function hidden in the target area 1430 may be executed (1450).
  • Screen shots and additional functions displayed on the display unit may be shared to other users through the share controller 1213.
  • the predetermined function may be a function of editing a corresponding text using a text inputter (1470).
  • the predetermined function may be a function of selecting all or part of the text and copying it to the clipboard (1490).
  • FIG. 15 illustrates an example of combining a screenshot and an application installation file to generate one screenshot file according to an embodiment of the present invention.
  • the screenshot file 1590 may be generated.
  • the execution function of the installation file 1530 may be executed by using the area 1520 including an application for application installation among the entire screen shot areas 1510 as the target area.
  • the installation file 1530 may be stored in the remote server 1570.
  • the screenshot processing device 100 receives URL data of a location where the installation file 1530 is stored from the remote server 1570, combines the received URL data with the screenshot 1510, and displays the screenshot file 1590. ) Can be created.
  • the installation file may include an Android PacKage (Apk) program file.
  • Figure 16 shows an example of execution of a screenshot file created in accordance with one embodiment of the present invention.
  • the encoded screenshot file 1610 may be displayed on the display unit.
  • the target area 1620 that hides a predetermined function may be highlighted.
  • a predetermined function hidden in the target area 1620 may be executed.
  • the predetermined function may be a function of receiving an input of installing an application or a file (1650) and performing an installation of an application or a file (1670).
  • the screenshot processing device 100 accesses the stored URL and receives the corresponding installation file from the remote server 1630. can do.
  • FIG. 17 illustrates an example of selecting a target area from a screen shot and extracting data for executing an added function in the selected target area according to an embodiment of the present invention.
  • the screen shot processing device 100 may include a name included in the target area 1730.
  • a business card file vCard file
  • the encoded business card file and the screenshot 1710 may be combined to generate an encoded screenshot file 1750.
  • FIG. 18 shows an example of execution of a screenshot file created in accordance with one embodiment of the present invention.
  • the encoded screenshot file 1810 may be displayed on the display unit.
  • the target area 1830 hiding a predetermined function may be highlighted.
  • a predetermined function hidden in the target area 1830 may be executed.
  • the predetermined function may be a function of displaying a business card file 1850 of a contact included in the target area 1830.
  • the displayed business card file may be stored in the contacts application.
  • 19 shows an example of selecting data of a target region from a screen shot and extracting data for executing an added function in the selected target region according to an embodiment of the present invention.
  • the screenshot processing device 100 when the area 1930 including the thumbnail image is determined as the target area, the screenshot processing device 100 includes the thumbnail included in the target area 1930.
  • a screenshot file 1950 may be generated by combining the extracted original image file and the screenshot 1910 by extracting the original image of the image.
  • FIG. 20 shows an example of execution of a screenshot file created in accordance with one embodiment of the present invention.
  • the encoded screenshot file 2010 may be displayed on the display unit.
  • the target area 2030 concealing a predetermined function may be highlighted.
  • a predetermined function hidden in the target area 2030 may be executed.
  • the predetermined function may be a function of displaying the original image 2050 of the thumbnail image included in the target area 2030.
  • Fig. 21 shows an example of selecting data of a target area from a screen shot and extracting data for executing an added function in the selected target area according to an embodiment of the present invention.
  • the screen shot processing device 100 When an application capable of talking to another user is executed to generate a screen shot 2110 including the contents of the conversation, and the area 2130 including the partial contents of the conversation is determined as the target region, the screen shot processing device 100 is performed.
  • the audio file included in the target area 2130 may be extracted to combine the extracted audio file with the screen shot 2110 to generate a screenshot file 2150.
  • the target area 2130 may include various multimedia files such as an image file and an image file.
  • Figure 22 shows an example of execution of a screenshot file generated according to one embodiment of the present invention.
  • the encoded screenshot file 2210 may be displayed on the display unit.
  • the target area 2230 concealing a predetermined function may be highlighted.
  • a predetermined function hidden in the target area 2230 may be executed.
  • the predetermined function may be a function of playing an audio file included in the target area 2230.
  • the reproduced audio file may be stored.
  • a screenshot file is generated by encoding data for executing a schedule reminder function on a screenshot of a calendar screen, selecting a specific date area from the displayed screenshot, the selected date is selected. You can run the calendar reminder function for.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이된 화면의 스크린 샷을 생성하는 단계, 상기 생성된 스크린 샷의 전체 영역 중 소정의 기능이 부가되는 적어도 하나의 대상 영역을 결정하는 단계 및 상기 소정의 기능을 실행시키는 데이터를 상기 스크린 샷에 결합한 스크린 샷 파일을 생성하는 단계를 포함하는 스크린 샷 처리 방법이 제시된다.

Description

스크린 샷 처리 디바이스 및 그 방법
본 발명은 스크린 샷 처리 디바이스 및 그 방법에 관한 것이다.
현재, 스크린 샷 기능은 컴퓨터 및 모바일 단말에서 일반적으로 제공되는 기능이다. 일부 모바일 단말들은 스크린 샷의 스타일을 변경하거나, 스크린 샷의 일부를 캡처하는 등 스크린 샷을 편집할 수 있는 기능을 제공하기도 한다.
그러나 이러한 편집 기능은 비교적 간단한 기능들만을 포함하고 있어 사용자의 다양하고 고차원적인 요구를 만족시키지 못하고 있다. 특히, 사용자가 모바일 단말에서 스크린 샷을 생성하는 주요 목적은 스크린 샷의 일부를 저장하거나 제3자와 스크린 샷을 공유하거나 스크린 샷의 일부를 선택하여 특정 기능이 실행되도록 하는 것인데, 이와 같은 경우 사용자의 다양하고 고차원적인 요구가 만족되지 않고 있다.
본 발명의 실시예들은, 스크린 샷에 소정의 기능을 부가하여 스크린 샷의 활용성을 제고하기 위한 것이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따르면, 디스플레이된 화면의 스크린 샷을 생성하는 단계, 상기 생성된 스크린 샷의 전체 영역 중 소정의 기능이 부가되는 적어도 하나의 대상 영역을 결정하는 단계 및 상기 소정의 기능을 실행시키는 데이터를 상기 스크린 샷에 결합한 스크린 샷 파일을 생성하는 단계를 포함하는 스크린 샷 처리 방법이 제공될 수 있다.
상기 스크린 샷을 생성하는 단계는, 상기 디스플레이된 화면을 구성하는 적어도 하나의 뷰 노드 및 상기 뷰 노드에 대한 정보를 저장하는 단계 및 상기 디스플레이된 화면을 캡처하는 단계를 포함할 수 있다.
상기 뷰 노드에 대한 정보는 상기 뷰 노드의 ID, 명칭, 좌표, 사이즈에 대한 정보 중 적어도 하나를 포함할 수 있다.
상기 적어도 하나의 대상 영역은 사용자 입력에 의해 수동으로 결정되거나 소정 포맷에 의해 자동으로 결정될 수 있다.
상기 소정의 기능을 실행시키는 데이터는 외부 디바이스 혹은 로컬 디바이스로부터 획득될 수 있다.
또한, 상기 소정의 기능을 실행시키는 데이터는, 상기 소정의 기능을 실행시키는 데이터를 저장한 외부 디바이스의 URL 데이터로 대체될 수 있다.
상기 스크린 샷 처리 방법은 상기 스크린 샷 파일을 외부 디바이스와 공유할 수 있다.
또한, 상기 스크린 샷 처리 방법은 상기 생성된 스크린 샷 파일을 디스플레이하는 단계, 상기 디스플레이된 스크린 샷 파일의 전체 영역 중 사용자가 선택한 영역을 식별하는 단계, 상기 스크린 샷 파일을 디코딩하는 단계 및 상기 사용자가 선택한 영역에 부가된 기능을 실행하는 단계를 더 포함할 수 있다.
상기 스크린 샷 파일을 디코딩하는 단계는, 상기 부가된 기능이 실행될 디바이스의 디스플레이 정보를 획득하는 단계 및 상기 스크린 샷 및 상기 소정의 기능을 실행시키는 데이터를 상기 획득된 디스플레이 정보에 기초하여 조정하는 것을 특징으로 할 수 있다.
또한, 상기 스크린 샷 파일을 디코딩하는 단계는, 상기 소정의 기능을 실행시키는 데이터를 기초로 상기 외부 디바이스에 저장된 정보를 획득하는 단계를 포함하되, 상기 소정의 기능을 실행시키는 데이터는 상기 외부 디바이스의 URL 데이터로 대체된 데이터이고, 상기 외부 디바이스에 저장된 정보에 의해 상기 사용자가 선택한 영역에 부가된 기능이 실행되는 것을 특징으로 할 수 있다.
본 발명 일 실시예의 또 다른 측면에 따르면, 스크린 샷 요청을 수신하는 입력부 및 디스플레이 된 화면의 스크린 샷을 생성하고, 상기 생성된 스크린 샷의 전체 영역 중, 소정의 기능이 부가되는 적어도 하나 의 대상 영역을 결정하며, 상기 소정의 기능을 실행시키는 데이터를 상기 스크린 샷에 결합한 스크린 샷 파일을 생성하는 프로세서를 포함하는 스크린 샷 처리 디바이스가 제공될 수 있다.
상기 프로세서는, 상기 디스플레이된 화면을 구성하는 적어도 하나의 뷰 노드 및 상기 뷰 노드에 대한 정보를 저장하고, 상기 디스플레이된 화면을 캡처할 수 있다.
상기 뷰 노드에 대한 정보는 상기 뷰 노드의 ID, 명칭, 좌표, 사이즈에 대한 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, 상기 적어도 하나의 대상 영역을, 사용자 입력에 의해 수동으로 결정하거나, 소정의 포맷에 의해 자동으로 결정할 수 있다.
상기 소정의 기능을 실행시키는 데이터는, 외부 디바이스 혹은 로컬 디바이스로부터 획득될 수 있다.
또한, 상기 소정의 기능을 실행시키는 데이터는, 상기 소정의 기능을 실행시키는 데이터를 저장한 외부 디바이스의 URL 데이터로 대체될 수 있다.
상기 스크린 샷 처리 디바이스는 상기 프로세서는, 상기 스크린 샷 파일을 외부 디바이스와 공유할 수 있다.
또한, 상기 스크린 샷 처리 디바이스는 상기 생성된 스크린 샷 파일을 디스플레이 하는 디스플레이부를 더 포함하고, 상기 프로세서는, 상기 디스플레이 된 스크린 샷 파일의 전체 영역 중, 사용자가 선택한 영역을 식별하고, 상기 스크린 샷 파일을 디코딩 하며, 상기 사용자가 선택한 영역에 부가된 기능을 실행할 수 있다.
또한, 상기 프로세서는, 상기 부가된 기능이 실행될 디바이스의 디스플레이 정보를 획득하여, 상기 스크린 샷 및 상기 소정의 기능을 실행시키는 데이터를 상기 획득된 디스플레이 정보에 기초하여 조정할 수 있다.
상기 프로세서는, 상기 소정의 기능을 실행시키는 데이터를 기초로 상기 외부 디바이스에 저장된 정보를 획득하되, 상기 소정의 기능을 실행시키는 데이터는 상기 외부 디바이스의 URL 데이터로 대체된 데이터이고, 상기 외부 디바이스에 저장된 정보에 의해 상기 사용자가 선택한 영역에 부가된 기능이 실행되는 것을 특징으로 할 수 있다.
스크린 샷 사용자들은 스크린 샷의 일부를 저장하거나 제3자와 스크린 샷을 공유하거나 스크린 샷의 일부를 선택하여 특정 기능이 실행되도록 할 수 있다.
도1은 본 발명의 일 실시예에 따른 스크린 샷 처리 디바이스의 블록도이다.
도2는 본 발명의 일 실시예에 따라 스크린 샷 파일을 생성하기 위한 흐름도이다.
도3은 본 발명의 일 실시예를 설명하기 위한 안드로이드 화면 및 뷰 트리의 예시를 도시한다.
도4는 본 발명의 일 실시예에 따라 스크린 샷을 생성하는 과정을 도시한 흐름도이다.
도5는 본 발명의 일 실시예에 따라 생성된 스크린 샷에서 대상 영역을 결정하는 과정을 도시한 흐름도이다.
도6은 본 발명의 일 실시예에 따라 결정된 대상 영역에 기능을 부가하여 인코딩하는 과정을 도시한 흐름도이다.
도7은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일을 실행할 때, 선택된 영역에서 소정의 기능을 실행하기 위해 디코딩 하는 과정을 도시한 흐름도이다.
도8은 본 발명의 일 실시예에 따라 스크린 샷 생성부를 기준으로 스크린 샷 처리 디바이스의 정보 흐름을 도시한 개략도이다. 도9는 본 발명의 일 실시예에 따라 대상 영역 결정부를 기준으로 스크린 샷 처리 디바이스의 정보흐름을 도시한 개략도이다. 도10은 본 발명의 일 실시예에 따라 인코딩부를 기준으로 스크린 샷 처리 디바이스의 정보흐름을 도시한 개략도이다. 도11은 본 발명의 일 실시예에 따라 디코딩부를 기준으로 스크린 샷 처리 디바이스의 정보흐름을 도시한 개략도이다. 도12는 본 발명의 일 실시예에 따른 스크린 샷 처리 디바이스 구성요소들 사이의 연결 관계를 도시한 흐름도이다.
도13은 본 발명의 일 실시예에 따라 스크린 샷과 텍스트를 결합하여 하나의 스크린 샷 파일을 생성하는 예시를 도시한다.
도14는 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
도15는 본 발명의 일 실시예에 따라 스크린 샷과 어플리케이션 설치 파일을 결합하여 하나의 스크린 샷 파일을 생성하는 예시를 도시한다.
도16은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
도17은 본 발명의 일 실시예에 따라 스크린 샷에서 대상 영역을 선택하고 선택한 대상 영역에서 부가된 기능을 실행하는 데이터를 추출하는 예시를 도시한다.
도18은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
도19는 본 발명의 일 실시예에 따라 스크린 샷에서 대상 영역을 선택하고 선택한 대상 영역에서 부가된 기능을 실행하는 데이터를 추출하는 예시를 도시한다.
도20은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
도21은 본 발명의 일 실시예에 따라 스크린 샷에서 대상 영역을 선택하고 선택한 대상 영역에서 부가된 기능을 실행하는 데이터를 추출하는 예시를 도시한다.
도22는 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
디스플레이된 화면의 스크린 샷을 생성하는 단계, 상기 생성된 스크린 샷의 전체 영역 중 소정의 기능이 부가되는 적어도 하나의 대상 영역을 결정하는 단계 및 상기 소정의 기능을 실행시키는 데이터를 상기 스크린 샷에 결합한 스크린 샷 파일을 생성하는 단계를 포함하는 스크린 샷 처리 방법을 제공한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 제시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
본 명세서에서 "스크린 샷" 은 그래픽 파일로 저장되거나 문서 편집기나 그래픽 편집기로 복사되는 화면 표시 내용을 의미한다. 예를 들어, 스크린 샷은 윈도우 플랫폼에서 Print Screen 키를 사용하여 생성될 수 있다.
또한 본 명세서에서 "스크린 샷 파일"은 스크린 샷에 부가 정보를 결합하여 만든 파일을 의미한다. 예를 들어, 스크린 샷과 특정 이미지를 결합하여 스크린 샷 파일을 생성할 수 있다. 이 때 스크린 샷에 부가 정보를 결합시키는 과정을 "인코딩" 과정이라고 칭한다.
본 명세서에서 "모바일 단말"이란 휴대 전화, 스마트 폰, 테블릿 PC, 랩탑 PC, PMP(portable multidedia player), PDA(personal digital assistant) 등을 포함하는 휴대 가능한 컴퓨팅 디바이스들을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도1은 본 발명의 일 실시예에 따른 스크린 샷 처리 디바이스의 블록도이다.
본 발명의 일 실시예에 따라 스크린 샷을 처리하는 스크린 샷 처리 디바이스(100)는 스크린 샷 요청을 수신하는 입력부(110) 및 디스플레이된 화면의 스크린 샷을 생성하고, 상기 생성된 스크린 샷의 전체 영역 중 소정의 기능을 부가할 적어도 하나의 대상 영역을 결정하며, 상기 스크린 샷과 상기 소정의 기능을 실행시키는 데이터를 결합하여 하나의 스크린 샷 파일을 생성하는 프로세서(130)를 포함할 수 있다.
스크린 샷 요청은 사용자가 모바일 단말의 화면을 손바닥으로 스윕(sweep)하거나, 사용자가 스크린 상의 스크린 샷 버튼을 클릭하거나, 사용자가 스크린 샷을 요청하는 음성 명령을 입력하거나, 스크린 샷 처리 디바이스(100) 내의 광센서가 조사된 광을 인식하거나 스크린 샷 처리 디바이스(100) 내의 물리적 버튼을 클릭함으로써 이루어질 수 있다. 그러나 스크린 샷 요청이 이러한 동작들에 한정되는 것은 아니고 다른 다양한 형태의 동작도 가능하다.
입력부(110)는 다양한 형태의 스크린 샷 요청을 수신할 수 있다.
프로세서(130)는 랩탑 PC나 PDA, 휴대 전화 등과 같은 모바일 단말 내부에 존재할 수 있으나, 랩탑 PC나 모바일 단말과 독립적으로 외부에 존재할 수도 있다.
프로세서(130)는 스크린 샷 생성부, 대상 영역 결정부, 인코딩부, 저장부, 통신부를 포함할 수 있다.
일부 실시예에서 프로세서(130)는 파일 식별부, 디코딩부, 사용자 조작 식별부, 데이터 분석 처리부를 더 포함할 수 있다.
본 발명의 일 실시예에 따라 스크린 샷을 처리하는 스크린 샷 처리 디바이스(100)는 입력부(110), 프로세서(130) 외에 스크린 샷 및 소정의 기능을 디스플레이하는 디스플레이부를 더 포함할 수 있다. 이 경우, 프로세서(130)는 디스플레이된 스크린 샷 파일의 전체 영역 중 사용자가 선택한 영역을 식별하고, 식별된 영역을 디코딩하며, 식별된 영역에 부가된 기능을 실행하는 기능을 더 포함할 수 있다.
도2는 본 발명의 일 실시예에 따라 스크린 샷 파일을 생성하기 위한 흐름도이다.
단계 S210에서 스크린 샷 처리 디바이스(100)는 디스플레이된 화면의 스크린 샷을 생성한다.
일부 실시예에 따르면, 스크린 샷 처리 디바이스(100)는 스크린 샷을 생성할 때, 디스플레이 된 화면을 구성하는 적어도 하나의 뷰 노드 및 뷰 노드의 ID, 명칭, 좌표, 사이즈 등의 정보를 함께 저장할 수 있다.
일부 실시예에 따르면, 스크린 샷 처리 디바이스(100)는 스크린 샷을 생성할 때, 사용자가 대상 영역으로 결정할 수 있는 선택 가능한 영역도 결정할 수 있다.
단계 230에서, 스크린 샷 처리 디바이스(100)는 생성된 스크린 샷의 선택 가능한 영역 중 소정의 기능을 부가할 적어도 하나의 대상 영역을 결정할 수 있다.
일부 실시예에서 대상 영역의 결정은 디스플레이된 스크린 샷에 대한 사용자 입력을 식별함으로써 이루어질 수 있다.
일부 실시예에 따르면, 대상 영역의 결정은 소정의 포맷에 의해 자동으로 이루어질 수도 있다.
단계 S250에서, 스크린 샷 처리 디바이스(100)는 스크린 샷과 사용자가 결정한 대상 영역에 부가할 소정의 기능을 실행시키는 데이터를 결합하여 하나의 스크린 샷 파일을 생성할 수 있다.
일부 실시예에서 대상 영역에 부가할 소정의 기능은 텍스트 편집기의 실행, 영상의 재생, 외부 디바이스에 존재하는 파일의 로딩 또는 이미지의 디스플레이, 특정 어플리케이션의 실행 등일 수 있다.
도3은 본 발명의 일 실시예를 설명하기 위한 안드로이드 화면 및 뷰 트리의 예시를 도시한다.
일반적으로, 안드로이드 플랫폼을 탑재한 모바일 단말은 새로운 액티비티(activity)가 시작될 때, 그 액티비티를 위한 새로운 윈도우를 생성하고, 생성한 윈도우를 윈도우매니저서비스에 등록할 수 있으며, 각 윈도우 화면에 대한 뷰 구조(view hierarchy)도 저장할 수 있다
이 때, "액티비티"란 안드로이드에서 하나의 화면을 가리키는 용어이고, "뷰"란 액티비티 안에 들어가는 각각의 UI 컴포넌트들을 말한다. 즉, 뷰는 사용자의 눈에 보이는 화면의 구성 요소가 되는데, 버튼, 텍스트 필드, 체크 박스 등이 뷰에 해당한다.
이러한 뷰들을 여러 개 포함하고 있는 것을 "뷰 그룹"이라고 한다. 뷰 그룹의 예로는 레이아웃이 있는데, 레이아웃이란 화면의 구성요소 즉 뷰를 화면에 배치하는 일종의 뷰 컨테이너를 말한다. 안드로이드는 선형 레이아웃, 테이블 레이아웃, 그리드 레이아웃 등을 제공하고있다.
뷰 그룹은 뷰와 다르지만, 뷰의 속성을 상속하면 뷰 뷰의 일종으로 취급될 수 있다.
안드로이드 윈도우 화면(350)은 XML 뷰 트리(330) 형태로 이루어질 수 있고, 뷰 트리(330)를 구성하는 각 뷰 노드의 속성을 분석하면 사용자가 관심 있는 화면 영역에 대한 정보(310)를 얻을 수 있다.
도4는 본 발명의 일 실시예에 따라 스크린 샷을 생성하는 과정을 도시한 흐름도이다.
S410에서, 스크린 샷 처리 디바이스(100)는 현재 윈도우 화면의 RootView 노드를 획득할 수 있다. RootView 노드는 뷰 트리의 시작점이 되는 노드를 의미한다. 따라서, RootView 노드를 획득하는 것은 뷰 트리를 생성할 시작점을 획득하는 것을 의미한다.
S430에서 스크린 샷 처리 디바이스(100)는 현재 View 노드를 뷰 트리에 추가할 수 있다. 도3의 뷰 트리(330) 상에 보이는 각각의 뷰 노드들이 현재 View 노드가 될 수 있다.
이 때, 현재 View 노드가 ViewGroup 노드 중 하나인지를 체크하여(S450), 만일 현재 View 노드가 ViewGroup 노드이면 현재 View 노드의 자식 노드를 현재 View 노드로 하여(S460) S430을 다시 수행한다.
만일 현재 View 노드가 ViewGroup 노드 중 하나가 아닌 경우에는 당해 노드에 대하여 노드ID, 명칭, 좌표, 사이즈 등과 같은 정보를 기록할 수 있다(S470). 그리고 현재 화면에 현재 View 노드 이외에 분석될 노드가 더 있는지를 체크하여(S480), 분석될 노드가 더 없으면 S490에서 디스플레이 된 화면을 캡처하여 스크린 샷을 생성한다(S490). 분석될 노드가 더 있는 경우에는 다음 분석될 노드를 현재 View 노드로 하여 S430을 다시 수행한다.
도5는 본 발명의 일 실시예에 따라 생성된 스크린 샷에서 대상 영역을 결정하는 과정을 도시한 흐름도이다.
S510에서, 스크린 샷 처리 디바이스(100)는 뷰 트리 파일을 로딩한다.
S530에서, 스크린 샷 처리 디바이스(100)는 스크린 샷을 디스플레이한다.
S550에서, 스크린 샷 처리 디바이스(100)는 사용자 입력을 수신한다. 사용자 입력은 디스플레이된 스크린 샷 상에 다양한 터치를 수행하는 형식으로 이루어질 수 있다.
S560에서, 스크린 샷 처리 디바이스(100)는 사용자 입력을 통해 디스플레이 된 스크린 샷 전체 영역 중 사용자가 선택한 영역들을 체크한다. 일부 실시예에서 사용자의 영역 선택은 해당 스크린 샷이 저장한 뷰 트리 파일 내의 뷰 노드 단위로 이루어질 수 있다.
사용자가 선택한 영역들은 소정의 기능이 부가될 대상 영역이 될 수 있다.
만일 대상 영역들이 선택되었다면, 스크린 샷 처리 디바이스(100)는 스크린 샷과 선택된 대상 영역에 부가될 소정의 기능을 실행시키는 데이터를 결합하는 인코딩 작업을 수행한다(S570). 만일 대상 영역들이 선택되지 않았다면, 사용자가 스크린 샷의 공유를 원하는지를 체크하여(S580), 공유를 원하는 경우 제3자와 공유하게 할 수 있다(S590). 제3자와의 공유는 네트워크를 통해 서버에 업로드 함으로써 이루어질 수도 있고, 유무선 네트워크를 통하여 직접적으로 이루어질 수도 있다.
도6은 본 발명의 일 실시예에 따라 결정된 대상 영역에 기능을 부가하여 인코딩하는 과정을 도시한 흐름도이다.
S610에서, 스크린 샷 처리 디바이스(100)는 대상 영역의 뷰 노드를 분석할 수 있다. 뷰 노드 분석에는 스크린 샷 생성 시 대상 영역 뷰 노드에 저장된 노드ID, 명칭, 좌표, 사이즈 등과 같은 정보들이 활용 될 수 있다.
S620에서, 스크린 샷 처리 디바이스(100)는 서버나 클라우드 입력이 필요한지를 판단한다.
대상 영역에 부가될 소정의 기능을 실행시키는 데이터의 용량이 큰 경우, 스크린 샷 처리 디바이스(100)는 해당 데이터를 서버나 클라우드에 저장한다. 그리고 저장 장소의 URL 데이터를 수신하여, 소정의 기능을 실행시키는 데이터를 수신한 URL 데이터로 대체한다. 그리고 대체된 URL 데이터를 스크린 샷과 함께 인코딩한다.
대상 영역에 부가될 소정의 기능을 실행시키는 데이터가 외부 디바이스에 저장되어 있는 경우에도, 스크린 샷 처리 디바이스(100)는 해당 정보가 저장된 외부 디바이스의 위치 정보 데이터를 수신하고, 소정의 기능을 실시하기 위하여 필요한 데이터를 수신한 위치 정보 데이터로 대체한다. 그리고 대체된 위치 정보 데이터를 스크린 샷과 함께 인코딩 할 수 있다.
만일, 대상 영역에 부가될 소정의 기능을 실행시키는 데이터를 서버나 클라우드에 저장하고, 저장한 장소의 URL 데이터를 수신하여, 수신한 URL 데이터와 스크린 샷을 결합하여 스크린 샷 파일을 생성하는 경우, 스크린 샷 처리 디바이스(100)는 서버나 클라우드 입력이 필요하다고 판단한다. 서버나 클라우드 입력이 필요하다고 판단된 경우, 스크린 샷 처리 디바이스(100)는 네트워크를 통하여 서버나 클라우드와 통신할 수 있다(S630).
서버나 클라우드 입력이 필요하지 않다고 판단된 경우, 스크린 샷 처리 디바이스(100)는 대상 영역에 부가될 소정의 기능을 실행시키는 데이터가 필요한지 여부를 판단한다(S640).
만일, 대상 영역에 부가될 소정의 기능을 실행시키는 데이터가 필요하다고 판단된 경우, 스크린 샷 처리 디바이스(100)는 대상 영역에 부가될 소정의 기능을 실행시키는 데이터를 획득할 수 있다(S650). 예를 들어, 스크린 샷 처리 디바이스(100)는 컨텐트 프로바이더를 통하여 대상 영역에 부가될 소정의 기능을 실행시키는 데이터를 획득할 수 있다.
S660에서, 스크린 샷 처리 디바이스(100)는 스크린 샷과 소정의 기능을 실행시키는 데이터를 결합시킨다. 결합된 결과 하나의 스크린 샷 파일이 생성된다.
S670에서, 스크린 샷 처리 디바이스(100)는 생성된 스크린 샷 파일을 저장부에 저장할 수 있다. 일부 실시예에서는 저장 기능을 제외할 수도 있고, 다른 일부 실시예에서는 네트워크를 통하여 서버에 저장하여 다른 사용자들과 공유되도록 할 수도 있다.
도7은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일을 실행할 때, 선택된 영역에서 소정의 기능을 실행하기 위해 디코딩하는 과정을 도시한 흐름도이다.
S710에서, 스크린 샷 처리 디바이스(100)는 스크린 샷 파일을 분석한다. 스크린 샷 파일은 스크린 샷과 스크린 샷의 일부 영역들에 부가된 소정의 기능을 실행시키는 데이터들이 함께 인코딩된 파일일 수 있다.
S720에서 스크린 샷 처리 디바이스(100)는 스크린 샷을 디스플레이하고, 부가된 기능이 실행될 목표 디바이스에 디스플레이 정보를 문의할 수 있다. 디스플레이 정보는 화면의 크기, 해상도를 포함할 수 있다. 목표 디바이스는 본 발명의 스크린 샷 처리 디바이스(100)와 동일한 디바이스일 수도 있고 다른 디바이스일 수도 있다.
S730에서, 스크린 샷 처리 디바이스(100)는 S720에서 얻은 디스플레이 정보에 따라 스크린 샷 및 소정의 기능을 실행시키는 데이터를 조정할 수도 있다. 이러한 조정을 통해 데이터를 목표 디바이스에 최적화시킬 수 있다.
S740에서, 스크린 샷 처리 디바이스(100)는 목표 디바이스에 스크린 샷을 디스플레이 할 수 있다. 스크린 샷을 디스플레이 할 때, 스크린 샷 처리 디바이스(100)는 소정의 기능이 부가된 대상 영역을 하이라이트로 표시하여 디스플레이 할 수 있다.
S750에서, 스크린 샷 처리 디바이스(100)는 사용자가 스크린 샷의 전체 영역 중에서 선택한 영역에 해당하는 뷰 노드에 대한 정보를 분석할 수 있다.
일부 실시예에서, 사용자는 전체 스크린 샷 영역 중 선택 가능한 영역을 클릭하는 등의 방법으로 적어도 하나의 대상 영역을 선택할 수 있다.
S760에서, 스크린 샷 처리 디바이스(100)는 사용자가 선택한 대상 영역에 해당하는 뷰 노드가 은닉된 기능을 포함하는지 판단할 수 있다.
만일, 사용자가 선택한 뷰 노드가 은닉된 기능을 포함하면, 스크린 샷 처리 디바이스(100)는 해당 노드에 포함된 은닉된 기능을 실행할 수 있다(S770). 예를 들어, 텍스트 입력기 실행, 영상 재생, 설치 파일의 로딩, 어플리케이션의 실행 등이 은닉된 기능에 해당될 수 있다.
일부 실시예에서, 은닉된 기능은 소정 기능을 실행시키는 데이터를 기초로 상기 외부 디바이스에 저장된 정보를 획득하여 실행될 수 있다. 이 때, 소정의 기능을 실행시키는 데이터는 상기 외부 디바이스의 URL 데이터로 대체된 데이터이고, 외부 디바이스에 저장된 정보에 의해 상기 사용자가 선택한 영역에 부가된 기능이 실행될 수 있다.
S780에서, 스크린 샷 처리 디바이스(100)는 아직 분석되지 않은 노드가 있는지를 체크하여, 아직 분석되지 않은 노드가 있는 경우, S750을 다시 실행할 수 있다.
도8은 본 발명의 일 실시예에 따라 스크린 샷 생성부를 기준으로 스크린 샷 처리 디바이스(100)의 정보 흐름을 도시한 개략도이다.
스크린 샷 생성부(830)는 모바일 단말 제어부(810)에 디스플레이된 화면을 구성하는 적어도 하나의 뷰 노드 및 뷰 노드에 대한 정보를 요청할 수 있다. 뷰 노드에 대한 정보는 디스플레이된 화면에 대한 뷰 트리를 구성하는 각 노드의 노드ID, 명칭, 사이즈, 좌표 등의 정보를 포함할 수 있다.
모바일 단말 제어부(810)는 스크린 샷 생성부(830)에 현재 디스플레이 화면을 구성하는 적어도 하나의 뷰 노드 및 각 뷰 노드에 대한 정보를 제공할 수 있다.
스크린 샷 생성부(830)는 모바일 단말 제어부(810)에서 획득한 뷰 노드 및 각 뷰 노드에 대한 정보를 통합하여 뷰 트리 파일을 생성한다.
스크린 샷 생성부(830)는 모바일 단말 제어부(810)에 현재 화면에 대한 캡처를 요청할 수 있다. 모바일 단말 제어부(810)는 현재 화면을 캡처하여 스크린 샷 생성부(830)에 전송할 수 있다.
스크린 샷 생성부(830)는 디스플레이된 화면의 스크린 샷 및 디스플레이된 화면을 구성하는 적어도 하나의 뷰 노드 및 뷰 노드에 대한 정보를 대상 영역 결정부(850)에 전송한다.
스크린 샷 생성부(830)는 스크린 샷 처리 디바이스(100)에 포함된 프로세서(130) 내의 독립적인 구성요소이거나, 독립적인 구성요소가 아니라 프로세서(130)의 일부 기능에 해당될 수도 있다.
스크린 샷 처리 디바이스(100)는 모바일 단말(810)과 별도로 존재하는 독립적인 장치일 수 있다.
다른 일부 실시예에서, 스크린 샷 처리 디바이스(100)는 모바일 단말(810)과 결합된 하나의 하드웨어 장치일 수 있다.
도9는 본 발명의 일 실시예에 따라 대상 영역 결정부를 기준으로 스크린 샷 처리 디바이스의 정보흐름을 도시한 개략도이다. 대상 영역 결정부(930)는 사용자가 입력한 대상 영역을 식별할 수 있다. 대상 영역은 스크린 샷에 포함된 전체 영역 중에서 사용자가 소정의 기능을 은닉할 대상으로 선택한 영역을 의미한다.
대상 영역의 입력은 디스플레이된 스크린 샷 상에 다양한 터치를 수행하는 형식으로 이루어질 수 있다.
대상 영역 결정부(930)는 결정된 대상 영역에 은닉할 소정의 기능을 실행하는 데이터가 존재하는 경우, 인코딩부(950)에 대상 영역 정보 및 소정의 기능을 실행하는 데이터를 전송할 수 있다.
대상 영역 결정부(930)는 사용자가 대상 영역을 타인과 공유하고자 하는 경우, 인코딩부(950)에 인코딩된 결과를 요청할 수 있다.
인코딩부(950)는 인코딩된 스크린 샷 파일을 대상 영역 결정부(930)에 전송할 수 있다.
대상 영역 결정부(930)는 공유를 위하여 공유 제어부(910)에 인코딩부(950)로부터 수신한 스크린 샷 파일을 전송할 수 있다.
도10은 본 발명의 일 실시예에 따라 인코딩부 결정부를 기준으로 스크린 샷 처리 디바이스의 정보흐름을 도시한 개략도이다. 인코딩부(1030)는 소정의 기능을 부가할 대상 영역에 해당하는 적어도 하나의 뷰 노드에 대한 정보를 분석할 수 있다. 이 때, 소정의 기능을 실행하기 위하여 외부 디바이스(1010)의 데이터가 필요한 경우, 외부 디바이스(1010)에 데이터를 요청할 수 있다.
외부 디바이스(1010)는 인코딩부(1030)의 요청에 응답하여 소정의 기능을 실행하는 데이터를 인코딩부(1030)에 전송할 수 있다.
인코딩부(1030)는 소정의 기능을 실행하는 데이터를 서버나 클라우드에 업로드할 필요가 있는 경우, 통신부(1070)를 통하여 서버나 클라우드에 업로드할 수 있다.
통신부(1070)는 업로드가 완료되면, 소정의 기능을 실행하는 데이터가 업로드된 장소의 URL 데이터를 인코딩부(1030)에 전송한다.
이 때, 인코딩부는 소정의 부가할 기능들을 실행하는 데이터를 수신한 URL 데이터로 대체한다.
또한, 인코딩부(1030)는 인코딩에 필요한 파일이 외부 서버나 클라우드에 존재하는 경우, 통신부(1070)에 파일이 존재하는 장소의 URL 데이터를 요청할 수 있다.
통신부(1070)는 인코딩부(1030)에 필요한 파일이 존재하는 장소의 URL 데이터를 인코딩부(1030)에 전송할 수 있다.
이 때, 인코딩부는 소정의 부가할 기능들을 실행하는 데이터를 수신한 URL 데이터로 대체한다. 인코딩부(1030)는 스크린 샷 및 소정의 부가할 기능들을 실행하는 데이터들을 통합한다.
스크린 샷 파일이 생성되면, 인코딩부(1030)는 저장부(1050)에 생성된 스크린 샷 파일을 전송할 수 있다.
도11은 본 발명의 일 실시예에 따라 디코딩부를 기준으로 스크린 샷 처리 디바이스의 정보흐름을 도시한 개략도이다.디코딩부(1130)는 스크린 샷 파일을 디코딩할 수 있다.
디코딩부(1130)는 모바일 단말 제어부(1110)에 디스플레이 정보를 문의할 수 있다. 모바일 단말 제어부(1110)은 디코딩부(1130)에 디스플레이 정보를 전송할 수 있다.
디코딩부(1130)는 수신한 디스플레이 정보에 맞게 스크린 샷 및 소정의 기능을 실행하는 데이터를 조정할 수 있다. 이러한 조정을 통해 데이터를 디스플레이 화면에 최적화시킬 수 있다. 디코딩부(1130)는 디스플레이부(1150)가 스크린 샷을 디스플레이 할 수 있도록 스크린 샷을 전송할 수 있다.
디코딩부(1130)는 디스플레이부(1150)가 스크린 샷 파일에 포함된 소정의 부가된 기능을 실시할 수 있도록 부가된 기능을 실행하는 데이터를 제공할 수 있다.
도12는 본 발명의 일 실시예에 따른 스크린 샷 처리 디바이스 구성요소들 사이의 연결 관계를 도시한 흐름도이다.
일부 실시예에 따르면, 스크린 샷 처리 디바이스(100)는 서버(200)과 유무선 네트워크를 통하여 연결될 수 있다. 외부 서버(200)와의 연결은 통신부(1211)를 통하여 이루어질 수 있다.
통신부(1211)는 다른 모바일 단말 또는 다양한 서버(200)와 유무선 통신을 할 수 있게 구성될 수 있다. 일부 실시예에서, 이러한 통신은 사용자에 따라 제한될 수 있다.
통신부(1211)는 블루투스, Zigbee, WLAN, WiFi. 홈 RF, UWB 등과 같은 무선 통신 프로토콜을 지원하도록 구성될 수 있다.
스크린 샷 처리 디바이스(100)는 스크린 샷 요청 수신부(1201), 스크린 샷 생성부(1203), 대상 영역 결정부(1205), 인코딩부(1207), 저장부(1209), 통신부(1211), 공유 제어부(1213), 파일 식별부(1215), 디코딩부(1217), 디스플레이부(1219), 사용자 조작 식별부(1221), 데이터 분석 처리부(1223)를 포함할 수 있다.
스크린 샷 요청 수신부(1201)는 사용자의 스크린 샷요청을 수신할 수 있다. 사용자의 요청은 사용자가 모바일 단말의 화면을 손바닥으로 스윕(sweep)하거나, 사용자가 스크린 상의 스크린 샷 버튼을 클릭하거나, 사용자가 스크린 샷을 요청하는 음성 명령을 입력하거나, 스크린 샷 처리 디바이스(100) 내의 광센서가 조사된 광을 인식함으로써 이루어질 수 있다.
스크린 샷 생성부(1203)는 스크린 샷 요청이 수신되면, 디스플레이 된 윈도우 화면에 대한 뷰 트리 파일을 생성하고, 화면 캡처를 수행한다. 뷰 트리 파일에는 각 뷰 노드에 대한 정보가 저장될 수 있다.
스크린 샷이 생성되면, 대상 영역 결정부(1205)는 사용자입력을 수신하여 소정 기능을 부가할 대상 영역을 결정할 수 있다.
인코딩부(1207)는 스크린 샷과 소정 기능을 실행하는 데이터를 결합하여 스크린 샷 파일을 생성할 수 있다.
생성된 스크린 샷 파일은 공유 제어부(1213)를 통하여 다른 사용자와 공유될 수도 있다.
생성된 스크린 샷 파일은 저장부(1209)에 저장될 수 있다.
인코딩부(1207)에서 생성된 스크린 샷 파일 또는 저장부(1209)에 저장된 스크린 샷 파일은 필요시 통신부(1211)를 통하여 외부 서버(200)에 업로드 될 수 있다.
파일 식별부(1215)는 스크린 샷 파일을 식별할 수 있고, 스크린 샷의 전체 영역 중에서 소정의 기능이 은닉된 영역을 식별할 수 있다. 또한 일부 실시예에서 파일 식별부(1215)는 디스플레이 된 스크린 샷 전체 영역 중에서 사용자가 선택한 영역을 식별할 수 있다.
디코딩부(1217)는 스크린 샷 파일에 결합된 스크린 샷 및 부가 기능을 실행하는 데이터들을 디코딩 할 수 있다.
디스플레이부(1219)는 사용자가 스크린 샷 파일을 오픈할 때, 디스플레이 디바이스에 최적화된 형태로 스크린 샷을 디스플레이 할 수 있다. 이 때, 스크린 샷 전체 영역 중에서 소정의 기능이 은닉된 영역은 하이라이트 하여 디스플레이 할 수 있다.
일부 실시예에서, 스크린 샷 전체 영역 중에서 소정의 기능이 은닉된 영역은 사각형, 원형, 타원형 등과 같은 도형의 형태로 추가된 반투명 박스의 내부에 디스플레이 될 수 있다.
또한, 디스플레이부(1219)는 스크린 샷의 일부 영역에 부가된 소정의 기능을 디스플레이 할 수 있다.
일부 실시예에서, 사용자 조작 식별부(1221)는 실행된 기능에 대한 사용자의 조작을 식별 할 수 있다.
예를 들어, 실행된 기능이 스크린 샷에 포함된 텍스트를 편집할 수 있도록 텍스트 편집기를 실행하는 기능인 경우, 사용자 조작 식별부(1221)는 사용자가 편집한 내용을 식별할 수 있다.
데이터 분석 처리부(1223)는 스크린 샷 파일에 부가된 기능의 실행에 관한 통계 등을 분석할 수 있다.
스크린 샷 파일에 부가된 기능의 실행에 관한 통계로는 스크린 샷 파일에 부가된 기능들의 실시 빈도 및 실시 형태에 관한 통계가 있을 수 있다.
데이터 분석 처리부(1223)를 통하여 분석된 결과는 통신부(1211)를 통하여 외부 서버(200)에 저장, 공유될 수 있다.
도13은 본 발명의 일 실시예에 따라 스크린 샷과 텍스트를 결합하여 스크린 샷 파일을 생성하는 예시를 도시한다.
스크린 샷(1310)과 텍스트 스트링(1350)을 결합시켜 인코딩하면 인코딩 된 스크린 샷 파일(1370)을 생성할 수 있다. 이 때, 텍스트 스트링(1350) 제공 기능은 스크린 샷 전체 영역(1310) 중에서 텍스트를 포함하고 있는 영역(1330)을 대상 영역으로 하여 실행될 수 있다.
일부 실시예에 따르면, 스크린 샷의 전제 영역(1310) 중에서 텍스트로 표현된 모든 영역을 대상 영역으로 결정하고, 각각의 텍스트 스트링을 스크린 샷과 함께 인코딩할 수도 있다.
도14는 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
일부 실시예에 따르면, 인코딩 된 스크린 샷 파일(1410)이 디스플레이부에 디스플레이 될 수 있다.
일부 실시예에 따르면, 소정의 기능을 은닉하고 있는 대상 영역(1430)은 하이라이트 되어 표시될 수 있다.
사용자가 하이라이트 된 부분을 선택하면, 대상 영역(1430)에 은닉되어 있던 소정의 기능이 실행될 수 있다(1450).
디스플레이부에 디스플레이 된 스크린 샷 및 부가 기능들은 공유제어부(1213)를 통하여 다른 사용자들에게 공유될 수 있다.
일부 실시예에서, 소정의 기능은 텍스트 입력기를 이용하여 해당 텍스트를 편집하는 기능일 수 있다(1470).
다른 일부 실시예에서, 소정의 기능은 텍스트의 전부 또는 일부를 선택하여 클립보드에 복사하는 기능일 수 있다(1490)
도15는 본 발명의 일 실시예에 따라 스크린 샷과 어플리케이션 설치 파일을 결합하여 하나의 스크린 샷 파일을 생성하는 예시를 도시한다.
일부 실시예에 따르면, 스크린 샷(1510)과 설치 파일(1530)을 결합시켜 인코딩하면 스크린 샷 파일(1590)을 생성할 수 있다.
이 때, 설치 파일(1530) 실행 기능은 스크린 샷 전체 영역(1510) 중에서 어플리케이션 설치를 위한 어플리케이션을 포함하고 있는 영역(1520)을 대상 영역으로하여 실행될 수 있다.
일부 실시예에 따르면, 설치 파일(1530)은 원격 서버(1570)에 저장될 수 있다. 이 때, 스크린 샷 처리 디바이스(100)는 원격 서버(1570)로부터 설치 파일(1530)이 저장된 장소의 URL 데이터를 수신하여, 수신한 URL 데이터와 스크린 샷(1510)을 결합하여 스크린 샷 파일(1590)을 생성할 수 있다.
일부 실시예에 따르면, 설치 파일은 APK(Android PacKage) 프로그램 파일을 포함할 수 있다.
도16은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
일부 실시예에 따르면, 인코딩 된 스크린 샷 파일(1610)이 디스플레이부에 디스플레이 될 수 있다.
일부 실시예에 따르면, 소정의 기능을 은닉하고 있는 대상 영역(1620)은 하이라이트 되어 표시될 수 있다.
사용자가 하이라이트 된 부분을 선택하면, 대상 영역(1620)에 은닉되어 있던 소정의 기능이 실행될 수 있다.
일부 실시예에서, 소정의 기능은 어플리케이션 또는 파일의 설치 여부를 입력 받아(1650), 어플리케이션 또는 파일의 설치를 실시(1670)하는 기능일 수 있다.
일부 실시예에서는, 이러한 기능을 실시하기 위하여, 대상 영역(1620)이 선택되고 디코딩이 수행 될 때, 스크린 샷 처리 디바이스(100)가 저장된 URL에 접속하여 원격 서버(1630)로부터 해당 설치 파일을 수신할 수 있다.
도17은 본 발명의 일 실시예에 따라 스크린 샷에서 대상 영역을 선택하고 선택한 대상 영역에서 부가된 기능을 실행하는 데이터를 추출하는 예시를 도시한다.
일부 실시예에 따르면, 연락처 리스트를 캡처한 스크린 샷(1710)에서 일부 연락처를 포함한 영역(1730)을 대상 영역으로 결정하면, 스크린 샷 처리 디바이스(100)가 대상 영역(1730)에 포함된 이름, 전화 번호, 이메일 주소 등의 정보를 추출하여 명함 파일(vCard file)을 생성하고, 생성된 명함 파일과 스크린 샷(1710)을 결합하여 인코딩된 스크린 샷 파일(1750)을 생성할 수 있다.
도18은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
일부 실시예에 따르면, 인코딩 된 스크린 샷 파일(1810)이 디스플레이부에 디스플레이 될 수 있다.
일부 실시예에 따르면, 소정의 기능을 은닉하고 있는 대상 영역(1830)은 하이라이트 되어 표시될 수 있다.
사용자가 하이라이트 된 부분을 선택하면, 대상 영역(1830)에 은닉되어 있던 소정의 기능이 실행될 수 있다.
일부 실시예에서, 소정의 기능은 대상 영역(1830)에 포함된 연락처의 명함 파일(1850)을 디스플레이 하는 기능일 수 있다. 일부 실시예에 따르면, 디스플레이 된 명함 파일은 연락처 애플리케이션에 저장될 수 있다.
도19는 본 발명의 일 실시예에 따라 스크린 샷에서 대상 영역을 선택하고 선택한 대상 영역에서 부가된 기능을 실행하는 데이터를 추출하는 예시를 도시한다.
일부 실시예에 따르면, 썸네일 이미지를 포함하고 있는 스크린 샷(1910)에서 썸네일 이미지를 포함한 영역(1930)을 대상 영역으로 결정하면, 스크린 샷 처리 디바이스(100)가 대상 영역(1930)에 포함된 썸네일 이미지의 오리지널 이미지를 추출하여 추출된 오리지널 이미지 파일과 스크린 샷(1910)을 결합하여 스크린 샷 파일(1950)을 생성할 수 있다.
도20은 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
일부 실시예에 따르면, 인코딩 된 스크린 샷 파일(2010)이 디스플레이부에 디스플레이 될 수 있다.
일부 실시예에 따르면, 소정의 기능을 은닉하고 있는 대상 영역(2030)은 하이라이트 되어 표시될 수 있다.
사용자가 하이라이트 된 부분을 선택하면, 대상 영역(2030)에 은닉되어 있던 소정의 기능이 실행될 수 있다.
일부 실시예에서, 소정의 기능은 대상 영역(2030)에 포함된 썸네일 이미지의 오리지널 이미지(2050)를 디스플레이 하는 기능일 수 있다.
도21은 본 발명의 일 실시예에 따라 스크린 샷에서 대상 영역을 선택하고 선택한 대상 영역에서 부가된 기능을 실행하는 데이터를 추출하는 예시를 도시한다.
다른 사용자와의 대화할 수 있는 어플리케이션을 실행하여 대화 내용을 포함하고 있는 스크린 샷(2110)을 생성하고, 일부 대화 내용을 포함한 영역(2130)을 대상 영역으로 결정하면, 스크린 샷 처리 디바이스(100)가 대상 영역(2130)에 포함된 오디오 파일을 추출하여 추출된 오디오 파일과 스크린 샷(2110)을 결합하여 스크린 샷 파일(2150)을 생성할 수 있다.
대상 영역(2130)은 영상 파일, 이미지 파일 등의 다양한 멀티미디어 파일을 포함할 수 있다.
도22는 본 발명의 일 실시예에 따라 생성된 스크린 샷 파일의 실행예시를 도시한다.
일부 실시예에 따르면, 인코딩 된 스크린 샷 파일(2210)이 디스플레이부에 디스플레이 될 수 있다.
일부 실시예에 따르면, 소정의 기능을 은닉하고 있는 대상 영역(2230)은 하이라이트 되어 표시될 수 있다.
사용자가 하이라이트 된 부분을 선택하면, 대상 영역(2230)에 은닉되어 있던 소정의 기능이 실행될 수 있다.
일부 실시예에서, 소정의 기능은 대상 영역(2230)에 포함된 오디오 파일을 재생 하는 기능일 수 있다.
일부 실시예에 따르면, 재생된 오디오 파일을 저장할 수 있다.
이 밖에 본 발명의 일 실시예에 따르면, 캘린더 화면을 캡처한 스크린 샷에 일정 알림 기능을 실행하는 데이터를 인코딩하여 스크린 샷 파일을 생성하면, 디스플레이 된 스크린 샷에서 특정 날짜 영역을 선택하면, 선택된 날짜에 대한 일정 알림 기능을 실행할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일 형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 위 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 디스플레이된 화면의 스크린 샷을 생성하는 단계;
    상기 생성된 스크린 샷의 전체 영역 중 소정의 기능이 부가되는 적어도 하나의 대상 영역을 결정하는 단계; 및
    상기 소정의 기능을 실행시키는 데이터를 상기 스크린 샷에 결합한 스크린 샷 파일을 생성하는 단계를 포함하는 스크린 샷 처리 방법.
  2. 제1항에 있어서, 상기 스크린 샷을 생성하는 단계는,
    상기 디스플레이된 화면을 구성하는 적어도 하나의 뷰 노드 및 상기 뷰 노드에 대한 정보를 저장하는 단계; 및
    상기 디스플레이된 화면을 캡처하는 단계를 포함하는 스크린 샷 처리 방법.
  3. 제2항에 있어서, 상기 뷰 노드에 대한 정보는 상기 뷰 노드의 ID, 명칭, 좌표, 사이즈에 대한 정보 중 적어도 하나를 포함하는 스크린 샷 처리 방법.
  4. 제1항에 있어서, 상기 적어도 하나의 대상 영역은 사용자 입력에 의해 수동으로 결정되거나 소정 포맷에 의해 자동으로 결정되는 것을 특징으로 하는 스크린 샷 처리 방법.
  5. 제1항에 있어서, 상기 소정의 기능을 실행시키는 데이터는 외부 디바이스 혹은 로컬 디바이스로부터 획득되는 것을 특징으로 하는 스크린 샷 처리 방법.
  6. 제1항에 있어서, 상기 소정의 기능을 실행시키는 데이터는, 상기 소정의 기능을 실행시키는 데이터를 저장한 외부 디바이스의 URL 데이터로 대체되는 것을 특징으로 하는 스크린 샷 처리 방법.
  7. 제1항에 있어서,
    상기 스크린 샷 파일을 외부 디바이스와 공유하는 단계를 더 포함하는 스크린 샷 처리 방법.
  8. 제1항에 있어서,
    상기 생성된 스크린 샷 파일을 디스플레이하는 단계;
    상기 디스플레이된 스크린 샷 파일의 전체 영역 중 사용자가 선택한 영역을 식별하는 단계;
    상기 스크린 샷 파일을 디코딩하는 단계; 및
    상기 사용자가 선택한 영역에 부가된 기능을 실행하는 단계를 더 포함하는 스크린 샷 처리 방법.
  9. 제8항에 있어서, 상기 스크린 샷 파일을 디코딩하는 단계는,
    상기 부가된 기능이 실행될 디바이스의 디스플레이 정보를 획득하는 단계; 및
    상기 스크린 샷 및 상기 소정의 기능을 실행시키는 데이터를 상기 획득된 디스플레이 정보에 기초하여 조정하는 것을 특징으로 하는 스크린 샷 처리 방법.
  10. 제8항에 있어서, 상기 스크린 샷 파일을 디코딩하는 단계는,
    상기 소정의 기능을 실행시키는 데이터를 기초로 상기 외부 디바이스에 저장된 정보를 획득하는 단계를 포함하되,
    상기 소정의 기능을 실행시키는 데이터는 상기 외부 디바이스의 URL 데이터로 대체된 데이터이고,
    상기 외부 디바이스에 저장된 정보에 의해 상기 사용자가 선택한 영역에 부가된 기능이 실행되는 것을 특징으로 하는 스크린 샷 처리 방법.
  11. 스크린 샷 요청을 수신하는 입력부; 및
    디스플레이 된 화면의 스크린 샷을 생성하고, 상기 생성된 스크린 샷의 전체 영역 중, 소정의 기능이 부가되는 적어도 하나 의 대상 영역을 결정하며, 상기 소정의 기능을 실행시키는 데이터를 상기 스크린 샷에 결합한 스크린 샷 파일을 생성하는 프로세서를 포함하는 스크린 샷 처리 디바이스.
  12. 제11항에 있어서, 상기 프로세서는,
    상기 디스플레이된 화면을 구성하는 적어도 하나의 뷰 노드 및 상기 뷰 노드에 대한 정보를 저장하고, 상기 디스플레이된 화면을 캡처하는 스크린 샷 처리 디바이스.
  13. 제12항에 있어서, 상기 뷰 노드에 대한 정보는 상기 뷰 노드의 ID, 명칭, 좌표, 사이즈에 대한 정보 중 적어도 하나를 포함하는 스크린 샷 처리 디바이스.
  14. 제11항에 있어서, 상기 프로세서는,
    상기 적어도 하나의 대상 영역을, 사용자 입력에 의해 수동으로 결정하거나, 소정의 포맷에 의해 자동으로 결정하는 스크린 샷 처리 디바이스.
  15. 제11항에 있어서, 상기 소정의 기능을 실행시키는 데이터는,
    외부 디바이스 혹은 로컬 디바이스로부터 획득되는 것을 특징으로 하는 스크린 샷 처리 디바이스.
  16. 제11항에 있어서, 상기 소정의 기능을 실행시키는 데이터는,
    상기 소정의 기능을 실행시키는 데이터를 저장한 외부 디바이스의 URL 데이터로 대체되는 것을 특징으로 하는 스크린 샷 처리 디바이스
  17. 제11항에 있어서, 상기 프로세서는,
    상기 스크린 샷 파일을 외부 디바이스와 공유하는 스크린 샷 처리 디바이스.
  18. 제11항에 있어서,
    상기 생성된 스크린 샷 파일을 디스플레이 하는 디스플레이부를 더 포함하고,
    상기 프로세서는, 상기 디스플레이 된 스크린 샷 파일의 전체 영역 중, 사용자가 선택한 영역을 식별하고, 상기 스크린 샷 파일을 디코딩 하며, 상기 사용자가 선택한 영역에 부가된 기능을 실행하는 스크린 샷 처리 디바이스.
  19. 제18항에 있어서, 상기 프로세서는,
    상기 부가된 기능이 실행될 디바이스의 디스플레이 정보를 획득하여, 상기 스크린 샷 및 상기 소정의 기능을 실행시키는 데이터를 상기 획득된 디스플레이 정보에 기초하여 조정하는 것을 특징으로 하는 스크린 샷 처리 디바이스.
  20. 제18항에 있어서, 상기 프로세서는,
    상기 소정의 기능을 실행시키는 데이터를 기초로 상기 외부 디바이스에 저장된 정보를 획득하되,
    상기 소정의 기능을 실행시키는 데이터는 상기 외부 디바이스의 URL 데이터로 대체된 데이터이고, 상기 외부 디바이스에 저장된 정보에 의해 상기 사용자가 선택한 영역에 부가된 기능이 실행되는 것을 특징으로 하는 스크린 샷 처리 디바이스.
PCT/KR2014/008157 2013-09-12 2014-09-01 스크린 샷 처리 디바이스 및 그 방법 WO2015037851A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP14844885.5A EP3023930B1 (en) 2013-09-12 2014-09-01 Screenshot processing device and method for same
US14/914,294 US10402483B2 (en) 2013-09-12 2014-09-01 Screenshot processing device and method for same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310415023.4A CN104461474A (zh) 2013-09-12 2013-09-12 用于移动终端的截屏方法和截屏装置以及移动终端
CN201310415023.4 2013-09-12

Publications (1)

Publication Number Publication Date
WO2015037851A1 true WO2015037851A1 (ko) 2015-03-19

Family

ID=52665908

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/008157 WO2015037851A1 (ko) 2013-09-12 2014-09-01 스크린 샷 처리 디바이스 및 그 방법

Country Status (5)

Country Link
US (1) US10402483B2 (ko)
EP (1) EP3023930B1 (ko)
KR (1) KR102294191B1 (ko)
CN (2) CN111078343B (ko)
WO (1) WO2015037851A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391017A (zh) * 2017-07-20 2017-11-24 广东欧珀移动通信有限公司 文字处理方法、装置、移动终端及存储介质
CN109102556A (zh) * 2018-07-23 2018-12-28 上海掌门科技有限公司 编辑工具的配置方法和配置参数的生成方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105144175A (zh) * 2013-04-24 2015-12-09 皇家飞利浦有限公司 图像可视化
US9824079B1 (en) * 2014-07-11 2017-11-21 Google Llc Providing actions for mobile onscreen content
CN106155510B (zh) * 2015-04-07 2019-11-19 中兴通讯股份有限公司 截屏方法及装置
CN108028867B (zh) * 2015-04-17 2020-11-03 华为技术有限公司 联系人信息添加方法及用户设备
CN105278833B (zh) * 2015-06-30 2019-04-12 维沃移动通信有限公司 信息的处理方法及终端
CN105242827A (zh) * 2015-09-28 2016-01-13 小米科技有限责任公司 屏幕截图方法、装置及系统
CN106610772A (zh) * 2015-10-21 2017-05-03 中兴通讯股份有限公司 一种截屏的方法、装置及智能终端
CN105389084A (zh) * 2015-11-17 2016-03-09 惠州Tcl移动通信有限公司 一种移动终端方便用户进行信息输入的方法及移动终端
CN105528137B (zh) * 2015-11-27 2020-03-17 努比亚技术有限公司 一种根据遮挡区域自适应截屏的方法及装置
CN105677392A (zh) * 2015-12-29 2016-06-15 小米科技有限责任公司 应用程序的推荐方法和装置
CN105930025B (zh) * 2016-04-14 2019-09-24 泉州台商投资区长芳设计有限公司 一种快捷截图方法及具有快捷截图功能的移动装置
CN105930048A (zh) * 2016-04-14 2016-09-07 深圳天珑无线科技有限公司 具快捷功能激活能力的手持移动装置
CN107368465B (zh) * 2016-05-13 2020-03-03 北京京东尚科信息技术有限公司 一种用于流式文档的截图类笔记处理的系统及方法
CN106527883B (zh) * 2016-09-29 2020-03-17 北京小米移动软件有限公司 一种内容分享的方法、装置及终端
CN106527882A (zh) * 2016-09-29 2017-03-22 北京小米移动软件有限公司 一种内容分享的方法、装置及终端
WO2018072459A1 (zh) * 2016-10-18 2018-04-26 华为技术有限公司 一种屏幕截图和读取的方法及终端
CN106502567A (zh) * 2016-10-31 2017-03-15 维沃移动通信有限公司 一种截图方法及移动终端
US11249616B2 (en) 2017-01-17 2022-02-15 Google Llc Assistive screenshots
CN107219981A (zh) * 2017-05-05 2017-09-29 唐学兵 截息屏
CN107229468B (zh) * 2017-05-22 2020-06-26 北京数科网维技术有限责任公司 一种文件备份方法和移动终端
CN107613135B (zh) * 2017-09-30 2020-06-23 浙江绩丰物联科技股份有限公司 一种信息传输方法、第一终端、第二终端和存储介质
CN108255375A (zh) * 2018-01-26 2018-07-06 联想(北京)有限公司 图像识别方法及系统
CN110166505B (zh) * 2018-02-12 2022-06-07 深圳市六度人和科技有限公司 一种会话记录存储方法、装置、设备及存储介质
CN108924029B (zh) * 2018-04-11 2021-03-30 创新先进技术有限公司 一种客服数据发送的方法及装置
CN108768831A (zh) * 2018-05-24 2018-11-06 努比亚技术有限公司 聊天记录的分享方法、移动终端及计算机可读存储介质
CN110581919B (zh) * 2018-06-11 2021-10-15 阿里巴巴集团控股有限公司 信息传输与数据处理方法、设备、系统及存储介质
GB2577989B (en) 2018-09-30 2021-03-24 Lenovo Beijing Co Ltd Information processing method and electronic device
CN109254712B (zh) * 2018-09-30 2022-05-31 联想(北京)有限公司 信息处理方法及电子设备
CN109634494A (zh) * 2018-11-12 2019-04-16 维沃移动通信有限公司 一种图片处理方法及终端设备
CN111045560A (zh) * 2019-11-08 2020-04-21 维沃移动通信有限公司 图片的发送方法及电子设备
CN111383175A (zh) * 2020-03-02 2020-07-07 维沃移动通信有限公司 图片获取方法及电子设备
CN111415266B (zh) * 2020-03-17 2023-07-18 百度在线网络技术（北京）有限公司 应用程序的分享方法及装置、电子设备、可读介质
CN111552422A (zh) * 2020-04-20 2020-08-18 广东以诺通讯有限公司 一种智能终端截屏局部模糊方法、装置及终端
WO2021237387A1 (zh) * 2020-05-23 2021-12-02 游戏橘子数位科技股份有限公司 画面撷取的记录通知的方法
CN112230831A (zh) * 2020-10-10 2021-01-15 维沃移动通信有限公司 图像处理方法及装置
US11435876B1 (en) * 2020-10-23 2022-09-06 Amazon Technologies, Inc. Techniques for sharing item information from a user interface
CN112486385A (zh) * 2020-11-30 2021-03-12 维沃移动通信有限公司 文件分享方法、装置、电子设备和可读存储介质
CN112530433B (zh) * 2020-12-01 2023-11-07 杭州灵伴科技有限公司 一种通用语音指令生成方法、装置和增强现实显示设备
CN112783407B (zh) * 2021-01-27 2022-12-16 维沃移动通信有限公司 截图方法及装置
CN112463891B (zh) * 2021-01-28 2021-05-11 北京梦天门科技股份有限公司 一种数据同步方法、设备、电子设备及存储介质
CN115344180A (zh) * 2021-05-13 2022-11-15 腾讯科技（深圳）有限公司 多媒体数据处理方法、装置、设备及计算机可读存储介质
CN114995698A (zh) * 2022-06-17 2022-09-02 维沃移动通信有限公司 图像处理方法、装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100736076B1 (ko) * 2005-10-24 2007-07-06 삼성전자주식회사 화면 캡처 기능을 제공하는 휴대용 장치 및 그 방법
KR20100002531A (ko) * 2008-06-30 2010-01-07 김종성 웹 서비스 제공 시스템 및 방법
US20120046071A1 (en) * 2010-08-20 2012-02-23 Robert Craig Brandis Smartphone-based user interfaces, such as for browsing print media
KR20130042702A (ko) * 2011-10-19 2013-04-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20130097622A (ko) * 2012-02-24 2013-09-03 삼성전자주식회사 디스플레이 창에 대한 캡쳐 이미지 생성 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183752B2 (en) * 2005-07-14 2015-11-10 Red Hat, Inc. Tutorial generator with automatic capture of screenshots
US7490298B2 (en) * 2006-04-12 2009-02-10 International Business Machines Corporation Creating documentation screenshots on demand
US7752575B2 (en) * 2007-02-06 2010-07-06 International Business Machines Corporation Attachment activation in screen captures
US20090031227A1 (en) * 2007-07-27 2009-01-29 International Business Machines Corporation Intelligent screen capture and interactive display tool
KR20100022344A (ko) 2008-08-19 2010-03-02 주식회사 케이티 숫자 마스킹을 이용한 전화번호 추출 장치 및 그 방법
US10747952B2 (en) * 2008-09-15 2020-08-18 Palantir Technologies, Inc. Automatic creation and server push of multiple distinct drafts
US8918739B2 (en) * 2009-08-24 2014-12-23 Kryon Systems Ltd. Display-independent recognition of graphical user interface control
TWI439960B (zh) * 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
KR101056471B1 (ko) 2010-04-21 2011-08-11 (주)라온엠씨 멀티미디어 메시지 서비스 제공시스템 및 그 방법
KR101749282B1 (ko) * 2010-09-17 2017-06-21 에스프린팅솔루션 주식회사 호스트장치 및 호스트장치의 화면캡쳐 제어방법
US8589423B2 (en) 2011-01-18 2013-11-19 Red 5 Studios, Inc. Systems and methods for generating enhanced screenshots
CN102779027B (zh) * 2011-05-09 2016-08-10 腾讯科技（深圳）有限公司 一种基于即时通信软件实现屏幕截取的方法及装置
EP3634001A1 (en) * 2011-05-26 2020-04-08 LG Electronics Inc. Display apparatus for processing multiple applications and method for controlling the same
US20130104032A1 (en) * 2011-10-19 2013-04-25 Jiyoun Lee Mobile terminal and method of controlling the same
US20130227457A1 (en) 2012-02-24 2013-08-29 Samsung Electronics Co. Ltd. Method and device for generating captured image for display windows
US9448908B2 (en) * 2012-09-10 2016-09-20 Applitools Ltd. System and method for model based session management
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技（深圳）有限公司 一种信息处理方法及装置
CN103257879B (zh) * 2013-05-24 2016-07-06 安徽易众网络科技有限公司 利用屏幕截图安装软件和配置软件的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100736076B1 (ko) * 2005-10-24 2007-07-06 삼성전자주식회사 화면 캡처 기능을 제공하는 휴대용 장치 및 그 방법
KR20100002531A (ko) * 2008-06-30 2010-01-07 김종성 웹 서비스 제공 시스템 및 방법
US20120046071A1 (en) * 2010-08-20 2012-02-23 Robert Craig Brandis Smartphone-based user interfaces, such as for browsing print media
KR20130042702A (ko) * 2011-10-19 2013-04-29 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
KR20130097622A (ko) * 2012-02-24 2013-09-03 삼성전자주식회사 디스플레이 창에 대한 캡쳐 이미지 생성 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3023930A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107391017A (zh) * 2017-07-20 2017-11-24 广东欧珀移动通信有限公司 文字处理方法、装置、移动终端及存储介质
CN107391017B (zh) * 2017-07-20 2022-05-17 Oppo广东移动通信有限公司 文字处理方法、装置、移动终端及存储介质
CN109102556A (zh) * 2018-07-23 2018-12-28 上海掌门科技有限公司 编辑工具的配置方法和配置参数的生成方法

Also Published As

Publication number Publication date
KR20150032163A (ko) 2015-03-25
US10402483B2 (en) 2019-09-03
CN111078343B (zh) 2023-08-01
KR102294191B1 (ko) 2021-08-27
CN104461474A (zh) 2015-03-25
EP3023930A1 (en) 2016-05-25
US20160217114A1 (en) 2016-07-28
EP3023930A4 (en) 2017-03-01
EP3023930B1 (en) 2019-03-13
CN111078343A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
WO2015037851A1 (ko) 스크린 샷 처리 디바이스 및 그 방법
WO2014157886A1 (en) Method and device for executing application
WO2014025186A1 (en) Method for providing message function and electronic device thereof
WO2015041438A1 (en) Method for screen mirroring and source device thereof
WO2014157903A1 (en) Method and device for displaying service page for executing application
WO2015026101A1 (ko) 디스플레이 장치의 애플리케이션 실행 방법 및 그 디스플레이 장치
WO2015093865A1 (en) Method for controlling a composition of a screen and electronic device thereof
WO2014119889A1 (en) Method of displaying user interface on device, and device
WO2018082484A1 (zh) 一种电子设备的截屏方法、系统及电子设备
WO2019139270A1 (ko) 디스플레이 장치 및 이의 컨텐츠 제공 방법
WO2017039337A1 (en) Method and device of tagging links included in a screenshot of webpage
WO2017039341A1 (en) Display apparatus and control method thereof
WO2015056968A1 (ko) 프로필 제공 방법 및 상기 방법을 수행하는 사용자 단말
WO2015174743A1 (en) Display apparatus, server, system and information-providing methods thereof
WO2014098539A1 (en) User terminal apparatus and control method thereof
WO2019039739A1 (en) DISPLAY APPARATUS AND METHOD FOR CONTROLLING THE SAME
WO2023153834A1 (ko) 편집 기능을 갖는 3d 웹사이트 제작 플랫폼 제공 시스템, 방법 및 프로그램
WO2015069082A1 (en) Display apparatus and method of controlling the same
WO2019135553A1 (en) Electronic device, control method thereof, and computer readable recording medium
WO2014035157A2 (en) Device and content searching method using the same
WO2016072636A1 (en) User device, driving method of user device, apparatus for providing service and driving method of apparatus for providing service
WO2020149655A1 (ko) 장치 속성에 기반한 공유 데이터의 제공 방법 및 그 전자 장치
WO2015099472A1 (en) Method for controlling data and electronic device thereof
WO2015122725A1 (en) Method and apparatus for creating communication group
WO2013122423A1 (en) System and method of transmitting data by using widget window

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14844885

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2014844885

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14914294

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE