WO2017116216A1 - 스마트 데스크탑 및 스마트 단말에 기반한 컨텐츠 표시 방법 - Google Patents

스마트 데스크탑 및 스마트 단말에 기반한 컨텐츠 표시 방법 Download PDF

Info

Publication number
WO2017116216A1
WO2017116216A1 PCT/KR2017/000013 KR2017000013W WO2017116216A1 WO 2017116216 A1 WO2017116216 A1 WO 2017116216A1 KR 2017000013 W KR2017000013 W KR 2017000013W WO 2017116216 A1 WO2017116216 A1 WO 2017116216A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
user
thumbnail
display
smart desktop
Prior art date
Application number
PCT/KR2017/000013
Other languages
English (en)
French (fr)
Inventor
왕푸롱
우루이
지앙잉잉
루오젠보
장리
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/067,491 priority Critical patent/US11221745B2/en
Priority to EP17733938.9A priority patent/EP3379399A4/en
Publication of WO2017116216A1 publication Critical patent/WO2017116216A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483—Interaction with page-structured environments, e.g. book metaphor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04807—Pen manipulated menu
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Definitions

  • the present disclosure relates to smart terminal technology, and more particularly, to a smart desktop and a content display method based on the smart desktop terminal.
  • smart desktop terminals have become part of people's daily lives and work. Having a multi-party conference using a smart desktop terminal will now feel familiar. During a meeting, it is common to take notes on the smart desktop, such as taking notes, taking solutions, drawing pictures, etc. to be displayed by the smart desktop terminal.
  • the present specification provides a content interaction method based on a smart desktop.
  • a method of displaying content includes displaying a window assigned to users on a touch panel, displaying content input from the user on the window, and displaying a thumbnail on the window, and displaying a thumbnail.
  • the step of displaying is characterized in that to display the content displayed in all windows in the thumbnail.
  • FIG. 1 is a flowchart illustrating a smart desktop-based content display method according to some embodiments of the present disclosure.
  • FIG. 2 is a flowchart illustrating a user authentication method according to some exemplary embodiments of the present specification.
  • FIG. 3 is a flowchart illustrating a content display method of a smart desktop including a related device according to some embodiments of the present disclosure.
  • FIG. 4 is a schematic diagram illustrating a multi-party conference according to some embodiments of the present disclosure.
  • FIG. 5 is a schematic diagram showing a display of thumbnails according to Embodiment 1 of the present specification.
  • FIG. 6 is a schematic diagram illustrating display of thumbnails according to Embodiment 1 of the present specification.
  • Example 7 is a schematic diagram showing a display of a subject summary according to Example 2 of the present specification.
  • FIG. 8 is a schematic diagram showing a display of a user summary according to Embodiment 3 of the present specification.
  • FIG. 9 is a schematic diagram showing sharing with a designated user according to Embodiment 4 of the present specification.
  • FIG. 10 is a schematic diagram showing sharing based on a designated location according to Embodiment 5 of the present specification.
  • FIG. 11 is a schematic diagram illustrating a shared area according to Embodiment 6 of the present specification.
  • FIG. 12 is a schematic diagram showing a handwriting collision according to Embodiment 7 of the present specification.
  • FIG. 13 is a schematic diagram illustrating a first embodiment of display after handwriting collision processing according to a seventh embodiment of the present specification.
  • FIG. 14 is a schematic diagram illustrating a second embodiment of display after handwriting collision processing according to a seventh embodiment of the present specification.
  • 15 is a schematic diagram illustrating a third embodiment of display after handwriting collision processing according to the seventh embodiment of the present specification.
  • 16 is a schematic diagram showing occlusion according to the eighth embodiment of the present specification.
  • FIG. 17 is a schematic diagram showing a first example of display after occlusion processing according to Embodiment 8 of the present specification.
  • FIG. 18 is a schematic diagram showing a second embodiment of the display after the occlusion processing according to the eighth embodiment of the present specification.
  • 19 is a schematic diagram showing recording resource collision processing according to the ninth embodiment of the present specification.
  • 20A is a schematic diagram illustrating time notification resource conflict processing when the alarm clock according to the ninth embodiment of the present specification is set to the same alarm time.
  • 20B is a schematic diagram illustrating time notification resource conflict processing when the alarm clock according to the ninth embodiment of the present specification is set to another alarm time.
  • FIG. 21 is a schematic diagram illustrating a first embodiment for providing a prompt according to a tenth embodiment of the present specification.
  • FIG. 22 is a schematic diagram illustrating a second example for providing a prompt according to Embodiment 10 of the present specification.
  • FIG. 23 is a schematic diagram illustrating a third embodiment for providing a prompt according to a tenth embodiment of the present specification.
  • FIG. 24 is a schematic diagram illustrating an embodiment of a smart whiteboard according to an eleventh embodiment of the present specification.
  • 25 is a schematic diagram illustrating an embodiment of a structure of a display device of a smart desktop according to some embodiments of the present disclosure.
  • 26 is a schematic diagram illustrating an embodiment of a structure of a user authentication apparatus according to some embodiments of the present disclosure.
  • FIG. 27 is a schematic diagram illustrating an example of a structure of a smart desktop terminal according to some embodiments of the present disclosure.
  • FIG. 28 is a block diagram illustrating a smart desktop according to one embodiment.
  • 29 is a diagram illustrating changing a position and an angle of a window, according to an exemplary embodiment.
  • FIG. 30 is a diagram for describing a method of adjusting content according to an exemplary embodiment.
  • FIG. 31 is a flowchart illustrating a method of displaying a thumbnail according to an exemplary embodiment.
  • FIG. 32 is a diagram for describing a method of displaying a window, according to an exemplary embodiment.
  • a method of displaying content includes displaying a window assigned to users on a touch panel, displaying content input from the user on the window, and displaying a thumbnail on the window, and displaying a thumbnail.
  • the step of displaying is characterized in that to display the content displayed in all windows in the thumbnail.
  • first and second may be used to describe various components, but the components should not be limited by these terms. These terms are used to distinguish one component from another.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented in various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure may be implemented by one or more microprocessors or by circuit configurations for a given function.
  • the functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks may be implemented in algorithms running on one or more processors.
  • the present disclosure may employ the prior art for electronic configuration, signal processing, and / or data processing. Terms such as “mechanism”, “element”, “means” and “configuration” may be used widely and are not limited to mechanical and physical configurations.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, the connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • FIG. 1 is a flowchart illustrating a smart desktop-based content display method according to some embodiments of the present disclosure.
  • the method includes the following.
  • step 101 display instructions for content of the smart desktop are detected.
  • step 102 the content is displayed on the smart desktop based on the designated display method.
  • the designated representation includes at least one of the following:
  • the smart desktop may be executed as an independent device or a related related device.
  • displaying the content in thumbnails based on the relative location comprises: (a) detecting the relative location of each related device, and each related device based on the relative location; It may include displaying the content of the in the thumbnail.
  • Detecting the relative position of each associated device includes at least one of the following.
  • the relative position of each related device is determined based on the network signal detection result of each related device.
  • the relative location of each associated device can be determined based on the detection result through one or more of a wireless communication signal, an infrared communication signal, a Bluetooth communication signal, and a wireless local area network signal.
  • the relative position of each related device is determined based on the relative position setting value.
  • each related device may set relative positioning values, respectively, and exchange the relative positioning values with other related devices.
  • the position topology of the associated device can be determined based on each relative position setting value.
  • the relative location of each associated device can be determined.
  • displaying the content in the thumbnail based on the relative position of the content on the smart desktop in the display method (a) may include at least one of the following.
  • the direction of the line of sight of the user is determined, and the display direction of the contents in the thumbnail is adjusted according to the direction of the line of sight of the user.
  • determining the gaze direction of the user may include:
  • compressing the extra area in the thumbnail may include:
  • the font of each content block in the thumbnail can be adjusted to a suitable font so that the content block is filled with the content and the user can see the content accurately.
  • the font of each content block can be adjusted respectively.
  • the degree of adjustment of the font of each content block may be different or the same.
  • the personal information in the content or the summary of the content may be determined based on a user defined method or a text analysis method.
  • Hidden may include: not displaying personal information or replacing personal information with a personal identifier, and the like.
  • the displaying of the content in the thumbnail according to the relative position of the content on the smart desktop may further include at least one.
  • the user can know the update of the content of the smart desktop in time.
  • the content may be updated within the thumbnail based on instructions proactively triggered by the user.
  • the presentation of content in display mode (b) and / or a summary of content based on user attributes and / or text attributes associated with the content may include: personal information in the content and / or summary of the content. Hidden.
  • the method may further include one or more of the following.
  • the content includes content to be shared.
  • the designated display format of step 102 includes:
  • Determining a display location of a user receiving content to be shared and / or content to be shared Display content on the smart desktop based on the determined user and / or display location.
  • the content to be shared may be displayed to the user receiving the content or may be displayed at any display position.
  • the content to be shared may be determined in the following manner:
  • Designating existing content as content to be shared Or designate content to be shared in real time as content to be shared.
  • the method may further comprise:
  • a method of determining a gaze direction of a user includes: determining a gaze direction of a user based on a handwriting characteristic of content written by the user; Or determining a gaze direction of the user based on the collected user image (eg, an image of detecting the user sitting).
  • the content includes content to be shared.
  • the designated display method step 102 includes: setting a sharing area on the smart desktop; Receive a content sharing decision instruction, and copy content to be shared to a shared area according to the content sharing determination instruction.
  • the content shared by the user may be copied to the designated sharing area. As such, other users can conveniently obtain the shared content.
  • the method further includes at least one of the following.
  • the user who wants to acquire the shared content may not be near the display position of the shared content. At this time, by spontaneously rotating the sharing area, a user who wants to conveniently obtain the shared content may be closer to the shared content.
  • a shared area rotation stop instruction is received and the rotation of the shared area is stopped in response to the shared area rotation stop instruction.
  • the user can stop the rotation of the sharing area by triggering the sharing area rotation stop instruction.
  • the user may copy the content to be shared to the user's own display area in the sharing area in order to obtain the content shared by other users.
  • the content includes: existing content that has a location conflict with content that is currently being written.
  • Step 101 of detecting a display instruction for the content of the smart desktop includes: detecting existing content having a location conflict with content currently being written, and triggering a display instruction for displaying the existing content.
  • the existing content may be redisplayed based on a relationship with the content currently being written.
  • the designated display method step 102 includes: existing content that is temporarily hidden.
  • the method further comprises:
  • the display resumption method includes at least one of: resuming the display after moving the position of the existing content and / or the content currently being created; Resumes display by rearranging the layout of existing content and / or content that is currently being created.
  • the content includes: content obscured by obstructive objects on the smart desktop.
  • detecting a display instruction for the content of the smart desktop includes: detecting an obstruction on the smart desktop and triggering a display instruction for the obscured content if the content of the smart desktop is obscured by the obstruction. Include.
  • the designated display manner includes: rearranging the layout of the obscured content.
  • the rearrangement of obscured content includes at least one of: character continuity, text line continuity, paragraph continuity, semantic correlation, image continuity, and correlation between the image and text of the obscured content.
  • the present specification provides a solution for collision and hidden content between newly inputted content and existing content, in order to resolve conflicts between newly inputted content and existing content, and to ensure normal display of hidden content. .
  • the method further comprises:
  • the prompt information of the content currently being written is determined based on the previously written content, and the prompt information is displayed.
  • prompt information may be displayed to intelligently prompt the user for content or a summary that is not written by other users but is written by other users, and all users may analyze the written content.
  • This allows users to intelligently correct handwritten content, which not only improves the writing experience, but also improves efficiency for multiple users completing the same task, and allows multiple users to repeatedly display and write the same content. Prevent it.
  • determining prompt information of content currently being written according to existing handwritten content includes at least one of the following:
  • the content derived from the existing handwritten content is derived.
  • the prompt information of the content currently being written is determined according to the keyword.
  • the content includes time alarm information.
  • the detection of the display instruction for the content of the smart desktop includes: detecting an alarm time set by the user, and triggering a display instruction for the content when the alarm time set by the user is reached.
  • the display method specified in step 102 includes: when each user who uses the smart desktop has the same alarm time, when the alarm time arrives, playing time alarm information through at least one of a voice, an icon, and text; or
  • embodiments of the present disclosure implement parallelized scheduling of time notification resources of the smart desktop for other users, thus increasing resource utilization.
  • the present specification solves the conflict between several users who are calling the requirements, and provides a solution that ensures the normal and reasonable calling of the smart desktop. to provide.
  • the method is:
  • embodiments herein also implement parallelized invocation of recording resources of the smart desktop for multiple users, thus increasing resource utilization.
  • the method is:
  • Receive content written by the user to be authenticated generate user properties to be authenticated based on handwriting and handwriting properties of the content to be authenticated by the user to be authenticated, and if the user properties to be authenticated match the stored user properties, Determining success;
  • this specification implements user authentication based on a new user authentication method.
  • the user does not have to write down the content used for authentication in advance. Instead, authentication can be performed during the user's free handwriting process.
  • the method is:
  • the smart desktop may further establish a connection relationship with the related device, and based on the connection relationship, the smart desktop and the related device may further exchange contents of the smart desktop and / or content of the related device.
  • a method of exchanging content of a smart desktop with an associated device includes:
  • the content to be distributed is transmitted to a related device to receive the content to be distributed.
  • the application situation may include the following: In class, a teacher uses a smart whiteboard and students use an associated device. Specific actions may include the following: The teacher distributes the assignment to the students.
  • the application situation may include the following: In class, a teacher uses a smart whiteboard and students use an associated device. Specific behaviors may include: Teachers check and grade students' homework.
  • the application situation may include the following: In class, a teacher uses a smart whiteboard and students use an associated device. Specific actions may include the following: Teacher shares class content.
  • the application situation may include the following: In class, a teacher uses a smart whiteboard and students use an associated device. Specific actions may include the following: The teacher receives the student's notes.
  • the area of the smart desktop hidden by the associated device is determined, and the content in the area of the smart desktop is transmitted to the related device.
  • the application situation may include the following: A large number of people surround a smart desktop, and each person has an associated device such as a mobile phone.
  • Specific situations may include the following: A relevant device such as a mobile phone is placed on the content of the smart desktop to be stored. At this time, the smart desktop detects the area obscured by the related device and uses content such as near field communication (NFC) and Wi-Fi to save the content in the area to an application in the related device such as a mobile phone for storing the content in the area. Send it.
  • NFC near field communication
  • Wi-Fi Wireless Fidelity
  • the application situation may include the following: A large number of people surround a smart desktop, and each person has an associated device such as a mobile phone.
  • Specific situations may include the following: The user performs a specific action (clicking the send content button). After the user's action is detected, the smart desktop sends the designated content on the smart desktop to the designated related device.
  • the smart desktop receives the content transmitted from the related device, determines the area covered by the related device, and displays the received content in the determined area.
  • the application situation may include the following: A large number of people surround a smart desktop, and each person has an associated device such as a mobile phone.
  • Specific situations may include the following: A user places a related device, such as a mobile phone, in an area on the smart desktop on which to display content of the mobile phone. At this time, the smart desktop detects that the area is covered by the related device. The content can be transmitted and displayed in the area through methods such as NFC and Wi-Fi.
  • the smart desktop may include related devices having a connection relationship.
  • the manner of displaying the content on the smart desktop based on the display manner specified in step 102 includes:
  • the content of the related device is acquired according to the connection relationship, and the obtained content is displayed based on the designated display method.
  • an authentication method based on content written by a user mainly includes the following: The user pre-writes the predetermined signature content.
  • the device records and stores handwriting characteristics (such as handwriting characteristics) of the signature content.
  • handwriting characteristics such as handwriting characteristics
  • the user rewrites the same signature content.
  • the device matches the handwriting characteristics and the stored handwriting characteristics of the content currently being written to determine the user's identity.
  • the user must register the handwritten content in advance, and write certain signature content during authentication. The user cannot freely take notes, which may cause inconvenience to the user.
  • a user authentication method is further provided. Based on the user authentication method, it is not necessary to register the content handwritten by the user in advance, and the user authentication is executed when the user freely writes.
  • FIG. 2 is a flowchart illustrating a user authentication method according to some exemplary embodiments of the present specification.
  • the method includes the following.
  • step 201 the handwritten content is received, a user characteristic is generated based on the handwriting characteristic and the writing assistant characteristic of the handwritten content, and the user characteristic is stored.
  • the device does not have to take the signature content set in advance by the user, and allows the user to write freely. At this time, the device does not know the identity of the user.
  • the device records the handwriting characteristics (pressure, velocity, acceleration, stroke characteristics, etc.) of the written content, and the handwriting auxiliary characteristics (position coordinates, time information, writing direction and Also note the direction of the text line in the handwriting).
  • the device may then generate a user characteristic of the current user through a feature derivation algorithm, and store the user characteristic in the device.
  • step 202 the content written by the user to be authenticated is received, a user property to be authenticated is generated based on the handwriting and writing assist properties of the content written by the user to be authenticated, and the user property to be authenticated matches the stored user property. If so, authentication succeeds.
  • handwriting characteristics pressure, velocity, acceleration, stroke characteristics, etc.
  • handwriting auxiliary characteristics position coordinates, time information, writing direction and text line direction of handwriting.
  • User properties are created.
  • the user characteristics to be authenticated are compared with the user characteristics stored in the device. While guessing, the device may determine the user's identity based on various criteria, such as handwriting characteristics, handwriting position coordinates, time continuity, handwriting direction, text line direction, handwriting area, and handwritten content.
  • user identity authentication succeeds. Conversely, if the user characteristic to be authenticated does not match any stored user characteristic, the user characteristic to be authenticated is stored and a new identifier of the current user is created.
  • the present disclosure further provides a method for displaying contents of a smart desktop including a related device.
  • FIG. 3 is a flowchart illustrating a content display method of a smart desktop including a related device according to some embodiments of the present disclosure.
  • the method includes the following.
  • step 301 a connection relationship with a related device is established.
  • step 302 content of the smart desktop and / or related device is exchanged with the related device based on the connection relationship.
  • the method of exchanging content of a smart desktop and / or associated device may include one or more of the following:
  • FIG. 4 is a schematic diagram illustrating a multiparty conference. As shown in Figure 4, several users sit around a smart desktop and start a meeting. Each user can take content according to his or her writing habit in an area near the user on the smart desktop.
  • the solution will be described in detail below: detecting display instructions of content of the smart desktop; Display content on the smart desktop according to the specified display method.
  • the designated display manner may include the following: Display content in thumbnails based on the relative location of the content on the smart desktop.
  • thumbnails may be provided in accordance with the operation of user A.
  • the provisioning method includes one or more of the following.
  • User A provides a voice saying "I want to see thumbnails.” At this time, the smart desktop displays the thumbnail in an empty space in front of user A. If the area in front of user A is filled, the content in front of user A within an area of the same size as the thumbnail can be hidden to display the thumbnail.
  • User A can bring up the thumbnail by pressing a specific button on the smart desktop.
  • User A can recall the thumbnail by touching the screen. For example, double click on the screen.
  • the smart desktop displays a thumbnail on a location where the user touches the screen. If there is content at this location, content within an area of the same size as the thumbnail may be temporarily hidden to display the thumbnail.
  • User A provides a gesture action such as swiping a hand.
  • the smart desktop captures the gesture action of User A through the camera and displays a thumbnail in a blank area in front of User A. If the area in front of user A is filled, the content in front of user A within an area of the same size as the thumbnail can be hidden to display the thumbnail.
  • the user operates an external controller, such as pressing a button on the stylus pen.
  • the smart desktop displays the thumbnail at the position indicated by the stylus pen. If there is content at this location, content within an area of the same size as the thumbnail may be temporarily hidden to display the thumbnail.
  • FIG. 5 is a schematic diagram showing a display of thumbnails according to Embodiment 1 of the present specification.
  • the left part of FIG. 5 shows the actual display of the smart desktop when different users have different writing positions and orientations. If a user wants to see content written by other users, the thumbnail may be called as shown in the right part of FIG. 5.
  • the user can have various settings for the user's thumbnail. Settings may include the following:
  • the contents written by other users may be distinguished by different colors within the thumbnail on the smart desktop. i.e., content written by different users has a different handwriting color.
  • content written by different users has a different handwriting color.
  • User B writes in the upper left and lower left corners of the smart desktop.
  • the system recognizes that the content in both areas is written by user B.
  • the thumbnail When user A sees the thumbnail, the content in the two areas is displayed in the same color, which is different from the color of the content written by other users. Even if user B writes in two different colors, the thumbnail loaded by A is displayed in one color.
  • the content in the thumbnail of the smart desktop remains in the original handwritten color.
  • user B wrote in both the upper left corner and the lower left corner of the smart desktop, the contents of the upper left corner were written in black, and the contents of the lower left corner were written in blue.
  • the thumbnail that user A sees the contents of the upper left corner are still displayed in black, and the contents of the lower left corner are still displayed in blue.
  • user information (a user name, a user's upper body image, etc.) may be displayed in a thumbnail of an area adjacent to content written by each user.
  • user information e.g. a user name, a user's head image, etc.
  • user information may be displayed in a thumbnail adjacent to content written by each user.
  • content in the thumbnail e.g. within a closed area
  • user information corresponding to the content selected by the user A may be displayed.
  • the initial size of the thumbnail is the average size set in the system, and the display position is automatically determined.
  • the smart desktop displays the thumbnail in an empty area of the display area corresponding to the user if possible.
  • the blank area in the corresponding display area is slightly smaller than the average size of the thumbnail set in the system (e.g., the difference between the size of the blank area in the corresponding display area and the average size of the thumbnail set by the system is a preset area). Smaller than the threshold value), the size of the thumbnail can be made slightly smaller so that the size of the thumbnail fits into the blank area corresponding to the display area.
  • the blank area corresponding to the display area is much smaller than the average size of the thumbnail set by the system (e.g., the difference between the size of the blank area of the corresponding display area and the average size of the thumbnail set by the system is previously determined.
  • the user must proceed with the following level options:
  • the smart desktop displays the thumbnail in the display area corresponding to the user, and temporarily hides the content covered by the thumbnail.
  • the smart desktop inserts a thumbnail at the end of the display area corresponding to the user. Subsequently, the content handwritten by the user is displayed around the thumbnail. If there is not enough space to display the content handwritten by the user on the display area corresponding to the user, a solution of changing the layout or dividing into multiple pages may be used.
  • the user determines the size and position via touch screen gestures.
  • the touch desktop detects that the user touched at least two locations on the screen simultaneously.
  • the smart desktop determines the position and size according to the detected touch position of the user. For example, when the user touches the lower left corner of the screen with the left index finger and the upper right corner of the screen with the right index finger, the position that the left index finger presses will be the lower left corner of the thumbnail, and the position that the right index finger presses It will be the upper right corner of the thumbnail.
  • the content exists in the location determined by the user, it is possible to proceed to the next level option.
  • Hide mode covers existing content
  • Insert mode insert into content
  • thumbnail frame a reduced screenshot of the current screen is displayed. 100% full screen is selected by default.
  • the user may select an area to compose a thumbnail by dragging a screenshot or a thumbnail frame.
  • the edge of the area selected by the user cuts all of the content, the edge can be automatically extended to include all of the content.
  • the user can select this region in this manner. The system will generate a thumbnail for the area you selected.
  • a setting interface may be provided after a user loads a thumbnail.
  • the user can configure as described above on the setting interface.
  • the smart desktop displays corresponding thumbnails according to the user's settings.
  • the user can also preset the display manner of thumbnails. After the user loads the thumbnails, the smart desktop displays the corresponding thumbnails according to the display scheme preset by the user.
  • the user can adjust the display manner of the thumbnails in real time.
  • the smart desktop can dynamically adjust the displayed thumbnails. For example, the user sets in advance such that content written by the user is not displayed in the thumbnail. Therefore, the thumbnail initially displayed by the smart desktop does not include content written by the user. While viewing thumbnails, if the user sets the content to be written by the user through preset gestures (voice, screen gestures, etc.), the smart desktop dynamically displays the thumbnail so that the user's handwritten content appears within the thumbnail in real time. Adjust
  • the contents to be displayed in the thumbnail may be displayed in the thumbnail according to a relative position between the contents on the smart desktop.
  • the positional relationship between each content in the thumbnail and the positional relationship between each content on the smart desktop are consistent.
  • the system displays thumbnails within the thumbnail frames. Displaying content within a thumbnail includes the following.
  • the system can determine which content is highly relevant (paragraphs cannot be separated) and considers this content as a block based on the following correlations:
  • Time Order Correlation The time order of the written content is detected. For example, continuously written content has a high time order correlation.
  • the smart desktop may divide the content on the smart desktop into one or more content blocks based on one or more of the above correlations, the correlations being considered according to the following priorities: content correlation, location correlation, time Order Correlation and User Correlation
  • the divided blocks can be rearranged to include block expansion and content adjustment.
  • each content block represents meaningful and inseparable independent content.
  • the system can determine the boundaries of all blocks.
  • the remaining part on the screen is a blank area that does not contain content. Since blank areas are overlapping areas within the thumbnail and are meaningless, duplicate areas between content blocks can be removed by expanding one or more content blocks, which improves the viewing effect of the thumbnail and saves screen resources. Can be.
  • Block expansion schemes include:
  • Block information entropy detection For each block, information entropy of the block is determined based on factors such as block size, average font size, number of letters, image size, graph content density, and the like. The larger the information entropy, the larger and denser the content. For example, if a large area contains only a few very large letters, the information entropy is relatively small.
  • FIG. 6 is a schematic diagram illustrating display of thumbnails according to Embodiment 1 of the present specification. As shown in Fig. 6, " 2 compressed empty area " represents the result of block expansion.
  • the block extension provided by this specification is an optional step.
  • the purpose of block expansion is to compress free space.
  • smart desktops can also compress free space in other ways. For example, the user selects the specified content and instructs the smart desktop to provide an expanded display (e.g., multi-finger extended operation). After detecting the above operation, the smart desktop provides an expanded display for the content designated by the user, detects the user's extension operation termination instruction, and then ends the extension operation.
  • the content can be adjusted as follows: (1) Orientation adjustment: The smart desktop determines the viewer's gaze direction and adjusts the display direction of the content in the thumbnail according to the viewer's gaze direction. Adjust For example, by adjusting the display direction of the content of each block in the thumbnail to match the viewer's gaze direction, the viewer can conveniently view the content written by other users; Among these, the viewer's gaze direction may be determined by the viewer's image collected by the camera, for example, directly determining the gaze direction through the viewer's image, or obtaining the posture of the viewer through the viewer's image, The viewer's gaze direction is acquired based on the viewer's sitting position. The gaze direction may also be determined through the handwriting characteristics of the viewer, or may be designated by the viewer. As shown in FIG. 6, "1 content change" shows the result after the direction adjustment.
  • Font Adjustment The smart desktop adjusts the font of the content of each block in the thumbnail to a suitable font that allows the content to fill the block accurately, and the user can see the handwritten content as clearly as possible. Smart Desktop performs font adjustment for each block separately.
  • the typeface adjustment of each block may be different. Therefore, it is also called non-proportional scaling. As shown in Fig. 6, “3 proportional scaling” shows the result after the typeface adjustment.
  • the smart desktop can automatically generate a summary based on the content in the thumbnail. For example, if the font size of a particular block is smaller than the threshold (associated with the size of the thumbnail and the distance between the user and the thumbnail, the threshold represents the font size that the user can see clearly).
  • the desktop displays the contents of the block in summary form. It is also possible to control the generation of summaries by the user. For example, the user may adjust the content in real time during the thumbnail viewing process. The user may set a specific part of the content to be displayed in a summary form through operations such as e.g., voice, and screen gestures. After detecting the user's manipulation, the smart desktop generates a summary of the portion of the content selected by the user and displays the summary of the portion of the content within the thumbnail. It is also possible for the user to view the complete content corresponding to the summary.
  • thumbnail may further have the following functions.
  • the user may set some of his content as personal content in the same manner as selecting a closed area with a gesture, and may wish to be invisible to other users.
  • the user can also select which users do not want to expose personal content.
  • the smart desktop detects that the selected user opens the thumbnail, the personal content of the user may not appear in the block. In other words, the smart desktop hides the user's personal content in the thumbnail.
  • Hiding personal information in a thumbnail includes: not displaying personal information, or replacing personal information with a personal identifier.
  • a personal identifier such as "personal content”
  • personal content may be displayed in an area corresponding to personal information in the thumbnail.
  • the corresponding area can be compressed to display other contents without displaying information.
  • the smart desktop may automatically detect whether the user's content is personal information. For example, if content such as a number, user name, password in a kind of personal account is detected, it is determined that the corresponding content may be personal content.
  • user A When user A wants to view the detailed original content of a portion of the thumbnail (e.g. summary), user A can select the block by clicking on the touch screen.
  • the smart desktop detects that the user's manipulation selects the content, and displays the selected content in an enlarged manner in the thumbnail and / or in the area around the thumbnail. i.e., the content of the selected block is displayed along with the font and layout of the original content in or around the thumbnail. If there is a lot of content, viewing methods such as left-right and up-down scrolling may be provided. As shown in Fig. 6, " zoom in " represents the result of the enlarged view.
  • the smart desktop When user A sees a thumbnail, when another user modifies or supplements the content, the smart desktop notifies the user within the thumbnail if it detects a content update. For example, when determining that another user's modification has been completed temporarily, such as in a chronological order (eg pausing the writing), the smart desktop sends an update prompt to an icon or icon in the block of content on User A's thumbnail. Displays in the form of a gradient background color.
  • User A can provide content instructions by clicking on the touch screen on the content of the thumbnail, and the smart desktop updates this portion of the content in the thumbnail according to the user instruction.
  • the smart desktop can detect in real time whether there is a change in content. When detecting that there is an update in the content, the smart desktop can directly update this portion of the content in the thumbnail and display the updated content. This method may also be called an instant thumbnail update method. This process can lead to a change in block size. As shown in Fig. 6, " 6 prompt update " indicates the result of the content update.
  • block division may be performed according to user correlation. i.e., according to the user's handwritten content, the block can be divided. To do this, the smart desktop needs to know which content is handwritten by which user. Therefore, a process of authenticating a user of the written content is necessary.
  • a user authentication solution includes the following: When the user starts to take notes, the smart desktop allows the user to take notes freely. At this time, the system does not know about the user's personal information.
  • the smart desktop receives the user's handwritten content input in real time. At this time, the smart desktop stores handwriting characteristics of the written content such as pressure, speed, acceleration, stroke characteristics, and the like, and stores handwriting characteristics such as position coordinates, time information, writing direction, and text line direction when writing.
  • the user characteristics of the current user may be generated through a feature derivation algorithm and automatically stored in the smart desktop.
  • the user characteristic to be authenticated is generated based on the handwriting and writing assist characteristics of the content written by the user to be authenticated. i.e., user properties will be updated in real time.
  • the smart desktop matches the user characteristics to be authenticated with the stored user characteristics, and matches various criteria such as handwriting characteristics, writing position coordinates, time continuity, writing direction, text line direction, writing area, and semantic information of the written content. Determine the identity of the user based on that. If the user property to be authenticated matches the stored user property, then user identity authentication succeeds. Otherwise, a new account (user identifier) is created for the current user. Location coordinates, time information, writing direction, text line direction, and semantic information of the written content are also stored.
  • the content written by the user may be stored together with the user identifier of the corresponding user. Thereafter, the stored user identifier and the corresponding written content may indicate which content on the smart desktop is written by which user.
  • the smart desktop may run as an independent device or as a plurality of interconnected related devices.
  • each user can use each associated device (e.g. each user uses a tablet computer).
  • Each user can view content written by another user on another related device by invoking a thumbnail on his or her associated device.
  • Related devices of users may be connected wirelessly (Wi-Fi, infrared, Bluetooth, etc.) or via a wired manner.
  • Importing a thumbnail by a related device used by a user detects an operation of loading a user's thumbnail, and then the related device acquires the content displayed by the other related devices, detects a relation position of the related device, and The relative position of the device is regarded as the relative position of the content on the smart desktop, and the content written by each user on each related device is regarded as the content written by each user on the same related device at the same time.
  • the related device used by the viewer displays the contents of each related device according to the relation position of the related device in the thumbnail.
  • the related device used by the viewer may detect the relative position of each related device in at least one of the following ways.
  • the relative position of each related device is determined based on the network signal detection result of each related device.
  • each related device transmits a detection result of wireless communication signals (2G, 3G, 4G, etc.) of each related device to the related device used by the viewer.
  • the related device determines the positional relationship between the related device and the other related device according to the detection result of the wireless communication signal of the related device and the detection result sent from the other related device.
  • the associated device used by the viewer may determine the relative position of each associated device as the combined result of detection of more types of signals between this and other related devices, such as infrared communication signals, Bluetooth communication signals, and wireless local area networks. Can be.
  • the smart desktop When a user initially uses the smart desktop, or when one or more users request a thumbnail call, the smart desktop displays a relative positioning interface on the associated device used by each user.
  • the configuration interface can include a diagram for the smart desktop set as the associated device. The user can select where he is on the diagram of the smart desktop.
  • Each related device obtains a relative position setting value according to a user's operation selection.
  • the related devices can exchange their relative positioning values with each other.
  • the related device used by the viewer determines the position topology of each related device according to the relative position setting value of the related device.
  • the thumbnail When the thumbnail is displayed, the thumbnail may occupy the viewer's entire screen.
  • the screen can be divided into several parts, each of which displays a summary of each user's content.
  • Other features are similar to thumbnails on smart desktops.
  • the user may further view content written by other users in the thumbnail. It is also possible for a user to edit content written by another user.
  • the smart desktop receives the content editing information triggered by the user, edits the content in the thumbnail according to the content editing instruction, and the editing may include inserting and deleting.
  • a user can view content written by another user in a thumbnail and select the content to be deleted by drawing a line on the screen. At this time, an identifier such as a strikethrough may be provided over the selected content, indicating that the content will be deleted.
  • the user can select the content to be modified in the same manner as selecting the closed area.
  • an identifier such as a dotted rectangle may be provided to indicate that the content is to be modified with respect to the selected content.
  • the user enters the modified content.
  • the smart desktop deletes the original content and replaces it with the modified content.
  • the editing of the content may be synchronized in real time with the display area corresponding to the user to whom the content belongs. For example, user A writes down the content, "Basketball is an interesting sport.” User B revises “Basketball is an interesting sport and very suitable for office workers" through thumbnails on user A's handwritten content.
  • the smart desktop provides synchronized editing of the content in User A's display area. User A can see user B's editing process.
  • user B's user identifier may be displayed in the user A's display area so that user A knows which user is editing the content.
  • the edited content may have a font of the user who is editing, or may have a font of the user of the content being edited.
  • the user can set whether to allow other users to edit his content, or can allow or prohibit any user from editing his content. Also, if another user edits the user's content, the user can choose whether to allow editing.
  • display instructions for the contents of the smart desktop are detected;
  • the content is displayed on the smart desktop based on the designated display method.
  • the designated display manner may include:
  • a summary of the content may be displayed based on text attributes associated with the content.
  • the smart desktop displays a subject summary frame in an area that does not contain any content in front of the user. If the area before the user is filled, to display the topic summary frame, the same content as the topic summary frame in the area immediately before the user is hidden.
  • the user invokes the subject summary frame by touching the screen. E.g., double-click on the screen.
  • the smart desktop displays the subject summary frame at the position where the user touched on the screen. If there is content at this location, the content of the same size as the subject summary frame is hidden to display the subject summary frame in this area.
  • the gesture action invokes the subject summary frame.
  • the smart desktop captures the gesture gesture of the user through the camera, and displays the subject summary frame in the area in front of the user having no content. If the area before the user is filled, to display the topic summary frame, the same content as the topic summary frame in the area immediately before the user is hidden.
  • the user invokes the subject summary frame through the operation of an external controller.
  • the smart desktop displays the subject summary frame on the location indicated by the stylus pen. If there is content at this location, the content of the same size as the subject summary frame in the area immediately before the user is hidden to display the subject summary frame.
  • the setting interface can be displayed.
  • the user can set the topic summary, including:
  • the summary of the handwritten content on the smart desktop as well as the non-handwritten content such as text, images, slides, and videos.
  • a summary of the content is also displayed within the topic summary.
  • the content of User A (viewer) is displayed in the subject summary.
  • the initial size of the subject summary frame is the standard size set in the system, and the display position is automatically determined.
  • the smart desktop preferably displays the subject summary frame in an empty space in the display area corresponding to the user.
  • the subject summary frame is slightly smaller in size to fit the empty space in the corresponding display area.
  • the size of the free space in the corresponding display area is much smaller than the standard area size for the topic summary frame set in the system (eg, the size of the free space in the corresponding display area and for the topic summary frame set in the system). If the difference between the standard sizes is not less than the preset threshold), the user must proceed to the next level option:
  • the smart desktop displays the subject summary frame in the corresponding display area of the user, and temporarily hides the content covered by the subject summary frame.
  • This option can be selected when the user needs to view his / her handwritten content while viewing the topic summary.
  • the smart desktop inserts the subject summary frame at the end of the display area corresponding to the user. Thereafter, the content handwritten by the user is displayed around the subject summary frame. If the user does not have enough space to display handwritten content, solutions such as changing the layout and dividing into multiple pages can be used.
  • the user can determine the size and position of the subject summary frame via a touch screen gesture.
  • the touch desktop detects that a user is touching at least two locations simultaneously.
  • the smart desktop determines the position and size of the subject summary frame according to the detected user's touch position.
  • the touch position of the left index finger is at the bottom left, and the touch position of the right index finger is at the top right.
  • the touch position of the right index finger is at the top right.
  • Will be the bottom left corner of, and the right index finger will be the top right corner of the topic summary frame.
  • the head image captured by the camera in real time or a preset head image may be displayed in the user column in the topic summary, wherein within the topic summary, the user column is Information related to the user may be displayed and set next to the content of each user. The viewer can distinguish between summaries of other users.
  • the presentation of the summary may include a multi-level catalog. Steps may be from general to specific. E.g., the order of subjects, users, and summaries. From a subject to a user, indicating which user's content includes content associated with the subject; From users to summaries, which users have content associated with which subjects, and are displayed in the form of summaries.
  • the multilevel catalog representation may be set as follows:
  • the leftmost column shows the subject
  • the second column shows the user what is included in the subject via e.g., tree-like connections, parentheses, and the same color.
  • the third column shows the summary identified as belonging to the user. If a user has several summaries, each summaries are displayed left-aligned on a single line.
  • the top line shows the subject
  • the second line shows users identified as belonging to the subject through e.g. tree branches, parentheses, and the same color.
  • the third row shows the summary identified as belonging to the user. If a user has several summaries, each summarization is displayed in a left energized fashion on a new line.
  • the topic summary appears in table format.
  • the table frame is hidden and there is no table line between the summary and the catalog.
  • the setting interface may be displayed after the user calls the subject summary.
  • the user sets on the setting interface.
  • the smart desktop displays a corresponding topic summary according to user settings.
  • the user may preset the display method of the topic summary. After the user invokes the topic summary, the smart desktop displays the corresponding topic summary in a preset manner.
  • the user can adjust the display method of the topic summary in real time.
  • the smart desktop dynamically adjusts the displayed summary of topics. For example, the user sets in advance such that the content written by the user is not displayed in the subject summary. Therefore, the subject summary initially displayed by the smart desktop does not include content written by the user himself.
  • the smart desktop When viewing a topic summary, if the user sets the content to be written within the topic summary through pre-set operations (eg voice, screen gestures, etc.), the smart desktop will display the user's handwritten content within the topic summary. Dynamically adjust topic summaries in real time to pay.
  • Implementation procedures may include:
  • the smart desktop authenticates the user who is taking the content according to the user authentication solution described in the first embodiment.
  • the smart desktop determines whether the user who is writing the content is a new user according to the property of the user who is currently writing and the user property of the previously written content. If the user is a new user, a new account (user identifier) is created in the database and records location coordinates, time information, writing direction, text line direction and semantic information of the written content and windows opened by the user. If the user is not a new user, the user is recognized.
  • a text summary is derived for the content written by each user.
  • the content written by the user may include various topics.
  • one or more summaries may be derived for each subject.
  • the length of the summary does not exceed the length threshold selected by the user during the setup process.
  • a summary derived from User A's content is “Basketball has a long history”
  • a summary derived from User B's content is “Basketball Detailed Rules”
  • a summary derived from User C's content is “Chinese Football”. Will catch up with the world. At this time, the contents of user A and user B are classified into one theme of basketball. User C, however, is not classified under this topic.
  • the subject and the corresponding summary are displayed in the format set by the user in the subject summary frame. (Landscape or portrait display)
  • topic summary can have the following features:
  • a content viewing instruction may be received from a user and content associated with the summary may be displayed based on a content viewing instruction that allows the user to view the detailed content of the summary.
  • the user can select one summary by clicking on the summary on the touch screen, or select multiple summaries by sliding over the area with a hand on the touch screen.
  • the original content corresponding to the selected summary is automatically displayed in the window created behind the summary column (when the summary is displayed in landscape orientation) or below (when the summary is displayed in portrait orientation).
  • the edge length of the window remains constant with the length of the row (when the summary is displayed in the horizontal direction) or column (when the summary is displayed in the vertical direction).
  • the user may select a window that he / she wants to view and expand by clicking on the touch screen.
  • the window expands to a size suitable for the view that fits into the topic summary frame. You can change the position and size of the window in the same way as dragging.
  • the content hidden by the expanded window is automatically hidden.
  • the original content corresponding to the summary is displayed in the window. If there is too much content, it is automatically divided into pages for display.
  • the default font of the content is the font originally written by the user.
  • the viewer can change the typeface output through the gesture.
  • the font size of the content is appropriate for viewing and the size of the window.
  • users can drag the expanded window to adjacent areas according to their requirements, instead of rolling up the expanded window and clicking to expand another summary of interest. If the expanded windows overlap each other, later expanded windows may obscure the expanded windows first.
  • the user can select e.g. You can select words in the summary by clicking on the touch screen. The word is then highlighted through a bold typeface or background highlight color. At this time, words or phrases related to the word in the detailed content are also highlighted.
  • a user modifies or supplements the content and notifies the user about the topic summary when the smart desktop detects an update to the content on the smart desktop.
  • the smart desktop can determine if another user's modification has been temporarily done, such as in a chronological order (eg, handwriting has been paused for a while), and the smart desktop can display an update prompt for the content of the topic summary. Alternatively, display in the manner of gradually changing background color.
  • the user may provide a content update instruction by clicking once on the content of the subject summary on the touch screen, e.g.
  • the smart desktop updates this portion of the content in the topic summary based on user instructions.
  • the smart desktop can detect in real time whether there is a change in content. Upon detecting a change in the content of the smart desktop, the smart desktop can directly update this portion of the content in the subject summary and display the updated content. This method is also called instant update method. The user can see the instant update process of all content.
  • the user can expand the subject by swiping left over the topic, e.g., or constrain the topic by swiping right.
  • the scope of the subject is determined based on a predefined structure diagram or existing Wordnet technology.
  • a summary derived from User A's content is "Basketball has a long history”;
  • the summary derived from User B's content is the “Basketball Detailed Rules”;
  • the summaries from User C's content are "Chinese football will catch up with the world”, and the summaries from User D's content are "The World Athletics Championship is officially over.”
  • the smart desktop When the smart desktop receives the user's summary length change instruction, the smart desktop changes the length of the summary according to the summary length change instruction.
  • the user may instruct to shorten the summary in the same way as swiping the summary to the left, or instruct to increase the summary in the same way as swiping the summary to the right.
  • a self may be displayed to indicate the current maximum summary length and the adjusted maximum summary length.
  • the maximum length of the summary may be predefined in the text summary description. For other maximum lengths, there may be differences in the content of the summary.
  • the summary derived from User A's content is "China won the championship”.
  • the user can swipe the summary to the right until the user points to 15 (up to 15 words). Then, the summary will be, "The Chinese team won the world table tennis championship.”
  • the user enters the required subject in the search box via e.g., handwriting and keyboard input.
  • the smart desktop After the user approves the search, the smart desktop detects a search instruction that includes the subject entered by the user and performs a search of the summary based on the search instruction.
  • the original content in the subject summary frame may be hidden to display the retrieved subject and the corresponding summary.
  • the retrieved subject contains less content and there is enough free space in the subject summary frame
  • the retrieved subject and the corresponding summary may be displayed behind the existing subject.
  • the user may set a portion of his or her content as personal content through a gesture of selecting a closed area, and may wish that this personal content is not visible to other users.
  • the user can also choose which users do not want to expose personal information.
  • the smart desktop detects that the selected user opens the topic summary, the user's personal content is not displayed in the summary, i.e., the smart desktop hides the user's personal content in the topic summary.
  • Hiding personal information within a topic summary includes: not displaying personal information or replacing personal information with a personal identifier.
  • the smart desktop may automatically detect whether the user's content is personal information. If content such as i.e., a number of personal accounts, or usernames or passwords is detected, the corresponding content is determined as personal content.
  • Example 7 is a schematic diagram showing a display of a subject summary according to Example 2 of the present specification.
  • the left side shows the actual screen display of the smart desktop, where user Kim writes content for ping pong, user Frank writes content for basketball, guitar and piano, and user Lia Take notes about the piano and user Mako takes notes about ping pong.
  • the system automatically displays by topic: sports and music, and content written by other users is classified into each topic. For example, within a sports theme, content is classified according to the following: table tennis written by Kim, basketball written by Frank, and table tennis written by Mako. The content is represented by a summary. The user can select a summary to view detailed content. Since there may be various ways of determining a topic, when the user does not find a topic of interest, the user can enter a topic of interest. (e.g., basketball shown in FIG. 7) Content related to this subject may be presented by users.
  • the smart desktop may run as an independent device or as a plurality of interconnected related devices.
  • each user can use the associated device separately (each user uses a tablet computer). Each user can load the topic summary on his or her associated device, so that other users can view the content that other users have written on the other relevant device.
  • Related devices of users may be connected via wireless (Wi-Fi, infrared, Bluetooth) or wired manner. After detecting the operation of bringing up the subject summary, the relevant device used by the viewer obtains that displayed on another related device. After acquiring content displayed on another related device, the user's related device may retrieve and display the subject summary through the manner in which the smart desktop described above brings up the subject summary.
  • the topic summary When the topic summary is displayed, the topic summary may occupy the entire screen of the viewer's associated device.
  • the other features are similar to those in the topic summary of the smart desktop.
  • the following solution is described in detail below: display instructions for the contents of the smart desktop are detected;
  • the content is displayed on the smart desktop based on the designated display method.
  • the designated display manner may include the following: Display a summary of the content based on user attributes associated with the content.
  • the user summary may be called according to the operation of user A in at least one of the following ways.
  • User A calls the user summary by voice, e.g., “I want to see the user summary”.
  • the smart desktop displays the user summary frame in the area in front of the user that contains no content. If the area in front of the user is filled, to display the user summary frame, content immediately before the user of the same size as the user summary may be hidden.
  • the user invokes the user summary by pressing a button on the smart desktop.
  • the user invokes the user summary frame by touching the screen, e.g. Double click on the screen.
  • the smart desktop displays the user summary frame at the position touched by the user on the screen. If there is content at this location, to display the user summary frame, the content in an area of the same size as the user summary frame may be hidden.
  • the user invokes a user summary frame via a gesture action, e.g. Shake your hand.
  • a gesture action e.g. Shake your hand.
  • the smart desktop displays the user summary frame at the position indicated by the stylus pen. If there is content at this location, to display the user summary frame, the content in an area of the same size as the user summary frame may be hidden.
  • User calls user summary frame through external controller, e.g. Press the button on the stylus pen.
  • the smart desktop displays the user summary frame at the location. If there is content at this location, to display the user summary frame, the content immediately before the user of the same size as the user summary may be hidden.
  • the setting interface can be displayed.
  • the user is able to set the user summary within the setting interface, and includes the following.
  • the content of User A (viewer) is displayed in the user summary.
  • the initial size of the user summary frame is the average size set in the system, and the display position is automatically determined.
  • the smart desktop displays the user summary frame in a blank area in the display area that preferably corresponds to the user.
  • the size of the blank area in the corresponding display area is slightly smaller than the average size of the user summary frame set in the system (the difference between the size of the blank area in the corresponding display area and the average size of the user summary frame set in the system is Smaller than the set area threshold)
  • the size of the user summary frame is slightly smaller to fit in the blank area in the corresponding display area.
  • the user must proceed to the next level option:
  • the smart desktop displays the user summary frame in the corresponding display area of the user, and temporarily hides the content covered by the user summary frame.
  • This option may be selected when the user needs to view his / her handwritten content while viewing the user summary.
  • the smart desktop inserts the user summary frame at the end of the display area corresponding to the user. Thereafter, the content handwritten by the user is displayed around the subject summary frame. If the user does not have enough space to display handwritten content, solutions such as changing the layout and dividing into multiple pages can be used.
  • the user can determine the size and position of the user summary frame through a touch screen gesture.
  • the touch desktop detects that a user is touching at least two locations simultaneously.
  • the smart desktop determines the position and size of the subject summary frame according to the detected user's touch position. For example, if the user touches the screen with the left and right indexes at the same time, and the touch position of the left index is at the lower left and the touch position of the right index is at the upper right, the position where the left index is pressed is the user summary frame. Will be the bottom left corner of, and the right index finger will be the top right corner of the user summary frame. At this time, if there is content on the location determined by the user, it is possible to proceed to the next level options:
  • Hide mode covers existing content
  • Insert mode insert into content
  • the head image captured by the camera in real time or a preset head image may be displayed in the user field within the topic summary, where within the user summary, the user field is information associated with the user. To be displayed and set next to each user's content. The viewer can distinguish the summary contents of other users.
  • the presentation of the summary may include a multi-level catalog. This step can be from general to specific. In order of E.g., user, subject, and summary. From a user to a topic, indicating which user's content includes what subject's content; Represents a summary of the user's content within a topic, from topic to summary.
  • the multilevel catalog representation may be set as follows:
  • the leftmost column shows the user
  • the second column shows the subjects identified as belonging to the user through tree-like connections, parentheses, and the same color.
  • the third column shows one or more summaries belonging to the topic.
  • the top row shows the user, and the second line shows the subject identified as belonging to the user, with tree branches, parentheses, and the same color.
  • the third row shows a summary identified as belonging to the subject.
  • the user summary appears in table format.
  • the table frame is hidden and there is no table line between the summary and the catalog.
  • the setting interface may be displayed after the user calls the user summary.
  • the user sets on the setting interface.
  • the smart desktop displays the corresponding user summary according to the user settings.
  • the user may preset the display method of the user summary. After the user calls the user summary, the smart desktop displays the corresponding user summary in a preset manner.
  • the user can adjust the display manner of the user summary in real time.
  • the smart desktop dynamically adjusts the displayed user summary. For example, the contents set by the user in advance are set so that they are not displayed in the user summary. Therefore, the user summary initially displayed by the smart desktop does not include content written by the user himself.
  • the smart desktop displays the user-written content in the user summary. Dynamically adjust the user summary in real time to make a payment.
  • Implementation procedures may include:
  • the smart desktop authenticates the user who is taking the content according to the user authentication solution described in the first embodiment. Do not repeat below.
  • a text summary is derived for the content written by each user.
  • the content written by the user may include various topics.
  • one or more summaries may be derived for each subject.
  • the length of the summary does not exceed the length threshold selected by the user during the setup process.
  • the subject and the corresponding summary are displayed in the format set by the user in the subject summary frame. (Landscape or portrait display)
  • topic summary can have the following features:
  • a content viewing instruction may be received from a user and content associated with the summary may be displayed based on a content viewing instruction that allows the user to view the detailed content of the summary.
  • the user can select one summary by clicking on the summary on the touch screen, or select multiple summaries by sliding over the area with a hand on the touch screen.
  • the original content corresponding to the selected summary is automatically displayed in the window created behind the summary column (when the summary is displayed in landscape orientation) or below (when the summary is displayed in portrait orientation).
  • the edge length of the window remains constant with the length of the row (when the summary is displayed in the horizontal direction) or column (when the summary is displayed in the vertical direction).
  • the user may select a window that he / she wants to view and expand by clicking on the touch screen.
  • the window expands to a size suitable for the view that fits into the topic summary frame. You can change the position and size of the window in the same way as dragging.
  • the content hidden by the expanded window is automatically hidden.
  • the original content corresponding to the summary is displayed in the window. If there is too much content, it is automatically divided into pages for display.
  • the default font of the content is the font originally written by the user.
  • the viewer can change the typeface output through the gesture.
  • the font size of the content is appropriate for viewing and the size of the window.
  • the user can roll up the window. Click on the expanded window on the touch screen, and then click on another summary of interest to expand the window so you can see the details.
  • users can drag the expanded window to adjacent areas according to their requirements, instead of rolling up the expanded window and clicking to expand another summary of interest. If the expanded windows overlap each other, later expanded windows may obscure the expanded windows first.
  • the user can select a word within the summary, such as by clicking on a touch screen.
  • the word is then highlighted through a bold typeface or background highlight color.
  • words or phrases related to the word in the detailed content are also highlighted.
  • the smart desktop can determine if another user's modification has been temporarily done, such as in a time sequence (writing paused for a while), and the smart desktop can display an icon or gradually prompt an update prompt for the content of the topic summary. It is displayed by the method of changing the background color.
  • the user may provide a content update instruction through a single click on the content of the topic summary on the touch screen.
  • the smart desktop updates this portion of the content in the topic summary based on user instructions.
  • the smart desktop can detect if there is a change in content in real time. Upon detecting a change in the content of the smart desktop, the smart desktop can directly update this portion of the content in the subject summary and display the updated content. This method is also called instant update method. The user can see the instant update process of all content.
  • the user can expand the topic by swiping left over the topic, or restrict the topic by swiping right.
  • the scope of the subject is determined based on a predefined structure diagram or existing Wordnet technology.
  • the summary derived from User A's content is “Basketball has a long history”;
  • the summary derived from User B's content is “Basketball Detailed Rules”,
  • the summary derived from User C's content is “Chinese football will catch up with the world”, and the summary derived from User D's content is “World Athletic Championship. The contest is officially over. ”
  • the contents of User A and User B will be classified under one theme of basketball, and the contents of User C and User D will not be classified under this theme.
  • the user can swipe "basketball” to the left.
  • the subject will be changed from “basketball” to "ball game”, and the contents related to soccer of User C will also be classified within this subject.
  • the subject may change from “ball game” to “sports”.
  • a summary of all four users A, B, C, and D is classified under this topic.
  • the smart desktop Upon receiving the user's summary length change instruction, the smart desktop changes the length of the summary according to the summary length change instruction.
  • the user may instruct to shorten the summary in the same way as swiping the summary to the left, or instruct to increase the summary in the same way as swiping the summary to the right.
  • a self may be displayed to indicate the current maximum summary length and the adjusted maximum summary length.
  • the maximum length of the summary may be predefined in the text summary description. For other maximum lengths, there may be differences in the content of the summary. For example, the summary derived from User A's content is "China won the championship". At this time, the user can swipe the summary to the right until the user points to 15 (up to 15 words). Then, the summary will be, "The Chinese team won the world table tennis championship.”
  • the user can call the search box within the subject summary frame by double-clicking anywhere within the subject summary frame.
  • the user enters the required topic in the search box via handwriting and keyboard input.
  • the smart desktop After the user approves the search, the smart desktop detects a search instruction that includes the subject entered by the user and performs a search of the summary based on the search instruction.
  • the original content in the subject summary frame may be hidden to display the retrieved subject and the corresponding summary.
  • the retrieved subject contains less content and there is enough free space in the subject summary frame
  • the retrieved subject and the corresponding summary may be displayed behind the existing subject.
  • the user may set a portion of his or her content as personal content through a gesture of selecting a closed area, and may hope that this personal content is not visible to other users.
  • the user can also choose which users do not want to expose personal information.
  • the smart desktop detects that the selected user opens the topic summary, the user's personal content is not displayed in the summary.
  • the smart desktop hides the user's personal content within the topic summary.
  • Hiding personal information within a topic summary includes: not displaying personal information or replacing personal information with a personal identifier.
  • the smart desktop may automatically detect whether a user's content is personal information. If a content such as a number of personal accounts, a user name, or a password is detected, the corresponding content is personal. Determined by content.
  • Example 8 is a schematic diagram showing a display of a subject summary according to Example 2 of the present specification.
  • the left part shows the actual screen display of the smart desktop.
  • the user may write the content in another location according to the change of the user's location.
  • Kim takes two parts of the content, one of which relates to basketball and above one part of the screen (its initial position), and the other to table tennis, which is above his current position. .
  • Content written by different users may be distinguished by different colors.
  • Mako wants to see the content written by a particular user, he can invoke the user summary (the right part of Figure 8).
  • the user summary all the content written by the user is shown in the subject summary format. For example, if Mako wants to see Kim's handwritten content, he can clearly see that Kim has written the content on the subject of basketball and ping pong in the user summary. At this time, he can select a topic to view the detailed content.
  • the smart desktop may run as an independent device or as a plurality of interconnected related devices.
  • each user can use the associated device separately (each user uses a tablet computer). Each user can load the topic summary on his or her associated device, so that other users can view the content that other users have written on the other relevant device.
  • Related devices of users may be connected via wireless (Wi-Fi, infrared, Bluetooth) or wired manner. After detecting the operation of bringing up the subject summary, the relevant device used by the viewer acquires what is displayed on the other related device. After acquiring content displayed on another related device, the user's related device may retrieve and display the user summary in such a manner that the smart desktop described above brings up the subject summary.
  • the user summary When the user summary is displayed, the user summary may occupy the entire screen of the viewer's associated device.
  • the other features are similar to those in the user summary of the smart desktop.
  • the user may view content written by other users on the summary (user summary or topic summary).
  • other users may modify the content written by the user.
  • the smart desktop receives a content modification instruction triggered by the user and modifies the content in the thumbnail based on the content modification instruction, wherein the modification may include insertion, deletion or other manipulation.
  • the user sees content written by other users in the summary and selects where to take the content in the same way as long press. At this point, a cursor prompt may be provided at this location, indicating that the user wishes to insert content at this location. The user notes the content to be inserted at this location.
  • the user sees content that other users have written in the summary, and selects the content to delete in the same way as a line on the screen. At this time, an identifier such as a strikethrough may be provided over the selected content, indicating that this content will be deleted.
  • the user can select content to be modified in the same manner as selecting a closed area on the touch screen.
  • an identifier such as a dotted rectangle may be provided for the selected content, which means that the content will be modified.
  • the user enters the content to be modified.
  • the smart desktop deletes the original content and replaces it with the content to be modified.
  • modification of the content may be synchronized in real time to a display area corresponding to a user to which the content belongs.
  • user A writes down the content, "Basketball is an interesting sport.”
  • User B revises the contents of User A's handwriting above with thumbnails, "Basketball is an interesting sport and very suitable for office workers.”
  • the smart desktop provides synchronized editing of the content in user A's display area.
  • User A can see user B's editing process.
  • user B's user identifier head image, etc.
  • user A can know which user is editing the content.
  • the font of the edited content may be a font of the user who is editing or a font of the user who has written the content being edited.
  • the user can also set whether to allow other users to edit his or her content or to allow or prohibit any user from editing his or her content. Also, when another user edits the user's content, the user can choose whether to accept the edit.
  • display instructions for the content of the smart desktop are detected and the content is displayed on the smart desktop in accordance with the designated display style.
  • the content includes content to be shared.
  • Designated display modes include: determining a user receiving content to be shared; Display content on the smart desktop based on specified users.
  • a user (sharer) who shares content with other users can specify in advance a user (recipient) who will receive the content to be shared, specify or share the content to be shared, and select a user to receive the content to be shared. Specify.
  • the smart desktop may assign the user's user identifier (head image, username, etc.) to authorize sharing. Display in the current display area.
  • the user may select a user to receive the content to be shared as a user identifier.
  • the user can select the user by long pressing on the user's real-time head image or name.
  • the user's head image or name is highlighted, indicating that it has been selected by the user and will share content.
  • a user to share content together may be designated based on a thumbnail or a user summary indicating a relative position.
  • Designation of Content The user may designate existing content as content to be shared or designate content as content to be shared in real time. Open the input box and enter the content to share.
  • the sharing user can select content to be shared within existing content.
  • the content is automatically inserted after the currently displayed content of the recipient.
  • the font size may match the font size of the currently displayed content of the receiving user.
  • the type of font may be switched to that of the sharing user or the receiving user through techniques such as handwriting recognition and handwriting combination.
  • the layout of the shared content may be automatically arranged according to the display area corresponding to the receiving user on the smart desktop. For example, when there is a lot of content to be shared so that it cannot be completely displayed in the empty space of the display area corresponding to the receiving user on the smart desktop, the font type of the content may be adjusted or the content may be displayed on multiple pages. .
  • the sharing user invokes the input box by long pressing on a location in the display area of the corresponding smart desktop.
  • the size of the writing box can be preset by the system, set by the user, or automatically adjusted according to the current blank area.
  • the size of the writing box can be automatically expanded, and the original content on the screen covered by the writing box can be hidden.
  • the receiving user simultaneously displays the writing process of the sharing user on the display area of the corresponding smart desktop.
  • the font size may match the font size of the currently displayed content of the receiving user.
  • the font type may be the same as the font type of the sharing user or the receiving user.
  • the smart desktop can automatically arrange the layout of the content to be shared according to the display area of the user who receives the content. For example, when there is too much content to be shared so that it cannot be completely displayed in the empty space of the display area corresponding to the receiving user on the smart desktop, the font type of the content may be adjusted or the content may be displayed on multiple pages. have.
  • the sharing user can indicate by double-clicking the writing box that the writing is complete.
  • the user sharing to save the content in the writing box.
  • the content in the writing box is automatically added to the empty space of the display area corresponding to the receiving user on the smart desktop or added to the end of the existing content.
  • the handwriting box of the sharing user is closed.
  • a prompt is displayed on a display area of the corresponding receiving user's smart desktop to allow the receiving user to select whether to accept the added modified content. If the receiving user accepts, the shared content is automatically added to the original content or the original content is modified and the layout is rearranged. If the content added after the layout rearrangement cannot be displayed because there is not enough free space, several pages may be provided for the content, or the layout of another block is created to create a blank space to display the added content. Can be adjusted.
  • the smart desktop adjusts the display direction of the content to be shared according to the gaze direction of the user who receives the shared content (the receiving user).
  • FIG. 9 is a schematic diagram showing sharing with a designated user according to Embodiment 4 of the present specification.
  • the left part shows the actual screen display of the smart desktop.
  • User Kim writes content for table tennis
  • user Frank writes content for basketball, guitar, and piano
  • user Lia writes content for piano
  • user Mako writes content for table tennis.
  • User Kim checks the topic summary (right part of Figure 9), and the system automatically displays by topic: sports and music, and content written by other users is divided by topic.
  • the content is displayed in the following order: table tennis written by Kim, basketball written by Frank, table tennis written by Mako, where the content is displayed as a summary.
  • the user can check the detailed content by selecting the summary.
  • user Kim can select content about ping pong as the content to be shared and Frank as the user to share the content.
  • the sharing user may designate a plurality of users (receiving users) receiving the shared content.
  • display instructions for content on a smart desktop are detected;
  • the content is displayed based on the display mode specified in the smart desktop.
  • the content includes content to be shared.
  • Designated display modes include the following: determining the display position of the content to be shared, and also displaying the content based on the determined display position on the smart desktop.
  • the user sharing content can first specify the display position of the content to share and then specify the content to share, or specify the content to share first and then specify the display position of the content to share next.
  • a display position may be designated through a thumbnail indicating a relative position with respect to displaying content to be shared.
  • Specify a location The sharing user can select an empty location (eg, the middle of two content blocks) within a thumbnail that represents the relative location by clicking on the touch screen, which allows the user to share content at this location. Indicate what you want to
  • Designate content A user who shares can designate existing content as content to be shared, or designate content to be shared in real time. For example, a user may open a writing box and enter content to be shared. The method of specifying content is similar to that described in FIG. 4 and will not be repeated below.
  • the smart desktop may detect a location of a received user through a camera and adjust a display position of content to be shared to a center position of a viewing angle of one or more users.
  • FIG. 10 is a schematic diagram showing sharing based on a designated location according to Embodiment 5 of the present specification.
  • the left foot portion represents the actual screen of the smart desktop.
  • User Kim writes the content for table tennis
  • user Frank writes the content for basketball
  • user Lia writes the content for piano
  • user Mako writes the content for piano and other.
  • Smart desktops share content shared by Lia (e.g. content written in real time by Lia) in a blank area.
  • users Frank and Kim can conveniently view the shared content.
  • the sharing user may designate a plurality of display positions for displaying content to be shared.
  • the content to be shared is displayed at various display positions designated by the sharing user.
  • a sharing area when sharing content, a sharing area may be set on the smart desktop. After receiving the content sharing decision instruction, the smart desktop copies the content to be shared to the sharing area according to the content sharing decision instruction. Other users can conveniently view the shared content within the sharing area.
  • Display instructions for the content of the smart desktop are detected;
  • the content is displayed on the smart desktop based on the designated display method.
  • the content includes content to be shared.
  • Designated display modes include the following: Set up a shared area on the smart desktop and copy the content to be shared to the shared area according to the content sharing instructions.
  • An operation that causes displaying the shared area in advance is set. For example, if the palm is on the screen, this means that the user wants to open a shared area. At this time, the smart desktop displays the sharing area on the screen as the user detects the manipulation.
  • the location, size and shape of the shared area are described as follows.
  • the center of the shared area may be the center of the entire screen.
  • the shape may be set by the user, or may be set to be related to the shape of the screen of the smart desktop (circular shared area for the circular smart desktop) or to be an ellipse by default.
  • the size of the shared area can be preset by the system. The corner of the shared area can be reached by all users. At this time, if some displayed content is covered by the shared area, the block of displayed content is automatically adjusted to the corresponding blank area of the user on the smart desktop. If the user's empty space is not large enough, the content can be reduced in size by placing the content on multiple pages so that the content can be placed in the blank area. If there is no blank area in the display area on the smart desktop, the content is moved to the end of another block of the user and displayed on another page. The user can view other pages in the area on the screen slide.
  • the color of the shared area may be different from other areas on the smart desktop.
  • FIG. 11 is a schematic diagram illustrating a shared area according to Embodiment 6 of the present specification.
  • a user sharing a content selects a content to be shared (by selecting a closed area), or a user sharing a content (a sharing user or sharer).
  • the sharing user can drag the content to be shared to the sharing area through an operation (slide upward), indicating that the content will be displayed in the sharing area.
  • the smart desktop copies the content to be shared to the sharing area, where the direction of the content to be shared is parallel to the edge of the sharing area.
  • the sharing user sharesr can hide the content to be shared with the designated user. When the content to be shared is switched to a user set to hide the content, the content to be shared is automatically hidden.
  • the shared area may be rotated by the center of the shared area.
  • the sharing area enters the rotation mode.
  • the plate is rotated by the slide of the user's hand, and the rotation speed coincides with the slide speed. Only this user can rotate the sharing area.
  • a sharing user rotates the shared area
  • the content in the shared area rotates with the rotation of the shared area and maintains its original relative position.
  • the user may search for the desired content. If the hand of the sharing user (shareer) is out of the sharing area for a certain time, the plate returns to a stopped state.
  • the user expects to acquire content to be shared, and (viewer) rotates the shared area in the same manner as dragging on the touch screen, and acquires some content in the shared area. And display the content in its display area.
  • the user expects to obtain shared content whose display position is not close. At this time, the user who expects to acquire the shared content may spontaneously rotate the sharing area in order to get closer to the shared content. According to the share area rotation instruction, the smart desktop rotates the share area.
  • the rotation of the sharing area may be stopped according to the sharing area rotation stop instruction triggered by the user.
  • the user may copy the shared content from the shared area to his display area to obtain the content shared by another user. Can be.
  • the sharing user After putting the shared content into the sharing area, the sharing user can display the shared content and the user identifier (head image, signature, etc.) corresponding to the content in the sharing area.
  • the user may perform anonymous sharing. After the user sets the content to be shared in the sharing area through a preset operation (click the anonymous sharing button), only the shared content is displayed in the sharing area and the corresponding user identifier is not displayed.
  • font changes may be provided for content to be shared. The handwriting of the sharing user may be changed to typeface.
  • the writing space of the user may be insufficient due to the contents present on the smart desktop.
  • existing content having a location conflict with an input position of content currently being written is detected, and a display instruction for the existing content is triggered as the existing content is detected, and the existing content is detected. Is temporarily hidden.
  • display instructions for the contents of the smart desktop are detected;
  • the content is displayed on the smart desktop based on the designated display method.
  • Content includes: Existing content with a location conflict with the location of the content currently being written.
  • Detecting display instructions for the content of the smart desktop includes: detecting existing content having a location conflict with an input position of content currently being written, and displaying an indication of existing content as the existing content is detected.
  • Trigger a fault Specified display modes include: existing content that is temporarily hidden
  • Content A is on the smart desktop.
  • the user enters content B to the left of existing content A.
  • the input space of content B is insufficient due to the presence of content A.
  • FIG. 12 is a schematic diagram showing a handwriting collision according to Embodiment 7 of the present specification.
  • the present specification includes:
  • the present specification provides a position detection hiding mode and a collision prediction hiding mode.
  • the user can set it up in the same manner as voice instructions, handwriting instructions, desktop screen touches, and external devices.
  • the position detection hidden mode and the collision prediction hidden mode are respectively described as follows.
  • Location detection hidden mode When the user enters text, formulas, or draws a picture, the system detects whether there is a conflict between the user's current handwriting location (ie, where the user is currently typing) and the default content on the desktop. Check. If there is a conflict, provide local hiding for the content with the conflict on the location of the current handwriting to enable continuous handwriting of the current handwriting. Thus, the user can keep typing.
  • Collision prediction hidden mode When a user enters a text, formula, or draws a picture, the system predicts the space needed by the user for the current input based on the user's recently entered content: handwriting characteristics, text content, and structure ( Letters, words, sentences, and paragraphs), detect official content and format, figure shape and size, and whether there is a conflict between the required space and the location of existing content, ie, the content currently being created by the existing content on the input location Predict whether there is a location collision with. If there is a conflict, the system provides locally hiding for existing content that has a conflict by the predicted necessary space on the location where the collision is expected to be present so that the user can continue entering.
  • FIG. 13 is a schematic diagram illustrating a first embodiment of display after writing conflict processing according to a seventh embodiment of the present specification.
  • FIG. 13 the handwriting conflict can be solved by hiding some existing content.
  • the smart desktop may determine the display resumption method based on the semantic correlation between the existing content and the content currently being written.
  • Resuming display methods include: resuming display after moving the position of existing content and / or content currently being written, a full content moving mode; Or resume display after layout rearrangement of existing content and / or content currently being written, i.e., local content layout rearrangement mode.
  • the user can set it in such a manner as voice instruction, handwriting instruction, desktop screen touch, and external controller.
  • the full content movement mode and local content layout rearrangement mode are described as follows:
  • FIG. 14 is a schematic diagram illustrating a second embodiment of display after handwriting collision processing according to a seventh embodiment of the present specification.
  • the system detects in real time whether there is a location conflict with existing content while entering new content.
  • the system replaces the complete area for the new and existing content with handwriting characteristics, text content and structure (letters, words, sentences, and paragraphs), formulas. The determination is made based on the content and format, the figure shape and size, and the input time.
  • the system provides adjustments to the relative position of the contents of the two complete regions in order to eliminate conflicts and resume the display of hidden existing content.
  • Existing content with conflicts may be moved to resume displaying the existing content.
  • new content with conflicts may be moved to resume displaying the existing content.
  • new content and existing content with conflicts may be moved to resume displaying the existing content.
  • FIG. 15 is a schematic diagram illustrating a third embodiment of display after handwriting collision processing according to the seventh embodiment of the present specification.
  • the system detects in real time whether the new content has a location conflict with the existing content and records the location of the conflict.
  • the system performs a local layout rearrangement of the newly entered content and / or existing content above the collision location in order to eliminate the conflict and resume the display of hidden conflict content.
  • the layout of existing content with conflicts can be rearranged on the location of the conflict, or the display of existing content can be resumed and newly entered content can be rearranged, or both the newly entered content and the layout of existing content can be rearranged. Can be arranged.
  • the layout of the completed figure, formula, and text may be rearranged in order of priority so that the shape of the figure does not change and the continuity of the formula is not affected.
  • the display of content having a collision may be adjusted.
  • the display may be adjusted according to a peripheral display method
  • the display may be adjusted according to the peripheral display method as shown in FIG. 14;
  • the display when the content currently being written and existing content that collides are written by the same user, the display can be adjusted according to the peripheral display method as shown in FIG. 14;
  • the display may be adjusted according to a peripheral display method.
  • the obstructing object on the smart desktop is detected, when the content of the smart desktop is obscured by the obstructing object, the display instruction is triggered on the obscured content, and the layout of the obscured content is rearranged.
  • detecting display instructions of the content of the smart desktop includes detecting an obstruction on the smart desktop and triggering a display instruction on the content when the content of the smart desktop is obscured by the obstruction.
  • Display instruction detection of content on the smart desktop includes detecting an obstruction on the smart desktop and triggering a display instruction on the content when the content of the smart desktop is obscured by the obstruction.
  • the designated display method includes rearranging the layout of the hidden content.
  • FIG. 16 is a schematic diagram illustrating an eighth embodiment of the present specification.
  • the present specification includes:
  • the user enters the automatic occlusion adjustment mode a) Voice indication; User A gives a voice prompt, such as "Enter auto occlusion adjustment mode.” At this time, the automatic occlusion adjustment mode is turned on; b) Physical Button Operation: The user can turn on the automatic occlusion adjustment mode by pressing a specific button on the smart desktop. c) Touch screen operation: The user can turn on the auto adjustment mode by touching the screen. Three clicks on the screen; d) gesture manipulation: the user provides a gesture gesture. Shake your hand three times. At this time, the camera can capture the gesture gesture of the user and turn on the automatic occlusion adjustment mode; e) Operation with external controller: The user can turn on the automatic occlusion adjustment mode by operating the external controller. Press the button on the stylus pen; f) Handwriting Operation: The user may input a mode instruction designated through handwriting. To turn on automatic occlusion adjustment mode, write "Turn on automatic occlusion adjustment mode.”
  • the situation processing includes the following.
  • the result of the layout analysis is i. Letters and words; ii. Line of text; iii. paragraph; iv. Text content having an associated meaning; v. image; vi. Text and images having associated meanings, but are not limited to such.
  • Detection and recognition of disturbing objects is i.
  • the layout of the disturbed object is rearranged to include (rearrange the layout of the disturbed content).
  • the detail content to be adjusted is first determined and then the layout of the content to be adjusted is rearranged.
  • the detail content to be adjusted is determined based on at least one of the following:
  • the layout of the disturbed content is rearranged in the following manner: i. Determine the size of the area available for re-displaying the disturbed content; ii. Rearranging the layout of the optimal adjustment content determined according to the available area and the disturbed content; And iii. Rearrange content rearranged around the obstructed face.
  • FIG. 17 is a schematic diagram showing a first example of display after occlusion processing according to Embodiment 8 of the present specification. The results after the automatic occlusion adjustment are shown in FIG. 17.
  • the smart desktop may once detect the focus point of the user. If the disturbed location does not overlap with the focus of the user, the layout rearrangement of the disturbed content may not be performed at this time. If the disturbed location overlaps with the user's focus, the layout of the disturbed content may be rearranged.
  • the focus of the user can be detected through an associated device, such as a camera, and the time focus can be seen as the focus of the user.
  • the location currently edited by the user can also be viewed as the user's focus.
  • the smart desktop when performing layout rearrangement on disturbed content, presents the text in the form of a summary in order to save the available display area.
  • the automatic occlusion adjustment mode can be turned off by one of the following: a) Voice operation: User A speaks a voice such as “Exit auto occlusion adjustment mode” to turn off the automatic occlusion adjustment mode; b) physical button operation; The user can turn off the automatic occlusion adjustment mode by pressing a button on the smart desktop; c) Touch screen operation: The user turns off the automatic occlusion control mode via the screen touch, clicking the screen four times in succession; d) Gesture Manipulation: The user provides a gesture action. Shake your hand four times.
  • the camera can capture the gesture action of the user, and the automatic occlusion adjustment mode can be turned off; e) operation on an external controller: the user operates the external controller, to exit the automatic occlusion adjustment mode, press a button on the stylus pen; f) handwriting operation: the user writes the designated mode instruction, writing “end the automatic occlusion adjustment mode” to turn off the automatic occlusion adjustment mode; g) Close the Smart Desktop: The mode is turned off due to the closing of the Smart Desktop. The meeting has ended; h) Change of current user: User A turns on the automatic occlusion adjustment mode at position a of the smart desktop and moves to position b. Thereafter, new user C joins the meeting and moves to location a. The system detects the change of the current user on position a and turns off the automatic occlusion adjustment mode for user C. At this time, the system maintains the automatic adjustment mode at position b with respect to user A.
  • the user can turn on the manual occlusion adjustment mode by: a) Voice indication: User A says “Turn on the manual occlusion adjustment mode.” At this time, the manual occlusion adjustment operation is turned on; b) physical button operation; The user turns on the manual occlusion adjustment mode by pressing a button on the smart desktop; c) Touch screen operation: The user turns on the manual occlusion adjustment mode via the screen touch, double-clicking the screen three times in succession; d) Gesture Manipulation: The user provides a gesture action.
  • occlusion processing After entering the manual occlusion adjustment mode, occlusion processing includes the following.
  • the result of the layout analysis is i. Letters and words; ii. Line of text; iii. paragraph; iv. Text content having an associated meaning; v. image; vi. Text and images having associated meanings, but are not limited to such.
  • Detection and recognition of disturbing objects is i.
  • the layout of the disturbed object is rearranged to include (rearrange the layout of the disturbed content).
  • the detail content to be adjusted is first determined and then the layout of the content to be adjusted is rearranged.
  • the detail content to be adjusted is determined based on at least one of the following: i. Character continuity of the disturbed object, ii. Text continuity of the disturbed object, iii. Paragraph continuity of the interrupted content, iv. Semantic association of disturbed content, v. Image continuity of the disturbed content, and vi. Association between image and text of disturbed object
  • the layout of the disturbed content is rearranged in the following manner: i.
  • the user drags the content (text or image) in a particular direction around the disturbed content through manipulation on the touch screen; ii.
  • the optimal adjustment content determined in the system is moved according to the drag operation of the user, and the moving speed and distance can be defined according to the drag intensity, speed and distance on the touch screen; iii. Because of the limitation of the display area, the optimal adjustment content cannot be displayed completely after the movement, and preferably, the non-disturbed content in the optimal adjustment content is hidden after the movement, or the font type can be adjusted so that the user can see the disturbed content. .
  • FIG. 18 is a schematic diagram illustrating a second embodiment of the display after the situation processing according to the eighth embodiment of the present specification. The result of manual occlusion control is shown in FIG. 18.
  • the smart desktop may present text through a summary in order to save as much available display area as possible. Subsequently, the detailed content corresponding to the summary may appear according to a user's manipulation.
  • the manual occlusion adjustment mode can be turned off by one of the following: a) Voice operation: User A speaks a voice such as "Exit the manual occlusion adjustment mode" to turn off the manual occlusion adjustment mode; b) physical button operation; The user can turn off the manual occlusion adjustment mode by pressing a button on the smart desktop; c) Touch screen operation: The user turns off the manual occlusion adjustment mode via the screen touch, clicking the screen four times in succession; d) Gesture Manipulation: The user provides a gesture action. Shake your hand six times.
  • the camera can capture the gesture action of the user and the manual occlusion adjustment mode can be turned off;
  • Operation on external controller user operates external controller, press button on stylus pen to exit manual occlusion adjustment mode;
  • handwriting operation the user writes the designated mode instruction, writing “end manual occlusion adjustment mode” to turn off the manual occlusion adjustment mode;
  • Close the Smart Desktop The mode is turned off due to the closing of the Smart Desktop.
  • the meeting has ended;
  • h) Change of current user User A turns on manual occlusion adjustment mode at position a of the smart desktop and moves to position b. Thereafter, new user C joins the meeting and moves to location a.
  • the system detects the change of the current user on position a and turns off the manual occlusion adjustment mode for user C.
  • the system maintains the manual adjustment mode at position b with respect to user A.
  • the user can view the disturbed content by bringing up thumbnails, wherein the bringing up the thumbnails is described with reference to Embodiment 1 and will not be repeated below.
  • the present disclosure provides a solution to disturbed content that ensures normal display of the disturbed content.
  • a smart desktop can have only one microphone. At this time, if several users need to record the voice, there may be a conflict.
  • a virtual record button is assigned to each user, and the user's virtual record button can be called according to the user's operation, a) voice operation: the user makes a voice, “record ” At this time, the virtual recording button may appear in a blank area in front of the user. When the area in front of the user is filled, content in an area of the same size as the virtual record button in front of the user can be hidden to display the virtual record button; b) physical button operation: the user invokes a virtual record button via a button on the smart desktop; c) Touch screen operation: user touches the screen, press and hold the screen. At this time, the virtual record button will be displayed at the position on the screen touched by the user.
  • Gesture Manipulation The user provides a gesture action, waving his hand. At this time, the camera captures a gesture action of the user, and a virtual record button may appear in a blank area in front of the user. If the area in front of the user is filled, content in an area of the same size as the virtual record button can be temporarily hidden to display the virtual record button; e) Operation of the external controller: The user operates the external controller, pressing the button of the stylus pen. At this time, a virtual recording button is displayed on the position indicated by the stylus pen. When there is content at this location, the content in an area of the same size as the virtual record button can be temporarily hidden to display the virtual record button.
  • 19 is a schematic diagram showing recording resource collision processing according to the ninth embodiment of the present specification.
  • the user can bring up the virtual record button when he hears the content of interest and can stop recording by pressing the virtual record button.
  • the smart desktop receives the user's start instruction and begins recording. Start your recording device for voice recording.
  • the smart desktop receives the recording stop instruction of each user and stops recording, stopping the recording device.
  • user A presses the virtual recording button at time t1.
  • the smart desktop starts the recording device to record the voice.
  • User B and User C press the virtual record button at times t2 and t3, respectively.
  • User B presses the virtual record button again to stop recording.
  • user A presses the virtual record button to stop recording.
  • t6 user C presses the virtual record button to stop recording.
  • User D presses the virtual record button at time t7 and presses the virtual record button again to stop recording at time t8.
  • t1 through t8 appear in chronological order.
  • the actual recording period of smart desktop is t1 ⁇ t6 and t7 ⁇ t8.
  • the actual recording period of the smart desktop is t1 to t8.
  • Smart Desktop When saving a log file, Smart Desktop creates a log file for each user according to the record start instruction and the record stop instruction.
  • the smart desktop can obtain the start time and the stop time of each user who is using the recording function.
  • the smart desktop retrieves the audio file of the actual recording for the recording file corresponding to the user.
  • the recorded content playback interface may identify the identifier of each important period and / or the respective important period. Includes content obtained by speech recognition.
  • An important period is a period corresponding to a key point determined based on a change in content and / or a period during which the user performs a recording operation.
  • an identifier is provided at the start time and the end time of each key point, respectively, and an identifier is provided at the start time and the end time of each user's recording.
  • the user can choose to play at any key point, or can choose to play a particular user's record.
  • the user may also choose to store the audio content.
  • User D only records the key point 5 of the meeting, but User D wants to see the contents of the other key points.
  • Audio content recorded by users A, B, and C includes the content of the key point.
  • user D can bring up the playback interface as in FIG. 19 and can choose to play the content of other key points or content recorded by other users within the playback interface.
  • the audio when playing the recorded content, it is possible to select to play the sound. Also, in a situation where several users have a meeting, the reproduction of sound may affect other users. Therefore, it is also possible to convert the audio to be reproduced as text content and display the text content in the interface through techniques such as speech and semantic recognition.
  • one embodiment implements parallelized invocation of recording resources of other users' smart desktops, which increases resource utilization.
  • An alarm clock (time notification) function may be provided through the audio playback resource of the device.
  • multiple users may have set their alarm clocks (time reminders). Thus, there may be resource conflicts between different users.
  • display instructions for content on the smart desktop are detected; The content is displayed on the smart desktop according to the designated display method.
  • the content includes time notification information.
  • the detection of the display instruction for the content of the smart desktop includes: detecting the notification time set by the user, and triggering the display instruction for the content when the notification time set by the user is reached.
  • Designated display modes include the following: When the users of the smart desktop have set the same notification time, when the notification time is reached, the time notification information is played through one or more of the following: voice, icon, or text; Or, if users using the smart desktop do not set the same reminder time, when the reminder time is reached, time reminder information is played through one or more of the following: an icon, text.
  • 20A-20B are schematic diagrams illustrating time notification resource conflict processing according to Embodiment 9 of the present specification.
  • 20A shows time notification resource conflict processing for the same alarm time according to the ninth embodiment.
  • 20B shows time notification resource conflict processing for another alarm time according to the ninth embodiment.
  • the content written by the user may be associated with the recording file. If it is detected that the content written by the user is associated with the content in the record file, a record play button is added after the content written by the user. The user can choose to play the record or to display the corresponding record content. Thus, the user can refer to the recorded content when writing.
  • Fig. 20B if several users do not set the same alarm time, it is considered that a specific user should be informed at this time. When the notification sound plays, other users may be affected. Therefore, when the alarm time of each user is reached, the icon notification and / or text notification may be displayed in the display area of the user.
  • the user's focus point is first determined and then the icon notifications and / or text notifications are placed at the user's focus location. Can be displayed.
  • the visual focus of the user may be detected through a device such as a camera, and the visual focus of the user may be viewed as the focal position of the user. Alternatively, the position currently being edited by the user may be viewed as the focus position of the user. While displaying the icon notification and / or text notification, if the user's focus position moves, the location of the icon notification and / or text notification also moves accordingly.
  • one embodiment implements the parallelized invocation of time notification resources of the smart desktop to other users, thus increasing resource utilization.
  • a solution is provided for multiple users invoking requests for the same resource of a smart desktop, which allows resolving conflicts between multiple users when invoking requests, Ensure invocation of normal and reasonable smart desktop resources.
  • the smart desktop may determine prompt information on the content currently being written according to the existing handwritten content, and display the determined prompt information.
  • the smart desktop provides a handwriting prompt according to content that other users have written.
  • the content written by the user in real time may be an email address, date, time, personal information, official information, and the like. In this case, the user may be reminded about the content to be written or the correctness of the written content.
  • the content written by the user in real time may be text.
  • the summary of the content not written by the user may be derived from the content written by other users, and the summary may be provided to the current user. The current user can see the details of the summary.
  • the prompt information on the content that is currently being written is determined according to the keyword of the content that is currently being written.
  • the keyword is derived from the content currently being written, and the contextual keyword corresponding to the keyword derived from the content currently being written can be obtained according to the keyword and the contextual keyword derived from the previously written content.
  • the prompt information for the content that is currently being written is determined according to the obtained contextual keywords.
  • the contextual keyword is derived from the content currently being written
  • the keyword corresponding to the contextual keyword derived from the content currently being written is obtained according to the keyword and the keyword derived from the previously written content
  • the prompt information is Determined according to the acquired keyword.
  • keywords include, but are not limited to, grammatical proper nouns. Overall, this may be a key noun that includes a specific and special meaning. E.g,
  • Elevator Card in “Every Employee's Elevator Card Will Be Collected Today", “Buy for the Meeting: Fresh Fruits, Bottled Water, Notebooks” Notebook”.
  • the system finds keywords in the user-written content through semantic analysis and predefined keyword tables, detects keywords in context, identifies correspondences with nouns, The correspondence relationship is then stored in the correspondence table. For the contents written by all users, the correspondence table is repaired. The repair of the correspondence table is performed in real time during the writing process of all users.
  • Keyword 1 Keyword 2 (keyword in context) One His email address tom233@gmail.com 2 Wednesday University meeting 3 Travel expenses for LI Si 5324 Dollar 4 Things to buy for a meeting Fruit, bottled water, notebook
  • the detected proper noun is in the correspondence table and the corresponding contextual keyword corresponds to that in the correspondence table.
  • this indicates that the new user has written the same content.
  • the reliability of the correspondence relationship may increase according to an algorithm.
  • the detected proper noun has a high similarity but not equal to the proper noun in the correspondence table.
  • the content written by user A contains the sentence "ZHANG San will meet LI Si”.
  • “ZHANG San” and “I will meet LI Si” are added to the correspondence table.
  • user B writes the sentence "ZHANG Er will meet LI Si”.
  • “ZHANG Er” in the correspondence table has a high similarity to “ZHANG San”, but the system cannot determine whether the user came or both are correct.
  • “ZHANG Er” and “Meet LI Si” are added as new items in the correspondence table, indicating that they are similar to “Meet ZHANG San” and “Meet LI Si”. If one of the several similar correspondences has a similarity higher than the threshold (i.e. several users have written the same content), the system may assume that this correspondence is correct and that the other correspondence may be wrong.
  • One proper noun may correspond to several keywords.
  • the content written by user A would include the following sentence: ZHANG San will meet LI Si on Sunday.
  • the correspondence of the keywords may be stored as shown in Table 2.
  • User B then writes the following sentence: ZHANG San will meet LI Si.
  • the system examines the correspondence table and finds that the keyword corresponding to "ZHANG San” includes "Sunday” as well as "Meeting LI Si". At this time, the system can increase the reliability of the correspondence between "ZHANG San” and "will meet LI Si" according to the algorithm.
  • the system can add a new keyword item to the correspondence table.
  • the system detects that the contextual keyword exceeds or is partially similar to the corresponding keyword in the corresponding table, the system adds additional keywords to the items in the correspondence table, and increases the reliability of the correspondence of the existing keywords according to the algorithm. You can.
  • a keyword which may be a keyword or a contextual keyword in a correspondence table
  • the system looks for the keyword or a keyword with a high similarity to that keyword in the correspondence table.
  • the prompt information for the content currently being written is derived from the previously written content. It depends on the keyword.
  • the system may give the user a high-reliability keyword, such as a light colored letter, except for the user-written keyword. Can be informed by If there are several other similar keywords, the prompt may be provided in list form. In the same way as clicking on the touch screen, when the user selects a keyword, the originally written keyword is automatically corrected to the prompted keyword and displayed in the same font and size.
  • FIG. 21 is a schematic diagram illustrating a first embodiment for providing a prompt according to a tenth embodiment of the present specification.
  • FIG. 21 users Park Hye-min and Fulong Wang wrote the email addresses of users Fulong Wang.
  • the smart desktop detects that the user's Lina's current e-mail address is wrong, the smart desktop provides a prompt for the user Lina to inform the user Lina that she may have come in, and the prompt provides the correct email address. It may include.
  • the smart desktop replaces Lina's original handwritten email address with the correct email address.
  • the keyword is derived from the content being written and the contextual keyword corresponding to the keyword derived from the content currently being written is determined according to the keyword and the keyword derived from the previously written content. Prompt information is determined based on the determined contextual keywords.
  • the keyword written by the user is the same as the keyword in the correspondence table. If the keyword has only one corresponding contextual keyword, then the corresponding contextual keyword is displayed in pale color after the user-written content to provide a prompt. If the keyword has several corresponding contextual keywords, the user's handwriting is detected continuously. If the user is detected to take content associated with the corresponding contextual keyword, the contextual keyword is displayed in light color behind the content that the user has written to provide a prompt.
  • the keyword written by the user is the same as the keyword in the context in the correspondence table. If the contextual keyword has only one corresponding keyword, then the corresponding contextual keyword is displayed in light color after the user-written content to provide a prompt. If the contextual keyword has several corresponding keywords, the user's handwriting is detected continuously. If the user is detected to take content associated with the corresponding contextual keyword, the contextual keyword is displayed in light color behind the content that the user has written to provide a prompt.
  • FIG. 22 is a schematic diagram illustrating a second example for providing a prompt according to Embodiment 10 of the present specification.
  • the smart desktop detects that user Fulong Wang wrote his email address.
  • the smart desktop stores the email address and the user Fulong Wang's identifier to match.
  • the smart desktop predicts that the user Hyemin Park will be writing Fulong Wang's email address.
  • the smart desktop prompts the user Hyemin Park in light colors.
  • the prompt may include Fulong Wang's stored email address to prompt the user Hyemin Park to skip writing the detailed email address.
  • User Hyemin Park clicks the touch screen to confirm the prompt.
  • the smart desktop automatically adds Fulong Wang's saved email address after the previously written keyword “email”.
  • the content that the user is currently writing may be compared with the content that other users have written in real time. You can decide whether to provide a prompt and which one to provide based on the result of the comparison.
  • the summary of the previously written content is derived from the previously written content.
  • the summary of the content currently being written is derived from the content currently being written.
  • the summary of the existing handwritten content is compared with the summary of the content currently being written, and prompt information about the content currently being written is provided based on the comparison result.
  • the user can trigger a summary prompt if he or she has no idea. For example, the user leaves a blank area above where the summary prompt should be displayed.
  • the system derives the content currently written by the user and derives the summary according to the user's trigger operation.
  • the system compares the derived summaries with the summaries of the content written by all users and determines a summary prompt for the content currently written by the user.
  • the system may automatically display a summary of content not written by the user but written by another user in light color in the blank area left by the user. If the user wrote something before leaving the blank area, the system can choose to display a summary related to what the user wrote.
  • special symbols can be written to trigger a summary prompt, omitted. After detecting a special symbol, the system can automatically provide a prompt. If there are several prompts to be provided, these can be displayed via a drop-down menu to save space.
  • the detailed content corresponding to the summary can be expanded.
  • the user can view the detailed content and select the required content in a manner such as selection or dragging.
  • the selected content may be inserted into an appropriate font size and the type of the font of the user in the blank area left by the user.
  • the user can trigger the display of the summary via voice, buttons, gestures, and the like.
  • the user may trigger the display of the summary by sliding the palm of the hand over the screen.
  • the summaries of contents not written by the user but written by other users may appear in a light color in the blank area of the user.
  • 23 is a schematic diagram illustrating a third embodiment for providing a prompt according to a tenth embodiment of the present specification.
  • user Hyemin Park wrote three paragraphs of detailed content.
  • the Smart Desktop generates a summary for each of the three paragraphs.
  • the user Lina only writes the contents of two paragraphs, and the second paragraph is empty.
  • the smart desktop prompts Lina with a summary of the second paragraph, written by Hyemin Park.
  • User Fulong Wang takes no content.
  • the smart desktop prompts Fulong Wang with a summary of the three paragraphs Hyemin Park wrote.
  • the prompt information may be displayed when the user is writing.
  • prompts for content not written by the user but written by other users or a summary of such content may be intelligently provided.
  • the smart desktop establishes a connection relationship with related devices and exchanges content of the smart desktop and / or content of related devices with the related device based on the connection relationship.
  • the smart desktop can run as a smart whiteboard used for teaching.
  • a smart whiteboard will be taken as an example for explaining an embodiment.
  • FIG. 24 is a schematic diagram illustrating an embodiment of a smart whiteboard according to an eleventh embodiment of the present specification.
  • Application Situation 1 The teacher uses a smart whiteboard, and the students use a terminal (pad).
  • the smart desktop is a whiteboard, and terminals used by students are related devices, or called related terminals.
  • the smart whiteboard and associated terminal are started up and a connection between them can be established in the following manner:
  • Bluetooth Turn on the Bluetooth function of the smart whiteboard and / or related terminals, and find the surrounding whiteboard and / or related terminals with the Bluetooth function turned on. The data connection between them can be made through a connection request or an automatic connection.
  • Infrared Turn on the infrared function of the smart whiteboard and / or the related terminal, and find the surrounding whiteboard and / or the related terminals with the infrared function turned on. The data connection between them can be made through a connection request or an automatic connection.
  • Wireless network The smart whiteboard and / or associated terminals can establish a data connection by connecting to the same local network.
  • the communication scheme including Bluetooth, infrared, and wireless networks is an example of establishing a connection between a smart whiteboard and related terminals.
  • identity authentication and authority setting are performed.
  • Identity characteristics and set rights of each user may be shared between the smart whiteboard and related devices through a communication method such as Bluetooth, infrared, or wireless network.
  • a communication method such as Bluetooth, infrared, or wireless network.
  • identity authentication is not directly related to the number of smart whiteboards or associated terminals, the number of users may be greater than the number of smart whiteboards and associated terminals that are actual hardware.
  • identity verification may include:
  • the user can register the identity attribute as follows, and the system associates and binds the identity attribute registered by the user with the user identifier (name, etc.). Registration of identity features includes: ⁇ 1> Registering handwriting features: The user writes some content (eg, some text), the system analyzes the handwriting features, and compares the handwriting features with other identity properties and user identifiers.
  • Register the head image feature the camera of the smart whiteboard and / or associated terminals takes the current user more than once, the system analyzes the head image and associates the head image with other identity features and user identifiers; Register the signature: the user signs over the whiteboard and / or associated terminal to recognize the association between the signature and other identity characteristics and the user identifier; Enroll a fingerprint: a user may enter a fingerprint to recognize the association of the fingerprint and other identity characteristics with the user identifier; Registration of the iris characteristic: In order to recognize the association between the iris characteristic and other identity characteristics and the user identifier, the iris characteristic may be collected through the camera of the smart whiteboard and / or the related terminal.
  • the smart whiteboard and / or related terminals collect and analyze the identity characteristics of the user and compare them with the identity characteristic library stored in the system to complete authentication of the current user.
  • the collected information includes: ⁇ 1> Handwriting: The user writes some content (any letter), and the system analyzes the handwriting characteristics and compares them with the identity library to recognize the current user; ⁇ 2> head image: the camera of the smart whiteboard and / or associated terminals takes the current user, and the system analyzes the head image characteristic and compares it with the identity library to recognize the current user; ⁇ 3> Signature: The user signs over the smart whiteboard and / or other terminal and the system compares it with the identity library to recognize the current user; Fingerprint: the user enters a fingerprint, and the system compares it with the identity library to recognize the current user; Iris: The camera of the smart whiteboard and / or associated terminal acquires the iris information, and the system compares it with the identity library to recognize the current user.
  • the smart whiteboard and / or related terminals may set rights for other users. Take the teaching situation as an example.
  • the teacher may set the operation right between the smart whiteboard and related devices and the operation right between the devices on the smart whiteboard.
  • the teacher may set the operation right between the teacher and the students and the operation right between the students. Students can set operating rights with other related terminals on related devices, and set operating rights between students.
  • Manipulation rights include, but are not limited to: (1) Information input rights: Input rights for information such as text, images and voice can be set for the smart whiteboard and / or related terminals; (2) viewing and browsing rights: the right for a particular user to display and browse certain content; (3) upload and share rights: the right to upload or share content written by a particular user to a shared area; (4) Edit Rights: The right to edit (comment and modify, etc.) content of other users, etc.
  • Use situation 1 The teacher distributes the assignment to the students.
  • Content to be distributed is determined in the content of the smart whiteboard, and an associated terminal receiving the content to be distributed is determined among the related terminals; According to the content distribution instruction, the content to be distributed is transmitted to the related terminal receiving the content to be distributed.
  • the content may be simultaneously transmitted to one or several related terminals. Alternatively, various parts of the content may be simultaneously transmitted to one or several related terminals.
  • the content of the smart whiteboard may be classified to generate one or more content groups, and related terminals are classified to generate one or more terminal groups.
  • a content group is selected from one or more content groups, and an associated terminal group is selected from one or more terminal groups;
  • the content distribution instruction is received, and the selected content in the content group is transmitted to each related terminal in the selected related terminal group according to the content distribution instruction.
  • the teacher may list tasks on the other hand of the smart whiteboard for various users. If the task description is relatively long, it can be presented in the form of a summary. The details of the summary can then be viewed through manipulations such as gestures. For example, a teacher gives a writing assignment to one student and a drawing assignment to two other students. Through operations such as voice, screen touch, and gestures, the teacher can retrieve information about students in the class. Information such as head images or names can be displayed on one side of the smart whiteboard. By selecting one or several students, the teacher can classify the students into groups, and group related terminals into groups. Similarly, the teacher can classify the tasks into groups by selecting the tasks, classifying the contents of the smart whiteboard. Assignments from the student group on the right can be completed in the task group on the left. In this case, related devices used by the students display the assigned task.
  • the smart whiteboard obtains the editing information on the content provided from the designated related terminal and transmits the edited information to the designated related terminal.
  • the teacher can select the student's image or name on the smart desktop and display the student's homework completion status (or edit information for the distributed content). Can be considered) in the designated area of the smart whiteboard.
  • the teacher may set the time to automatically update the student's completion status at the specified time. When doing homework, the teacher may prohibit sharing among various related terminals. After students complete their homework, the homework can be uploaded to the smart whiteboard. At this time, the teacher may be provided with a prompt, voice, shining head image, and the like. If the homework has a lot of content, a thumbnail display may be provided. Teachers can edit homework, footnotes, corrections, grading, etc. The edited information may be synchronized with the terminal of the person who completed the homework and displayed on the terminal.
  • the content to be shared on the smart whiteboard is determined, and the content to be shared is transmitted to the designated related terminal.
  • the teacher may share the multimedia image, video, notes to the relevant terminal of a specific student through gestures or voice instructions when the class in class. Other students can share, compare or reward through their terminal.
  • the number of students is greater than the number of related terminals, several students may share one related terminal. Screen space allocation and usage solutions are consistent with how multiple users share a smart desktop.
  • the teacher may designate the student through the user identity instead of the related terminal.
  • the user designates the designated content or contents by designating the content or region within the designated region (designating according to the summary, all selection, etc.). Personalization settings). Content set as personal content can be hidden during uploading and sharing, such as not being displayed or processing blurred.
  • the student can save the content he has permission to manipulate.
  • the teacher can store the contents of the entire class. You can then access the stored content.
  • the student can edit the content to create his class notes.
  • Application Situation 2 Several users use the smart desktop for conferencing, and the user stores and / or derives the content via the relevant mobile device.
  • Embodiments of the present disclosure are applicable to storage and derivation of content. For example, after a meeting, a user may need to store content using the associated mobile device.
  • the solution may include:
  • a user may open a corresponding application program within the associated mobile device and place the associated mobile device over an area of content he wishes to store.
  • the smart desktop detects that the area is covered by the associated mobile device.
  • Content in this area may be sent to the application via a scheme such as NFC, Wi-Fi, and stored in a mobile related terminal.
  • the storage of all the contents may be performed through some operation.
  • the smart desktop can receive content sent from the related device, determine the area that the related device is covering, and display the received content within the designated area.
  • a user may want to recall a previously stored record.
  • the user places the relevant mobile device in a blank area of the smart desktop where the content is to be displayed.
  • the record stored in the relevant mobile device may be transmitted to the smart desktop through NFC, Wi-Fi, etc., and displayed in a blank area.
  • the user may preselect the content to be called and the content to be displayed on the smart desktop.
  • the smart desktop sends the recorded content to the designated related device or application.
  • the transmission may be performed through a preset method (the preset method may include sending via e-mail), an e-mail address to receive the content is set, and the smart desktop may transmit the recorded content to the designated e-mail address. have. All content on the smart desktop can be sent to the designated associated device.
  • the user may designate some content on the smart desktop, and the smart desktop may transmit the specified content to the designated device. The first time you use the designated Smart Desktop, you can set the associated related device. Alternatively, the related device among the related devices may be designated to receive the content when the content is transmitted.
  • the content may be stored in an original format, and may be converted into a preset format (letter format) before storing or storing handwritten content.
  • the user identity authentication method provided by this specification can be applied to any situation in which the identity of a user of a smart desktop must be authenticated in embodiments 1 to 11, and can also be applied to any identity authentication situation except smart desktop. Do.
  • the user does not have to register the signature content in advance, nor does the user need to write the signature content in advance.
  • the user may freely take notes. User authentication may be performed during the user's free handwriting process.
  • the smart desktop When the user starts to take notes, the smart desktop allows the user to take notes freely. At this time, the system does not know the identity information of the user.
  • the smart desktop receives the user's handwritten content input in real time. At this time, the smart desktop records the handwriting characteristics of the written content such as pressure, speed, acceleration, and stroke characteristics.
  • the smart desktop also records handwriting assist characteristics such as handwriting position coordinates, time information, handwriting direction, text line direction, and the like. Then, in accordance with the handwriting and handwriting assist characteristics of the written content, a user characteristic of the current user is generated based on the characteristic derivation algorithm and automatically stored in the smart desktop.
  • the smart desktop receives the content written by the user to be authenticated, and generates the user characteristic to be authenticated based on the handwriting and writing assist characteristics of the content written by the user to be authenticated.
  • the characteristics of the user are updated in real time.
  • the smart desktop compares the stored user characteristics with the user characteristics to be authenticated, and in various aspects including handwriting characteristics of handwritten content, handwriting position coordinates, time continuity, handwriting direction, text line direction, handwriting area, and semantic information. Recognize user identity. If the user property to be authenticated matches the stored user property, authentication of the user identity succeeds. Otherwise, a new account (user identifier) is created for the current user, and the writing position coordinates, time information, writing direction, text line direction and semantic information of the written content are also recorded.
  • the content written by the user may be stored in association with the user identifier of the user. Then, based on the stored user identifier and the corresponding written content, the user may recognize which content on the smart desktop is written by the user.
  • the present invention further provides a content display device for a smart desktop, which is applicable to a smart desktop terminal.
  • 25 illustrates an exemplary structure of a content display device for a smart desktop according to some embodiments of the present disclosure.
  • the content display device 2500 includes:
  • a user authentication device is further provided.
  • 26 illustrates an exemplary structure of a user authentication device according to some embodiments of the present disclosure.
  • Device 2600 includes:
  • a smart desktop terminal is further provided.
  • 27 illustrates an exemplary structure of a smart desktop terminal according to some embodiments of the present disclosure. As shown in FIG. 27, the apparatus 2700 includes:
  • Connection establishment module 2701 suitable for establishing a connection with the associated device
  • Interaction module 2702 suitable for exchanging content of a smart desktop and / or content of a related device with a related device based on a connection relationship
  • the content in order to satisfy various display requirements for the content of the smart desktop, the content may be displayed on the smart desktop based on a designated display method.
  • viewing requirements of users in different directions may be satisfied. For example, through a thumbnail, a user can see the content of other users adjusted in their gaze direction; Through the rotation of the shared area, each user can check the contents in the shared area in the direction of a gaze appropriate to the user.
  • each user not only provide a public sharing area, but also limit the position and orientation of each user's content.
  • Each user can freely take notes and view different content on the smart desktop to suit each user's needs.
  • the present invention solves the "invisible" problem of the prior art. Thumbnails, topic summaries, and user summaries allow the user to conveniently view the content of other users of interest at a location and angle that is appropriate for him, no matter how far away the user is and their gaze directions.
  • users can edit the content of other users so that multiple users can view the content more conveniently and efficiently.
  • the "not enough space to write" problem of the prior art is further solved.
  • the user's lack of writing space during the writing process is solved, which greatly improves the writing satisfaction on the user's smart desktop.
  • the "no sharing" problem of the prior art is further solved.
  • each user can freely record the content of interest, and can conveniently and clearly identify the content and key points of the content recorded by other users, This not only enables the recording of multiple people through the microphone of the smart desktop, but also makes it very convenient to use.
  • By playing a notification clock sound and displaying a notification in different situations users can be reminded without disturbing other users based on the alarm clock notifications subscribed to by users. Very improve.
  • the smart desktop 2800 includes a processor 2810, a touch panel 2820 and a memory 2830.
  • the processor 2810 may control the touch panel 2820 and the memory 2830.
  • the processor 2810 may determine a content, a window, etc. displayed by the touch panel 2820.
  • the processor 2810 may store the content input through the touch panel 2820 in the memory 2830, and read the content stored in the memory 2830.
  • the touch panel 2820 displays content or a window under the control of the processor 2810.
  • the touch panel 2820 may receive a user's input and transmit the user's input to the processor 2810.
  • the memory 2830 may store contents or user information.
  • the smart desktop 2800 may change the position and angle of the window 2910 according to the position of the user.
  • the user is located in the center of the smart desktop 2800, and the smart desktop 2800 detects the user's position and displays the window 2910 in front of the user.
  • Window 2910 represents the area allocated to the user. The user may input content into the window 2910.
  • the smart desktop 2800 senses the user's movement, and the position of the window 2910 so that the window 2910 is located in front of the user. Determine the angle.
  • the smart desktop 2800 displays the window 2910 according to the determined position and the determined angle. Accordingly, the smart desktop 2800 may display the window 2910 assigned to the user on the touch panel 2820 even if the user moves.
  • the smart desktop 2800 may analyze the content input by the user and adjust the size, tilt, position, and the like of the content.
  • the smart desktop 2800 may adjust characters recognized in one sentence to the same size. As shown in FIG. 30, when the size of a character input by the user becomes smaller and smaller, the smart desktop 2800 may adjust the size of the character in the same manner. The smart desktop 2800 may adjust the size of characters included in a sentence or a paragraph equally.
  • the smart desktop 2800 may adjust the inclination of the sentence.
  • the smart desktop 2800 may adjust the tilt of the sentence parallel to the direction of the window assigned to the user.
  • the smart desktop 2800 may adjust the inclination of the sentence to be the same as the direction of the window.
  • the smart desktop 2800 detects the inclination of the sentence, and when the inclination of the sentence is greater than or equal to the threshold value, the smart desktop 2800 may adjust the angle of the window in which the sentence is input to be equal to the inclination of the sentence. In other words, the smart desktop 2800 may adjust the angle of the window without adjusting the inclination of the sentence. For example, when the inclination of the sentence is 20 degrees, the smart desktop 2800 may display the touch panel 2820 by adjusting the window angle to 20 degrees.
  • the smart desktop 2800 may sort the sentences. As shown in FIG. 30, when the positions of the first words of the sentences written on different lines are different, the smart desktop 2800 may match the positions of the first words.
  • the smart desktop 2800 displays content input by a plurality of users in a thumbnail.
  • the smart desktop 2800 displays thumbnails in the windows of each of the users. For example, when the first to third users input content to the smart desktop 2800, the smart desktop 2800 displays the first thumbnail in the window of the first user (first window), and the second user of the second user.
  • the second thumbnail is displayed in the window (second window), and the third thumbnail is displayed in the window (third window) of the third user.
  • the first thumbnail may be displayed on a portion of the first window, and may be enlarged and displayed by a user's manipulation.
  • the smart desktop 2800 may display thumbnails differently for each user. For example, the first thumbnail and the second thumbnail may be different from each other.
  • the content input by the first user in the first window includes personal information
  • the content input in the first window may not be displayed in the second thumbnail.
  • the smart desktop 2800 may summarize the content input in the first window and display the content in the second thumbnail.
  • a part of the content input to the first window of the smart desktop 2800 may be displayed on the second thumbnail.
  • the processor 2810 displays a window assigned to the users on the touch panel 2820.
  • a window is assigned to each user.
  • the window represents an area where the user can input content.
  • the processor 2810 displays content input from the user in a window.
  • the processor 2810 displays a thumbnail in the window.
  • Processor 2810 displays the content displayed in all windows within the thumbnail.
  • the processor 2810 designates the location of the content according to the location of the users, and displays the content in the thumbnail. In other words, the processor 2810 determines the relative positions of the users with respect to the smart desktop 2800 and displays the contents input by the users at positions inside the thumbnails corresponding to the relative positions of the users.
  • the processor 2810 adjusts the direction of the content displayed in the thumbnail according to the direction of each window, and displays the content in the thumbnail according to the adjusted direction.
  • the processor 2810 may arrange the contents in one direction and display them in the thumbnail so that other users may easily view the input contents. For example, when the first user is located at 6 o'clock, the second user is located at 9 o'clock, the third user is located at 12 o'clock, and the fourth user is located at 3 o'clock, 1 All contents displayed in the user's thumbnail may be aligned in the 6 o'clock direction. For example, sorting the content may change the angle at which the content is displayed, change the size of the content, or change the location at which the content is displayed.
  • the processor 2810 omits the extra area when displaying the content in the thumbnail and adjusts the position and size of the content to display the content in the thumbnail. For example, windows may be assigned to an edge of the touch panel 2820, and content may not be input in the center of the touch panel 2820. Therefore, the processor 2810 may arrange the content by omitting the extra area to reduce the space between the content.
  • the processor 2810 enlarges the thumbnail in an area adjacent to the thumbnail according to an input from the user.
  • the thumbnail may be displayed in the window and may be enlarged and displayed in an area outside the window.
  • the processor 2810 may display the enlarged thumbnail.
  • the content may be displayed in the thumbnail in summary form.
  • the processor 2810 displays the updated content in the thumbnail.
  • the content input by the user in the window and the content displayed in the thumbnail may be synchronized.
  • the smart desktop 2800 may further include a sensor (not shown) that detects an object on the touch panel 2820.
  • the sensor may be an infrared sensor.
  • the smart desktop 2800 may detect an object using a camera (not shown).
  • the processor 2810 may rearrange and display the content in an area excluding the area occupied by the object. Covering the content by the object indicates that the object is placed on the touch panel 2820 so that the user cannot see the content.
  • the smart desktop 2800 may display a window according to a user or content.
  • the processor 2810 assigns each window to a plurality of users.
  • the processor 2810 allocates a window in front of each user according to the location of the users. Allocating a window may refer to displaying an area where a user can enter content.
  • a window represents an area where a user inputs content and represents a partial area of the touch panel 2820.
  • the processor 2810 allocates windows so that the windows do not overlap.
  • the processor 2810 may allocate different sizes of the windows according to the positions of the users.
  • the processor 2810 determines the direction and position of the window according to the movement of the user or the input direction of the content. When the user moves the position, the processor 2810 moves the window to the position where the user moved. For example, if the user moves 50 cm to the right, the processor 2810 moves the window 50 cm to the right.
  • the processor 2810 rotates the window according to the direction of the user's body or the direction of the line of sight. For example, if the user's body is inclined 30 degrees or the direction of the eye is 30 degrees, the processor 2810 displays the window tilted 30 degrees.
  • the direction of the body or the direction of the gaze may be calculated based on the edge of the smart desktop 2800.
  • the processor 2810 rotates the window according to the input direction of the content.
  • the user can tilt and input content.
  • the processor 2810 calculates an inclination of the content and rotates the window to be equal to the inclination of the content.
  • the processor 2810 displays the window on the touch panel 2820 by changing the direction and position of the window in the determined direction and position.
  • the processor 2810 hides the window assigned to the user when there is no input for a predetermined time from the user. In addition, the processor 2810 may hide the window when the user moves away from the smart desktop 2800 by a predetermined distance or more.
  • the processor 2810 displays a shared area in the center of the touch panel 2820.
  • the shared area represents an area that can be input by all users. After the user inputs the content in the window, the user may copy the content and input the content in the sharing area. In other words, the processor 2810 displays the content touched by the user and dragged and dropped to the shared area in the shared area.
  • the shared area is rotatable. The user may rotate the shared area in a desired direction by a touch and drag operation.
  • the smart desktop 2800 may display content input by all users in a thumbnail.
  • the smart desktop 2800 may change the direction, size, and position of a window according to a movement of a user or an input direction of content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

일 실시 예에 따른 컨텐츠 표시 방법은 터치 패널에 사용자들에게 할당된 윈도우를 표시하는 단계; 상기 윈도우에 사용자로부터 입력된 컨텐츠를 표시하는 단계; 및 상기 윈도우에 썸네일을 표시하는 단계;를 포함하고, 상기 썸네일을 표시하는 단계는 상기 썸네일 안에 모든 윈도우에 표시된 컨텐츠를 표시하는 것을 특징으로 한다.

Description

스마트 데스크탑 및 스마트 단말에 기반한 컨텐츠 표시 방법
본 명세서는 스마트 단말 기술에 관한 것으로, 특히 스마트 데스크탑 및 스마트 데스크탑 단말에 기반한 컨텐츠 표시 방법에 관한 것이다.
기술이 발달함에 따라, 스마트 데스크탑 단말은 사람들의 일상 생활과 일의 일부가 되었다. 스마트 데스크탑 단말을 사용하여 다자간의 회의를 하는 것은 이제 익숙하게 느껴질 것이다. 회의를 하는 동안, 스마트 데스크탑 단말에 의해 표시되도록, 필기를 하고, 솔루션을 필기하고, 그림을 그리는 등 스마트 데스크탑 상에 필기할 일이 흔히 있다.
그러나, 다수의 사용자가 함께 스마트 데스크탑 단말을 사용하는 경우, 스마트 데스크탑에 컨텐츠를 표시하는 방법은 중요한 문제이다.
본 명세서는 스마트 데스크탑에 기반한 컨텐츠 상호작용 방법을 제공한다.
일 실시 예에 따른 컨텐츠 표시 방법은 터치 패널에 사용자들에게 할당된 윈도우를 표시하는 단계, 윈도우에 사용자로부터 입력된 컨텐츠를 표시하는 단계, 및 윈도우에 썸네일을 표시하는 단계를 포함하고, 썸네일을 표시하는 단계는 썸네일 안에 모든 윈도우에 표시된 컨텐츠를 표시하는 것을 특징으로 한다.
도 1은 본 명세서의 일부 실시 예에 따른 스마트 데스크탑 기반 컨텐츠 표시 방법을 나타내는 흐름도이다.
도 2는 본 명세서의 일부 실시 예에 따른 사용자 인증 방법을 나타내는 흐름도이다.
도 3은 본 명세서의 일부 실시 예에 따른 관련 디바이스를 포함하는 스마트 데스크탑의 컨텐츠 표시 방법을 나타내는 흐름도이다.
도 4는 본 명세서의 일부 실시 예에 따른 다자간 회의를 나타내는 모식도이다.
도 5는 본 명세서의 실시 예1에 따른 썸네일의 표시를 나타내는 모식도이다.
도 6은 본 명세서의 실시 예1에 따른 썸네일의 표시 나타내는 모식도이다.
도 7은 본 명세서의 실시 예2에 따른 주제 요약의 표시를 나타내는 모식도이다.
도 8은 본 명세서의 실시 예3에 따른 사용자 요약의 표시를 나타내는 모식도이다.
도9는 본 명세서의 실시 예4에 따른 지정된 사용자와의 공유를 나타내는 모식도이다.
도 10은 본 명세서의 실시 예5에 따른 지정된 위치에 기반한 공유를 나타내는 모식도이다.
도 11은 본 명세서의 실시 예6에 따른 공유 영역을 나타내는 모식도이다.
도 12는 본 명세서의 실시 예7에 따른 필기 충돌을 나타내는 모식도이다.
도 13은 본 명세서의 실시 예7에 따른 필기 충돌 프로세싱 이후 표시의 제1실시 예를 나타내는 모식도이다.
도 14는 본 명세서의 실시 예7에 따른 필기 충돌 프로세싱 이후 표시의 제2실시 예를 나타내는 모식도이다.
도 15는 본 명세서의 실시 예7에 따른 필기 충돌 프로세싱 이후 표시의 제3실시 예를 나타내는 모식도이다.
도 16은 본 명세서의 실시 예8에 따른 폐색을 나타내는 모식도이다.
도 17은 본 명세서의 실시형태8에 따른 폐색 프로세싱 이후 표시의 제1실시 예를 나타내는 모식도이다.
도 18은 본 명세서의 실시 예 8에 따른 폐색 프로세싱 이후 표시의 제2실시 예를 나타내는 모식도이다.
도 19는 본 명세서의 실시 예9에 따른 기록 자원 충돌 프로세싱을 나타내는 모식도이다.
도 20a는 본 명세서의 실시 예9에 따른 알람 시계가 같은 알람 시간으로 설정되어 있는 경우 시간 알림 자원 충돌 프로세싱을 나타내는 모식도이다.
도 20b는 본 명세서의 실시 예9에 따른 알람 시계가 다른 알람 시간으로 설정되어 있는 경우 시간 알림 자원 충돌 프로세싱을 나타내는 모식도이다.
도 21은 본 명세서의 실시 예10에 따른 프롬프트 제공을 위한 제1실시 예를 나타내는 모식도이다.
도 22는 본 명세서의 실시형태10에 따른 프롬프트 제공을 위한 제2실시 예를 나타내는 모식도이다.
도 23은 본 명세서의 실시 예10에 따른 프롬프트 제공을 위한 제3실시 예를 나타내는 모식도이다.
도 24는 본 명세서의 실시 예11에 따른 스마트 화이트보드의 실시 예를 나타내는 모식도이다.
도 25는 본 명세서의 일부 실시 예에 따른 스마트 데스크탑의 표시 장치의 구조의 실시 예를 나타내는 모식도이다.
도 26은 본 명세서의 일부 실시 예에 따른 사용자 인증 장치의 구조의 실시 예를 나타내는 모식도이다.
도 27은 본 명세서의 일부 실시 예에 따른 스마트 데스크탑 단말의 구조의 예를 나타내는 모식도이다.
도 28은 일 실시 예에 따른 스마트 데스크탑을 설명하기 위한 구성도이다.
도 29는 일 실시 예에 따라 윈도우의 위치 및 각도를 변경하는 것을 설명하는 도면이다.
도 30은 일 실시 예에 따른 컨텐츠를 조정하는 방법을 설명하기 위한 도면이다.
도 31은 일 실시 예에 따라 썸네일을 표시하는 방법을 설명하기 위한 순서도이다.
도 32는 일 실시 예에 따라 윈도우를 표시하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따른 컨텐츠 표시 방법은 터치 패널에 사용자들에게 할당된 윈도우를 표시하는 단계, 윈도우에 사용자로부터 입력된 컨텐츠를 표시하는 단계, 및 윈도우에 썸네일을 표시하는 단계를 포함하고, 썸네일을 표시하는 단계는 썸네일 안에 모든 윈도우에 표시된 컨텐츠를 표시하는 것을 특징으로 한다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 이 용어들에 의해 한정되어서는 안 된다. 이 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용된다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서(특히, 특허 청구 범위에서)에서 사용된 “상기” 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 명세서의 일부 실시 예에 따른 스마트 데스크탑 기반의 컨텐츠 표시 방법을 나타내는 흐름도이다.
도 1에서 보는 바와 같이, 방법은 다음을 포함한다.
101 단계에서, 스마트 데스크탑의 컨텐츠를 위한 표시 인스트럭션이 검출된다.
102 단계에서, 지정된 표시 방식에 근거하여 컨텐츠가 스마트 데스크탑에 표시된다.
일부 실시 예에서, 지정된 표시 방식은 다음 중 적어도 하나를 포함한다:
표시 방식 (a): 스마트 데스크탑 위의 컨텐츠의 상대적인 위치에 기초하여 컨텐츠를 썸네일에 표시하는 단계; 및
표시 방식 (b): 사용자 속성 및/또는 컨텐츠와 관련된 텍스트 속성에 기초하여 컨텐츠 및/또는 컨텐츠의 요약을 표시하는 단계.
본 명세서의 실시 예에서 스마트 데스크탑은 독립적인 디바이스 또는 상호 연결된 관련 디바이스로 실행될 수 있다.
스마트 데스크탑이 다수의 상호 연결된 관련 디바이스를 포함하는 경우, 상대적인 위치에 기초하여 컨텐츠를 썸네일에 표시하는 단계는(a) 각 관련 디바이스의 상대적인 위치를 검출하는 단계, 및 상대적인 위치에 기초하여 각 관련 디바이스의 컨텐츠를 썸네일에 표시하는 단계를 포함할 수 있다.
각 관련 디바이스의 상대적인 위치를 검출하는 단계는 다음 중 적어도 하나를 포함한다.
(1) 각 관련 디바이스의 네트워크 신호 검출 결과에 기초하여 각 관련 디바이스의 상대적인 위치를 결정한다.
예를 들어, 각 관련 디바이스의 상대적인 위치는 무선 통신 신호, 적외선 통신 신호, 블루투스 통신 신호, 및 무선 로컬 영역 네트워트 신호 중 하나 이상을 통해 검출한 결과에 기초하여 결정할 수 있다.
상대적 위치 설정값에 기초하여 각 관련 디바이스의 상대적인 위치를 결정한다.
예를 들어, 각 관련된 디바이스는 상대적인 위치 설정값을 각각 설정하고, 상대적인 위치 설정값을 다른 관련 디바이스와 교환할 수 있다. 따라서, 관련 디바이스의 위치 토폴로지(topology)는 각 상대적인 위치 설정값에 기초하여 결정될 수 있다. 이렇듯, 각 관련 디바이스의 상대적인 위치가 결정될 수 있다.
위 설명은 각 관련 디바이스의 상대적인 위치를 검출하는 일반적인 실시 예를 제공한다. 당업자는 위 설명이 예시에 불과하고, 본 명세서의 보호 범위를 제한하는 데 사용되지 않는 것을 알 수 있을 것이다.
일부 실시 예에서, 표시 방식(a)에서 스마트 데스크탑 상의 컨텐츠의 상대적인 위치에 근거하여 썸네일에 컨텐츠를 표시하는 것은 다음 중 적어도 하나를 포함할 수 있다.
(1) 사용자의 시선 방향을 결정하고, 사용자의 시선 방향에 따라 썸네일 안의 컨텐츠의 표시 방향을 조정한다.
특히, 사용자의 시선 방향을 결정하는 것은 다음을 포함할 수 있다:
사용자가 필기한 컨텐츠의 필적 특성에 따라 사용자의 시선 방향을 결정하는 단계; 및/또는 수집한 사용자 이미지에 따라 사용자의 시선 방향을 결정하는 단계
(2) 썸네일 안의 중복 되는 영역을 압축한다.
일부 실시 예에서, 썸네일 안의 여분의 영역을 압축하는 것은 다음을 포함할 수 있다:
의미상의 상관관계, 위치 상관관계, 시간 순서 상관관계 및 사용자 상관관계 중 적어도 하나에 따라 컨텐츠를 하나 이상의 컨텐츠 블록으로 분리하는 단계; 컨텐츠 블록 가운데 여분의 영역을 제거하기 위해 하나 이상의 컨텐츠 블록을 확장하는 단계
썸네일 안의 컨텐츠의 서체를 조정한다.
특히, 컨텐츠 블록에 컨텐츠가 딱 알맞게 채워지고 사용자가 컨텐츠를 정확하게 볼 수 있도록, 썸네일 내의 각 컨텐츠 블록의 서체를 적합한 서체로 조정할 수 있다. 각 컨텐츠 블록의 서체는 각각 조정될 수 있다. 각 컨텐츠 블록의 서체의 조정 정도는 다르거나 같을 수 있다.
(4) 컨텐츠의 요약을 썸네일 안에 표시한다.
컨텐츠 내의 개인정보를 숨긴다, 등.
예를 들어, 컨텐츠 또는 컨텐츠의 요약 내의 개인정보는 사용자가 정의한 방식 또는 텍스트 분석 방식에 기초하여 결정될 수 있다. 숨김은 다음을 포함할 수 있다: 개인정보를 표시하지 않고 또는 개인정보를 개인 식별자로 대체하는 것, 등.
일부 실시 예에서, 표시 방식(a)에서 스마트 데스크탑 상의 컨텐츠의 상대적 위치에 따라 컨텐츠를 썸네일 안에 표시하는 것은 적어도 하나를 더 포함할 수 있다.
(1) 썸네일 내에서 컨텐츠 선택을 위한 조작을 검출하고, 선택된 썸네일 내의 및/또는 인접한 영역의 컨텐츠의 확대된 표시(display)를 제공한다.
선택한 컨텐츠의 확대된 표시를 제공함으로써, 사용자가 선택한 컨텐츠를 보는 것이 용이해진다.
(2) 스마트 데스크탑의 컨텐츠의 업데이트를 검출하였을 때, 썸네일 내에서 사용자에게 프롬프트 하고, 썸네일 내의 컨텐츠를 사용자 인스트럭션에 따라 업데이트 한다.
썸네일 내의 컨텐츠의 업데이트를 사용자에게 프롬프트 함으로써, 사용자는 제시간에 스마트 데스크탑의 컨텐츠의 업데이트를 알 수 있다. 또한, 사용자에 의해 주도적으로 트리거된 인스트럭션에 기초하여 컨텐츠는 썸네일 내에서 업데이트될 수 있다.
(3) 스마트 데스크탑의 컨텐츠의 업데이트를 검출한 경우, 썸네일 내의 컨텐츠를 업데이트 한다.
스마트 데스크탑의 컨텐트에 대해 업데이트가 있는 것이 검출되었을 때, 사용자에게 프롬프트 하지 않고 또는 사용자 인스트럭션 없이, 스마트 데스크탑의 컨텐츠를 주도적으로 업데이트하는 것 또한 가능하다.
컨텐츠 편집 인스트럭션을 수신하고, 컨텐츠 편집 인스트럭션을 기초하여 썸네일 내의 컨텐츠를 편집한다.
일부 실시 예에서, 표시 방식(b)에서 컨텐츠의 표시 및/또는 사용자 속성 및/또는 컨텐츠와 관련된 텍스트 속성에 기반한 컨텐츠의 요약은 다음을 포함할 수 있다: 컨텐츠 및/또는 컨텐츠의 요약 내의 개인정보를 숨김. 일부 실시 예에서, 방법은 다음 중 하나 이상을 더 포함할 수 있다.
(1) 컨텐츠 뷰잉(viewing) 인스트럭션을 수신하고, 컨텐츠 뷰잉 인스트럭션에 기반한 요약과 관련된 컨텐츠를 표시한다.
(2) 요약 길이 변경 인스트럭션을 수신하고, 요약 길이 변경 인스트럭션에 기초하여 요약의 길이를 변경한다.
검색 인스트럭션을 수신하고, 검색 인스트럭션을 기초하여 컨텐츠 및/또는 컨텐츠의 요약 내에서 검색한다.
일부 실시 예에서, 컨텐츠는 공유될 컨텐츠를 포함한다. 102단계의 지정된 표시 방식은 다음을 포함한다:
공유될 컨텐츠를 수신하는 사용자 및/또는 공유될 컨텐츠의 표시 위치를 결정; 결정된 사용자 및/또는 표시 위치에 기초하여 스마트 데스크탑 상에 컨텐츠를 표시. 상기 관점에서, 공유될 컨텐츠를 수신하는 사용자 및/또는 공유될 컨텐츠의 표시 위치를 지정함으로써, 공유될 컨텐츠는 컨텐츠를 수신하는 사용자에게 표시되거나, 임의의 표시 위치에 표시될 수 있다.
일부 실시 예에서, 공유될 컨텐츠는 다음 방식에 의해 결정될 수 있다:
기존 컨텐츠를 공유될 컨텐츠로 지정; 또는, 실시간으로 필기하고 있는 컨텐츠를 공유될 컨텐츠로 지정.
일부 실시 예에서, 방법은 다음을 더 포함할 수 있다:
공유될 컨텐츠의 표시 방향을 공유될 컨텐츠를 수신 받는 사용자의 시선 방향에 따라 조정.
이하, 사용자의 시선 방향을 결정하는 방법은: 사용자가 필기한 컨텐츠의 필적 특성에 기초하여 사용자의 시선 방향을 결정하는 단계; 또는 수집된 사용자 이미지(예를 들어, 사용자가 앉아 있는 것을 검출한 이미지)를 기초하여 사용자의 시선 방향을 결정하는 단계 등을 포함할 수 있다.
일부 실시 예에서, 컨텐츠는 공유될 컨텐츠를 포함한다. 지정된 표시 방식 102단계는: 스마트 데스크탑 상에서 공유 영역을 설정; 컨텐츠 공유 결정 인스트럭션을 수신하고, 컨텐츠 공유 결정 인스트럭션에 따라, 공유될 컨텐츠를 공유 영역으로 복사. 위 관점에서, 본 명세서의 실시 예에 따라, 사용자가 공유한 컨텐츠는 지정된 공유 영역으로 복사될 수 있다. 이렇듯, 다른 사용자들이 공유된 컨텐츠를 편리하게 획득할 수 있다.
일부 실시 예에서, 방법은 다음 중 적어도 하나를 더 포함한다.
(1) 공유 영역 회전 인스트럭션을 수신하고, 공유 영역 회전 인스트럭션에 응하여, 공유 영역을 회전
공유된 컨텐츠를 획득하고자 하는 사용자가 공유된 컨텐츠의 표시 위치 가까이에 있지 않을 수 있다. 이때, 자발적으로 공유 영역을 회전시킴으로써, 편리하게 공유된 컨텐츠를 획득하고자 하는 사용자가 공유된 컨텐츠와 가까워질 수 있다.
공유 영역 회전 정지 인스트럭션을 수신하고, 공유 영역 회전 정지 인스트럭션에 응하여, 공유 영역의 회전을 정지시킨다.
공유될 컨텐츠가 컨텐츠를 획득하려는 사용자 주변으로 회전되었을 때, 사용자가 공유 영역 회전 정지 인스트럭션을 트리거함으로써, 공유 영역의 회전을 정지시킬 수 있다.
공유 영역 컨텐츠 획득 인스트럭션을 수신하고, 공유 영역 컨텐츠 획득 인스트럭션에 따라, 공유 영역 안의 해당하는 컨텐츠를 복사한다.
공유될 컨텐츠가 컨텐츠를 획득하고자 하는 사용자 주변에서 정지하였을 때, 다른 사용자들이 공유한 컨텐츠를 사용자가 획득하기 위하여, 사용자는 공유될 컨텐츠를 공유 영역 내에서 사용자 본인의 표시 영역으로 복사할 수 있다.
일부 실시 예에서, 컨텐츠는: 현재 필기하고 있는 컨텐츠와 위치 충돌이 있는 기존 컨텐츠를 포함한다.
스마트 데스크탑의 컨텐츠를 위한 표시 인스트럭션을 검출하는 101단계는: 현재 필기되고 있는 컨텐츠와 위치 충돌이 있는 기존의 컨텐츠를 검출하고, 기존 컨텐츠를 표시하기 위한 표시 인스트럭션을 트리거하는 것을 포함한다. 일 실시예에 따라, 기존 컨텐츠는, 일시적으로 숨겨진 이후, 현재 필기하고 있는 컨텐츠와의 관계에 기초하여, 재 표시 될 수 있다.
지정된 표시 방식 102 단계는: 일시적으로 숨겨진 기존의 컨텐츠를 포함한다.
본 명세서의 실시 예에 따라, 위치 충돌이 있는 기존의 컨텐츠를 숨김으로써, 현재 필기를 계속 진행하는 것이 가능하다.
일부 실시 예에서, 방법은 다음을 더 포함한다:
데스크탑 상에서 현재 필기하고 있는 컨텐츠의 입력이 완료된 후에, 기존의 컨텐츠와 현재 필기하고 있는 컨텐츠 사이의 의미상의 상관관계에 기초하여 표시 재개 방식을 결정; 그 중에서, 표시 재개 방식은 적어도 하나를 포함한다: 기존의 컨텐츠 및/또는 현재 작성하고 있는 컨텐츠의 위치를 이동한 후에 표시를 재개; 기존의 컨텐츠 및/또는 현재 작성하고 있는 컨텐츠의 레이아웃의 재배열을 통해 표시를 재개.
일부 실시 예에서, 컨텐츠는 다음을 포함한다: 스마트 데스크탑 상에서 방해 물체로 인해 가려진 컨텐츠.
101단계에서, 스마트 데스크탑의 컨텐츠를 위한 표시 인스트럭션을 검출하는 단계는: 스마트 데스크탑 상의 방해 물체를 검출하고, 스마트 데스크탑의 컨텐츠가 방해 물체에 의해 가려진 경우, 가려진 컨텐츠를 위한 표시 인스트럭션을 트리거하는 단계를 포함한다.
102 단계에서, 지정된 표시 방식은: 가려진 컨텐츠의 레이아웃을 재배열하는 단계를 포함한다.
일부 실시 예에서, 가려진 컨텐츠의 재배열은: 글자 연속성, 텍스트 줄 연속성, 단락 연속성, 의미상의 상관관계, 이미지 연속성, 및 가려진 컨텐츠의 이미지 및 텍스트 사이의 상관관계 중 적어도 하나를 포함한다.
위 관점에서, 본 명세서는 새로 입력된 컨텐츠 및 기존 컨텐츠 사이의 충돌을 해결하고, 가려진 컨텐츠의 정상적인 표시를 보장하기 위해, 새로 입력된 컨텐츠 및 기존 컨텐츠 사이의 충돌과 가려진 컨텐츠에 대한 솔루션을 제공한다.
일부 실시 예에서, 방법은 다음을 더 포함한다:
기존에 필기한 컨텐츠에 기초하여 현재 필기하고 있는 컨텐츠의 프롬프트 정보를 결정하고, 프롬프트 정보를 표시한다.
이러한 관점에서, 본 명세서의 실시 예에 따라, 사용자가 필기하지 않았지만 다른 사용자들이 필기한 컨텐츠 또는 요약을 지능적으로 사용자에게 프롬프트할 수 있는 프롬프트 정보를 표시할 수 있고, 모든 사용자들이 필기한 컨텐츠를 분석함으로써 사용자가 필기한 컨텐츠를 지능적으로 정정할 수 있고, 이는 필기 경험을 향상 시킬 수 있을 뿐만 아니라, 다수의 사용자가 같은 과제를 완수하는 것에 대해 효율을 높이고, 여러 사용자들이 같은 컨텐츠를 반복적으로 나타내고 필기하는 것을 방지한다.
일부 실시 예에서, 기존 필기된 컨텐츠에 따라 현재 필기하고 있는 컨텐츠의 프롬프트 정보를 결정하는 단계는 다음 중 적어도 하나를 포함한다:
(1) 현재 필기하고 있는 컨텐츠에서 키워드를 도출하고, 현재 필기하고 있는 컨텐츠에서 도출한 키워드와 기존 필기된 컨텐츠에서 도출한 키워드 사이의 연관도가 임계값보다 큰 경우, 기존 필기된 컨텐츠에서 도출된 키워드에 따라 현재 필기하고 있는 컨텐츠의 프롬프트 정보를 결정한다.
(2) 현재 필기하고 있는 컨텐츠로부터 키워드를 도출하고, 키워드와 기존에 필기한 컨텐츠로부터 도출한 문맥상의 키워드에 따라 현재 필기하고 있는 컨텐츠로부터 도출한 키워드에 대응하는 문맥상의 키워드를 획득하고, 획득한 문맥상의 키워드에 따라 현재 필기하고 있는 컨텐츠에 대한 프롬프트 정보를 결정한다.
(3) 현재 필기하고 있는 컨텐츠로부터 문맥상의 키워드를 도출하고, 키워드와 기존에 필기한 컨텐츠로부터 도출한 문맥상의 키워드에 따라 현재 필기하고 있는 컨텐츠로부터 도출한 문맥상의 키워드에 대응하는 키워드를 획득하고, 획득한 키워드에 따라 현재 작성하고 있는 컨텐츠에 대한 프롬프트 정보를 결정한다.
(4) 기존에 필기한 컨텐츠로부터 기존에 필기한 컨텐츠에 대한 요약을 도출하고, 현재 필기하고 있는 컨텐츠로부터 현재 필기하고 있는 컨텐츠에 대한 요약을 도출하고, 기존에 필기한 컨텐츠에 대한 요약과 현재 필기하고 있는 컨텐츠에 대한 요약을 비교하고, 비교 결과에 따라 현재 작성하고 있는 컨텐츠에 대한 프롬프트 정보를 결정한다
일부 실시 예에서, 컨텐츠는 시간 알람 정보를 포함한다.
101단계에서, 스마트 데스크탑의 컨텐츠를 위한 표시 인스트럭션의 검출은: 사용자에 의해 설정된 알람 시간을 검출하는 단계, 사용자가 설정한 알람 시간이 되었을 때 컨텐츠를 위한 표시 인스트럭션을 트리거하는 단계를 포함한다.
102단계에서 지정된 표시 방식은: 스마트 데스크탑을 사용하는 각 사용자가 알람 시간을 같게 설정한 경우, 알람 시간이 되었을 때, 목소리, 아이콘, 텍스트 중 적어도 하나를 통해 시간 알람 정보를 재생하는 단계; 또는
스마트 데스크탑을 사용하는 각 사용자가 알람 시간을 다르게 설정한 경우, 알람 시간이 되었을 때, 아이콘, 텍스트 중 적어도 하나를 통해 시간 알람 정보를 재생하는 단계를 포함한다.
위 관점에 따라, 본 명세서의 실시 예는 다른 사용자들에 대한 스마트 데스크탑의 시간 알림 자원의 병렬화된 스케줄링을 구현하고, 따라서 자원 활용률이 증가한다.
결론적으로, 여러 사용자들이 스마트 데스크탑의 같은 자원에 대하여 요구 사항을 호출하는 경우, 본 명세서는 요구 사항을 호출하고 있는 여러 사용자들 간의 충돌을 해결하고, 스마트 데스크탑의 정상적이고 합리적인 호출을 보장하는 솔루션을 제공한다.
일부 실시 예에서, 방법은:
사용자로부터 기록 시작 인스트럭션을 수신한 후, 기록을 시작하는 단계;
모든 사용자로부터 기록 정지 인스트럭션을 수신한 후, 기록을 정지하는 단계;
각 사용자의 기록 시작 인스트럭션과 기록 정지 인스트럭션에 따라 각 사용자의 기록 파일을 생성하는 단계;를 더 포함할 수 있다.
따라서, 본 명세서의 실시 예는 여러 사용자들에 대한 스마트 데스크탑의 기록 자원의 병렬화된 호출 또한 구현하고, 따라서 자원 활용률을 증가시킨다.
일부 실시 예에서, 방법은:
필기된 컨텐츠를 수신하고, 필기된 컨텐츠의 필적 특성과 필기 보조 특성에 기초하여 사용자 특성을 생성하고, 사용자 특성을 저장하는 단계; 및
인증될 사용자가 필기한 컨텐츠를 수신하고, 인증될 사용자가 필기한 컨텐츠의 필적 특성과 필기 보조 특성에 기초하여 인증될 사용자 특성을 생성하고, 인증될 사용자 특성이 저장된 사용자 특성과 일치하는 경우 인증의 성공을 결정하는 단계;를 더 포함한다.
위 관점에서, 본 명세서는 새로운 사용자 인증 방법에 기초하여 사용자 인증을 구현한다. 사용자는 인증에 사용되는 컨텐츠를 미리 필기하지 않아도 된다. 대신, 사용자가 자유롭게 필기하는 과정 중에, 인증이 수행될 수 있다.
일부 실시 예에서, 방법은:
스마트 데스크탑이 관련 디바이스와 연결 관계를 수립하고, 연결 관계에 기초하여, 스마트 데스크탑의 컨텐츠 및/또는 관련 디바이스의 컨텐츠를, 스마트 데스크탑과 관련 디바이스가 상호 교환하는 단계를 더 포함할 수 있다.
일부 실시 예에서, 스마트 데스크탑의 컨텐츠를 관련 디바이스와 교환하는 방법은:
(1) 스마트 데스크탑의 컨텐츠 중에서 배포될 컨텐츠를 결정하고, 관련 디바이스 중에서 배포될 컨텐츠를 수신할 관련 디바이스를 결정하는 단계; 컨텐츠 배포 인스트럭션에 따라, 배포될 컨텐츠를 수신할 관련 디바이스에게, 배포될 컨텐츠를전송한다.
예를 들어, 적용 상황은 다음을 포함할 수 있다: 수업에서, 선생님이 스마트 화이트보드를 사용하고 학생들은 관련 디바이스를 사용한다. 구체적인 행동은 다음을 포함할 수 있다: 선생님이 학생들에게 과제를 배포한다.
(2) 지정된 관련 디바이스에 의해 제공된 컨텐츠의 편집 정보를 획득하고, 지정된 관련 디바이스로 편집 정보를 전송한다.
예를 들어, 적용 상황은 다음을 포함할 수 있다: 수업에서, 선생님이 스마트 화이트보드를 사용하고 학생들은 관련 디바이스를 사용한다. 구체적인 행동은 다음을 포함할 수 있다: 선생님이 학생들의 숙제를 검사하고 채점한다.
스마트 데스크탑 상에서 공유될 컨텐츠를 결정하고 공유될 컨텐츠를 지정된 관련 디바이스로 전송한다.
예를 들어, 적용 상황은 다음을 포함할 수 있다: 수업에서, 선생님이 스마트 화이트보드를 사용하고 학생들은 관련 디바이스를 사용한다. 구체적인 행동은 다음을 포함할 수 있다: 선생님이 수업 컨텐츠를 공유한다.
스마트 데스크탑에 의해 공유되는 컨텐츠를 위한 관련 디바이스의 편집 정보를 수신하고, 수신한 편집 정보를 표시한다.
예를 들어, 적용 상황은 다음을 포함할 수 있다: 수업에서, 선생님이 스마트 화이트보드를 사용하고 학생들은 관련 디바이스를 사용한다. 구체적인 행동은 다음을 포함할 수 있다: 선생님이 학생의 노트(note)를 수신한다.
관련 디바이스에 의해 가려진 스마트 데스크탑의 영역을 결정하고, 스마트 데스크탑의 영역 내에 있는 컨텐츠를 관련 디바이스로 전송한다.
예를 들어, 적용 상황은 다음을 포함할 수 있다: 다수의 사람들이 스마트 데스크탑을 둘러싸고 있고, 각각의 사람들은 휴대폰과 같은 관련 디바이스를 갖고 있다. 구체적인 상황은 다음을 포함할 수 있다: 휴대폰과 같은 관련 디바이스를 저장 대상이 되는 스마트 데스크탑의 컨텐츠 상에 놓는다. 이때, 스마트 데스크탑은 관련 디바이스에 의해 가려진 영역을 감지하고, 근거리 무선 통신(NFC), 와이파이(Wi-Fi)와 같은 방식을 통해, 영역 안의 컨텐츠의 저장을 위해 휴대폰과 같은 관련 디바이스 내의 어플리케이션으로 컨텐츠를 전송한다.
스마트 데스크탑 상의 지정된 컨텐츠를 지정된 관련 디바이스로 전송한다.
예를 들어, 적용 상황은 다음을 포함할 수 있다: 다수의 사람들이 스마트 데스크탑을 둘러싸고 있고, 각각의 사람들은 휴대폰과 같은 관련 디바이스를 갖고 있다. 구체적인 상황은 다음을 포함할 수 있다: 사용자가 특정한 행동 (컨텐츠 전송 버튼을 클릭)을 수행한다. 사용자의 행동이 검출된 후, 스마트 데스크탑은 스마트 데스크탑 상의 지정된 컨텐츠를 지정된 관련 디바이스로 전송한다.
(7) 스마트 데스크탑은, 관련 디바이스로부터 전송된 컨텐츠를 수신하고, 관련 디바이스에 의해 가려진 영역을 결정하고, 수신된 컨텐츠를 결정된 영역에 표시한다.
예를 들어, 적용 상황은 다음을 포함할 수 있다: 다수의 사람들이 스마트 데스크탑을 둘러싸고 있고, 각각의 사람들은 휴대폰과 같은 관련 디바이스를 갖고 있다. 구체적인 상황은 다음을 포함할 수 있다: 사용자가 휴대폰과 같은 관련 디바이스를 휴대폰의 컨텐츠를 표시하고자 하는 스마트 데스크탑 상의 영역에 올려 놓는다. 이때, 스마트 데스크탑은 관련 디바이스에 의해 영역이 가려진 것을 감지한다. NFC와 Wi-Fi와 같은 방식을 통해 컨텐츠가 전송될 수 있고, 영역에 표시될 수 있다.
일부 실시 예에서, 스마트 데스크탑은 연결 관계를 갖는 관련 디바이스를 포함할 수 있다.
102 단계에서 지정된 표시 방식에 기초하여 스마트 데스크탑 상에 컨텐츠를 표시하는 방식은 다음을 포함한다:
연결 관계에 따라 관련 디바이스의 컨텐츠를 획득하고, 획득한 컨텐츠를 지정된 표시 방식에 기초하여 표시한다.
종래기술에서, 사용자가 필기한 컨텐츠에 기반한 인증 방법은 다음을 주로 포함한다: 사용자가 사전에 설정된 서명 컨텐츠를 미리 필기한다. 디바이스는 서명 컨텐츠의 필적 특성 (필기 특성과 같은)을 기록하고 저장한다. 사용자를 인증해야 할 때, 사용자는 같은 서명 컨텐츠를 다시 필기한다. 디바이스는 사용자의 신원을 결정하기 위해, 현재 필기하고 있는 컨텐츠의 필적 특성과 저장된 필적 특성을 맞춘다. 그러나, 이 인증 방법에서는, 사용자가 손으로 필기한 컨텐츠를 사전에 등록해야 하고, 인증하는 동안에 일정한 서명 컨텐츠를 필기해야 한다. 사용자는 자유롭게 필기할 수 없고, 이는 사용자에게 불편을 초래할 수 있다.
일 실시 예에 따르면, 사용자 인증 방법을 더 제공한다. 사용자 인증 방법에 기초하여, 사용자가 미리 손으로 필기한 컨텐츠를 등록하지 않아도 되고, 사용자 인증은 사용자가 자유롭게 필기하고 있을 때 실행된다.
도 2는 본 명세서의 일부 실시 예에 따른 사용자 인증 방법을 나타내는 흐름도이다.
도 2에서 도시된 바와 같이, 방법은 다음을 포함한다.
201 단계에서, 필기한 컨텐츠가 수신되고, 필기한 컨텐츠의 필적 특성과 필기 보조 특성에 기초하여 사용자 특성이 생성되고, 사용자 특성이 저장된다.
이하, 본 디바이스는 사용자가 사전에 설정한 서명 컨텐츠를 필기하지 않아도 되고, 사용자가 자유롭게 필기하는 것을 허용한다. 이때, 장치는 사용자의 신원을 모른다. 실시간으로 사용자가 필기한 컨텐츠 입력을 수신하고 있을 때, 디바이스가 필기된 컨텐츠의 필적 특성(압력, 속도, 가속, 획 특성 등)을 기록하고, 필기 보조 특성(위치 좌표, 시간 정보, 필기 방향과 필기의 텍스트 줄 방향) 또한 기록한다. 그 다음, 디바이스는 현재 사용자의 사용자 특성을 특성 도출 알고리즘을 통해 생성할 수 있고, 사용자 특성을 디바이스 내에 저장한다.
202 단계에서, 인증될 사용자가 필기한 컨텐츠가 수신되고, 인증될 사용자가 필기한 컨텐츠의 필적 특성과 필기 보조 특성에 기초하여 인증될 사용자 특성이 생성되고, 인증될 사용자 특성이 저장된 사용자 특성과 일치하는 경우, 인증이 성공한다.
인증될 사용자가 연속적으로 필기하고 있을 때, 필적 특성(압력, 속도, 가속, 획 특성 등)과 필기 보조 특성(위치 좌표, 시간 정보, 필기 방향과 필기의 텍스트 줄 방향 등)에 기초하여 인증될 사용자 특성이 생성된다. 인증될 사용자 특성은 디바이스에 저장된 사용자 특성과 비교된다. 맞춰 보는 동안, 필적 특성, 필기 위치 좌표, 시간 연속성, 필기 방향, 텍스트 줄 방향, 필기 영역, 필기된 컨텐츠 등 다양한 기준에 기초하여 디바이스가 사용자의 신원을 결정할 수 있다.
인증될 사용자 특성이 저장된 사용자 특성과 일치하는 경우, 사용자 신원 인증이 성공한다. 반대로, 인증될 사용자 특성이 어떠한 저장된 사용자 특성과도 일치하지 않는 경우, 인증될 사용자 특성이 저장되고, 현재 사용자의 새로운 식별자가 만들어진다.
일 실시 예에 따르면, 관련 디바이스를 포함하는 스마트 데스크탑의 컨텐츠 표시 방법을 더 제공한다.
도 3은 본 명세서의 일부 실시 예에 따른 관련 디바이스를 포함하는 스마트 데스크탑의 컨텐츠 표시 방법을 나타내는 흐름도이다.
도 3에서 도시된 바와 같이, 방법은 다음을 포함한다.
301 단계에서, 관련 디바이스와의 연결 관계가 수립된다.
302 단계에서, 연결 관계에 기초하여 스마트 데스크탑 및/또는 관련 디바이스의 컨텐츠가 관련 디바이스와 교환된다.
특히, 스마트 데스크탑 및/또는 관련 디바이스의 컨텐츠를 상호 교환하는 방법은 다음 중 하나 이상을 포함할 수 있다:
(1) 스마트 데스크탑의 컨텐츠 중 배포될 컨텐츠를 결정하고, 관련된 디바이스 중에서 상기 배포될 컨텐츠를 수신할 관련 디바이스를 결정한다; 컨텐츠 배포 인스트럭션에 따라, 배포될 컨텐츠를 수신할 관련 디바이스에게, 상기 배포될 컨텐츠를 전송한다.
지정된 관련 디바이스로부터 제공된 컨텐츠의 편집 정보를 획득하고, 지정된 관련 디바이스로 편집 정보를 전송한다.
스마트 데스크탑 상에서 공유될 컨텐츠를 결정하고, 상기 공유될 컨텐츠를 지정된 관련 디바이스로 전송한다; 스마트 데스크탑에 의해 공유되는 컨텐츠에 대한 관련 디바이스의 편집 정보를 수신하고, 수신된 편집 정보를 표시한다.
(4) 관련 디바이스에 의해 가려지는 스마트 데스크탑의 영역을 결정하고, 스마트 데스크탑의 영역 내에 있는 컨텐츠를 관련 디바이스로 전송한다.
(5) 스마트 데스크탑 상의 지정된 컨텐츠를 지정된 관련 디바이스로 전송한다.
(6) 관련 디바이스가 전송한 컨텐츠를 수신하고, 관련 디바이스에 의해 가려지는 영역을 결정하고, 수신된 컨텐츠를 지정된 영역에 표시한다.
이하, 본 명세서의 상기 솔루션은 첨부된 실시 예를 참고로 하여 상세히 설명한다.
도 4는 다자간 회의를 나타내는 모식도이다. 도 4에서 도시된 바와 같이, 여러 사용자들이 스마트 데스크탑을 둘러싸고 앉고 회의를 시작한다. 각 사용자가 스마트 데스크탑 상의 본인과 가까운 영역에 본인의 필기 습관에 따라 컨텐츠를 필기할 수 있다.
종래기술에서, 다양한 방향에서 사용자의 뷰잉(viewing) 조건을 충족할 수 없다. 예를 들어, 여러 사용자들이 컨텐츠를 필기하기 위해 스마트 데스크탑을 사용할 때, 사용자들이 앉은 위치와 시선 방향이 다르기 때문에 다른 사용자들이 필기한 컨텐츠를 보기가 불편하다. 예를 들어, 얼굴을 맞대고 앉아있는 사용자들의 시선 방향은 정반대이다. 따라서, 그들은 서로 다른 사용자가 필기한 컨텐츠를 보기가 어렵다.
실시 예1
이하, 솔루션을 상세히 설명한다: 스마트 데스크탑의 컨텐츠의 표시 인스트럭션을 검출; 지정된 표시 방식에 따라 스마트 데스크탑 상에 컨텐츠를 표시한다. 지정된 표시 방식은 다음을 포함할 수 있다: 스마트 데스크탑 상의 컨텐츠의 상대적인 위치에 기반한 썸네일 안에 컨텐츠를 표시한다.
도 4에서 도시된 바와 같이, 노트를 적고, 솔루션을 필기하고, 그림을 그리는 등 컨텐츠를 필기해야 하는 경우가 흔히 있다. 여러 사용자들이 스마트 데스크탑을 이용하여 컨텐츠를 필기할 때, 그들의 앉은 위치와 방향이 다르기 때문에, 다른 사용자들이 필기한 컨텐츠를 보는 것이 불편하다.
상황: 사용자A가 브레인 스토밍(brain storm)을 진행하고 있다. 다른 사용자들은 그들의 생각을 스마트 데스크탑 상의 각 위치에 필기하였다. 사용자A는 모든 사용자들의 솔루션을 보고 싶다.
솔루션: 컨텐츠의 상대적인 위치에 기반한 썸네일
본 명세서에 기초하여, 사용자A의 조작에 따라 썸네일이 제공될 수 있다. 제공 방식은 다음 중 하나 이상을 포함한다.
(1) 음성 조작
사용자A가 “썸네일을 보고 싶습니다.”라고 음성을 제공한다. 이때, 스마트 데스크탑은 썸네일을 사용자A앞의 빈 공간에 표시한다. 사용자A 앞의 영역이 채워져 있는 경우, 썸네일과 같은 크기의 영역 내에 있는 사용자A 앞의 컨텐츠는 썸네일을 표시하기 위해 숨겨질 수 있다.
(2) 물리적 버튼 조작
사용자A가 스마트 데스크탑 상의 특정 버튼을 누름으로써 썸네일을 불러올 수 있다.
(3) 터치 스크린 (touch screen) 조작
사용자 A가 스크린을 터치함으로써 썸네일을 불러올 수 있다. 예를 들면, 스크린을 더블 클릭한다. 이때, 스마트 데스크탑은 사용자가 스크린을 터치한 위치 상에 썸네일을 표시한다. 이 위치에 컨텐츠가 있는 경우, 썸네일과 같은 크기의 영역 내에 있는 컨텐츠는 썸네일을 표시하기 위해 일시적으로 숨겨질 수 있다.
(4) 제스처(gesture) 조작
사용자A가 손을 스와이프(swipe)하는 등의 제스처 동작을 제공한다. 이때, 스마트 데스크탑이 사용자A의 제스처 동작을 카메라를 통해 포착하고, 사용자 A 앞의 빈 영역 안에 썸네일을 표시한다. 사용자A 앞의 영역이 채워져 있는 경우, 썸네일과 같은 크기의 영역 내에 있는 사용자A 앞의 컨텐츠는 썸네일을 표시하기 위해 숨겨질 수 있다.
(5) 외부 컨트롤러(controller)를 조작
사용자가 스타일러스 펜의 버튼을 누르는 등 외부 컨트롤러를 조작한다. 이때, 스마트 데스크탑은 스타일러스 펜이 가리킨 위치에 썸네일을 표시한다. 이 위치에 컨텐츠가 있는 경우, 썸네일과 같은 크기의 영역 내에 있는 컨텐츠는 썸네일을 표시하기 위해 일시적으로 숨겨질 수 있다.
도 5는 본 명세서의 실시 예1에 따른 썸네일의 표시를 나타내는 모식도이다. 도 5의 좌측 부분은 다른 사용자들이 다른 필기 위치와 방향을 가질 때, 스마트 데스크탑의 실제 표시를 나타낸다. 사용자가 다른 사용자들이 필기한 컨텐츠를 보고 싶어하면, 도 5의 우측 부분처럼 썸네일을 불러올 수 있다.
사용자는 사용자의 썸네일에 대해 다양한 설정을 가질 수 있다. 설정은 다음을 포함할 수 있다.
(1) 손으로 필기하지 않은 컨텐츠가 썸네일에 표시되었는지 여부
시청자로서, 손으로 필기한 컨텐츠만 표시하도록 사용자A가 승인하였을 때, 스마트 데스크탑의 사용자들(모든 사용자 또는 시청자를 제외한 다른 사용자들)이 오직 손으로 필기한 컨텐츠만 썸네일 내에 표시되고, 텍스트, 이미지, 슬라이드 및 비디오와 같이 손으로 필기되지 않은 컨텐츠는 표시되지 않는다.
(2) 사용자 자신의 컨텐츠가 썸네일 내에 표시되는지 여부
시청자로서, 오직 자기 자신의 컨텐츠만 표시하도록 사용자A가 승인하였을 때, 사용자A(시청자)의 컨텐츠가 썸네일 내에 표시된다. 사용자A가 자기 자신의 컨텐츠를 표시하지 않도록 승인한 경우, 사용자A의 컨텐츠가 썸네일 내에 표시되지 않는다.
(3) 다른 사용자들의 컨텐츠가 다른 색으로 구별되는지 여부
일 실시 예에 따라, 다른 사용자들이 필기한 컨텐츠를 획득하기 위해, 다른 사용자들을 그들의 필적에 따라 인식하는 것이 가능하다.
사용자A가 다른 사용자들의 컨텐츠를 색으로 구별하는 것을 승인한 경우, 다른 사용자들이 필기한 컨텐츠들은 스마트 데스크탑 상의 썸네일 내에서 다른 색으로 구별될 수 있다. i.e., 다른 사용자가 필기한 컨텐츠는 다른 필적 색을 갖는다. 예를 들어, 사용자B가 스마트 데스크탑의 좌측 상단 모서리 및 좌측 하단 모서리에 필기한다. 이때, 시스템이 두 영역 내의 컨텐츠 모두 사용자B에 의해 필기된 것임을 인식한다. 사용자A가 썸네일을 보았을 때, 두 영역 내의 컨텐츠가 같은 색으로 표시되고, 이는 다른 사용자들이 필기한 컨텐츠의 색과는 다르다. 사용자B가 두 영역에 다른 색상으로 필기하였어도, A가 불러온 썸네일에는 한 가지 색으로 표시된다.
사용자A가 모든 컨텐츠를 원래의 색으로 표시하는 것을 승인한 경우, 스마트 데스크탑의 썸네일 내의 컨텐츠는 원래 필기된 색으로 유지된다. 예를 들어, 사용자B가 스마트 데스크탑의 좌측 상단 모서리와 좌측 하단 모서리 모두에 필기하였고, 좌측 상단 모서리의 컨텐츠는 검정색으로, 좌측 하단 모서리의 컨텐츠는 파란색으로 필기하였다. 이때, 사용자A가 보는 썸네일 내에서, 좌측 상단 모서리의 컨텐츠는 여전히 검은색으로 표시되고, 좌측 하단 모서리의 컨텐츠는 여전히 파란색으로 표시된다.
일 실시 예에 따라, 사용자 정보(사용자 이름, 사용자 상반신 이미지, 등)는 각 사용자가 필기한 컨텐츠와 인접한 영역의 썸네일에 표시될 수 있다.
일 실시 예에 따라, 사용자 정보 (e.g. 사용자 이름, 사용자 머리 이미지, 등)는 각 사용자가 필기한 컨텐츠에 인접한 썸네일 내에 표시될 수 있다. 또한, 사용자A가 썸네일 내의 컨텐츠를 선택할 때 (e.g. 닫힌 영역 내에서) 사용자A가 선택한 컨텐츠에 대응하는 사용자 정보가 표시될 수 있다.
(4) 썸네일의 크기와 위치를 선택
썸네일의 크기와 위치를 자동적으로 결정하도록 승인되었을 때, 썸네일의 초기 크기는 시스템 내에서 설정된 평균 크기이고, 표시 위치는 자동적으로 결정된다. 스마트 데스크탑은 썸네일을 가급적이면 사용자에 대응하는 표시 영역의 빈 영역에 표시한다. 대응하는 표시 영역 내의 빈 영역이 시스템 내에서 설정된 썸네일의 평균 크기보다 약간 작을 때 (예를 들면, 대응하는 표시 영역 내의 빈 영역의 크기와 시스템에 의해 설정된 썸네일의 평균 크기의 차이가 사전에 설정된 영역 임계값 보다 작을 때), 썸네일의 크기가 표시 영역에 대응하는 빈 영역에 맞도록 썸네일의 크기를 약간 더 작아지게 할 수 있다. 그러나, 표시 영역에 대응하는 빈 영역이 시스템에 의해 설정된 썸네일의 평균 크기보다 훨씬 작다면 (예를 들면, 대응하는 표시 영역의 빈 영역의 크기와 시스템에 의해 설정된 썸네일의 평균 크기의 차이가 사전에 설정된 영역 임계값보다 작지 않을 때), 사용자는 다음 레벨 옵션(level option)들로 진행해야 한다:
i. 가리기 모드 (기존의 컨텐츠를 가린다)
사용자가 썸네일을 보는 동안 자신이 필기한 컨텐츠를 보지 않아도 될 때, 이 옵션을 선택할 수 있다. 이때, 스마트 데스크탑은 사용자에 대응하는 표시 영역에 썸네일을 표시하고, 썸네일에 의해 가려지는 컨텐츠를 일시적으로 숨긴다.
ii. 삽입 모드 (컨텐츠 내로 삽입한다)
사용자가 썸네일을 보는 동안 자신이 필기한 컨텐츠를 보아야 하는 경우, 이 옵션을 선택할 수 있다. 이때, 스마트 데스크탑은 사용자에 대응하는 표시 영역의 끝 부분에 썸네일을 삽입한다. 계속하여, 사용자가 손으로 필기한 컨텐츠가 썸네일 주위에 표시된다. 사용자에 대응하는 표시 영역 상에 사용자가 손으로 필기한 컨텐츠를 표시할 공간이 충분하지 않게 되면, 레이아웃을 바꾸거나 다수의 페이지로 나누는 솔루션을 이용할 수 있다.
썸네일의 크기와 위치를 수동적으로 결정하도록 승인되었을 때, 사용자는 터치 스크린 제스처를 통해서 크기와 위치를 결정한다. 예를 들어, 터치 데스크탑이 사용자가 스크린 상에서 적어도 두 위치를 동시에 터치한 것을 검출한다. 스마트 데스크탑은 검출된 사용자의 터치 위치에 따라 위치와 크기를 결정한다. 예를 들어, 사용자가 왼쪽 검지로 스크린의 좌측 하단을 터치하고, 오른쪽 검지로 스크린의 우측 상단을 터치할 때, 왼쪽 검지가 누르는 위치는 썸네일의 좌측 하단 모서리가 될 것이고, 오른쪽 검지가 누르는 위치는 썸네일의 우측 상단 모서리가 될 것이다. 이때, 사용자가 결정한 위치에 컨텐츠가 존재하는 경우, 다음 레벨 옵션으로 진행하는 것이 가능하다.
i. 가리기 모드 (기존의 컨텐츠를 가린다); ii. 삽입 모드 (컨텐츠 내로 삽입한다)
(5) 썸네일을 생성하고자 하는 영역을 선택한다
썸네일 프레임(frame) 안에, 현재 스크린의 축소된 스크린샷(screenshot)이 표시된다. 100% 전체 스크린이 디폴트(default)로 선택된다. 이때, 사용자가 썸네일을 구성할 영역을 스크린샷이나 썸네일 프레임을 드래그함으로써 선택할 수 있다. 사용자에 의해 선택된 영역의 가장자리가 컨텐츠의 전부를 자를 때, 컨텐츠의 전부를 포함하도록 가장자리는 자동적으로 확장될 수 있다. 사용자가 스크린 내의 단지 일부 컨텐츠에만 관심 있을 때, 사용자는 이 방식을 통해 이와 같은 영역을 선택할 수 있다. 시스템은 사용자가 선택한 영역에 대한 썸네일을 생성할 것이다.
일 실시 예에 따라, 사용자가 썸네일을 불러온 후 설정 인터페이스가 제공될 수 있다. 사용자는 설정 인터페이스 상에서 위에서 설명한 것과 같이 설정할 수 있다. 스마트 데스크탑은 사용자의 설정에 따라 대응하는 썸네일을 표시한다. 임의로, 사용자는 썸네일의 표시 방식 또한 미리 설정할 수 있다. 사용자가 썸네일을 불러온 후에, 스마트 데스크탑은 사용자가 사전에 설정한 표시 방식에 따라 대응하는 썸네일을 표시한다.
또한, 썸네일을 표시할 때, 사용자는 실시간으로 썸네일의 표시 방식을 조정할 수 있다. 스마트 데스크탑은 표시된 썸네일을 동적으로 조정할 수 있다. 예를 들어, 사용자가 자신이 필기한 컨텐츠가 썸네일 내에 표시되지 않도록 사전에 설정한다. 따라서, 스마트 데스크탑이 초기에 표시하는 썸네일은 사용자가 필기한 컨텐츠를 포함하지 않는다. 썸네일을 보는 동안 사용자가 사전에 설정된 동작 방식(음성, 스크린 제스처 등)을 통해 자신이 필기한 컨텐츠를 표시하도록 설정한다면, 스마트 데스크탑은 실시간으로 사용자가 필기한 컨텐츠가 썸네일 내에 나타나도록 썸네일을 동적으로 조정한다.
일 실시 예에 따라, 썸네일 내에 표시되어야 할 컨텐츠들은, 스마트 데스크탑 상의 컨텐츠들 간의 상대적인 위치에 따라, 썸네일 내에 표시될 수 있다. 다시 말해서, 썸네일 내의 각 컨텐츠 사이의 위치 관계와 스마트 데스크탑 상에서의 각 컨텐츠 사이의 위치 관계는 일관성이 있다.
설정이 완료된 후에, 시스템은 썸네일 프레임 안에 썸네일을 표시한다. 썸네일 내에 컨텐츠를 표시하는 것은 다음을 포함한다.
(1) 블록 나누기
시스템은 어떤 컨텐츠들이 관련성이 높은지(단락은 분리될 수 없다.) 결정할 수 있고, 이러한 컨텐츠를 다음 상관관계들에 기초하여 하나의 블록으로 간주한다:
(a) 컨텐츠 상관관계: 필적 인식, 의미 분석, 기호 검출, 및 텍스트 요약과 같은 기법에 기초하여 컨텐츠의 일부분이 컨텐츠의 다른 부분과 의미상으로 가까운 관계를 갖는지 결정된다. 예를 들어, 단락에 대한 심벌마크(symbol mark) 또는 수정된 컨텐츠는 상기 단락의 컨텐츠와 매우 관련되어 있다.
(b) 위치 상관관계: 두 부분의 위치 관계에 기초하여 손으로 필기한 컨텐츠의 두 부분이 높은 상관관계를 갖는 지 여부가 결정된다. 예를 들면, 비슷한 위치에서 왼쪽 및 오른쪽 경계로 정렬된 두 단락은 높은 상관관계가 있는 것으로 결정된다.
(c) 시간 순서 상관관계: 필기된 컨텐츠의 시간 순서가 검출된다. 예를 들어, 연속적으로 필기된 컨텐츠는 높은 시간 순서 상관관계를 갖는다.
(d) 사용자 상관관계: 컨텐츠의 필적 특성 및 서체 크기가 검출된다. 두 부분이 같은 사용자에 의해 필기되었을 경우, 사용자 상관관계가 높다.
스마트 데스크탑은 위의 상관관계 중 하나 이상에 기초하여, 스마트 데스크탑 상의 컨텐츠를 하나 또는 그 이상의 컨텐츠 블록으로 나눌 수 있으며, 상관관계는 다음 우선 순위에 따라 고려된다: 컨텐츠 상관관계, 위치 상관관계, 시간 순서 상관관계 및 사용자 상관관계
컨텐츠를 블록으로 나눈 후에, 나누어진 블록들은 블록 확장 및 컨텐츠 조정을 포함하는 재배열을 할 수 있다.
(2) 블록 확장
컨텐츠 블록이 결정된 후에, 각 컨텐츠 블록은 의미 있고 불가분의 독립적인 컨텐츠를 대표한다. 시스템은 모든 블록의 경계를 결정할 수 있다. 스크린 상의 남겨진 부분은 컨텐츠를 포함하지 않는 빈 영역이다. 빈 영역은 썸네일 내의 중복된 영역이고 의미가 없기 때문에, 컨텐츠 블록 사이의 중복된 영역은 하나 혹은 하나 이상의 컨텐츠 블록을 확장함으로써 제거될 수 있고, 이를 통해 썸네일의 뷰잉 효과를 개선하고 화면 자원을 절약할 수 있다. 블록 확장 방식은 다음을 포함한다:
(a) 블록 정보 엔트로피(entropy) 검출 : 각 블록에 대하여, 블록 크기, 평균 서체 크기, 글자의 개수, 이미지의 크기, 그래프 컨텐츠 밀집도 등과 같은 요소에 기초하여 블록의 정보 엔트로피가 결정된다. 정보 엔트로피가 클수록, 컨텐츠가 크고 밀집되어 있다. 예를 들어, 넓은 영역이 단지 몇 개의 매우 큰 글자들을 포함한다면, 정보 엔트로피는 상대적으로 작다. (b) 확장 속도를 결정: 각 블록의 확장 속도(음수일 수 있다, i.e., 블록 축소)는 블록의 정보 엔트로피에 의해 결정된다. 이때, 모든 블록들의 경계는 각각의 확장 속도에 의해 확장될 것이다. E.g. 바깥 쪽으로 1초에 5mm씩 확장. (c) 확장 정지 조건: 확장하는 동안 두 블록의 경계가 만날 때, 두 블록의 확장은 정지한다. 이것은 모든 블록들의 확장이 정지할 때 까지, 다른 블록들의 확장에는 영향을 주지 않는다. 축소되고 있는 블록에 대하여, 블록이 시스템에 의해 설정된 임계값까지 축소되었을 때 축소가 중지된다. (컨텐츠의 서체 크기와 같은 요소와 관련 있다.)
도 6은 본 명세서의 실시 예1에 따른 썸네일의 표시 나타내는 모식도이다. 도 6에 도시된 바와 같이, “② 압축된 빈 영역”은 블록 확장의 결과를 나타낸다.
본 명세서에 의해 제공된 블록 확장은 임의로 선택할 수 있는 단계이다. 블록 확장의 목적은 빈 공간을 압축하기 위함이다. 블록 확장을 구현시키는 위 솔루션 외에도, 스마트 데스크탑은 다른 방식을 통해서도 빈 영역을 압축시킬 수 있다. 예를 들면, 사용자가 지정된 컨텐츠를 선택하고, 스마트 데스크탑이 확장된 표시를 제공하도록 조작을 통해 지시한다(e.g., multi-finger 확장 조작). 위 조작을 검출한 후에, 스마트 데스크탑은 사용자에 의해 지정된 컨텐츠에 대한 확장된 디스플레이를 제공하고, 사용자의 확장 조작 종료 지시를 검출한 후, 확장 조작을 종료한다.
(3) 컨텐츠 조정
각 블록의 경계가 결정된 후, 컨텐츠는 다음과 같이 조정될 수 있다: (1) 방향 조정: 스마트 데스크탑은 시청자(viewer)의 시선 방향을 결정하고, 시청자의 시선 방향에 따라 썸네일 내의 컨텐츠의 표시 방향을 조정한다. 예를 들어, 시청자의 시선 방향과 일치하도록 썸네일 내의 각 블록의 컨텐츠의 표시 방향을 조정함으로써, 시청자는 다른 사용자들이 필기한 컨텐츠를 편리하게 볼 수 있다; 이 중에서, 시청자의 시선 방향은 카메라로 수집한 시청자의 이미지에 의해 결정될 수 있다, e.g., 시청자의 이미지를 통해 시선 방향을 바로 결정하거나, 또는 시청자가 앉아있는 자세를 시청자의 이미지를 통해 획득하고, 시청자의 앉은 자세에 기초하여 시청자의 시선 방향을 획득한다. 시선 방향도 시청자의 필적 특성을 통해 결정될 수 있고, 또는 시청자에 의해 지정될 수 있다. 도 6에 도시된 바와 같이, “①컨텐츠 방향 변화”는 방향 조정 이후 결과를 나타낸다.
(2) 서체 조정: 스마트 데스크탑은 썸네일 내의 각 블록의 컨텐츠의 서체를 컨텐츠가 블록을 정확하게 채울 수 있도록 하는 적합한 서체로 조정하고, 사용자는 손으로 필기한 컨텐츠를 가능한 한 명확하게 볼 수 있다. 스마트 데스크탑은 각 블록에 대한 서체 조정을 각각 수행한다. 각 블록의 서체 조정 정도는 다를 수 있다. 그러므로, 비-비례적 스케일링(non-proportional scaling)이라고도 부른다. 도 6에 도시된 바와 같이, “③ 비비례적 스케일링”은 서체 조정 이후의 결과를 나타낸다.
(3) 요약 표시: 스마트 데스크탑은 썸네일 내의 컨텐츠에 기초하여 자동적으로 요약을 생성할 수 있다. 예를 들어, 특정 블록의 서체 크기가 임계값보다 작다면(썸네일의 크기와 사용자와 썸네일 사이의 거리와 연관되어 있고, 임계값은 사용자가 바로 명확하게 볼 수 있는 서체 크기를 나타낸다.), 스마트 데스크탑은 블록의 컨텐츠를 요약 형태로 표시한다. 사용자에 의해 요약 생성을 제어하는 것도 가능하다. 예를 들어, 사용자는 썸네일 뷰잉 과정 중에 실시간으로 컨텐츠를 조정할 수 있다, e.g., 음성, 스크린 제스처와 같은 조작을 통해 컨텐츠의 특정 부분이 요약 형태로 표시되도록 설정할 수 있다. 사용자의 조작을 검출한 이후, 스마트 데스크탑은 사용자가 선택한 컨텐츠의 일부에 대한 요약을 생성하고, 썸네일 내에 컨텐츠 일부의 요약을 표시한다. 사용자가 요약에 대응하는 완전한 컨텐츠를 보는 것 또한 가능하다.
또한, 썸네일은 더 나아가 다음과 같은 기능을 가질 수 있다.
1. 프라이버시(privacy) 설정
사용자는 제스처로 닫힌 영역을 선택하는 것과 같은 방식을 통해 본인의 컨텐츠의 일부를 개인 컨텐츠로 설정하고, 다른 사용자들에게 보이지 않기를 희망할 수 있다. 또한, 사용자는 어떤 사용자들에게 개인 컨텐츠를 노출하고 싶지 않은지 선택할 수 있다. 이 때, 스마트 데스크탑은 선택된 사용자가 썸네일을 여는 것을 검출하면, 사용자의 개인 컨텐츠는 블록에 나타나지 않도록 할 수 있다. 즉, 스마트 데스크탑은 사용자의 개인 컨텐츠를 썸네일 내에 숨긴다.
썸네일 내의 개인정보를 숨기는 것은 다음을 포함한다: 개인정보를 표시하지 않고, 또는 개인정보를 개인 식별자로 대체하는 것.
특히, 개인 식별자, 예를 들면 “개인 컨텐츠”,는 썸네일 내의 개인정보에 대응하는 영역에 표시될 수 있다. 또는, 표시 공간을 효율적으로 절약하기 위해서, 정보를 표시하지 않고 대응하는 영역을 다른 컨텐츠를 표시하기 위해 압축할 수 있다.
도 6에 도시된 바와 같이, “④ 개인정보 숨김”은 프라이버시 설정 이후의 결과를 나타낸다.
또한, 일 실시 예에 따라, 스마트 데스크탑은 자동적으로 사용자의 컨텐츠가 개인정보인지를 감지할 수 있다. 예를 들어 일종의 개인 계좌 내의 숫자, 사용자 이름, 비밀 번호와 같은 컨텐츠가 검출되면, 대응하는 컨텐츠가 개인 컨텐츠일 수도 있다고 결정된다.
2. 확대 보기
사용자A가 썸네일 일부(e.g. 요약)의 상세한 원본 컨텐츠를 보고 싶을 때, 사용자A는 터치 스크린을 클릭 하는 방식으로 블록을 선택할 수 있다. 이때, 스마트 데스크탑은 사용자의 조작이 컨텐츠를 선택한 것을 검출하고, 선택된 컨턴츠를 썸네일 내에 및/또는 썸네일 주변 영역에 확대된 방식으로 표시한다. i.e., 선택된 블록의 컨텐츠는 썸네일 내에 또는 썸네일 주변에 원본 컨텐츠의 서체와 레이아웃과 함께 표시된다. 컨텐츠가 많은 경우, 왼쪽-오른쪽 및 위-아래 스크롤과 같은 보기 방식이 제공될 수 있다. 도 6에 도시된 바와 같이, “⑤줌인”은 확대 보기의 결과를 나타낸다.
3. 컨텐츠 업데이트
(1) 사용자A가 썸네일을 볼 때, 다른 사용자가 컨텐츠를 수정 또는 보충할 때, 스마트 데스크탑은 컨텐츠 업데이트를 감지한 경우 썸네일 내에서 사용자에게 알린다. 예를 들어, 시간 순서(e.g필기를 잠시 멈추었다)와 같은 방식을 통해 다른 사용자의 수정이 일시적으로 완료되었음을 결정하는 경우, 스마트 데스크탑은 업데이트 프롬프트를 사용자A의 썸네일 상에 있는 컨텐츠의 블록 내에 아이콘 또는 그라디언트(gradient) 배경 색상의 형태로 표시한다. 사용자A는 썸네일의 컨텐츠 상의 터치 스크린을 클릭함으로써 컨텐츠 인스트럭션을 제공할 수 있고, 스마트 데스크탑은 사용자 인스트럭션에 따라 썸네일 내 컨텐츠의 이 일부분을 업데이트 한다.
(2) 스마트 데스크탑은 컨텐츠에 변화가 있는지 실시간으로 검출할 수 있다. 컨텐츠 내에 업데이트가 있는 것을 검출하였을 때, 스마트 데스크탑은 썸네일 내 컨텐츠의 이 일부분을 직접적으로 업데이트할 수 있고, 업데이트 된 컨텐츠를 표시할 수 있다. 이 방식은 인스턴트(instant) 썸네일 업데이트 방식이라고도 부를 수 있다. 이 과정은 블록 크기의 변화에 이르게 할 수 있다. 도 6에 도시된 바와 같이, “⑥프롬프트 업데이트”는 컨텐츠 업데이트의 결과를 나타낸다.
상기 과정에서, 썸네일에 컨텐츠가 표시되었을 때, 사용자 상관관계에 따라 블록 나누기가 수행될 수 있다. i.e., 사용자가 필기한 컨텐츠에 따라, 블록이 나누어 질 수 있는데, 이를 수행하기 위해서는 스마트 데스크탑이 어떤 컨텐츠가 어떤 사용자에 의해 필기된 것인지를 알아야한다. 따라서, 필기된 컨텐츠의 사용자를 인증하는 과정이 필요하다.
일 실시 예에 따른 사용자 인증 솔루션은 다음을 포함한다: 사용자가 필기하기 시작했을때, 스마트 데스크탑은 사용자가 자유롭게 필기할 수 있도록 한다. 이때, 시스템은 사용자의 신상 정보에 대해 모른다. 스마트 데스크탑이 사용자가 필기한 컨텐츠 입력을 실시간으로 수신한다. 이때, 스마트 데스크탑은 압력, 속도, 가속도, 획 특성 등과 같은 필기된 컨텐츠의 필적 특성을 저장하고, 필기할 때의 위치 좌표, 시간 정보, 필기 방향, 텍스트 줄 방향과 같은 필기 보조 특성을 저장한다.
필기된 컨텐츠의 필적 특성과 필기 보조 특성에 따라, 현재 사용자의 사용자 특성은 특성 도출 알고리즘을 통해 생성될 수 있고 스마트 데스크탑 내에 자동적으로 저장될 수 있다. 사용자가 연속적으로 필기할 때, 인증될 사용자가 필기한 컨텐츠의 필적 특성과 필기 보조 특성에 기초하여 인증될 사용자 특성을 생성한다. i.e., 사용자 특성은 실시간으로 업데이트 될 것이다.
이때, 스마트 데스트탑이 인증될 사용자 특성과 저장된 사용자 특성을 맞춰보고, 필적 특성, 필기 위치 좌표, 시간 연속성, 필기 방향, 텍스트 줄 방향, 필기 영역 및 필기한 컨텐츠의 의미상의 정보와 같이 다양한 기준에 기초하여 사용자의 신원을 결정한다. 인증될 사용자 특성이 저장된 사용자 특성과 일치하는 경우, 사용자 신원 인증이 성공한다. 그렇지 않은 경우, 현재 사용자에 대하여 새로운 계정(사용자 식별자)가 생성된다. 필기에 대한 위치 좌표, 시간 정보, 필기 방향, 텍스트 줄 방향, 필기된 컨텐츠의 의미상의 정보 또한 저장된다.
이후 사용자 인증이 성공하고, 사용자가 필기한 컨텐츠는 대응하는 사용자의 사용자 식별자와 함께 저장될 수 있다. 그 후에, 저장된 사용자 식별자 및 이에 대응하는 필기된 컨텐츠를 통해 스마트 데스크탑 상의 어떤 컨텐츠가 어떤 사용자에 의해 필기되었는지 알 수 있다.
일부 실시 예에서, 스마트 데스크탑은 독립적인 디바이스 또는 다수의 상호 연결된 관련 디바이스로 실행될 수 있다.
스마트 데스크탑이 상호 연결된 관련 디바이스를 포함할 때, 각 사용자는 관련 디바이스를 각각 사용할 수 있다 (e.g. 각 사용자가 태블릿 컴퓨터를 사용한다). 각 사용자는 본인의 관련 디바이스 상에서 썸네일을 호출함으로써 다른 관련 디바이스 상에서 다른 사용자가 필기한 컨텐츠를 볼 수 있다. 사용자들의 관련 디바이스들은 무선(Wi-Fi, 적외선, 블루투스 등)을 또는 유선 방식을 통해 연결될 수 있다. 사용자(시청자)가 사용하는 관련 디바이스가 썸네일을 불러오는 것이 사용자의 썸네일을 불러오는 조작을 검출한 후, 관련 디바이스가 다른 관련 디바이스들에 의해 표시된 컨텐츠를 획득하고, 관련 디바이스의 관계 위치를 검출하고, 관련 디바이스의 상대적인 위치를 스마트 데스크탑 상의 컨텐츠의 상대적인 위치라고 간주하고, 각 관련 디바이스 상에서 각각의 사용자가 필기한 컨텐츠를 같은 시간에 같은 관련 디바이스 상에서 각 사용자가 필기한 컨텐츠로 간주한다. 시청자가 사용하는 관련 디바이스는 각 관련 디바이스의 컨텐츠를 썸네일 내에 관련 디바이스의 관계 위치에 따라 표시한다.
시청자가 사용하는 관련 디바이스는 다음 중 적어도 하나의 방식을 통해 각 관련 디바이스의 상대적인 위치를 검출할 수 있다.
(1) 각 관련 디바이스의 네트워크 신호 검출 결과에 기초하여 각 관련 디바이스의 상대적 위치를 결정한다.
예를 들어, 각 관련 디바이스는 각 관련 디바이스의 무선 통신 신호(2G, 3G, 4G 등)의 검출 결과를 시청자가 사용하는 관련 디바이스로 전송한다. 각 관련 디바이스의 상대적인 위치를 획득하기 위해서, 관련 디바이스는 관련 디바이스의 무선 통신 신호의 검출 결과 및 다른 관련 디바이스에서 발송된 검출 결과에 따라 관련 디바이스와 다른 연관 디바이스 사이의 위치 관계를 결정한다.
또한, 시청자가 사용하는 관련 디바이스는 적외선 통신 신호, 블루투스 통신 신호, 무선 로컬 영역 네트워크와 같은 이것과 다른 관련 디바이스 사이의 더 많은 종류의 신호의 검출 결과가 합쳐진 것에 따라 각 관련 디바이스의 상대적인 위치를 결정할 수 있다.
(2) 각 관련 디바이스에 의해 제공된 상대적 위치 설정값에 기초하여 각 관련 디바이스의 상대적인 위치를 결정한다.
사용자가 초기에 스마트 데스크탑을 사용하거나, 또는 하나 이상의 사용자가 썸네일 호출을 요청할 때, 스마트 데스크탑은 상대적 위치 설정 인터페이스를 각 사용자가 사용하는 관련 디바이스 상에 표시한다. 설정 인터페이스는 관련 디바이스로 설정된 스마트 데스크탑에 대한 도표를 포함할 수 있다. 사용자는 스마트 데스크탑의 도표상에서 본인이 현재 있는 위치를 선택할 수 있다. 각 관련 디바이스는 사용자의 조작 선택에 따라 상대적 위치 설정값을 획득한다. 관련 디바이스는 그들의 상대적 위치 설정값을 서로와 교환할 수 있다. 각 관련 디바이스의 상대적 위치를 결정하기 위해서, 시청자가 사용하는 관련 디바이스는 관련 디바이스의 상대적 위치 설정값에 따라 각 관련 디바이스의 위치 토폴로지를 결정한다.
썸네일이 표시 될 때, 썸네일은 시청자의 전체 스크린을 차지할 수 있다. 스크린은 여러 부분으로 나누어질 수 있고, 각 부분은 각 사용자의 컨텐츠의 요약을 표시한다. 다른 기능은 스마트 데스크탑 상의 썸네일과 비슷하다.
일 실시 예에 따르면, 사용자가 썸네일 내에서 다른 사용자들이 필기한 컨텐츠를 볼 수 있음을 더 제공한다. 또한, 사용자가 다른 사용자가 필기한 컨텐츠를 편집하는 것이 가능하다. 스마트 데스크탑이 사용자에 의해 트리거 된 컨텐츠 편집 정보를 수신하고, 컨텐츠 편집 인스트럭션에 따라 썸네일 안의 컨텐츠를 편집하고, 이 때 편집은 삽입과 삭제 등을 포함할 수 있다.
컨텐츠를 삽입하는 경우: 사용자가 썸네일 안에서 다른 사용자가 필기한 컨텐츠를 보고, 오래 누르기와 같은 방식을 통해 컨텐츠를 필기할 위치를 선택한다. 이때, 커서 프롬프트가 이 위치에 제공될 수 있으며, 이는 사용자가 이 위치에 컨텐츠를 삽입하고 싶어함을 나타낸다. 이 위치 에 사용자가 필기한 컨텐츠가 삽입된다.
컨텐츠를 삭제하는 경우: 사용자가 썸네일 안에서 다른 사용자가 필기한 컨텐츠를 보고, 스크린 위에 선을 그리는 것과 같은 방식을 통해서 삭제할 컨텐츠를 선택한다. 이때, 선택된 컨텐츠 위에 취소선과 같은 식별자가 제공될 수 있고, 이는 컨텐츠가 삭제될 것임을 나타낸다.
또한, 사용자가 닫힌 영역을 선택하는 것과 같은 방식을 통해 수정될 컨텐츠를 선택할 수 있다. 이때, 선택된 컨텐츠에 대해 수정될 컨텐츠임을 나타내기 위해서 점선 직사각형과 같은 식별자가 제공될 수 있다. 사용자가 수정된 컨텐츠를 입력한다. 스마트 데스크탑이 원래 컨텐츠를 삭제하고 수정된 컨텐츠로 대체한다.
일 실시 예에 따라, 컨텐츠의 편집은 컨텐츠가 속해있는 사용자에 대응하는 표시 영역과 실시간으로 동기화 될 수 있다. 예를 들어, 사용자 A가 “농구는 흥미로운 스포츠이다”라는 컨텐츠를 필기한다. 사용자B가 사용자A가 필기한 컨텐츠 위의 썸네일을 통해서 “농구는 흥미로운 스포츠이고, 직장인들에게 매우 적합하다”라고 수정한다. 사용자B의 편집 과정 중에, 스마트 데스크탑은 사용자A의 표시 영역 내의 컨텐츠에 대해 동기화된 편집을 제공한다. 사용자A는 사용자B의 편집 과정을 볼 수 있다. 편집하는 동안, 사용자A가 어떤 사용자가 컨텐츠를 편집하고 있는지 알 수 있도록, 사용자B의 사용자 식별자 (머리 이미지, 등)가 사용자A의 표시 영역에 표시될 수 있다.
또한 일 실시 예에 따라, 편집된 컨텐츠는 편집하는 사용자의 서체를 가질 수 있고, 또는 편집되고 있는 컨텐츠의 사용자의 서체를 가질 수 있다. 사용자는 다른 사용자들이 그의 컨텐츠를 편집하는 것을 허용할지를 설정할 수 있고, 또는 어떤 사용자가 그의 컨텐츠를 편집하는 것을 허용하거나 금지할 수 있다. 또한, 다른 사용자가 사용자의 컨텐츠를 편집한다면, 사용자는 편집을 허용할지 여부를 선택할 수 있다.
실시예2
이하, 다음 솔루션을 상세히 설명한다: 스마트 데스크탑의 컨텐츠에 대한 표시 인스트럭션이 검출된다; 컨텐츠는 지정된 표시 방식에 기초하여 스마트 데스크탑 상에 표시된다. 지정된 표시 방식은 다음을 포함할 수 있다: 컨텐츠와 관련된 텍스트 속성에 기초하여 컨텐츠의 요약을 표시할 수 있다.
상황: 사용자A가 회의 중에 도착하고, 그가 관심있는 주제와 관련하여 다른 사람들이 기록한 컨텐츠를 보고 싶어한다.
솔루션: 컨텐츠와 관련된 텍스트 속성에 기반한 요약, 주제 요약이라고도 불린다.
다음 중 적어도 하나의 방식을 통해 사용자A의 조작에 따라 주제 요약이 제공된다:
(1) 음성 조작
사용자A가 음성 방식을 통해 주제 요약을 호출한다. E.g, “주제 요약을 보고 싶습니다”라고 말한다. 이때, 스마트 데스크탑은 사용자 바로 앞에 컨텐츠를 전혀 포함하고 있지 않은 영역에 주제 요약 프레임을 표시한다. 사용자 앞의 영역이 채워져 있는 경우, 주제 요약 프레임을 표시하기 위해, 사용자 바로 앞의 영역 안에 있는 주제 요약 프레임과 같은 크기의 컨텐츠가 숨겨진다.
(2) 물리적 버튼 조작
사용자가 스마트 데스크탑 상의 버튼을 눌러 주제 요약 프레임을 호출한다.
(3) 터치 스크린 조작
사용자가 스크린을 터치함으로써 주제 요약 프레임을 호출한다. E.g., 스크린을 더블 클릭한다. 이때, 사용자가 스크린상에서 터치한 위치에, 스마트 데스크탑이 주제 요약 프레임을 표시한다. 이 위치에 컨텐츠가 존재한다면, 이 영역 안에 주제 요약 프레임을 표시하기 위해, 주제 요약 프레임과 같은 크기의 컨텐츠가 숨겨진다.
(4) 제스처 조작
제스처 동작을 통해 사용자가 주제 요약 프레임을 호출한다. E.g. 손을 흔든다. 이때, 스마트 데스크탑이 카메라를 통해 사용자의 제스처 동작을 캡처(capture)하고, 컨텐츠가 없는 사용자 앞의 영역에 영역에 주제 요약 프레임을 표시한다. 사용자 앞의 영역이 채워져 있는 경우, 주제 요약 프레임을 표시하기 위해, 사용자 바로 앞의 영역 안에 있는 주제 요약 프레임과 같은 크기의 컨텐츠가 숨겨진다.
(5) 외부 컨트롤러(controller) 조작
사용자가 외부 컨트롤러의 조작을 통해 주제 요약 프레임을 호출한다. E.g 스타일러스 펜 위의 버튼을 누른다. 이때, 스마트 데스크탑이 스타일러스 펜이 가리키는 위치 상에 주제 요약 프레임을 표시한다. 이 위치에 컨텐츠가 있으면, 주제 요약 프레임을 표시하기 위해, 사용자 바로 앞의 영역 안에 있는 주제 요약 프레임과 같은 크기의 컨텐츠가 숨겨진다.
사용자 조작이 검출된 후, 설정 인터페이스가 표시될 수 있다. 사용자는 설정 인터페이스 내에서, 다음을 포함하는 주제 요약 설정이 가능하다.
1. 주제 요약이 손으로 필기되지 않은 컨텐츠를 포함하는지의 여부.
오직 손으로 필기한 컨텐츠만 표시하도록 결정된 경우, 스마트 데스크탑 상의 오직 손으로 필기한 컨텐츠의 요약만 주제 요약 내에 표시되고, 텍스트, 이미지, 슬라이드 및 비디오와 같은 손으로 필기되지 않은 컨텐츠의 요약은 표시되지 않는다.
손으로 필기한 컨텐츠의 요약 및 손으로 필기하지 않은 컨텐츠의 요약이 모두 표시되도록 결정된 경우, 스마트 데스크탑 상의 손으로 필기된 컨텐츠의 요약 뿐만 아니라, 텍스트, 이미지, 슬라이드 및 비디오와 같은 손으로 필기되지 않은 컨텐츠의 요약도 주제 요약 내에 표시된다.
오직 손으로 필기하지 않은 컨텐츠의 요약만 표시하도록 결정된 경우, 스마트 데스크탑 상의 텍스트, 이미지, 슬라이드 및 비디오와 같이 오직 손으로 필기하지 않은 컨텐츠의 요약만 주제 요약 내에 표시된다.
사용자 자신의 컨텐츠가 주제 요약에 표시되는지 여부
본인의 컨텐츠가 표시되도록 결정하는 경우, 사용자A(시청자)의 컨텐츠는 주제 요약 내에 표시된다.
본인의 컨텐츠를 표시하지 않도록 결정하는 경우, 사용자A(시청자)의 컨텐츠는 주제 요약 내에 표시되지 않는다.
3. 주제 요약에 대해 크기와 위치를 선택
주제 요약의 크기와 위치가 자동적으로 결정되는 경우, 주제 요약 프레임의 초기 크기는 시스템 내에서 설정된 표준 크기이고, 표시 위치는 자동적으로 결정된다.
스마트 데스크탑은 가급적이면 사용자에 대응하는 표시 영역 내의 빈 공간에 주제 요약 프레임을 표시한다.
대응하는 표시 영역 내의 빈 공간의 크기가 시스템 내에서 설정된 주제 요약 프레임에 대한 표준 크기보다 조금 작다면(e.g., 대응하는 표시 영역 내의 빈 공간의 크기 및 시스템 내에서 설정된 주제 요약 프레임에 대한 표준 크기 사이의 차이가 사전에 설정된 임계값보다 작은 경우), 대응하는 표시 영역 내의 빈 공간에 맞도록 주제 요약 프레임의 크기가 약간 작아진다.
그러나, 대응하는 표시 영역 내의 빈 공간의 크기가 시스템 내에서 설정된 주제 요약 프레임에 대한 표준 영역 크기보다 훨씬 작다면 (e.g., 대응하는 표시 영역 내의 빈 공간의 크기와 시스템 내에서 설정된 주제 요약 프레임에 대한 표준 크기 사이의 차이가, 사전에 설정된 임계값보다 작지 않은 경우), 사용자는 다음 레벨 옵션으로 진행해야 한다:
i. 가리기 모드 (기존의 컨텐츠를 가린다)
주제 요약을 보는 동안 사용자가 본인이 필기한 컨텐츠를 보지 않아도 되는 경우, 이 옵션을 선택할 수 있다. 이때, 스마트 데스크탑은 사용자의 대응하는 표시 영역 내의 주제 요약 프레임을 표시하고, 주제 요약 프레임에 의해 가려진 컨텐츠를 일시적으로 숨긴다.
ii. 삽입 모드 (컨텐츠 내로 삽입)
사용자가 주제 요약을 보면서 본인이 필기한 컨텐츠를 보아야 할 때, 이 옵션이 선택될 수 있다. 이때, 스마트 데스크탑은 주제 요약 프레임을 사용자에 대응하는 표시 영역의 끝에 삽입한다. 그 후에, 사용자가 손으로 필기한 컨텐츠는 주제 요약 프레임 주변에 표시된다. 사용자가 손으로 필기한 컨텐츠를 표시하기 위한 공간이 충분하지 않게 되면, 레이아웃 변경 및 여러 페이지로 나누는 것과 같은 솔루션을 이용할 수 있다.
주제 요약 구조의 크기와 위치를 수동으로 결정하도록 승인한다면, 사용자는 터치 스크린 제스처를 통해 주제 요약 프레임의 크기와 위치를 결정할 수 있다.
예를 들어, 터치 데스크탑은 사용자가 적어도 두 개의 위치를 동시에 터치하고 있는 것을 검출한다. 스마트 데스크탑은 주제 요약 프레임의 위치와 크기를 검출된 사용자의 터치 위치에 따라 결정한다.
예를 들면, 사용자가 왼쪽 검지와 오른쪽 검지로 스크린을 동시에 터치하고, 이때 왼쪽 검지의 터치 위치는 좌측 하단에 있고, 오른쪽 검지의 터치 위치는 우측 상단에 있으면, 왼쪽 검지가 누르는 위치가 주제 요약 프레임의 좌측 하단 모서리가 되고, 오른쪽 검지가 누르는 위치는 주제 요약 프레임의 우측 상단 모서리가 될 것이다.
이 때, 사용자가 결정한 위치 상에 컨텐츠가 있는 경우, 다음 레벨 옵션들로 진행하는 것이 가능하다:
i. 가리기 모드
4. 사용자의 머리 이미지를 표시할지 여부
사용자의 머리 이미지를 표시하도록 결정되었을 때, 실시간으로 카메라로 캡처한 머리 이미지 또는 사전에 설정된 머리 이미지가 주제 요약 내의 사용자란 (user column)에 표시될 수 있고, 이때 주제 요약 내에서, 사용자란은 사용자와 관련된 정보를 표시하도록 하고, 각 사용자의 컨텐츠 옆에 설정될 수 있다. 시청자는 다른 사용자들의 요약을 구분할 수 있다.
5. 사용자 이름을 표시할지 여부
사용자 이름을 표시하도록 결정하면, 주제 요약 내의 사용자란에 사용자 이름이 표시될 것이다. 사용자 머리 이미지와 사용자 이름 모두 표시되지 않는다면, 시청자가 어떤 사용자가 어떤 컨텐츠를 필기했는지 관심이 없다는 것을 나타낸다. 이때, 다른 사용자들의 각 주제에 대한 요약은 구별되어 있지 않고, 병렬로 표시된다. 사용자는 요약의 상세한 컨텐츠를 확인하기 전에, 어떤 컨텐츠가 어떤 사용자의 것인지 알 수 없다.
6. 주제 요약에 대한 표시 방식을 선택
요약의 표시 방식은 다단계의 카탈로그(catalog) 방식을 포함할 수 있다. 단계는 개괄적인 것부터 구체적인 것일 수 있다. E.g., 주제, 사용자, 및 요약의 순서. 주제에서부터 사용자까지, 어떤 사용자의 컨텐츠가 주제와 관련된 컨텐츠를 포함하는지 나타낸다; 사용자부터 요약까지, 어떤 사용자가 어떤 주제와 관련된 컨텐츠를 갖는지 나타내고, 요약의 형태로 표시된다. 특히, 다단계 카탈로그 표시 방식은 다음과 같이 설정될 수 있다:
(a) 가로 방향 표시
가장 왼쪽 열은 주제를 보여주고, 두 번째 열은 사용자에게 어떤 것이 주제에 포함되는지를 e.g., 나뭇가지형(tree-like) 연결, 괄호, 같은 색상 등을 통해 보여준다. 세 번째 열은 사용자에게 속하는 것으로 식별되는 요약을 보여준다. 한 사용자가 여러가지 요약들을 갖는다면, 각각의 요약은 한 줄에 왼쪽 정렬 방식으로 표시된다.
(b) 세로 방향 표시
가장 위에 있는 행은 주제를 보여주고, 두 번째 행은 주제에 속하는 것으로 식별되는 사용자를 e.g., 나뭇가지형 연결, 괄호, 같은 색상 등을 통해 보여준다. 세 번재 행은 사용자에게 속하는 것으로 식별되는 요약을 보여준다. 한 사용자가 여러 요약들을 갖는다면, 각각의 요약은 새로운 하나의 줄에 왼쪽 정력 방식으로 표시된다.
(c) 표를 표시할지 여부
사용자가 표를 표시하도록 선택했을 때, 주제 요약은 표 형식으로 나타난다. 사용자가 표를 표시하지 않도록 선택했을 때, 표 프레임이 숨겨지고, 요약과 카탈로그 사이에 표 줄이 없다.
일 실시 예에 따라, 상기 설정 인터페이스는 사용자가 주제 요약을 호출한 뒤 표시될 수 있다. 사용자가 설정 인터페이스 상에서 설정한다. 스마트 데스크탑은 사용자 설정에 따라 대응하는 주제 요약을 표시한다. 또는, 사용자는 주제 요약의 표시 방식을 미리 설정할 수 있다. 사용자가 주제 요약을 호출한 후에, 스마트 데스크탑은 사전에 설정된 방식에 따라 대응하는 주제 요약을 표시한다.
또한, 사용자는 주제 요약이 표시될 때, 주제 요약의 표시 방식을 실시간으로 조정할 수 있다. 스마트 데스크탑은 표시된 주제 요약을 동적으로 조정한다. 예를 들어, 사용자가 본인이 필기한 컨텐츠는 주제 요약 내에 표시되지 않도록 사전에 설정한다. 따라서, 스마트 데스크탑이 초기에 나타내는 주제 요약은 사용자 본인이 필기한 컨텐츠를 포함하지 않는다. 주제 요약을 볼 때, 사용자가 사전에 설정된 조작(e.g. 음성, 스크린 제스처, 등)을 통해 본인이 필기한 컨텐츠를 주제 요약 내에 표시하도록 설정하면, 스마트 데스크탑은 사용자가 필기한 컨텐츠를 주제 요약 내에 나타내기 위해서 실시간으로 주제 요약을 동적으로 조정한다.
설정이 완료 된 이후, 주제 요약 프레임 내에 주제 요약이 표시된다. 실행 절차는 다음을 포함할 수 있다.
(1) 사용자들을 구별
사용자가 컨텐츠를 필기할 때, 스마트 데스크탑은 실시예1에 설명되어 있는 사용자 인증 솔루션에 따라 컨텐츠를 필기하고 있는 사용자를 인증한다. 특히, 스마트 데스크탑은 현재 필기하고 있는 사용자의 속성과 이전에 필기된 컨텐츠의 사용자 속성에 따라 컨텐츠를 필기하고 있는 사용자가 새로운 사용자인지를 결정한다. 사용자가 새로운 사용자일 경우, 새로운 계정 (사용자 식별자)이 데이터베이스에 생성되고, 위치 좌표, 시간 정보, 필기 방향, 텍스트 줄 방향 및 필기된 컨텐츠의 의미상의 정보 및 사용자에 의해 열린 창을 기록한다. 사용자가 새로운 사용자가 아닐 경우, 사용자가 인식된다.
(2) 요약 도출
각 사용자가 필기한 컨텐츠에 대하여 텍스트 요약이 도출된다. 사용자가 필기한 컨텐츠는 여러 주제를 포함할 수 있다. 이때, 각 주제에 대하여 하나 이상의 요약이 도출될 수 있다. 요약의 길이는 설정 과정에서 사용자에 의해 선택된 길이 임계값을 넘지 않는다.
(3) 주제 분류
모든 사용자의 모든 요약은 의미 분석과 같은 기술에 따라 분류된다. 사용자 표지(label)는 각 요약에 대해 지정되어 있다. 예를 들면, 사용자A의 컨텐츠로부터 도출한 요약은 “농구는 긴 역사를 갖고 있다”, 사용자B의 컨텐츠로부터 도출한 요약은 “농구 세부 규칙”, 사용자C의 컨텐츠로부터 도출한 요약은 “중국 축구가 세계를 따라잡을 것이다”이다. 이때, 사용자A 및 사용자B의 컨텐츠는 농구라는 하나의 주제로 분류된다. 그러나 사용자C는 상기 주제로 분류되지 않는다.
(4) 요약 표시
이때, 주제 및 이에 대응하는 요약은 주제 요약 프레임 내에 사용자에 의해 설정된 형식으로 표시된다. (가로 방향 또는 세로 방향 표시)
또한, 주제 요약은 다음과 같은 기능을 가질 수 있다:
1. 세부 컨텐츠를 보는 것: 컨텐츠 뷰잉 인스트럭션은 사용자로부터 수신될 수 있고, 요약과 관련된 컨텐츠는 사용자가 요약의 상세한 컨텐츠를 볼 수 있게 하는 컨텐츠 뷰잉 인스트럭션에 기초하여 표시될 수 있다.
(a) 하나 또는 여러 요약을 선택
사용자는 터치 스크린 상에서 요약을 클릭하는 방법으로 요약 하나를 선택할 수 있고, 또는 터치 스크린 상에서 손으로 영역 위를 슬라이딩하여 여러 개의 요약을 선택할 수 있다.
(b) 세부 컨텐츠에 대한 표시 방식
선택된 요약에 대응하는 원본 컨텐츠는 자동적으로 요약란의 뒤에(요약이 가로 방향으로 표시되었을 때) 또는 밑에(요약이 세로 방향으로 표시되었을 때) 생성된 창 안에 표시된다. 창의 가장자리 길이는 행(요약이 가로 방향으로 표시되었을 때) 또는 열(요약이 세로 방향으로 표시되었을 때)의 길이와 일정하게 유지된다.
이때, 사용자는 본인이 보기를 원하는 창을 선택할 수 있고, 터치 스크린 상을 클릭하는 것을 통해 확장시킬 수 있다. 창은 주제 요약 프레임에 딱 맞는 보기에 적합한 크기로 확대된다. 사용자는 드래깅과 (dragging) 같은 방식을 통해 윈도우의 위치 및 크기를 바꿀 수 있다.
이때, 확장된 창에 의해서 가려진 컨텐츠는 자동적으로 가려진다. 요약에 대응하는 원본 컨텐츠는 창 안에 표시된다. 컨텐츠가 너무 많으면, 표시를 위해 자동적으로 여러 페이지로 나누어진다.
컨텐츠의 디폴트(default) 서체는 사용자가 원래 필기한 서체다. 시청자는 제스처를 통해 출력된 서체를 바꿀 수 있다. 컨텐츠의 서체 크기는 보기에 적합하고 창에 맞는 크기이다.
사용자가 여러 개의 요약들을 선택하고, 한 요약의 세부 컨텐츠를 보고 난 후 다른 요약의 세부 컨텐츠를 확인하고 싶을 때, 사용자는 창을 위로 말아 올릴 수 있다. E.g. 터치 스크린 상에서 확장된 윈도우를 클릭하고, 그 다음 다른 관심있는 요약을 클릭하여 세부 컨텐츠를 확인할 수 있도록 창을 확장한다.
사용자는 여러 요약의 세부 컨텐츠를 동시에 확인하기 위해서, 확장된 창을 말아 올린 후 다른 관심있는 요약을 클릭하여 확장하는 대신, 확장된 창을 요구사항에 따라 인접한 영역으로 드래그할 수 있다. 확장된 창이 서로 겹치는 경우, 나중에 확장된 창이 먼저 확장된 창을 가릴 수 있다.
(c) 요약의 키워드에 따라 검색
주제 요약의 세부 컨텐츠 창이 확장된 후에, 사용자는 e.g. 터치 스크린을 클릭하는 방식으로 요약 내에서 단어를 선택할 수 있다. 그 후, 단어는 굵은 서체 또는 배경 강조 색을 통해 강조된다. 이때, 세부 컨텐츠 내에서 이 단어와 관련된 단어 혹은 절들 또한 강조된다.
(2) 동기 업데이트
사용자가 주제 요약을 볼 때, 다른 사용자가 컨텐츠를 수정하거나 보충하면, 스마트 데스크탑이 스마트 데스크탑 상의 컨텐츠에 업데이트를 검출하였을 때 주제 요약에 대해 사용자에게 알린다. 예를 들면, 스마트 데스크탑은 시간 순서 (e.g., 필기가 잠깐 동안 정지되었다)와 같은 방식을 통해 다른 사용자의 수정이 일시적으로 끝났는지 결정할 수 있고, 스마트 데스크탑은 주제 요약의 컨텐츠에 대한 업데이트 프롬프트를 아이콘 또는 점차 바뀌는 배경색의 방법으로 표시한다. 사용자는 e.g., 터치 스크린에서 주제 요약의 컨텐츠를 한 번 클릭하는 것을 통해 컨텐츠 업데이트 인스트럭션을 제공할 수 있다. 스마트 데스크탑은 사용자 인스트럭션에 기초하여 주제 요약 내의 컨텐츠의 이 부분을 업데이트 한다.
스마트 데스크탑은 실시간으로 컨텐츠 상에 변화가 있는지를 실시간으로 검출할 수 있다. 스마트 데스크탑의 컨텐츠 내의 변화를 검출하면, 스마트 데스크탑은 주제 요약 내 컨텐츠의 이 부분을 직접적으로 업데이트 할 수 있고, 업데이트 된 컨텐츠를 표시할 수 있다. 이 방식은 인스턴트 업데이트 방식이라고도 불린다. 사용자는 모든 컨텐츠의 인스턴트 업데이트 과정을 볼 수 있다.
(3) 컨텐츠 제한 변경
(a) 주제 확장 또는 제한
사용자는 주제 위에서 e.g.,왼쪽으로 스와이프를 통해 주제를 확장할 수 있고, 또는 e.g.,오른쪽으로 스와이프를 통해 주제를 제한할 수 있다. 주제의 범위는 미리 정의된 구조 도표 또는 기존의 Wordnet 기술에 기초하여 결정된다.
예를 들어, 사용자A의 컨텐츠로부터 도출한 요약은 “농구는 긴 역사를 갖고 있다” 이다; 사용자B의 컨텐츠로부터 도출한 요약은 “농구 세부 규칙” 이다; 사용자C의 컨텐츠로부터 도출한 요약은 “중국 축구가 세계를 따라잡을 것이다” 이다, 그리고 사용자D의 컨텐츠로부터 도출한 요약은 “세계 운동 선수권 대회가 공식적으로 끝났다” 이다.
이 때, 사용자A 및 사용자B의 컨텐츠는 농구라는 한 가지 주제로 분류될 것이고, 사용자C 및 사용자D의 컨텐츠는 이 주제로 분류되지 않을 것이다. 사용자가 주제에 관하여, 농구는 너무 작고 더 확장하기를 바란다면, 사용자는 “농구”를 왼쪽으로 스와이프할 수 있다. 이때, 주제가 “농구”에서 “구기 종목”으로 변경되고, 사용자C의 축구와 관련된 컨텐츠도 이 주제 내로 분류될 것이다. 사용자가 다시 왼쪽으로 스와이프하면, 주제는 “구기 종목”에서 “스포츠”로 변경될 수 있다. 이때, 사용자A, B, C, 및 D 네 명 모두의 요약이 이 주제로 분류된다.
(b) 요약 길이 변경
스마트 데스크탑은, 사용자의 요약 길이 변경 인스트럭션을 수신하면, 요약 길이 변경 인스트럭션에 따라 요약의 길이를 변경한다.
사용자는 요약을 왼쪽으로 스와이프 하는 것과 같은 방식을 통해 요약의 길이를 줄일 것을 지시할 수 있고, 또는 요약을 오른쪽으로 스와이프 하는 것과 같은 방식을 통해 요약을 늘릴 것을 지시할 수 있다.
스와이프 하는 동안, 현재 최대 요약 길이 및 조정된 최대 요약 길이를 나타내기 위해 자가 표시될 수 있다. 요약의 최대 길이는 텍스트 요약 기술 내에서 사전에 정의될 수 있다. 다른 최대 길이에 대하여, 요약의 컨텐츠에 차이가 있을 수 있다.
예를 들어, 사용자A의 컨텐츠로부터 도출된 요약은 “중국이 선수권 대회에서 우승했다”이다. 이때, 사용자가 자가 15를 가리킬 때 까지(최대 15단어) 요약을 오른쪽으로 스와이프할 수 있다. 그 다음에, 요약은 “중국 팀이 세계 탁구 선수권 대회에서 우승했다.”가 될 것이다.
(4) 주제를 검색
(a) 검색 상자를 불러옴
사용자는 주제 요약 프레임 내의 임의의 위치를 더블 클릭 하는 것을 통해 주제 요약 프레임 내에서 검색 상자를 불러올 수 있다.
(b) 주제 입력
사용자가 검색 상자 안에 필요한 주제를 e.g., 필기 입력 및 키보드 입력을 통해 입력한다.
사용자가 검색하는 것을 승인한 이후, 스마트 데스크탑은 사용자가 입력한 주제를 포함하고 있는 검색 인스트럭션을 검출하고, 검색 인스트럭션에 기초하여 요약의 검색을 수행한다.
(c) 주제 요약을 표시
i. 원본 컨텐츠를 숨긴다.
검색된 주제가 너무 많은 컨텐츠를 포함하고, 주제 요약 프레임이 빈 공간을 충분히 갖지 않을 때, 검색된 주제 및 대응되는 요약을 표시하기 위해 주제 요약 프레임 내의 원본 컨텐츠는 숨겨질 수 있다.
ii. 이후의 표시
검색된 주제가 컨텐츠를 적게 포함하고, 주제 요약 프레임에 충분한 빈 공간이 있을 때, 검색된 주제 및 대응하는 요약은 기존의 주제에 뒤에 표시 될 수 있다.
(5) 프라이버시 설정
사용자는, 닫힌 영역을 선택하는 제스처를 통해, 본인의 컨텐츠의 일부를 개인적인 컨텐츠로 설정할 수 있고, 이 개인적인 컨텐츠는 다른 사용자들에게 보이지 않기를 희망할 수 있다. 또한, 사용자는 어떤 사용자들에게 개인적인 정보를 노출시키고 싶지 않은지 선택할 수 있다. 이때, 스마트 데스크탑이 선택된 사용자가 주제 요약을 여는 것을 검출하면, 사용자의 개인적인 컨텐츠는 요약 내에 표시되지 않는다, i.e., 스마트 데스크탑이 주제 요약 내에 사용자의 개인적인 컨텐츠를 숨긴다.
주제 요약 내에 개인정보를 숨기는 것은 다음을 포함한다: 개인정보를 표시 하지 않는 것, 또는 개인정보를 개인 식별자로 대체하는 것.
또한, 일 실시 예에 따라, 스마트 데스크탑은 자동적으로 사용자의 컨텐츠가 개인정보인지를 검출할 수 있다. i.e., 일종의 개인 계좌의 숫자, 또는 사용자 이름, 또는 비밀번호와 같은 컨텐츠가 감지 되면, 대응하는 컨텐츠가 개인적인 컨텐츠로 결정된다.
도 7은 본 명세서의 실시 예2에 따른 주제 요약의 표시를 나타내는 모식도이다.
도 7에 도시된 바와 같이, 왼쪽은 스마트 데스크탑의 실제 스크린 표시를 보여주고, 이때 사용자 Kim이 탁구에 대한 컨텐츠를 필기하고, 사용자 Frank가 농구, 기타 및 피아노에 대한 컨텐츠를 필기하고, 사용자 Lia가 피아노에 대한 컨텐츠를 필기하고 사용자 Mako가 탁구에 대한 컨텐츠를 필기한다.
사용자 Mako가 주제 요약 (도 7의 오른쪽 부분)을 보았을 때, 시스템은 자동적으로 주제 별로 표시한다: 스포츠 및 음악, 그리고 다른 사용자들이 필기한 컨텐츠는 각 주제로 분류된다. 예를 들어, 스포츠 주제 내에서, 컨텐츠는 다음에 따라 분류된다: Kim 이 필기한 탁구, Frank가 필기한 농구, 및 Mako가 필기한 탁구. 컨텐츠는 요약으로 대표된다. 사용자는 상세 컨텐츠를 보기 위해서 요약을 선택할 수 있다. 주제를 결정하는 다양한 방식이 있을 수 있기 때문에, 사용자가 관심있는 주제를 찾지 못하였을 때, 사용자가 관심있는 주제를 입력할 수 있다. (e.g., 도 7에 도시된 농구) 이 주제와 관련된 컨텐츠는 사용자들에 의해 나타날 수 있다.
일부 실시 예에서, 스마트 데스크탑은 독립적인 디바이스 또는 다수의 상호 연결된 관련 디바이스로 실행될 수 있다.
스마트 데스크탑이 연결 관계를 갖는 관련 디바이스를 포함하면, 각 사용자는 관련 디바이스를 각각 사용할 수 있다 (각 사용자가 테블릿 컴퓨터를 사용한다). 각 사용자는 주제 요약을 본인의 관련 디바이스에서 불러옴으로써, 다른 사용자들이 다른 관련 디바이스에서 필기한 컨텐츠를 볼 수 있다. 사용자들의 관련 디바이스들은 무선(Wi-Fi, 적외선, 블루투스) 또는 유선 방식을 통해 연결될 수 있다. 주제 요약을 불러오는 조작을 검출한 후에, 시청자가 사용하는 관련 디바이스가 다른 관련 디바이스에 표시된 것을 획득한다. 다른 관련 디바이스에 표시된 컨텐츠를 획득한 후에, 사용자의 관련 디바이스는 상기 설명된 스마트 데스크탑이 주제 요약을 불러오는 방식을 통해 주제 요약을 불러오고 표시할 수 있다.
주제 요약이 표시되었을 때, 주제 요약은 시청자의 관련 디바이스의 전체 스크린을 차지할 수 있다. 다른 기능은 스마트 데스크탑의 주제 요약의 기능과 비슷하다.
실시예3
이하, 다음 솔루션을 상세히 설명한다: 스마트 데스크탑의 컨텐츠에 대한 표시 인스트럭션이 검출된다; 컨텐츠는 지정된 표시 방식을 기초하여 스마트 데스크탑에 표시된다. 지정된 표시 방식은 다음을 포함할 수 있다: 컨텐츠와 관련된 사용자 속성에 기초하여 컨텐츠의 요약을 표시한다.
상황: 사용자A는 사용자B로 부터 멀리 떨어져있고, 사용자A는 사용자B에게 본인이 손으로 필기한 컨텐츠를 설명하고 싶다.
솔루션: 컨텐츠와 관련된 사용자 속성에 기반한 요약, 사용자 요약이라고도 불린다.
사용자 요약은 다음 중 적어도 하나의 방식을 통해 사용자A의 조작에 따라 호출될 수 있다.
(1) 음성 조작
사용자A가 음성 방식을 통해 사용자 요약을 호출한다, e.g., “사용자 요약을 보고 싶습니다”. 이때, 스마트 데스크탑은 사용자 요약 프레임을 아무 컨텐츠도 포함하고 있지 않은 사용자 앞의 영역에 표시한다. 사용자 앞의 영역이 채워져 있으면, 사용자 요약 프레임을 표시하기 위해, 사용자 요약과 같은 크기의 사용자 바로 앞의 컨텐츠가 숨겨질 수 있다.
(2) 물리적 버튼 조작
사용자는 스마트 데스크탑 위의 버튼을 누름으로써 사용자 요약을 호출한다.
(3) 터치 스크린 조작
사용자는 스크린을 터치함으로써 사용자 요약 프레임을 호출한다, e.g. 스크린을 더블 클릭한다. 이때, 스마트 데스크탑은 사용자가 스크린상에서 터치한 위치에 사용자 요약 프레임을 표시한다. 이 위치에 컨텐츠가 있다면, 사용자 요약 프레임을 표시하기 위해, 사용자 요약 프레임과 같은 크기의 영역 안의 컨텐츠는 숨겨질 수 있다.
(4) 제스처 조작
사용자가 제스처 동작을 통해 사용자 요약 프레임을 호출한다, e.g. 손을 흔든다. 이때, 스마트 데스크탑은 스타일러스 펜이 가리키는 위치에 사용자 요약 프레임을 표시한다. 이 위치에 컨텐츠가 있다면, 사용자 요약 프레임을 표시하기 위해, 사용자 요약 프레임과 같은 크기의 영역 안의 컨텐츠는 숨겨질 수 있다.
(5) 외부 컨트롤러 조작
사용자가 외부 컨트롤러 통해 사용자 요약 프레임을 호출한다, e.g. 스타일러스 펜 위의 버튼을 누른다. 이때, 스마트 데스크탑은 사용자 요약 프레임을 위치에 표시한다. 이 위치에 컨텐츠가 있다면, 사용자 요약 프레임을 표시하기 위해, 사용자 요약과 같은 크기의 사용자 바로 앞의 컨텐츠가 숨겨질 수 있다.
사용자 조작이 검출된 후, 설정 인터페이스가 표시될 수 있다. 사용자는 사용자 요약을 설정 인터페이스 내에서 설정하는 것이 가능하고, 다음을 포함한다.
1. 사용자 요약이 손으로 필기되지 않은 컨텐츠를 포함할지의 여부
오직 손으로 필기된 컨텐츠의 요약만 표시되도록 결정되면, 스마트 데스크탑 상에서 오직 손으로 필기된 컨텐츠의 요약만 사용자 요약 내에 표시되고, 이때 텍스트, 이미지, 슬라이드 및 비디오와 같이 손으로 필기되지 않은 컨텐츠는 표시되지 않는다.
손으로 필기된 컨텐츠와 손으로 필기되지 않은 컨텐츠 둘 다 표시하도록 결정하면, 스마트 데스크탑 상에 손으로 필기한 컨텐츠의 요약뿐만 아니라, 텍스트, 이미지, 슬라이드 및 비디오와 같이 손으로 필기되지 않은 컨텐츠의 요약 또한 사용자 요약 내에 표시된다.
오직 손으로 필기되지 않은 컨텐츠의 요약만 표시되도록 결정하면, 오직 텍스트, 이미지, 슬라이드 및 비디오와 같이 손으로 필기되지 않은 컨텐츠의 요약만 사용자 요약 내에 표시된다.
2. 사용자 본인의 컨텐츠가 사용자 요약에 표시되는지 여부
본인의 컨텐츠를 표시하도록 결정한 경우, 사용자A(시청자)의 컨텐츠는 사용자 요약 내에 표시된다.
본인의 컨텐츠를 표시하지 않도록 결정한 경우, 사용자A(시청자)의 컨텐츠는 사용자 요약 내에 표시되지 않는다.
3. 사용자 요약에 대하여 크기 및 위치를 선택
사용자 요약의 크기 및 위치가 자동적으로 결정되면, 사용자 요약 프레임의 초기 크기는 시스템 내에서 설정된 평균 크기이고, 표시 위치는 자동적으로 결정된다.
스마트 데스크탑은 가급적 사용자에 대응하는 표시 영역 내의 빈 영역 안에 사용자 요약 프레임을 표시한다. 대응하는 표시 영역 내의 빈 영역의 크기가 시스템 내에서 설정된 사용자 요약 프레임의 평균 크기보다 약간 작을 때 (대응하는 표시 영역 내의 빈 영역의 크기와 시스템 내에서 설정된 사용자 요약 프레임의 평균 크기의 차이가 사전에 설정된 영역 임계값보다 작을 때), 사용자 요약 프레임의 크기가 대응하는 표시 영역 내의 빈 영역에 맞도록 약간 작아진다.
그러나, 대응하는 표시 영역 내의 빈 영역의 크기가 시스템 내에서 설정된 사용자 요약 프레임의 평균 크기보다 훨씬 작다면 (대응하는 표시 영역 내의 빈 영역의 크기와 시스템 내에서 설정된 사용자 요약 프레임의 평균 크기의 차이가 사전에 설정된 영역 임계값보다 작지 않을 때), 사용자는 다음 레벨 옵션으로 진행해야 한다:
가리기 모드 (기존의 컨텐츠를 가린다)
사용자 요약을 보는 동안 사용자가 본인이 필기한 컨텐츠를 보지 않아도 되는 경우, 이 옵션을 선택할 수 있다. 이때, 스마트 데스크탑은 사용자의 대응하는 표시 영역 내의 사용자 요약 프레임을 표시하고, 사용자 요약 프레임에 의해 가려진 컨텐츠를 일시적으로 숨긴다.
삽입 모드 (컨텐츠 내로 삽입)
사용자가 사용자 요약을 보면서 본인이 필기한 컨텐츠를 보아야 할 때, 이 옵션이 선택될 수 있다. 이때, 스마트 데스크탑은 사용자 요약 프레임을 사용자에 대응하는 표시 영역의 끝에 삽입한다. 그 후에, 사용자가 손으로 필기한 컨텐츠는 주제 요약 프레임 주변에 표시된다. 이후사용자가 손으로 필기한 컨텐츠를 표시하기 위한 공간이 충분하지 않게 되면, 레이아웃 변경 및 여러 페이지로 나누는 것과 같은 솔루션을 이용할 수 있다.
사용자 요약 프레임의 크기와 위치를 수동으로 결정하도록 승인한다면, 사용자는 터치 스크린 제스처를 통해 사용자 요약 프레임의 크기와 위치를 결정할 수 있다. 예를 들어, 터치 데스크탑이 사용자가 적어도 두 개의 위치를 동시에 터치하고 있는 것을 검출한다. 스마트 데스크탑은 주제 요약 프레임의 위치와 크기를 검출된 사용자의 터치 위치에 따라 결정한다. 예를 들면, 사용자가 왼쪽 검지와 오른쪽 검지로 스크린을 동시에 터치하고, 이때 왼쪽 검지의 터치 위치는 좌측 하단에 있고, 오른쪽 검지의 터치 위치는 우측 상단에 있으면, 왼쪽 검지가 누르는 위치가 사용자 요약 프레임의 좌측 하단 모서리가 되고, 오른쪽 검지가 누르는 위치는 사용자 요약 프레임의 우측 상단 모서리가 될 것이다. 이 때, 사용자가 결정한 위치 상에 컨텐츠가 있는 경우, 다음 레벨 옵션들로 진행하는 것이 가능하다:
i. 가리기 모드 (기존의 컨텐츠를 가린다); ii. 삽입 모드 (컨텐츠 내로 삽입한다)
4. 사용자의 머리 이미지를 표시할지 여부
사용자의 머리 이미지를 표시하도록 결정되었을 때, 실시간으로 카메라로 캡처한 머리 이미지 또는 사전에 설정된 머리 이미지가 주제 요약 내의 사용자란에 표시될 수 있고, 이때 사용자 요약 내에서, 사용자란은 사용자와 관련된 정보를 표시하도록 하고, 각 사용자의 컨텐츠 옆에 설정될 수 있다. 시청자는 다른 사용자들의 요약 컨텐츠를 구분할 수 있다.
5. 주제 요약에 대하여 표시 방식을 선택
요약의 표시 방식은 다단계의 카탈로그(catalog) 방식을 포함할 수 있다. 이 단계는 개괄적인 것부터 구체적인 것 일 수 있다. E.g., 사용자, 주제, 및 요약 순으로. 사용자에서부터 주제까지, 어떤 사용자의 컨텐츠가 어떤 주제의 컨텐츠를 포함하는지 나타낸다; 주제에서부터 요약까지, 주제 내에서 사용자의 컨텐츠의 요약을 나타낸다. 특히, 다단계 카탈로그 표시 방식은 다음과 같이 설정될 수 있다:
가로 방향 표시
가장 왼쪽 열은 사용자를 보여주고, 두 번째 열은 사용자에게 속하는 것으로 식별되는 주제를 나뭇가지형(tree-like) 연결, 괄호, 같은 색상 등을 통해 보여준다. 세 번째 열은 주제에 속하는 하나 이상의 요약을 보여준다.
세로 방향 표시
가장 위에 있는 행은 사용자를 보여주고, 두 번째 행은 사용자에 속하는 것으로 식별되는 주제를 나뭇가지형 연결, 괄호, 같은 색상 등을 통해 보여준다. 세 번재 행은 주제에 속하는 것으로 식별되는 요약을 보여준다.
(c) 표를 표시할지 여부
사용자가 표를 표시하도록 선택했을 때, 사용자 요약은 표 형식으로 나타난다. 사용자가 표를 표시하지 않도록 선택했을 때, 표 프레임이 숨겨지고, 요약과 카탈로그 사이에 표 줄이 없다.
일 실시 예에 따라, 상기 설정 인터페이스는 사용자가 사용자 요약을 호출한 뒤 표시될 수 있다. 사용자가 설정 인터페이스 상에서 설정한다. 스마트 데스크탑은 사용자 설정에 따라 대응하는 사용자 요약을 표시한다. 또는, 사용자는 사용자 요약의 표시 방식을 미리 설정할 수 있다. 사용자가 사용자 요약을 호출한 후에, 스마트 데스크탑은 사전에 설정된 방식에 따라 대응하는 사용자 요약을 표시한다.
또한, 사용자는 사용자 요약이 표시될 때, 사용자 요약의 표시 방식을 실시간으로 조정할 수 있다. 스마트 데스크탑은 표시된 사용자 요약을 동적으로 조정한다. 예를 들어, 사용자가 본인이 필기한 컨텐츠는 사용자 요약 내에 표시되지 않도록 사전에 설정한다. 따라서, 스마트 데스크탑이 초기에 나타내는 사용자 요약은 사용자 본인이 필기한 컨텐츠를 포함하지 않는다. 사용자 요약을 볼 때, 사용자가 사전에 설정된 조작(e.g. 음성, 스크린 제스처, 등)을 통해 본인이 필기한 컨텐츠를 사용자 요약 내에 표시하도록 설정하면, 스마트 데스크탑은 사용자가 필기한 컨텐츠를 사용자 요약 내에 나타내기 위해서 실시간으로 사용자 요약을 동적으로 조정한다.
설정이 완료 된 이후, 사용자 요약 프레임 내에 사용자 요약이 표시된다. 실행 절차는 다음을 포함할 수 있다:
사용자들을 구별
사용자가 컨텐츠를 필기할 때, 스마트 데스크탑은 실시예1에 설명되어 있는 사용자 인증 솔루션에 따라 컨텐츠를 필기하고 있는 사용자를 인증한다. 이하 반복하지 않는다.
(2) 요약 도출
각 사용자가 필기한 컨텐츠에 대하여 텍스트 요약이 도출된다. 사용자가 필기한 컨텐츠는 여러 주제를 포함할 수 있다. 이때, 각 주제에 대하여 하나 이상의 요약이 도출될 수 있다. 요약의 길이는 설정 과정에서 사용자에 의해 선택된 길이 임계값을 넘지 않는다.
(3) 주제 분류
모든 사용자의 모든 요약은 의미 분석과 같은 기술에 따라 분류된다.
(4) 요약 표시
이때, 주제 및 이에 대응하는 요약은 주제 요약 프레임 내에 사용자에 의해 설정된 형식으로 표시된다. (가로 방향 또는 세로 방향 표시)
또한, 주제 요약은 다음과 같은 기능을 가질 수 있다:
1. 세부 컨텐츠를 보는 것: 컨텐츠 뷰잉 인스트럭션은 사용자로부터 수신될 수 있고, 요약과 관련된 컨텐츠는 사용자가 요약의 상세한 컨텐츠를 볼 수 있게 하는 컨텐츠 뷰잉 인스트럭션에 기초하여 표시될 수 있다.
(a) 하나 또는 여러 요약을 선택
사용자는 터치 스크린 상에서 요약을 클릭하는 방법으로 요약 하나를 선택할 수 있고, 또는 터치 스크린 상에서 손으로 영역 위를 슬라이딩하여 여러 개의 요약을 선택할 수 있다.
(b) 세부 컨텐츠에 대한 표시 방식
선택된 요약에 대응하는 원본 컨텐츠는 자동적으로 요약란의 뒤에(요약이 가로 방향으로 표시되었을 때) 또는 밑에(요약이 세로 방향으로 표시되었을 때) 생성된 창 안에 표시된다. 창의 가장자리 길이는 행(요약이 가로 방향으로 표시되었을 때) 또는 열(요약이 세로 방향으로 표시되었을 때)의 길이와 일정하게 유지된다. 이때, 사용자는 본인이 보기를 원하는 창을 선택할 수 있고, 터치 스크린 상을 클릭하는 것을 통해 확장시킬 수 있다. 창은 주제 요약 프레임에 딱 맞는 보기에 적합한 크기로 확대된다. 사용자는 드래깅과 (dragging) 같은 방식을 통해 윈도우의 위치 및 크기를 바꿀 수 있다. 이때, 확장된 창에 의해서 가려진 컨텐츠는 자동적으로 가려진다. 요약에 대응하는 원본 컨텐츠는 창 안에 표시된다. 컨텐츠가 너무 많으면, 표시를 위해 자동적으로 여러 페이지로 나누어진다. 컨텐츠의 디폴트 서체는 사용자가 원래 필기한 서체다. 시청자는 제스처를 통해 출력된 서체를 바꿀 수 있다. 컨텐츠의 서체 크기는 보기에 적합하고 창에 맞는 크기이다. 사용자가 여러 개의 요약들을 선택하고, 한 요약의 세부 컨텐츠를 보고 난 후 다른 요약의 세부 컨텐츠를 확인하고 싶을 때, 사용자는 창을 위로 말아 올릴 수 있다. 터치 스크린 상에서 확장된 윈도우를 클릭하고, 그 다음 다른 관심있는 요약을 클릭하여 세부 컨텐츠를 확인할 수 있도록 창을 확장한다. 사용자는 여러 요약의 세부 컨텐츠를 동시에 확인하기 위해서, 확장된 창을 말아 올린 후 다른 관심있는 요약을 클릭하여 확장하는 대신, 확장된 창을 요구사항에 따라 인접한 영역으로 드래그할 수 있다. 확장된 창이 서로 겹치는 경우, 나중에 확장된 창이 먼저 확장된 창을 가릴 수 있다.
(c) 요약의 키워드에 따라 검색
주제 요약의 세부 컨텐츠 창이 확장된 후에, 터치 스크린을 클릭하는 방식 등을 통해 사용자는 요약 내에서 단어를 선택할 수 있다. 그 후, 단어는 굵은 서체 또는 배경 강조 색을 통해 강조된다. 이때, 세부 컨텐츠 내에서 이 단어와 관련된 단어 혹은 절들 또한 강조된다.
(2) 동기 업데이트
사용자가 주제 요약을 볼 때, 다른 사용자가 컨텐츠를 수정하거나 보충하면, 스마트 데스크탑이 스마트 데스크탑 상의 컨텐츠에 업데이트를 검출하였을 때 주제 요약에 대해 사용자에게 알린다. 예를 들면, 스마트 데스크탑은 시간 순서 (필기가 잠간 동안 정지되었다)와 같은 방식을 통해 다른 사용자의 수정이 일시적으로 끝났는지 결정할 수 있고, 스마트 데스크탑은 주제 요약의 컨텐츠에 대한 업데이트 프롬프트를 아이콘 또는 점차 바뀌는 배경색의 방법으로 표시한다. 사용자는 터치 스크린에서 주제 요약의 컨텐츠를 한 번 클릭하는 것을 통해 컨텐츠 업데이트 인스트럭션을 제공할 수 있다. 스마트 데스크탑은 사용자 인스트럭션에 기초하여 주제 요약 내의 컨텐츠의 이 부분을 업데이트 한다.
스마트 데스크탑은 실시간으로 컨텐츠 상에 변화가 있는지를 검출할 수 있다. 스마트 데스크탑의 컨텐츠 내의 변화를 검출하면, 스마트 데스크탑은 주제 요약 내 컨텐츠의 이 부분을 직접적으로 업데이트 할 수 있고, 업데이트 된 컨텐츠를 표시할 수 있다. 이 방식은 인스턴트 업데이트 방식이라고도 불린다. 사용자는 모든 컨텐츠의 인스턴트 업데이트 과정을 볼 수 있다.
(3) 컨텐츠 제한 변경
(a) 주제 확장 또는 제한
사용자는 주제 위에서 왼쪽으로 스와이프를 통해 주제를 확장할 수 있고, 또는 오른쪽으로 스와이프를 통해 주제를 제한할 수 있다. 주제의 범위는 미리 정의된 구조 도표 또는 기존의 Wordnet 기술에 기초하여 결정된다. 사용자A의 컨텐츠로부터 도출한 요약은 “농구는 긴 역사를 갖고 있다”; 사용자B의 컨텐츠로부터 도출한 요약은 “농구 세부 규칙”, 사용자C의 컨텐츠로부터 도출한 요약은 “중국 축구가 세계를 따라잡을 것이다”이다, 그리고 사용자D의 컨텐츠로부터 도출한 요약은 “세계 운동 선수권 대회가 공식적으로 끝났다”이다. 이 때, 사용자A 및 사용자B의 컨텐츠는 농구라는 한 가지 주제로 분류될 것이고, 사용자C 및 사용자D의 컨텐츠는 이 주제로 분류되지 않을 것이다. 사용자가 주제에 관하여, 농구는 너무 작고 더 확장하기를 바란다면, 사용자는 “농구”를 왼쪽으로 스와이프할 수 있다. 이때, 주제가 “농구”에서 “구기 종목”으로 변경되고, 사용자C의 축구와 관련된 컨텐츠도 이 주제 내로 분류될 것이다. 사용자가 다시 왼쪽으로 스와이프하면, 주제는 “구기 종목”에서 “스포츠”로 변경될 수 있다. 이때, 사용자A, B, C, 및 D 네 명 모두의 요약이 이 주제로 분류된다.
(b) 요약 길이 변경
사용자의 요약 길이 변경 인스트럭션을 수신하면, 스마트 데스크탑은 요약 길이 변경 인스트럭션에 따라 요약의 길이를 변경한다.
사용자는 요약을 왼쪽으로 스와이프 하는 것과 같은 방식을 통해 요약의 길이를 줄일 것을 지시할 수 있고, 또는 요약을 오른쪽으로 스와이프 하는 것과 같은 방식을 통해 요약을 늘릴 것을 지시할 수 있다. 스와이프 하는 동안, 현재 최대 요약 길이 및 조정된 최대 요약 길이를 나타내기 위해 자가 표시될 수 있다. 요약의 최대 길이는 텍스트 요약 기술 내에서 사전에 정의될 수 있다. 다른 최대 길이에 대하여, 요약의 컨텐츠에 차이가 있을 수 있다. 예를 들어, 사용자A의 컨텐츠로부터 도출된 요약은 “중국이 선수권 대회에서 우승했다”이다. 이때, 사용자가 자가 15를 가리킬 때 까지(최대 15단어) 요약을 오른쪽으로 스와이프할 수 있다. 그 다음에, 요약은 “중국 팀이 세계 탁구 선수권 대회에서 우승했다.”가 될 것이다.
(4) 주제를 검색
(a) 검색 상자를 불러옴
사용자는 주제 요약 프레임 내의 임의의 위치를 더블 클릭 하는 것을 통해 주제 요약 프레임 내에서 검색 상자를 호출할 수 있다.
(b) 주제 입력
사용자가 검색 상자 안에 필요한 주제를 필기 입력 및 키보드 입력을 통해 입력한다.
사용자가 검색하는 것을 승인한 이후, 스마트 데스크탑은 사용자가 입력한 주제를 포함하고 있는 검색 인스트럭션을 검출하고, 검색 인스트럭션에 기초하여 요약의 검색을 수행한다.
(c) 주제 요약을 표시
i. 원본 컨텐츠를 숨긴다.
검색된 주제가 너무 많은 컨텐츠를 포함하고, 주제 요약 프레임이 빈 공간을 충분히 갖지 않을 때, 검색된 주제 및 대응되는 요약을 표시하기 위해 주제 요약 프레임 내의 원본 컨텐츠는 숨겨질 수 있다.
ii. 이후 표시
검색된 주제가 컨텐츠를 적게 포함하고, 주제 요약 프레임에 충분한 빈 공간이 있을 때, 검색된 주제 및 대응하는 요약은 기존의 주제에 뒤에 표시 될 수 있다.
(5) 프라이버시 설정
사용자는, 닫힌 영역을 선택하는 제스처를 통해, 본인의 컨텐츠의 일부를 개인적인 컨텐츠로 설정할 수 있고, 이 개인적인 컨텐츠가 다른 사용자들에게 보이지 않기를 희망할 수 있다. 또한, 사용자는 어떤 사용자들에게 개인적인 정보를 노출시키고 싶지 않은지 선택할 수 있다. 이때, 스마트 데스크탑이 선택된 사용자가 주제 요약을 여는 것을 검출하면, 사용자의 개인적인 컨텐츠는 요약 내에 표시되지 않는다. 스마트 데스크탑이 주제 요약 내에 사용자의 개인적인 컨텐츠를 숨긴다.
주제 요약 내에 개인정보를 숨기는 것은 다음을 포함한다: 개인정보를 표시 하지 않는 것, 또는 개인정보를 개인 식별자로 대체하는 것.
또한, 일 실시 예에 따라, 스마트 데스크탑은 자동적으로 사용자의 컨텐츠가 개인정보인지를 감지할 수 있다, 일종의 개인 계좌의 숫자, 또는 사용자 이름, 또는 비밀번호와 같은 컨텐츠가 감지 되면, 대응하는 컨텐츠가 개인적인 컨텐츠로 결정된다.
도 8은 본 명세서의 실시 예2에 따른 주제 요약의 표시를 나타내는 모식도이다.
도 8에 도시된 바와 같이, 왼쪽 부분은 스마트 데스크탑의 실제 스크린 디스플레이를 보여준다. 사용자는 본인의 위치 변경에 따라 다른 위치에 컨텐츠를 필기할 수 있다. 도 8에 도시된 바와 같이, Kim은 컨텐츠의 두 부분을 필기하는데, 그 중 하나는 농구에 관한 것이며 스크린 한쪽 부분(그의 초기 위치) 위에 있고, 다른 하나는 탁구에 관한 것이며 이는 그의 현재 위치 위에 있다. 다른 사용자들이 필기한 컨텐츠는 다른 색상으로 구별될 수 있다. 이때, Mako는 특정한 사용자에 의해 필기된 컨텐츠를 보고 싶으면, 그는 사용자 요약을 호출할 수 있다 (도 8의 오른쪽 부분). 사용자 요약에서, 사용자가 필기한 모든 컨텐츠는 주제 요약 형식으로 보여진다. 예를 들어, Mako가 Kim이 필기한 컨텐츠를 보고자 하는 경우, 그는 사용자 요약 내에서 Kim이 농구와 탁구라는 주제에 대해 컨텐츠를 필기한 것을 명료하게 알 수 있다. 이때, 그는 한가지 주제를 선택하여 세부 컨텐츠를 볼 수 있다.
일부 실시 예에서, 스마트 데스크탑은 독립적인 디바이스 또는 다수의 상호 연결된 관련 디바이스로 실행될 수 있다.
스마트 데스크탑이 연결 관계를 갖는 관련 디바이스를 포함하면, 각 사용자는 관련 디바이스를 각각 사용할 수 있다 (각 사용자가 테블릿 컴퓨터를 사용한다). 각 사용자는 주제 요약을 본인의 관련 디바이스에서 불러옴으로써, 다른 사용자들이 다른 관련 디바이스에서 필기한 컨텐츠를 볼 수 있다. 사용자들의 관련 디바이스들은 무선(Wi-Fi, 적외선, 블루투스) 또는 유선 방식을 통해 연결될 수 있다. 주제 요약을 불러오는 조작을 검출한 후에, 시청자가 사용하는 관련 디바이스는 다른 관련 디바이스에 표시된 것을 획득한다. 다른 관련 디바이스에 표시된 컨텐츠를 획득한 후에, 사용자의 관련 디바이스는 상기 설명된 스마트 데스크탑이 주제 요약을 불러오는 방식을 통해 사용자 요약을 불러오고 표시할 수 있다.
사용자 요약이 표시되었을 때, 사용자 요약은 시청자의 관련 디바이스의 전체 스크린을 차지할 수 있다. 다른 기능은 스마트 데스크탑의 사용자 요약의 기능과 비슷하다.
일 실시 예에 따라, 사용자는 요약(사용자 요약 또는 주제 요약) 위에 다른 사용자들이 필기한 컨텐츠를 볼 수 있다. 또한, 다른 사용자들이 필기한 컨텐츠를 수정할 수 있다. 스마트 데스크탑이 사용자가 트리거한 컨텐츠 수정 인스트럭션을 수신하고, 컨텐츠 수정 인스트럭션에 기초하여 썸네일 내의 컨텐츠를 수정하는데, 이때 수정은 삽입, 삭제 또는 다른 조작을 포함할 수 있다.
컨텐츠 삽입에 대하여: 사용자가 요약 안에 다른 사용자들이 필기한 컨텐츠를 보고, 오래 누르는 것과 같은 방식을 통해 컨텐츠를 필기할 위치를 선택한다. 이때, 이 위치에 커서 프롬프트가 제공될 수 있고, 이는, 사용자가 이 위치에 컨텐츠를 삽입하고자 하는 것을 나타낸다. 사용자가 이 위치에 삽입 될 컨텐츠를 필기한다.
컨텐츠 삭제에 대하여: 사용자가 다른 사용자들이 요약 안에 필기한 컨텐츠를 보고, 스크린 위에 줄을 긋는 것과 같은 방식으로 삭제할 컨텐츠를 선택한다. 이때, 취소선과 같은 식별자가 선택된 컨텐츠 위에 제공될 수 있고, 이 컨텐츠가 삭제될 것이라는 것을 나타낸다.
또한, 사용자는 터치 스크린 위에서 닫힌 영역을 선택하는 것과 같은 방식으로 수정될 컨텐츠를 선택할 수 있다. 이때, 선택된 컨텐츠에 대하여 점선 직사각형과 같은 식별자가 제공될 수 있고, 이는 컨텐츠가 수정될 것임을 의미한다. 사용자가 수정될 컨텐츠를 입력한다. 스마트 데스크탑이 원본 컨텐츠를 삭제하고, 수정될 컨텐츠로 이를 대체한다.
일 실시 예에 따라, 컨텐츠가 수정되는 것이 컨텐츠가 속해있는 사용자에 대응하는 표시 영역에 실시간으로 동기화될 수 있다. 예를 들어, 사용자A가 “농구는 흥미로운 스포츠이다”라는 컨텐츠를 필기한다. 사용자B가 썸네일을 통해 위에서 사용자A가 필기한 컨텐츠를 “농구는 흥미로운 스포츠이고, 직장인들에게 매우 적합하다”로 수정한다. 사용자B의 편집 과정에서, 스마트 데스크탑은 사용자A의 표시 영역 안의 컨텐츠에 대하여 동기화된 편집을 제공한다. 사용자A는 사용자B의 편집 과정을 볼 수 있다. 편집하는 중에, 사용자A로 하여금 어떤 사용자가 컨텐츠를 편집하고 있는지 알 수 있도록, 사용자B의 사용자 식별자(머리 이미지 등)가 사용자A의 표시 영역에 표시될 수 있다.
또한 일 실시 예에 따라, 편집된 컨텐츠의 서체는 편집하고 있는 사용자의 서체, 또는 편집되고 있는 컨텐츠를 필기한 사용자의 서체일 수 있다. 또한 사용자는 다른 사용자들이 본인의 컨텐츠를 편집하는 것을 허락할지 여부 또는 어느 사용자에게 본인의 컨텐츠의 편집을 허락하고 금지시킬지 여부를 설정할 수 있다. 또한, 다른 사용자가 사용자의 컨텐츠를 편집하면, 사용자는 편집하는 것을 수락할지 여부를 선택할 수 있다.
실시예4
여러 사용자들이 스마트 데스크탑을 사용하여 필기할 때, 각 사용자들이 다른 위치에 앉아있고 다른 방향으로 있기 때문에, 사용자가 필기한 컨텐츠를 다른 사용자와 공유하거나, 또는 다른 사용자들 앞에서 필기하는 것이 불편하다.
이러한 관점에서, 일 실시 예에 따라, 스마트 데스크탑의 컨텐츠에 대한 표시 인스트럭션이 검출되고, 컨텐츠는 지정된 표시 양식에 따라 스마트 데스크탑 위에 표시된다. 컨텐츠는 공유될 컨텐츠를 포함한다. 지정된 표시 방식은 다음을 포함한다: 공유될 컨텐츠를 수신하는 사용자를 결정; 지정된 사용자에 기초하여 스마트 데스크탑 상의 컨텐츠를 표시.
상황: 사용자A는 본인이 필기한 컨텐츠를 사용자B와 공유하고 싶다.
솔루션: 지정된 사용자와 공유한다.
다른 사용자들과 컨텐츠를 공유하는 사용자(공유자)가 컨텐츠를 공유될 컨텐츠를 수신 받을 사용자(수신자)를 미리 지정할 수 있고, 공유할 컨텐츠를 지정하거나 또는 지정할 수 있고, 공유될 컨텐츠를 수신할 사용자를 지정한다.
사용자 지정: 일 실시 예에 따라, 사용자의 특정 조작(e.g. 공유 버튼을 누른다, 등)을 검출하였을 때, 공유를 승인하기 위해서, 스마트 데스크탑은 사용자의 사용자 식별자(머리 이미지, 사용자 이름, 등)를 현재 표시 영역에 표시한다. 사용자는 공유될 컨텐츠를 수신 받을 사용자를 사용자 식별자로 선택할 수 있다. 예를 들어, 사용자는 사용자의 실시간 머리 이미지 또는 이름을 길게 누름으로써 사용자를 선택할 수 있다. 이때, 사용자의 머리 이미지 또는 이름이 강조되며, 사용자로부터 선택되었고, 컨텐츠를 공유할 것이라는 것을 나타낸다. 또한, 일 실시 예에 따라, 상대적인 위치를 나타내는 썸네일 또는 사용자 요약에 기초하여, 컨텐츠를 함께 공유할 사용자를 지정할 수 있다.
컨텐츠의 지정: 사용자는 기존의 컨텐츠를 공유할 컨텐츠로 지정할 수 있고, 또는 실시간으로 필기된 컨텐츠를 공유할 컨텐츠로 지정할 수 있다. 입력 상자를 열고 공유할 컨텐츠를 입력한다.
(a) 기존 컨텐츠 지정
닫힌 영역을 터치 스크린 상에서 선택함으로써, 공유하는 사용자는 공유될 컨텐츠를 기존의 컨텐츠 내에서 선택할 수 있다. 사용자가 특정 수신받는 사용자와 컨텐츠를 공유하기 위해 선택하면, 수신받는 사용자의 현재 표시된 컨텐츠 뒤에 컨텐츠가 자동적으로 삽입된다. 서체 크기는 수신 받는 사용자의 현재 표시된 컨텐츠의 서체 크기와 일치할 수 있다. 서체 종류는 필기 인식 및 필기 조합과 같은 기술을 통해 공유하는 사용자 또는 수신받는 사용자의 것으로 전환될 수 있다.
선택적으로, 공유된 컨텐츠의 레이아웃은 스마트 데스크탑 상의 수신받는 사용자에 대응하는 표시 영역에 따라 자동적으로 배열될 수 있다. 예를 들어, 공유될 컨텐츠가 많아 스마트 데스크탑 상의 수신받는 사용자에 대응하는 표시 영역의 빈 공간에 완전히 다 표시할 수 없을때, 컨텐츠의 서체 종류가 조정되거나 또는 컨텐츠가 여러 페이지에 걸쳐 표시될 수 있다.
(b) 실시간으로 필기된 컨텐츠를 지정
공유하는 사용자는 대응하는 스마트 데스크탑의 표시 영역내의 한 위치를 길게 누름으로써 입력 박스를 호출한다. 필기 박스의 크기는 시스템에 의해서 사전에 설정될 수 있고, 사용자가 설정할 수 있고, 또는 현재 빈 영역에 따라 자동적으로 조정될 수 있다. 공유하는 사용자의 필기 과정 중에서, 필기 상자의 크기는 자동적으로 확장될 수 있고, 필기 상자에 의해 가려진 스크린 상의 원본 컨텐츠는 숨겨질 수 있다. 이때, 수신 받는 사용자는 공유하는 사용자의 필기 과정을 대응하는 스마트 데스크탑의 표시 영역에 동시에 표시한다. 서체 크기는 수신 받는 사용자의 현재 표시된 컨텐츠의 서체 크기와 일치할 수 있다. 서체 종류는 공유하는 사용자 또는 수신 받는 사용자의 서체 종류와 같을 수 있다.
스마트 데스크탑은 공유될 컨텐츠의 레이아웃을 수신 받는 사용자의 표시 영역에 따라 자동적으로 배열할 수 있다. 예를 들어, 공유될 컨텐츠가 너무 많아 스마트 데스크탑 상의 수신받는 사용자에 대응하는 표시 영역의 빈 공간에 완전히 다 표시할 수 없을때, 컨텐츠의 서체 종류가 조정되거나 또는 컨텐츠가 여러 페이지에 걸쳐 표시될 수 있다.
공유하는 사용자는 필기가 끝났음을 필기 상자를 더블 클릭함으로써 나타낼 수 있다. 이때, 공유하는 사용자가 필기 상자 안에 있는 컨텐츠를 저장하도록 한다. 공유하는 사용자가 컨텐츠를 저장하도록 선택하면, 필기 상자 안의 컨텐츠는 자동적으로 스마트 데스크탑 상의 수신받는 사용자에 대응하는 표시 영역의 빈 공간에 추가되거나 또는 기존 컨텐츠의 끝 부분에 추가된다. 그 후 공유하는 사용자의 필기 상자가 닫힌다. 이때, 대응되는 수신 받는 사용자의 스마트 데스크탑 상의 표시 영역에 프롬프트를 표시하여 수신 받는 사용자가 추가된 수정 컨텐츠를 수락할지 선택하도록 한다. 수신 받는 사용자가 수락한다면, 공유되는 컨텐츠는 자동적으로 원본 컨텐츠에 추가되거나 또는 원본 컨텐츠가 수정되고, 레이아웃이 재배열된다. 레이아웃 재배열 뒤에 추가된 컨텐츠가 빈 공간이 충분하지 않아 표시될 수 없으면, 컨텐츠에 대하여 여러 페이지가 제공될 수 있고, 또는 추가된 컨텐츠를 표시할 수 있도록 빈 공간을 생성하기 위해 다른 블록의 레이아웃이 조정될 수 있다.
일 실시 예에 따라, 스마트 데스크탑은 공유될 컨텐츠의 표시 방향을 공유된 컨텐츠를 수신 받는 사용자(수신 받는 사용자)의 시선 방향에 따라 조정한다.
도9는 본 명세서의 실시 예4에 따른 지정된 사용자와의 공유를 나타내는 모식도이다.
도9에 도시된 바와 같이, 왼쪽 부분은 스마트 데스크탑의 실제 스크린 표시를 나타낸다. 사용자 Kim이 탁구에 대한 컨텐츠를 필기하고, 사용자 Frank는 농구, 기타 및 피아노에 대한 컨텐츠를 필기하고, 사용자 Lia는 피아노에 대한 컨텐츠를 필기하고, 사용자 Mako는 탁구에 대한 컨텐츠를 필기한다. 사용자 Kim이 주제 요약을 확인하고 (도9의 오른쪽 부분), 시스템은 자동적으로 주제 별로 표시한다: 스포츠와 음악, 다른 사용자들이 필기한 컨텐츠는 각 주제별로 구분된다. 예를 들어, 스포츠 주제 안에는, 컨텐츠가 다음 순서대로 표시되어 있다: Kim이 필기한 탁구, Frank가 필기한 농구, Mako가 필기한 탁구, 이 때 컨텐츠는 요약으로 표시된다. 사용자는 요약을 선택함으로써 세부 컨텐츠를 확인할 수 있다. 탁구에 관한 Kim의 컨텐츠를 사용자 Frank와 공유하기 위해서, 사용자 Kim은 탁구에 관한 컨텐츠를 공유될 컨텐츠로 선택할 수 있고, Frank를 컨텐츠를 공유할 사용자로 선택할 수 있다.
또한, 일 실시 예에 따라, 공유하는 사용자는 공유된 컨텐츠를 수신 받는 사용자(수신받는 사용자들)를 여러명 지정할 수 있다.
실시예 5
일 실시 예에 따라, 스마트 데스크탑 상의 컨텐츠에 대한 표시 인스트럭션이 검출된다; 또한 컨텐츠는 스마트 데스크탑에 지정된 표시 방식을 기초하여 표시된다. 컨텐츠는 공유될 컨텐츠를 포함한다. 지정된 표시 방식은 다음을 포함한다: 공유될 컨텐츠의 표시 위치를 결정하고, 또한 스마트 데스크탑 상에 결정된 표시 위치를 기초하여 컨텐츠를 표시하는 것을 포함한다.
상황: 사용자A는 그의 컨텐츠를 사용자B 및 사용자C와 공유하고 싶어하고, 사용자B와 사용자C는 인접한 자리에 앉아있다.
솔루션: 지정된 위치들로 공유
컨텐츠를 공유하는 사용자 (공유하는 사용자)는 우선 공유할 컨텐츠의 표시 위치를 지정하고 그 다음 공유할 컨텐츠를 지정하거나, 또는 우선 공유할 컨텐츠를 지정하고 그 다음 공유할 컨텐츠의 표시 위치를 지정할 수 있다.일 실시 예에 따라, 공유할 컨텐츠를 표시하는 것에 대하여 표시 위치는 상대적인 위치를 나타내는 썸네일을 통해 지정될 수 있다.
위치를 지정: 공유하는 사용자는 터치 스크린 상을 클릭하는 것을 통해 상대적인 위치를 나타내는 썸네일 내에서 빈 위치 (e.g., 두 컨텐츠 블록들 가운데 위치)를 선택할 수 있고, 이는 사용자가 이 위치에서 컨텐츠를 공유하고 싶어하는 것을 나타낸다.
컨텐츠를 지정: 공유하는 사용자는 기존 컨텐츠를 공유될 컨텐츠로 지정할 수 있고, 또는 실시간으로 필기되고 있는 컨텐츠를 공유될 컨텐츠로 지정할 수 있다. 예를 들어, 사용자가 필기 상자를 열고 공유될 컨텐츠를 입력할 수 있다. 컨텐츠를 지정하는 방법은 도 4에서 설명된 것과 비슷하고, 이하 반복하지 않는다.
일 실시 예에 따라, 스마트 데스크탑은 수신받는 사용자의 위치를 카메라를 통해 검출할 수 있고, 공유될 컨텐츠의 표시 위치를 한 명 또는 그 이상의 사용자들의 시야각의 중심 위치로 조정할 수 있다.
도 10은 본 명세서의 실시 예5에 따른 지정된 위치에 기반한 공유를 나타내는 모식도이다.
도 10에 도시된 바와 같이, 왼족 부분은 스마트 데스크탑의 실제 스크린을 나타낸다. 사용자 Kim이 탁구에 대한 컨텐츠를 필기하고, 사용자 Frank가 농구에 대한 컨텐츠를 필기하고, 사용자 Lia가 피아노에 대한 컨텐츠를 필기하고, 사용자 Mako가 피아노 및 기타에 대한 컨텐츠를 필기한다. 사용자 Lia 상대적인 위치를 나타내는 썸네일 내에서 터치 스크린을 클릭함으로써(사용자 Lia가 이 빈 영역에 컨텐츠를 공유하고자 함을 나타낸다) 사용자 Frank와 사용자 Kim과 가까운 빈 영역을 선택한다. 스마트 데스크탑은 Lia가 공유한 컨텐츠(e.g. Lia가 실시간으로 필기한 컨텐츠)를 빈 영역에서 공유한다. 따라서, 사용자 Frank 와 Kim은 공유된 컨텐츠를 편리하게 볼 수 있다.
또한, 일 실시 예에 따라, 공유하는 사용자는 공유될 컨텐츠를 표시하는 것에 대하여 여러 개의 표시 위치를 지정할 수 있다. 이때, 공유될 컨텐츠는 공유하는 사용자가 지정한 다양한 표시 위치들에 표시된다.
실시예 6
일 실시 예에 따라, 컨텐츠를 공유할 때, 스마트 데스크탑 상에서 공유 영역이 설정될 수 있다. 컨텐츠 공유 결정 인스트럭션을 수신한 이후, 스마트 데스크탑은 컨텐츠 공유 결정 인스트럭션에 따라 공유될 컨텐츠를 공유 영역으로 복사한다. 다른 사용자들은 공유된 컨텐츠를 공유 영역 내에서 편리하게 볼 수 있다.
이하 다음 솔루션을 상세하게 설명한다: 스마트 데스크탑의 컨텐츠에 대한 표시 인스트럭션이 검출된다; 지정된 표시 방식에 기초하여 스마트 데스크탑 상에 컨텐츠가 표시된다. 컨텐츠는 공유될 컨텐츠를 포함한다. 지정된 표시 방식은 다음을 포함한다: 스마트 데스크탑 상에서 공유 영역을 설정하고, 공유될 컨텐츠를 컨텐츠 공유 인스트럭션에 따라 공유 영역으로 복사한다.
상황: 여러 사용자들이 문제에 대해 상의하고 있고, 그들의 각 컨텐츠를 공유하고, 보고, 획득해야 한다.
솔루션: 공유 영역
사전에 공유 영역을 표시하는 것을 유발하는 조작이 설정된다. 예를 들어, 손바닥이 스크린 위에 올려져 있으면, 이것은 사용자가 공유 영역을 열고 싶어한다는 것을 의미한다. 이때, 스마트 데스크탑은 사용자들의 상기 조작을 검출함에 따라 스크린 상에 공유 영역을 표시한다. 공유 영역의 위치, 크기 및 모양은 다음과 같이 설명된다.
(1) 위치와 모양
공유 영역의 중심은 전체 스크린의 중심일 수 있다. 모양은 사용자가 설정할 수도 있고, 또는 스마트 데스크탑의 스크린의 모양과 관련되어 있거나 (원형의 스마트 데스크탑에 대하여 원형의 공유 영역), 디폴트로 타원이 되도록 설정될 수 있다.
(2) 크기
공유 영역의 크기는 시스템에 의해 사전에 설정될 수 있다. 공유 영역의 모서리는 모든 사용자에 의해 닿을 수 있다. 이때, 몇몇의 표시된 컨텐츠가 공유 영역에 의해 가려지면, 표시된 컨텐츠의 블록이 스마트 데스크탑 상의 대응하는 사용자의 빈 영역으로 자동적으로 조정된다. 사용자의 빈 공간이 충분히 크지 않으면, 컨텐츠를 빈 영역에 놓을 수 있도록 컨텐츠를 여러 페이지들에 넣어 크기를 축소할 수 있다. 스마트 데스크탑 상의 표시 영역에 빈 영역이 없으면, 컨텐츠는 사용자의 다른 블록의 끝으로 이동되고, 다른 페이지에 표시된다. 사용자는 영역 안의 다른 페이지들을 스크린 슬라이드를 통해 볼 수 있다.
사용자들이 편리하게 알아볼 수 있도록, 공유 영역의 색상은 스마트 데스크탑 상의 다른 영역들과 다를 수 있다.
컨텐츠의 공유에 대하여
도 11은 본 명세서의 실시 예6에 따른 공유 영역을 나타내는 모식도이다. 도 11(a)에 도시된 바와 같이, 컨텐츠를 공유하는 사용자(공유하는 사용자 또는 공유자)가 공유될 컨텐츠를 선택하거나 ( 닫힌 영역을 선택함으로써), 또는 컨텐츠를 공유하는 사용자(공유하는 사용자 또는 공유자)가 실시간으로 공유될 컨텐츠를 필기한다. 도 11(b)에 도시된 바와 같이, 공유하는 사용자(공유자)가 조작(위쪽으로 밀기)를 통해 공유될 컨텐츠를 공유 영역으로 끌어올 수 있고, 공유 영역 안에 컨텐츠가 표시될 것임을 나타낸다. 스마트 데스크탑은 공유될 컨텐츠를 공유 영역으로 복사하고, 이때 공유될 컨텐츠의 방향은 공유 영역의 모서리와 나란하다. 공유하는 사용자 (공유자)는 지정된 사용자에게 공유될 컨텐츠를 숨길 수 있다. 공유될 컨텐츠가 컨텐츠가 숨겨지도록 설정된 사용자 앞으로 전환되면, 공유될 컨텐츠는 자동적으로 숨겨진다.
공유된 컨텐츠를 보는 것에 대하여:
도 11(c)에 도시된 바와 같이, 공유 영역은 공유 영역의 중심에 의해 회전할 수 있다. 사용자의 손이 공유 영역의 모서리를 터치하면, 공유 영역은 회전 모드로 들어간다. 사용자의 손의 슬라이드에 의해 판이 회전하고, 회전 속도는 슬라이드 속도와 일치한다. 이때, 오직 이 사용자만 공유 영역을 회전시킬 수 있다. 공유하는 사용자 (공유자)가 공유 영역을 회전할 때, 공유 영역 내의 컨텐츠는 공유 영역의 회전과 함께 회전하고, 원래의 상대적인 위치를 유지한다. 이때, 사용자는 그가 원하는 컨텐츠를 검색할 수 있다. 공유하는 사용자(공유자)의 손이 공유 영역을 특정 시간 동안 벗어나 있다면, 판은 정지된 상태로 돌아온다.
공유될 컨텐츠를 획득하는 것에 대하여:
도 11(d)에서 도시된 바와 같이, 사용자는 공유될 컨텐츠를 획득하기를 기대하고, 터치 스크린 상에서 드래그하는 것과 같은 방식으로 (시청자는) 공유 영역을 회전하고, 공유 영역 내의 일부 컨텐츠를 획득할 수 있고, 컨텐츠를 그의 표시 영역에 표시할 수 있다.
(1) 사용자는 표시 위치가 가깝지 않은 공유된 컨텐츠를 획득하기를 기대한다. 이때, 공유된 컨텐츠를 획득하기를 기대하는 사용자가 공유된 컨텐츠와 가까워지기 위해서, 공유 영역을 자발적으로 회전시킬 수 있다. 공유 영역 회전 인스트럭션에 따라, 스마트 데스크탑은 공유 영역을 회전시킨다.
(2) 공유된 컨텐츠를 획득하기를 기대하는 사용자의 주변으로 공유된 컨텐츠가 회전되어 왔을 때, 사용자가 트리거한 공유 영역 회전 정지 인스트럭션에 따라 공유 영역의 회전이 정지될 수 있다.
(3) 공유된 컨텐츠를 획득하기를 기대하는 사용자 주변에서 공유된 컨텐츠가 멈추었을 때, 사용자는 다른 사용자가 공유한 컨텐츠를 획득하기 위해, 공유된 컨텐츠를 공유영역으로부터 자신의 표시 영역으로 복사할 수 있다.
익명 공유에 대하여:
공유된 컨텐츠를 공유 영역 안에 넣은 후에, 공유하는 사용자는 공유된 컨텐츠 및 사용자 식별자(머리 이미지, 서명, 등)을 공유 영역 내의 컨텐츠에 대응하여 표시할 수 있다. 또한, 일 실시 예에 따라, 사용자는 익명 공유를 수행할 수 있다. 사용자는 사전에 설정된 조작(익명 공유 버튼을 클릭한다)을 통해, 공유될 컨텐츠를 공유 영역 안에 놓은 후에, 공유 영역 내에 오직 공유된 컨텐츠만 표시되고 대응하는 사용자 식별자는 표시되지 않도록 설정할 수 있다. 또한, 공유될 컨텐츠에 대하여 서체 변경이 제공될 수 있다. 공유하는 사용자의 필기체가 활자체로 변경될 수 있다.
실시예 7
사용자가 스마트 데스크탑을 이용하여 텍스트나 공식을 필기하거나 또는 그림을 그릴 때, 스마트 데스크탑 상에 존재하는 컨텐츠들 때문에 사용자의 필기 공간이 부족할 수 있다.
이러한 관점에서, 일 실시 예에 따라, 현재 필기하고 있는 컨텐츠의 입력 위치와 위치 충돌을 갖는 기존의 컨텐츠가 검출되고, 기존의 컨텐츠를 검출함에 따라 기존 컨텐츠에 대한 표시 인스트럭션이 트리거되고, 기존의 컨텐츠는 일시적으로 숨겨진다.
이하, 다음 솔루션을 상세하게 설명한다: 스마트 데스크탑의 컨텐츠에 대한 표시 인스트럭션이 검출된다; 지정된 표시 방식에 기초하여 컨텐츠는 스마트 데스크탑에 표시된다. 컨텐츠는 다음을 포함한다: 현재 필기하고 있는 컨텐츠의 위치와 위치 충돌을 갖는 기존 컨텐츠. 스마트 데스크탑의 컨텐츠에 대하여 표시 인스트럭션을 검출하는 것은 다음을 포함한다: 현재 필기되고 있는 컨텐츠의 입력 위치와 위치 충돌을 갖는 기존 컨텐츠를 검출하고, 기존의 컨텐츠를 검출함에 따라 기존의 컨텐츠에 대한 표시 인스트러션을 트리거한다. 지정된 표시 방식은 다음을 포함한다: 일시적으로 숨겨진 기존의 컨텐츠
상황: 컨텐츠A는 스마트 데스크탑 상에 존재한다. 사용자가 컨텐츠 B를 기존에 존재하는 컨텐츠A의 왼쪽에 입력한다. 컨텐츠B를 입력할 때, 컨텐츠A의 존재 때문에 컨텐츠 B의 입력 공간이 부족하다.
도 12는 본 명세서의 실시 예7에 따른 필기 충돌을 나타내는 모식도이다.
필기 충돌을 극복하기 위해서, 본 명세서는 다음을 포함한다:
(a) 필기 충돌에 대응하는 기능 구현
1. 스마트 데스크탑의 시작과 함께 구현된다; 2. 사용자에 의해 터치 스크린 상에 제공되는 옵션 설정을 통해 구현된다; 3. 사용자에 의해 음성 지시를 통해 구현된다; 4. 사용자가 필기한 인스트럭션을 통해 구현된다; 5. 입력 조작이 있을 때 자동적으로 구현된다; 6. 사용자에 의해 스타일러스 펜과 같은 외부 디바이스를 통해 구현된다.
(b) 필기 충돌을 검출하고 실시간으로 충돌하는 컨텐츠를 숨김
본 명세서는 위치 검출 숨김 모드 및 충돌 예측 숨김 모드를 제공한다. 사용자는 음성 지시, 필기 지시, 데스크탑 스크린 터치, 및 외부 디바이스와 같은 방식을 통해 설정할 수 있다. 위치 검출 숨김 모드 및 충돌 예측 숨김 모드는 각각 다음과 같이 설명된다
위치 검출 숨김 모드: 사용자가 텍스트, 공식을 입력하거나, 또는 그림을 그릴 때, 시스템은 사용자의 현재 필기 위치 (i.e., 사용자가 현재 입력하고 있는 컨텐츠의 입력 위치)와 데스크탑 상의 기본 컨텐츠 간에 충돌이 있는지를 확인한다. 충돌이 있으면, 현재 필기의 연속적인 필기를 가능하게 하기 위해, 현재 필기의 위치 상에서 충돌이 있는 컨텐츠에 대하여 locally hiding을 제공한다. 따라서, 사용자는 계속 입력하는 것이 가능하다.
충돌 예측 숨김 모드: 사용자가 문자, 공식을 입력하거나 그림을 그릴 때, 시스템은 현재 입력을 위해 사용자에게 필요한 공간을 사용자가 최근에 입력한 다음 컨텐츠에 따라 예측한다: 필적 특성, 문자 컨텐츠와 구조 (글자, 단어, 문장 및 단락), 공식 컨텐츠와 포맷, 그림 모양과 크기, 그리고 필요간 공간과 존재하는 컨텐츠의 위치 사이에 충돌이 있는지 검출한다, i.e., 입력 위치 상에서 기존 컨텐츠가 현재 작성하고 있는 컨텐츠와 위치 충돌을 갖는지 예측. 충돌이 있다면, 사용자가 계속 입력할 수 있도록, 충돌이 존재할 것이라고 예측되는 위치 상의 예측되는 필요 공간에 의해서, 시스템은 충돌을 갖는 기존 컨텐츠에 대해서 locally hiding을 제공한다.
도 13은 본 명세서의 실시 예7에 따른 writing conflict processing 이후 표시의 제1실시 예를 나타내는 모식도이다. 도 13에 도시된 바와 같이, 필기 충돌은 몇 개의 기존 컨텐츠를 숨김으로써 해결할 수 있다.
(c) 입력 후 충돌되는 컨텐츠의 조정을 표시
현재 필기하고 있는 컨텐츠의 입력을 검출하는 것이 끝났을 때, 스마트 데스크탑은 표시 재개 방식을 기존의 컨텐츠 및 현재 필기하고 있는 컨텐츠의 의미상의 상관관계에 기초하여 결정할 수 있다.
표시 재개 방식은 다음을 포함한다: 기존의 컨텐츠 및/또는 현재 필기하고 있는 컨텐츠의 위치를 이동한 후 표시를 재개한다, 전체 컨텐츠 이동 모드; 또는 기존의 컨텐츠 및/또는 현재 필기하고 있는 컨텐츠의 레이아웃 재배열 후 표시를 재개한다, i.e., 로컬 컨텐츠 레이아웃 재배열 모드.
사용자는 음성 지시, 필기 지시, 데스크탑 스크린 터치, 및 외부 컨트롤러와 같은 방식을 통해 설정할 수 있다. 전체 컨텐츠 이동 모드 및 로컬 컨텐츠 레이아웃 재배열 모드는 다음와 같이 설명된다:
전체 컨텐츠 이동 모드:
도 14는 본 명세서의 실시 예7에 따른 필기 충돌 프로세싱 이후 표시의 제2실시 예를 나타내는 모식도이다. 도 14에 도시된 바와 같이, 시스템은 새로운 컨텐츠를 입력하는 동안 기존의 컨텐츠와 위치 충돌이 있는지 실시간으로 검출한다. 새로운 컨텐츠의 입력이 끝났을 때, 시스템이 입력 중에 충돌이 있음을 검출하면, 시스템은 새로운 컨텐츠 및 기존 컨텐츠를 위한 완전한 영역을 필적 특성, 텍스트 컨텐츠 및 구조 (글자, 단어, 문장, 및 단락), 공식 컨텐츠 및 형식, 그림 모양 및 크기, 및 입력 시간 등에 기초하여 각각 결정한다. 이것들의 완전한 영역이 결정된 후, 충돌을 제거하고 숨겨진 기존 컨텐츠의 표시를 재개하기 위해서, 시스템은 두 완전한 영역의 컨텐츠의 상대적인 위치에 대한 조정을 제공한다. 충돌을 갖는 기존 컨텐츠는 기존 컨텐츠의 표시를 재개하기 위해서 이동될 수 있다. 또는, 충돌을 갖는 새로운 컨텐츠가 기존 컨텐츠의 표시를 재개하기 위해서 이동될 수 있다. 또는, 충돌을 갖는 새로운 컨텐츠 및 기존 컨텐츠가 기존 컨텐츠의 표시를 재개하기 위해서 이동될 수 있다.
로컬 컨텐츠 레이아웃 재배열 모드:
도 15는 본 명세서의 실시 예7에 따른 필기 충돌 프로세싱 이후 표시의 제3실시 예를 나타내는 모식도이다. 도 15에 도시된 바와 같이, 시스템은 새로운 컨텐츠를 필기하는 동안, 새로운 컨텐츠가 기존의 컨텐츠와 위치 충돌이 있는지 실시간으로 검출하고, 충돌 위치를 기록한다. 새로운 컨탠츠의 입력이 끝났을 때, 시스템은 충돌을 제거하고 숨겨진 충돌 컨텐츠의 표시를 재개하기 위해서, 새로 입력된 컨텐츠 및/또는 충돌 위치 위의 기존 컨텐츠에 대한 로컬 레이아웃 재배열을 수행한다. 충돌을 갖는 기존 컨텐츠의 레이아웃은 충돌 위치 상에서 재배열 될 수 있고, 또는 기존 컨텐츠의 표시가 재개되고 새로 입력된 컨텐츠가 재배열 될 수 있고, 또는 새로 입력된 컨텐츠 및 기존의 컨텐츠의 레이아웃 둘 다 재배열 될 수 있다.
재배열하는 동안, 그림의 모양이 바뀌지 않고 공식의 연속성이 영향을 받지 않도록, 완성된 그림, 공식 및 텍스트의 레이아웃은 우선순위에 따라 재배열될 수 있다. 가급적이면 텍스트의 레이아웃을 먼저 재배열하고, 그 다음 공식 그리고 마지막으로 그림을 재배열할 수 있다. 예를 들어, 새로 입력된 컨텐츠가 그림이고, 이와 충돌이 있는 기존 컨텐츠가 텍스트 컨텐츠이면, 그림의 모양이 변하지 않도록, 가급적이면 텍스트 컨텐츠의 레이아웃울 재배열할 것이다.
또한, 일 실시 예에 따라, 입력이 완료된 후, 충돌을 갖는 컨텐츠의 표시는 조정될 수 있다.
1) 현재 사용자가 필기한 컨텐츠가 충돌되는 기존 컨텐츠와 관련이 있다면, 도 15에 도시된 바와 같이 표시는 주변 표시 방식에 따라 조정될 수 있다;
2) 사용자가 현재 필기하고 있는 컨텐츠가 충돌되는 기존 컨텐츠와 관련이 없다면, 도 14에 도시된 바와 같이 표시는 주변 표시 방식에 따라 조정될 수 있다;
3) 현재 필기하고 있는 컨텐츠 및 충돌되는 기존 컨텐츠가 같은 사용자에 의해 필기된 경우, 도 14에 도시된 바와 같이 표시는 주변 표시 방식에 따라 조정될 수 있다;
4) 현재 필기하고 있는 컨텐츠 및 충돌되는 기존 컨텐츠가 같은 사용자에 의해 필기되지 않은 경우, 도 15에 도시된 바와 같이 표시는 주변 표시 방식에 따라 조정될 수 있다.
(d) 필기 충돌 관련 기능을 제한:
1. 스마트 데스크탑의 닫힘으로써 제한; 2. 사용자에 의해 터치 스크린 옵션 설정 제공을 통해 제한; 3. 사용자의 음성 지시를 통해 제한; 4. 사용자의 필기 지시를 통한 제한; 5. 아무런 조작이 없을 때 자동적으로 제한; 및 6. 사용자에 의해 스타일러스 펜과 같은 외부 관련 디바이스를 통한 제한.
실시예8
스마트 데스크탑을 사용하는 동안, 컵, 가방, 휴대폰, 공책, 팔꿈치 등과 같은 외부 물체가 스크린 상의 글자 또는 다른 컨텐츠를 가릴 수 있고, 이는 사용자에게 불편을 초래한다.
위의 관점에서, 일 실시 예에 따라, 스마트 데스크탑 상의 방해 물체를 검출하고, 스마트 데스크탑의 컨텐츠가 방해 물체에 의해 가려진 경우 가려진 컨텐츠에 대하여 표시 인스트럭션을 트리거하고, 가려진 컨텐츠의 레이아웃을 재배열한다.
이하, 다음 솔루션을 상세히 설명한다: 스마트 데스크탑의 컨텐츠의 표시 인스트럭션을 검출한다; 스마트 데스크탑에 컨텐츠를 지정된 표시 방식에 따라 표시한다. 컨텐츠는 스마트 데스크탑 상의 방해 물체에 의해 가려진 컨텐츠를 포함한다. 스마트 데스크탑의 컨텐츠의 표시 인스트럭션 검출은 스마트 데스크탑 상의 방해 물체를 검출하고, 스마트 데스크탑의 컨텐츠가 방해 물체에 의해 가려진 경우 컨텐츠에 대해 표시 인스트럭션을 트리거하는 것을 포함한다. 지정된 표시 방식은 가려진 컨텐츠의 레이아웃 재배열을 포함한다.
시나리오: 사용자A가 스마트 데스크탑 위에 컵을 놓는다. 스마트 데스크탑 위에 표시된 컨텐츠가 컵에 의해 가려져 있다. 도 16은 본 명세서의 실시 예8을 나타내는 모식도이다.
상기 상황을 극복하기 위해서, 본 명세서는 다음을 포함한다:
상황1. 자동 폐색 조정 모드
사용자는 자동 폐색 조정 모드를 a)음성 지시; 사용자 A가 “자동 폐색 조정 모드 실행”과 같이 음성 지시를 내린다. 이때, 자동 폐색 조정 모드가 켜진다; b) 물리적 버튼 조작: 사용자는 스마트 데스크탑 상의 특정한 버튼을 누름으로써 자동 폐색 조정 모드를 켤 수 있다. c) 터치 스크린 조작: 사용자는 스크린을 터치함으로써 자동상황조정 모드를 켤 수 있다. 스크린을 세 번 클릭; d) 제스처 조작: 사용자가 제스처 동작을 제공한다. 손을 세번 흔든다. 이때, 카메라가 사용자의 제스처 동작을 캡처할 수 있고, 자동 폐색 조정 모드를 켤 수 있다; e) 외부 컨트롤러를 이용한 조작: 사용자는 외부 컨트롤러를 작동하여 자동 폐색 조정 모드를 켤 수 있다. 스타일러스 펜의 버튼을 누른다; f) 필기 조작: 사용자는 필기를 통해 지정되어 있는 모드 인스트럭션을 입력할 수 있다. 자동 폐색 조정 모드를 켜기 위해서, “자동 폐색 조정 모드를 켠다”라고 필기한다.
자동 폐색 조정 모드를 시작하고 나서, 상황 프로세싱은 다음을 포함한다.
(a) 화면에 나타난 컨텐츠에 대하여 센서를 통해 레이아웃 분석 및 컨텐츠 인식을 제공하고, 데스크탑 위의 방해 물체에 대하여 검출과 인식을 제공하고, 방해 받고 있는 면, 방해 받고 있는 컨텐츠 및 방해 받고 있는 컨텐츠가 위치한 부분 (단락)을 결정한다.
레이아웃 분석의 결과는 i. 글자와 단어; ii. 텍스트 줄; iii. 단락; iv. 연관된 의미를 갖는 텍스트 컨텐츠; v. 이미지; vi. 연관된 의미를 갖는 텍스트 및 이미지;를 포함하지만, 이것으로 한정되어 있지는 않다.
방해 물체의 검출과 인식은 i. 방해 물체의 종류와 모양; ii. 방해 물체의 투명도; iii. 방해 면의 모양;을 포함하지만, 이것으로 한정되어 있지는 않다.
일부 실시 예에서, 방해 받는 물체의 레이아웃은 (방해 받는 컨텐츠의 레이아웃을 재배열)을 포함하여 재배열된다. 방해 받는 컨텐츠의 글자 연속성, 방해 받는 컨텐츠의 텍스트 줄 연속성, 방해 받는 컨텐츠의 단락 연속성, 방해 받는 컨텐츠의 의미상의 연속성, 방해 받는 컨텐츠의 이미지 연속성, 및 방해 받는 물체의 이미지 및 텍스트 사이의 연관관계. 특히, 조정될 세부 컨텐츠가 먼저 결정되고, 그 후 조정되어야 하는 컨텐츠의 레이아웃이 재배열된다.
(b) 위의 결과에 따라, 조정되어야 하는 세부 컨텐츠는 다음 중 적어도 하나에 기초하여 결정된다:
i. 방해 받는 물체의 글자 연속성, ii. 방해 받는 물체의 텍스트 연속성, iii. 방해 받는 컨텐츠의 단락 연속성, iv. 방해 받는 컨텐츠의 의미상의 연속성, v. 방해 받는 컨텐츠의 이미지 연속성, 및 vi. 방해 받는 물체의 이미지와 텍스트 사이의 연관관계
(c) 최적의 조정 컨텐츠가 결정된 후, 방해 받는 컨텐츠의 레이아웃이 다음 방식에 따라 재배열 된다: i. 방해 받는 컨텐츠를 재표시하는데 이용 가능한 영역의 크기를 결정; ii. 이용 가능한 영역 및 방해 받는 컨텐츠에 따라 결정된 최적의 조정 컨텐츠의 레이아웃을 재배열; 및 iii. 방해 받는 면 주변에 재배열된 컨텐츠를 재배열.
자동 폐색 조정 모드를 시작하고 나서, 폐색 프로세싱은 방해 물체 및 데스크탑 상에 표시된 컨텐츠의 변동에 따라 실시간으로 조정될 수 있다. 도 17은 본 명세서의 실시형태8에 따른 폐색 프로세싱 이후 표시의 제1실시 예를 나타내는 모식도이다. 자동 폐색 조정 이후 결과는 도 17에 도시되어 있다.
일 실시 예에 따라, 방해 받는 컨텐츠의 레이아웃의 재배열 이전에, 스마트 데스크탑은 일단 사용자의 초점(focus point)을 검출할 수 있다. 방해 받는 위치가 사용자의 초점과 겹치지 않는 경우, 방해 받는 컨텐츠의 레이아웃 재배열은 이때 수행되지 않을 수 있다. 방해 받는 위치가 사용자의 초점과 겹쳐진다면, 방해 받는 컨텐츠의 레이아웃은 재배열 될 수 있다. 사용자의 초점은 카메라와 같은 관련 디바이스를 통해 검출할 수 있고, 시간 초점은 사용자의 초점으로 볼 수 있다. 사용자에 의해 현재 편집된 위치 또한 사용자의 초점으로 볼 수 있다.
일 실시 예에 따라, 방해 받는 컨텐츠에 대하여 레이아웃 재배열을 수행할 때, 스마트 데스크탑은 사용 가능한 표시 영역을 절약하기 위해서, 스마트 데스크탑은 텍스트를 요약의 형태로 나타낸다.
자동 폐색 조정 모드는 다음 중 하나에 의해 꺼질 수 있다: a) 음성 조작: 사용자A가 자동 폐색 조정 모드를 끄기 위하여 “자동 폐색 조정 모드를 종료”와 같은 음성을 말한다; b) 물리적 버튼 조작; 사용자는 스마트 데스크탑의 버튼을 누름으로써 자동 폐색 조정 모드를 끌 수 있다; c) 터치 스크린 조작: 사용자는 스크린 터치를 통해 자동 폐색 조정 모드를 끈다, 스크린을 연속적으로 네 번 클릭한다; d) 제스처 조작: 사용자는 제스처 동작을 제공한다. 손을 네 번 흔든다. 이때, 카메라는 사용자의 제스처 동작을 캡처할 수 있고, 자동 폐색 조정 모드는 꺼질 수 있다; e) 외부 컨트롤러 상에서의 조작: 사용자가 외부 컨트롤러를 동작시킨다, 자동 폐색 조정 모드를 종료하기 위해, 스타일러스 펜 위의 버튼을 누른다; f) 필기 조작: 사용자가 지정되어 있는 모드 인스트럭션을 필기한다, 자동 폐색 조정 모드를 끄기 위하여, “자동 폐색 조정 모드를 종료”라고 필기; g) 스마트 데스크탑을 닫는다: 스마트 데스크탑의 닫힘으로 인해 모드가 꺼진다. 회의가 종료되었다; h) 현재 사용자의 변경: 사용자A가 스마트 데스크탑의 위치a에서 자동 폐색 조정 모드를 키고 위치b로 이동한다. 이후, 새로운 사용자C가 회의에 참여하고 위치a로 이동한다. 시스템이 위치 a 상의 현재 사용자의 변화를 검출하고, 사용자C에 대하여 자동 폐색 조정 모드를 끈다. 이때, 시스템은 사용자A에 대하여 위치b에서 자동 조정 모드를 유지한다.
2. 수동 폐색 조정 모드
사용자는 수동 폐색 조정 모드를 다음을 통해 켤 수 있다: a) 음성 지시: 사용자A가 “수동 폐색 조정 모드를 켠다”라고 말한다. 이때, 수동 폐색 조정 조작이 켜진다.; b) 물리적 버튼 조작; 사용자는 스마트 데스크탑의 버튼을 누름으로써 수동 폐색 조정 모드를 켠다; c) 터치 스크린 조작: 사용자는 스크린 터치를 통해 수동 폐색 조정 모드를 켠다, 스크린을 연속적으로 세 번 더블 클릭한다; d) 제스처 조작: 사용자는 제스처 동작을 제공한다. 손을 다섯 번 흔든다, 이때, 카메라는 사용자의 제스처 동작을 캡처할 수 있고, 수동 폐색 조정 모드는 켜진다; e) 외부 컨트롤러 상에서의 조작: 사용자가 외부 컨트롤러를 동작시킨다, 수동 폐색 조정 모드를 켜기 위해, 스타일러스 펜 위의 버튼을 누른다; f) 필기 조작: 사용자가 지정되어 있는 모드 인스트럭션을 필기한다, 수동 폐색 조정 모드를 켜기 위하여, “수동 폐색 조정 모드를 켠다”라고 필기;
수동 폐색 조정 모드에 진입할 후, 폐색 프로세싱은 다음을 포함한다.
(a) 화면에 나타난 컨텐츠에 대하여 센서를 통해 레이아웃 분석 및 컨텐츠 인식을 제공하고, 데스크탑 위의 방해 물체에 대하여 검출과 인식을 제공하고, 방해 받고 있는 면, 방해 받고 있는 컨텐츠 및 방해 받고 있는 컨텐츠가 위치한 부분 (단락)을 결정한다.
레이아웃 분석의 결과는 i. 글자와 단어; ii. 텍스트 줄; iii. 단락; iv. 연관된 의미를 갖는 텍스트 컨텐츠; v. 이미지; vi. 연관된 의미를 갖는 텍스트 및 이미지;를 포함하지만, 이것으로 한정되어 있지는 않다.
방해 물체의 검출과 인식은 i. 방해 물체의 종류와 모양; ii. 방해 물체의 투명도; iii. 방해 면의 모양;을 포함하지만, 이것으로 한정되어 있지는 않다.
일부 실시 예에서, 방해 받는 물체의 레이아웃은 (방해 받는 컨텐츠의 레이아웃을 재배열)을 포함하여 재배열된다. 방해 받는 컨텐츠의 글자 연속성, 방해 받는 컨텐츠의 텍스트 줄 연속성, 방해 받는 컨텐츠의 단락 연속성, 방해 받는 컨텐츠의 의미상의 연속성, 방해 받는 컨텐츠의 이미지 연속성, 및 방해 받는 물체의 이미지 및 텍스트 사이의 연관관계. 특히, 조정될 세부 컨텐츠가 먼저 결정되고, 그 후 조정되어야 하는 컨텐츠의 레이아웃이 재배열된다.
(b) 위의 결과에 따라, 조정되어야 하는 세부 컨텐츠는 다음 중 적어도 하나에 기초하여 결정된다: i. 방해 받는 물체의 글자 연속성, ii. 방해 받는 물체의 텍스트 연속성, iii. 방해 받는 컨텐츠의 단락 연속성, iv. 방해 받는 컨텐츠의 의미상의 연관관계, v. 방해 받는 컨텐츠의 이미지 연속성, 및 vi. 방해 받는 물체의 이미지와 텍스트 사이의 연관관계
(c) 최적의 조정 컨텐츠가 결정된 후, 방해 받는 컨텐츠의 레이아웃이 다음 방식에 따라 재배열 된다: i. 사용자가 컨텐츠(텍스트 또는 이미지)를 터치 스크린 상의 조작을 통해 방해 받는 컨텐츠의 주위에서 특정 방향으로 드래그한다; ii. 시스템에서 결정된 최적의 조정 컨텐츠는 사용자의 드래그 조작에 따라 이동되고, 이동 속도 및 거리는 터치 스크린 상에서 드래그 강도, 속도 및 거리에 따라 정의될 수 있다; iii. 최적의 조정 컨텐츠는 표시 영역의 제한 때문에 이동 후에 완전히 표시될 수 없고, 가급적이면 이동 후에 최적의 조정 컨텐츠 내의 방해 받지 않는 컨텐츠는 숨겨지거나, 사용자가 방해 받는 컨텐츠를 볼 수 있도록 서체 종류를 조정할 수 있다.
도 18은 본 명세서의 실시 예 8에 따른 상황 프로세싱 이후 표시의 제2실시 예를 나타내는 모식도이다. 수동 폐색 조절의 결과는 도 18에 도시되어 있다.
또한, 방해 받는 컨텐츠의 레이아웃을 재배열할 때, 사용 가능한 표시 영역을 최대한 절약하기 위해서, 스마트 데스크탑은 요약을 통해 텍스트를 나타낼 수 있다. 계속하여, 요약에 대응하는 세부 컨텐츠는 사용자의 조작에 따라 나타날 수 있다.
수동 폐색 조정 모드는 다음 중 하나에 의해 꺼질 수 있다: a) 음성 조작: 사용자A가 수동 폐색 조정 모드를 끄기 위하여 “수동 폐색 조정 모드를 종료”와 같은 음성을 말한다; b) 물리적 버튼 조작; 사용자는 스마트 데스크탑의 버튼을 누름으로써 수동 폐색 조정 모드를 끌 수 있다; c) 터치 스크린 조작: 사용자는 스크린 터치를 통해 수동 폐색 조정 모드를 끈다, 스크린을 연속적으로 네 번 클릭한다; d) 제스처 조작: 사용자는 제스처 동작을 제공한다. 손을 여섯 번 흔든다. 이때, 카메라는 사용자의 제스처 동작을 캡처할 수 있고, 수동 폐색 조정 모드는 꺼질 수 있다; e) 외부 컨트롤러 상에서의 조작: 사용자가 외부 컨트롤러를 동작시킨다, 수동 폐색 조정 모드를 종료하기 위해, 스타일러스 펜 위의 버튼을 누른다; f) 필기 조작: 사용자가 지정되어 있는 모드 인스트럭션을 필기한다, 수동 폐색 조정 모드를 끄기 위하여, “수동 폐색 조정 모드를 종료”라고 필기; g) 스마트 데스크탑을 닫는다: 스마트 데스크탑의 닫힘으로 인해 모드가 꺼진다. 회의가 종료되었다; h) 현재 사용자의 변경: 사용자A가 스마트 데스크탑의 위치a에서 수동 폐색 조정 모드를 키고 위치b로 이동한다. 이후, 새로운 사용자C가 회의에 참여하고 위치a로 이동한다. 시스템이 위치 a 상의 현재 사용자의 변화를 검출하고, 사용자C에 대하여 수동 폐색 조정 모드를 끈다. 이때, 시스템은 사용자A에 대하여 위치b에서 수동 조정 모드를 유지한다.
또한, 사용자는 방해 받는 컨텐츠를 썸네일을 불러옴으로써 볼 수 있고, 이때 썸네일을 불러오는 것은 실시예1을 참고로 하여 설명하고 이하 반복되지 않는다.
위 관점에서, 본 명세서는 방해 받는 컨텐츠의 정상적인 표시를 보장하도록 하는, 방해 받는 컨텐츠에 대하여 솔루션을 제공한다.
실시예9
여러 사용자들이 스마트 데스크탑을 사용할 때, 여러 사용자들이 같은 컨트롤을 동시에 동작시킬 수 있다. 하지만 컨트롤 자원이 제한되어 있을 수 있다. 따라서, 자원 충돌이 있을 수 있다.
1. 기록 자원을 예로 들면
일반적으로, 스마트 데스크탑은 오직 하나의 마이크만 가질 수 있다. 이때, 여러 사용자들이 음성을 기록해야 한다면, 충돌이 있을 수 있다.
본 명세서의 솔루션은 다음과 같다: 가상의 기록 버튼을 각 사용자에게 부여하고, 사용자의 가상의 기록 버튼은 사용자의 조작에 따라 호출될 수 있다, a) 음성 조작: 사용자가 음성을 낸다, “기록”이라고 말한다. 이때, 가상의 기록 버튼이 사용자 앞의 빈 영역에 나타날 수 있다. 사용자 앞의 영역이 채워져 있을 때, 사용자 앞의 가상의 기록 버튼과 같은 크기의 영역 내의 컨텐츠는 가상의 기록 버튼을 표시하기 위해 숨겨질 수 있다; b) 물리적 버튼 조작: 사용자가 스마트 데스크탑 상의 버튼을 통해 가상의 기록 버튼을 호출한다; c) 터치 스크린 조작: 사용자가 스크린을 터치한다, 스크린을 길게 누른다. 이때, 가상의 기록 버튼이 사용자가 터치한 스크린 상의 위치에 표시될 것이다. 이 위치에 컨텐츠가 있다면, 가상의 기록 버튼과 같은 크기의 영역 내의 컨텐츠는 가상의 기록 버튼을 표시하기 위해 일시적으로 숨겨질 수 있다; d) 제스처 조작: 사용자가 제스처 동작을 제공한다, 손을 흔든다. 이때, 카메라가 사용자의 제스처 동작을 캡처하고, 가상의 기록 버튼이 사용자 앞의 빈 영역에 나타날 수 있다. 사용자 앞의 영역이 채워져 있으면, 가상의 기록 버튼과 같은 크기의 영역 내의 컨텐츠는 가상의 기록 버튼을 표시하기 위해 일시적으로 숨겨질 수 있다; e) 외부 컨트롤러의 조작: 사용자가 외부 컨트롤러를 동작시킨다, 스타일러스 펜의 버튼을 누른다. 이때, 가상의 기록 버튼이 스타일러스 펜이 가리킨 위치 위에 표시된다. 이 위치에 컨텐츠가 있을 때, 가상의 기록 버튼과 같은 크기의 영역 내의 컨텐츠는 가상의 기록 버튼을 표시하기 위해 일시적으로 숨겨질 수 있다.
도 19는 본 명세서의 실시 예9에 따른 기록 자원 충돌 프로세싱을 나타내는 모식도이다.
사용자는 그가 관심 있는 컨텐츠를 들었을 때 가상의 기록 버튼을 불러올 수 있고, 가상의 기록 버튼을 누름으로써 기록을 정지할 수 있다. 첫번째로, 가상의 기록 버튼을 누르는 사건을 검출하였을 때, 스마트 데스크탑은 사용자의 시작 인스트럭션을 수신하고 기록하기 시작한다. 음성 기록을 위해 사용자의 기록 장치를 시작. 모든 사용자들이 기록을 정지하도록 선택한 것을 검출하였을 때, 스마트 데스크탑은 각 사용자의 기록 정지 인스트럭션을 수신하고 기록을 정지한다, 기록 장치를 정지. 도 19에 도시된 바와 같이, 사용자A는 가상의 기록 버튼을 시간t1에 누른다. 스마트 데스크탑은 음성을 기록하기 위해 기록 장치를 시작한다. 사용자B와 사용자C가 각각 가상의 기록 버튼을 시간 t2와 t3에 누른다. 시간 t4 일 때, 사용자B가 기록을 정지하기 위해 가상의 기록 버튼을 다시 누른다. 시간 t5일 때, 사용자 A가 기록을 정지하기 위해 가상의 기록 버튼을 누른다. 시간 t6일 때, 사용자 C가 기록을 정지하기 위해 가상의 기록 버튼을 누른다. 사용자D가 가상의 기록 버튼을 시간 t7일 때 누르고, 시간 t8일 때 기록을 정지하기 위해 가상의 기록 버튼을 다시 누른다. t1부터 t8는 시간 순으로 나타난다. 위에서 알 수 있듯이, 스마트 데스크탑의 실제 기록 기간은 t1~t6 와 t7~t8이다. t6과 t7이 같은 시점일 때, 스마트 데스크탑의 실제 기록 기간은 t1~t8이다.
기록 파일을 저장할 때, 스마트 데스크탑은 각 사용자에 대한 기록 파일을 기록 시작 인스트럭션과 기록 정지 인스트럭션에 따라 생성한다. 특히, 각 사용자의 기록 시작 인스트럭션과 기록 정지 인스트럭션에 따라, 스마트 데스크탑은 기록 기능을 사용하고 있는 각 사용자의 시작 시간과 정지 시간을 획득할 수 있다. 기록 기능을 사용하는 각 사용자의 시작 시간과 정지 시간에 따라, 스마트 데스크탑은 사용자에 대응하는 기록 파일에 대한 실제 기록의 오디오 파일을 검색한다.
임의의 사용자가 기록을 재생하고 싶어할 때, 그는 스크린을 길게 누르는 것과 같은 방식을 통해 기록 컨텐츠 재생 인터페이스를 불러올 수 있다. 기록 컨텐츠 재생 인터페이스의 진행 막대(bar)는 모든 사용자들 가운데서 가장 이른 시간부터 시작하고 가장 늦은 시간에 종료된다. 기록 컨텐츠는 음성 인식과 의미상의 분석에 기초하여 컨텐츠의 변동에 따라 몇 개의 키 포인트들로 나누어져 있다.일 실시 예에 따라, 기록 컨텐츠 재생 인터페이스는 각 중요한 기간의 식별자 및/또는 각 중요한 기간의 음성 인식에 의해 획득한 컨텐츠를 포함한다. 중요한 기간은 컨텐츠의 변동, 및/또는, 사용자가 기록 조작을 수행하는 기간에 기초하여 결정된 키 포인트에 대응하는 기간이다. 따라서, 기록 컨텐츠 재생 인터페이스 내에서, 식별자는 각 키 포인트의 시작 시간과 종료 시간에 각각 제공되고, 또한 식별자는 각 사용자의 기록의 시작 시간과 종료 시간에 제공된다. 사용자는 임의의 키 포인트에서 재생하도록 선택할 수 있고, 또는 특정 사용자의 기록을 재생하도록 선택할 수 있다. 사용자는 오디오 컨텐츠를 저장하도록 선택할 수도 있다.
예를 들어, 도 19에 도시된 바와 같이, 사용자D가 오직 회의의 키 포인트5만 기록하지만, 사용자D는 다른 키 포인트들의 컨텐츠를 보고 싶어한다. 사용자 A, B, 그리고 C에 의해 기록된 오디오 콘텐츠는 키 포인트의 컨텐츠를 포함한다. 따라서, 사용자D는 재생 인터페이스를 도 19에서와 같이 불러올 수 있고, 다른 키 포인트들의 컨텐츠 또는 다른 사용자들에 의해 기록된 컨텐츠를 재생 인터페이스 내에서 재생하도록 선택할 수 있다.
일 실시 예에 따라, 기록된 컨텐츠를 재생할 때, 소리를 재생하도록 선택하는 것이 가능하다. 또한, 여러 사용자들이 회의를 하는 상황에서, 소리의 재생이 다른 사용자들에게 영향을 미칠 수 있다. 그러므로, 음성 및 의미상의 인식과 같은 기술을 통해 오디오를 텍스트 컨텐츠로서 재생되도록 변환하고, 인터페이스 내에 텍스트 컨텐츠를 표시하는 것 또한 가능하다.
위 관점에서, 일 실시예는 다른 사용자들의 스마트 데스크탑의 기록 자원의 병렬화된 호출을 구현하고, 이는 자원 활용률을 증가시킨다.
2. 시간 알림 자원을 예로 들면
디바이스의 오디오 재생 자원을 통해 알람 시계 (시간 알림) 기능이 제공될 수 있다. 여러 사용자들이 스마트 데스크탑을 사용할 때, 여러 사용자들이 그들의 알람 시계(시간 알림)를 설정했을 수 있다. 따라서, 여러 사용자들 사이에서 자원 충돌이 있을 수 있다.
일 실시 예에 따라, 스마트 데스크탑의 컨텐츠에 대한 표시 인스트럭션이 검출된다; 그리고 컨텐츠가 지정된 표시 방식에 따라 스마트 데스크탑 상에 표시된다.
컨텐츠는 시간 알림 정보를 포함한다.
스마트 데스크탑의 컨텐츠에 대한 표시 인스트럭션의 검출은 다음을 포함한다: 사용자가 설정한 알림 시간을 검출, 사용자가 설정한 알림 시간에 도달하면, 컨텐츠에 대한 표시 인스트럭션을 트리거한다.
지정된 표시 방식은 다음을 포함한다: 스마트 데스크탑의 사용자들이 같은 알림 시간으로 설정한 경우, 알림 시간에 도달하면, 시간 알림 정보를 다음 중 하나 이상을 통해 재생한다: 음성, 아이콘, 또는 텍스트; 또는, 스마트 데스크탑을 사용하는 사용자들이 같은 알림 시간을 설정하지 않는 경우, 알림 시간에 도달하면, 시간 알림 정보를 다음 중 하나 이상을 통해 재생한다: 아이콘, 텍스트.
도 20a-20b는 본 명세서의 실시 예9에 따른 시간 알림 자원 충돌 프로세싱을 나타내는 모식도이다. 도 20a는 실시 예9에 따른 같은 알람 시간에 대한 시간 알림 자원 충돌 프로세싱을 보여준다. 도 20b는 실시 예9에 따른 다른 알람 시간에 대한 시간 알림 자원 충돌 프로세싱을 보여준다.
도 20a에 도시된 바와 같이, 여러 사용자가 같은 알람 시간을 설정하면, 모든 사용자들에게 이 시간에 알려야 하는 것으로 간주된다. 따라서, 알람 시간에 도달했을 때, 알람 소리가 재생된다.
또한, 각 사용자가 알림 받을 컨텐츠가 다르거나 또는 한 사용자가 한 시점에 여러 컨텐츠를 알림 받아야 할 때, 알람 시간에 도달했을 때, 아이콘 알림 및/또는 텍스트 알림을 각 사용자의 표시 영역에 표시하는 것이 가능하다. 또한 알람 소리를 재생하며, 아이콘 알림 및/또는 텍스트 알림을 표시하는 것도 가능하다.
또한, 일 실시 예에 따라, 사용자가 필기한 컨텐츠는 기록 파일과 연관되어 있을 수 있다. 사용자가 필기한 컨텐츠가 기록 파일 내의 컨텐츠와 연관되어 있는 것이 검출되면, 기록 재생 버튼이 사용자가 필기한 컨텐츠 뒤에 추가된다. 사용자는 기록을 재생하거나, 또는 대응하는 기록 컨텐츠를 표시하도록 선택할 수 있다. 따라서 사용자는 필기할 때, 기록 컨텐츠를 참조할 수 있다.
도 20b에 도시된 바와 같이, 여러 사용자들이 같은 알람 시간을 설정하지 않으면, 특정 사용자를 이 시간에 알려야 하는 것으로 간주된다. 알림 소리가 재생되면, 다른 사용자들이 영향을 받을 수 있다. 따라서, 각 사용자의 알람 시간에 도달하면, 아이콘 알림 및/또는 텍스트 알림이 사용자의 표시 영역에 표시될 수 있다.
위 프로세싱 동안에, 아이콘 알림 및/또는 텍스트 알림을 사용자의 알림 영역 내에 표시할 때, 우선 사용자의 초점 위치(focus point)가 결정되고, 그 다음에 아이콘 알림 및/또는 텍스트 알림이 사용자의 초점 위치에 표시될 수 있다. 사용자의 시각적 초점은 카메라와 같은 디바이스를 통해 검출될 수 있고, 사용자의 시각적 초점은 사용자의 초점 위치로 볼 수 있다. 또는, 사용자가 현재 편집하고 있는 위치를 사용자의 초점 위치로 볼 수 있다. 아이콘 알림 및/또는 텍스트 알림을 표시하는 중에, 사용자의 초점 위치가 이동하면, 아이콘 알림 및/또는 텍스트 알림의 위치 또한 그에 맞춰 같이 이동한다.
위의 관점에서, 일 실시 예는 다른 사용자들에 대하여 스마트 데스크탑의 시간 알림 자원의 병렬화된 호출을 구현하고, 따라서 자원 활용률이 증가한다.
상기 관점에서, 일 실시 예에 따르면, 여러 사용자들이 스마트 데스크탑의 같은 자원에 대한 요청들을 호출하는 것에 대하여 솔루션을 제공하고, 이는 여러 사용자가 요청들을 호출할 때 그 사이의 충돌을 해결할 수 있도록 하고, 정상적이고 합리적인 스마트 데스크탑 자원의 호출을 보장한다.
실시 예10
여러 사용자들이 스마트 데스크탑을 사용할 때, 다른 사용자들이 다른 컨텐츠를 필기할 수 있다. 또한, 여러 사용자들이 같은 컨텐츠를 동시에 필기할 수 있다.
일 실시 예에 따라, 스마트 데스크탑은 기존에 필기된 컨텐츠에 따라 현재 필기하고 있는 컨텐츠에 대한 프롬프트 정보를 결정할 수 있고, 결정된 프롬프트 정보를 표시할 수 있다.
특히, 1) 사용자의 필기 과정 동안, 스마트 데스크탑은 다른 사용자들이 필기한 컨텐츠에 따라 필기 프롬프트를 제공한다. 2) 사용자가 실시간으로 필기한 컨텐츠는 이메일 주소, 날짜, 시간, 개인정보, 공식 등 일 수 있다. 이때, 사용자에게 필기될 컨텐츠 또는 필기된 컨텐츠의 정확성(correctness)에 대해 상기시킬 수 있다. 3) 사용자가 실시간으로 필기한 컨텐츠는 텍스트일 수 있다. 이때, 사용자에 의해 필기되지 않은 컨텐츠에 대한 요약은 다른 사용자들이 필기한 컨텐츠로부터 도출될 수 있고, 현재 사용자에게 요약이 제공될 수 있다. 현재 사용자는 요약의 세부 정보를 확인할 수 있다.
이하, 상세한 프로세싱 방식이 제공된다.
1. 키워드 프롬프트
현재 필기하고 있는 컨텐츠에 대한 프롬프트 정보는 현재 필기하고 있는 컨텐츠의 키워드에 따라 결정된다.
특히:
키워드는 현재 필기하고 있는 컨텐츠로부터 도출되고, 현재 필기하고 있는 컨텐츠로부터 도출된 키워드에 대응하는 문맥상의 키워드는 키워드와 기존에 필기된 컨텐츠로부터 도출된 문맥상의 키워드에 따라 획득할 수 있다. 현재 필기하고 있는 컨텐츠에 대한 프롬프트 정보는 획득한 문맥상의 키워드에 따라 결정된다.
또는, 문맥상의 키워드는 현재 필기하고 있는 컨텐츠로부터 도출되고, 현재 필기하고 있는 컨텐츠로부터 도출된 문맥상의 키워드에 대응하는 키워드는 키워드와 기존에 필기된 컨텐츠로부터 도출된 키워드에 따라 획득되고, 프롬프트 정보는 획득한 키워드에 따라 결정된다.
(a) 키워드의 정의
이하, 키워드는 문법적인 고유 명사를 포함하고, 이것으로 한정되어 있지는 않다. 전반적으로, 이는 상세하고 특별한 의미를 포함하는 키 명사일 수 있다. 예를 들어,
1. 이름 (개인의 이름, 주소, 국가 이름, 조직 이름, 화학 물질 이름, 등)
다음은 몇 가지 예시이다: “Tom은 똑똑한 아이이다” 안의 키워드 “Tom”, 그의 이메일 주소 tom233@gmail.com 안의 키워드 “tom233@gmail.com”, “중국은 2022년 겨울 올림픽을 개최할 것이다” 안의 키워드 “중국”, “감기 약은 주로 아세트아미노펜을 포함한다” 안의 키워드 “아세트아미노펜”.
2. 날짜 (연도, 달, 날짜, 축제, 주, 등)
다음은 몇 가지 예시이다: “HAN, Meimei의 생일은 12월 15일이다” 안의 키워드 “12월 15일”, “우리는 대학 회의를 수요일에 열 것이다” 안의 키워드 “수요일”, “회사는 국경절에 7일 동안 닫을 것이다” 안의 키워드 “국경절”.
3. 숫자 (와 이에 대응하는 수량사)
다음은 몇 가지 예시이다: “파이는 3.1415962이다” 안의 “3.1415926”, “ZHANG San의 전화 번호는 13527194204이다” 안의 “13527194204”, “LI Si가 내야 하는 총 여행 경비는 5324달러이다” 안의 “5324달러”, “회사는 국경절에 7일 동안 닫을 것이다” 안의 “7”.
4. 일반적인 명사 키워드 (명사 앞에 오는 부사류를 포함할 수 있다)
다음은 몇 가지 예시이다: “모든 고용인의 엘리베이터 카드의 통계는 오늘 수집될 것이다” 안의 “엘리베이터 카드”, “회의를 위해 사야하는 물건들: 신선한 과일, 생수, 공책” 안의 “신선한 과일, 생수, 공책”.
5. 키 동사 또는 구
다음은 몇 가지 예시이다: “내일ZHANG San에게 리더에게 전화하라고 말해”에서 “리더에게 전화”.
(b) 키워드 및 문맥상의 키워드 사이의 대응 관계 표를 규명
사용자가 필기한 컨텐츠에 대해, 시스템은 의미상의 분석 및 사전에 정의된 키워드 표와 같은 방식을 통해 사용자가 필기한 컨텐츠의 키워드를 찾고, 문맥 안에서 키워드를 검출하고, 명사와의 대응 관계를 규명하고, 대응 관계를 대응 관계 표에 저장한다. 모든 사용자들이 필기한 컨텐츠는, 대응 관계 표가 보수된다. 대응 관계 표의 보수는 모든 사용자들의 필기 과정 동안 실시간으로 수행된다.
예를 들어:
그의 이메일 주소는 tom233@gmail.com이다; 우리는 대학 회의를 수요일에 열 것이다; LI Si가 내야 하는 총 여행 경비는 5324달러이다; 회의를 위해 사야하는 물건들: 신선한 과일, 생수, 공책.
따라서, 대응 관계 표는 표1과 같이 나타낼 수 있다:
표 1
대응 관계 키워드 1 키워드2 (문맥상의 키워드)
1 그의 이메일 주소 tom233@gmail.com
2 수요일 대학 회의
3 LI Si가 내야 하는 여행 경비 5324 달러
4 회의를 위해 사야하는 물건들 과일, 생수, 공책
(c) 유사성 결정 및 신뢰도 계산
다른 사용자들이 필기한 컨텐츠에 대하여, 검출된 고유 명사가 이미 대응 관계 표에 존재하거나 대응 관계 표 안의 단어와 높은 유사성을 갖는다면, 다음 경우들에 따라 프로세싱이 수행된다:
i. 검출된 고유 명사가 대응 관계 표 안에 있고, 대응하는 문맥상의 키워드가 대응 관계 표 안의 것에 대응하는 경우.
이 경우에, 이것은 새로운 사용자가 같은 컨텐츠를 필기했음을 나타낸다. 이때, 대응 관계의 신뢰도가 알고리즘에 따라 증가할 수 있다.
ii. 검출된 고유 명사가 대응 관계 표 안의 고유 명사와 높은 유사도를 갖고 있으나 같지는 않은 경우.
예를 들어, 사용자A가 필기한 컨텐츠는 “ZHANG San이 LI Si를 만날 것이다”라는 문장을 포함한다. 이때, “ZHANG San”과 “LI Si를 만날 것이다”는 대응 관계 표에 추가된다. 그 다음, 사용자B가 “ZHANG Er이 LI Si를 만날 것이다”라는 문장을 필기한다. 이때, 대응 관계 표에서 “ZHANG Er”은 “ZHANG San”과 높은 유사도를 갖지만, 시스템은 사용자가 오기하였는지 아니면 둘 다 옳은지 결정할 수 없다. 따라서, “ZHANG Er”와 “LI Si를 만날 것이다”는 대응 관계 표에 새로운 항목으로 추가되고, “ZHANG San”과 “LI Si를 만날 것이다”와 유사하다는 것을 나타낸다. 몇 개의 유사한 대응 관계 중 하나가 임계값 보다 높은 유사도를 갖는다면 (i.e. 여러 사용자들이 같은 컨텐츠를 필기하였다), 시스템은 이 대응 관계가 옳고 다른 대응 관계가 틀릴 수 있다고 간주할 수 있다.
iii. 검출된 고유 명사는 대응 관계 표 안에 있지만 대응하는 문맥상의 키워드는 대응 관계 표 안의 것과 대응하지 않는다.
하나의 고유 명사가 여러 개의 키워드에 대응할 수 있다. 예를 들어, 사용자A가 필기한 컨텐츠는 다음 문장을 포함한다: ZHANG San은 LI Si를 일요일에 만날 것이다. 이때, 키워드의 대응 관계는 표2에서 볼 수 있듯이 저장될 수 있다. 그 다음, 사용자B는 다음 문장을 필기한다: ZHANG San은 LI Si를 만날 것이다. 키워드 “ZHANG San”을 검출한 후, 시스템은 대응 관계 표를 조사하고, “ZHANG San”에 대응하는 키워드가 “LI Si를 만날 것이다” 뿐만 아니라 “일요일”도 포함하는 것을 발견한다. 이때, 시스템은 알고리즘에 따라 “ZHANG San”과 “LI Si를 만날 것이다” 사이의 대응 관계의 신뢰도를 증가시킬 수 있다.
시스템이 문맥상의 키워드가 대응 관계 표에서 대응하는 키워드와 완전히 일관되지 않음을 검출하면, 시스템은 새로운 키워드 항목을 대응 관계 표에 추가할 수 있다.
시스템이 문맥상의 키워드가 대응 표에서 대응하는 키워드와 유사한 것을 넘거나 부분적으로 유사한 것을 검출하였을 때, 시스템은 추가적인 키워드를 대응 관계 표의 항목에 추가하고, 알고리즘에 따라 기존 키워드의 대응 관계의 신뢰도를 증가시킬 수 있다.
표 2
대응 관계 키워드1 키워드 2 키워드 3
1 ZHANG San 일요일 LI Si를 만날 것이다
(d) 사용자가 현재 필기한 키워드를 검출하고 대응 관계표를 조사
사용자가 키워드(키워드 또는 대응 관계 표 안의 문맥상의 키워드일 수 있다)를 필기 할 때, 시스템은 키워드 또는 이 키워드와 높은 유사도를 갖는 키워드를 대응 관계 표에서 찾는다.
(e) 사용자에게 알림을 제공, including:
i. 수정
키워드가 현재 필기되고 있는 컨텐츠로부터 도출되고, 이 키워드와 기존 필기된 컨텐츠로부터 도출한 키워드 사이의 유사도가 임계값보다 높을 경우, 현재 필기하고 있는 컨텐츠에 대한 프롬프트 정보가 기존에 필기된 컨텐츠로부터 도출한 키워드에 따라 결정된다.
특히, 사용자가 필기한 키워드가 대응 관계 표 안의 키워드와 높은 유사도를 갖지만 완전히 같지는 않을 때, 시스템은 사용자에게 사용자가 필기한 키워드를 제외하고, 높은 신뢰도를 갖는 키워드를 연한 색상의 글자 형태와 같은 형태로 알릴 수 있다. 여러 개의 다른 유사한 키워드가 있으면, 프롬프트는 목록 형태로 제공될 수 있다. 터치 스크린을 클릭하는 것과 같은 방법으로, 사용자가 키워드를 선택하면, 원래 필기된 키워드는 자동적으로 프롬프트된 키워드로 고쳐지고, 같은 서체와 크기로 표시된다.
도 21은 본 명세서의 실시 예10에 따른 프롬프트 제공을 위한 제1실시 예를 나타내는 모식도이다. 도 21에서 사용자 박혜민과 Fulong Wang이 사용자 Fulong Wang의 이메일 주소를 적었다. 스마트 데스크탑이 사용자 Lina가 현재 필기한 이메일 주소가 틀렸음을 검출하였을 때, 사용자 Lina에게 그녀가 오기하였을 수 있다는 것을 알리기 위해, 스마트 데스크탑은 사용자Lina를 위해 프롬프트를 제공하고, 프롬프트는 옳은 이메일 주소를 포함할 수 있다. 사용자 Lina는 오기를 인정하기 위해서 터치 스크린을 클릭한다. 스마트 데스크탑은 Lina가 원래 필기한 이메일 주소를 옳은 이메일 주소로 고친다.
ii. 프롬프트
현재 필기하고 있는 컨텐츠로부터 키워드를 도출하고, 현재 필기하고 있는 컨텐츠로부터 도출한 키워드에 대응하는 문맥상의 키워드가 키워드와 기존에 필기한 컨텐츠로부터 도출한 키워드에 따라 결정되고, 현재 필기하고 있는 컨텐츠에 대한 프롬프트 정보가 결정된 문맥상의 키워드에 기초하여 결정된다.
특히, 사용자가 필기한 키워드는 대응 관계 표 안의 키워드와 같다. 키워드가 오직 하나의 대응하는 문맥상의 키워드를 갖는다면, 프롬프트를 제공하기 위해 사용자가 필기한 컨텐츠 뒤에 대응하는 문맥상의 키워드가 연한 색상으로 표시된다. 키워드가 여러 개의 대응하는 문맥상의 키워드를 갖는다면, 사용자의 필기가 연속적으로 검출된다. 사용자가 대응하는 문맥상의 키워드와 관련 있는 컨텐츠를 필기하는 것이 검출되면, 프롬프트를 제공하기 위해 사용자가 필기한 컨텐츠 뒤에 문맥상의 키워드가 연한 색상으로 표시된다.
또는, 사용자가 필기한 키워드는 대응 관계 표 안의 문맥상의 키워드와 같다. 문맥상의 키워드가 오직 하나의 대응하는 키워드를 갖는다면, 프롬프트를 제공하기 위해 사용자가 필기한 컨텐츠 뒤에 대응하는 문맥상의 키워드가 연한 색상으로 표시된다. 문맥상의 키워드가 여러 개의 대응하는 키워드를 갖는 경우, 사용자의 필기가 연속적으로 검출된다. 사용자가 대응하는 문맥상의 키워드와 관련 있는 컨텐츠를 필기하는 것이 검출되면, 프롬프트를 제공하기 위해 사용자가 필기한 컨텐츠 뒤에 문맥상의 키워드가 연한 색상으로 표시된다.
도 22는 본 명세서의 실시 형태10에 따른 프롬프트 제공을 위한 제2실시 예를 나타내는 모식도이다. 도 22에서, 스마트 데스크탑은 사용자 Fulong Wang이 그의 이메일 주소를 필기한 것을 검출한다. 스마트 데스크탑은 이메일 주소와 사용자 Fulong Wang의 식별자를 대응하도록 저장한다. 스마트 데스크탑이 사용자 Hyemin Park이 “Fulong Wang”과 “이메일”이라고 필기하는 것을 검출하였을 때, 스마트 데스크탑은 사용자 Hyemin Park이 Fulong Wang의 이메일 주소를 필기할 것이라고 예측한다. 따라서, 스마트 데스크탑은 사용자 Hyemin Park에게 연한 색상으로 프롬프트를 제공한다. 프롬프트는 사용자 Hyemin Park에게 세부 이메일 주소를 필기를 생략하도록 프롬프트할 수 있도록, Fulong Wang의 저장된 이메일 주소를 포함할 수 있다. 사용자 Hyemin Park은 터치 스크린을 클릭하여 프롬프트를 확인한다. 스마트 데스크탑은 자동적으로 Fulong Wang의 저장된 이메일 주소를 이전에 필기된 키워드인 “이메일” 뒤에 추가한다.
일 실시 예에 따라, 지능적인 프롬프트를 제공할 때, 지능적인 프롬프트가 필요한지 그리고 대응 관계 표에 따라 어떤 프롬프트가 제공될 지 결정할 수 있다. 또한, 사용자가 현재 필기하고 있는 컨텐츠는 다른 사용자들이 실시간으로 필기한 컨텐츠와 비교할 수 있다. 프롬프트를 제공할지 그리고 어떤 프롬프트를 제공할지를 비교 결과에 따라 결정할 수 있다.
2. 요약 프롬프트
기존에 필기된 컨텐츠에 대한 요약은 기존에 필기된 컨텐츠로부터 도출된다. 현재 필기하고 있는 컨텐츠에 대한 요약은 현재 필기하고 있는 컨텐츠로부터 도출된다. 기존에 필기된 컨텐츠에 대한 요약과 현재 필기하고 있는 컨텐츠에 대한 요약을 비교하고, 현재 필기하고 있는 컨텐츠에 대한 프롬프트 정보는 비교 결과에 기초하여 제공된다.
특히:
(a) 요약의 도출: 즉각적인 요약 도출은 모든 사용자들이 필기한 컨텐츠에 대하여 수행된다. 여러 개의 요약이 도출될 수 있다.
(b) 요약 프롬프트, 다음을 포함:
i. 자동 프롬프트
사용자가 컨텐츠를 필기할 때, 사용자는 전혀 모르겠다면 요약 프롬프트를 트리거할 수 있다. 예를 들어, 사용자가 요약 프롬프트가 표시되어야 하는 위치 위에 빈 영역을 남긴다. 시스템은 사용자가 현재 필기한 컨텐츠를 도출하고, 사용자의 트리거 조작에 따라 요약을 도출한다. 시스템은 도출된 요약과 모든 사용자들이 필기한 컨텐츠의 요약을 비교하고, 사용자가 현재 필기한 컨텐츠에 대한 요약 프롬프트를 결정한다. 사용자가 남겨둔 빈 영역을 검출함에 따라, 시스템은 자동적으로 사용자가 필기하지 않았지만 다른 사용자가 필기한 컨텐츠의 요약을 사용자가 남겨둔 빈 영역에 연한 색상으로 표시할 수 있다. 사용자가 빈 영역으로 남겨두기 전에 뭔가를 필기했다면, 시스템은 사용자가 필기했던 것과 관련된 요약을 표시하도록 선택할 수 있다.
또한, 사용자는 전혀 모르겠을 때, 요약 프롬프트를 트리거하기 위해 특별한 기호를 필기할 수 있다, 생략된 사항들. 특별한 기호를 검출한 후, 시스템은 자동적으로 프롬프트를 제공할 수 있다. 제공되어야 할 프롬프트들이 여러 개라면, 이것 들은 공간을 절약하기 위해 드롭-다운 메뉴를 통해 표시될 수 있다.
사용자가 터치 스크린을 클릭하는 것과 같은 방식을 통해 프롬프트된 요약을 선택할 때, 요약에 대응하는 세부 컨텐츠는 확장될 수 있다. 사용자는 세부 컨텐츠를 볼 수 있고, 선택 또는 드래그와 같은 방법으로 필요한 컨텐츠를 선택할 수 있다. 이때, 선택된 컨텐츠는 사용자가 남겨둔 빈 영역에 적당한 서체 크기와 사용자의 서체 종류로 삽입될 수 있다.
ii. 수동 프롬프트
사용자는 음성, 버튼, 제스처 등을 통해 요약의 표시를 트리거할 수 있다. 예를 들어, 사용자는 요약의 표시를 스크린 위에서 손바닥을 슬라이딩함으로서 트리거할 수 있다. 이때, 사용자가 필기하지 않았지만 다른 사용자들이 필기한 컨텐츠의 요약은 사용자의 빈 영역에 연한 색상으로 나타날 수 있다. 도 23은 본 명세서의 실시 예10에 따른 프롬프트 제공을 위한 제3실시 예를 나타내는 모식도이다.
도 23에서, 사용자 Hyemin Park은 세 단락의 세부 컨텐츠를 필기하였다. 스마트 데스크탑은 세 단락에 대한 요약을 각각 생성한다. 사용자 Lina는 오직 두 단락의 컨텐츠를 필기하고, 두 번째 단락은 비어있다. 스마트 데스크탑은 Hyemin Park이 필기한 두 번째 단락의 요약을 Lina에게 프롬프트로써 나타낸다. 사용자 Fulong Wang은 아무 컨텐츠도 필기하지 않는다. 스마트 데스크탑은 Hyemin Park이 필기한 세 단락의 요약을 Fulong Wang에게 프롬프트로써 나타낸다.
상기 관점에서, 일 실시 예에 따라, 프롬프트 정보는 사용자가 필기하고 있을 때 표시될 수 있다. 따라서, 사용자가 필기하지 않았지만 다른 사용자들이 필기한 컨텐츠에 대한 프롬프트 또는 이러한 컨텐츠에 대한 요약은 지능적으로 제공될 수 있다. 모든 사용자들이 필기한 컨텐츠를 분석함으로써, 사용자의 필기 만족도를 향상킬 뿐만 아니라, 여러 사용자들의 협력의 효율도 향상시킬 수 있고, 여러 사용자들이 반복하여 필기하는 것을 방지할 수 있다.
실시 예 11
여러 개의 관련 디바이스들과 교환되는 컨텐츠:
일 실시 예는 여러 개의 관련 디바이스들을 사용하는 상황에도 적용될 수 있다. 스마트 데스크탑은 관련 디바이스들과의 연결 관계를 수립하고, 연결 관계에 기초하여 스마트 데스크탑의 컨텐츠 및/또는 관련 디바이스들의 컨텐츠를 관련 디바이스와 교환한다. 예를 들어, 스마트 데스크탑은 교습에 사용되는 스마트 화이트보드로써 실행될 수 있다. 이하, 스마트 화이트보드를 일 실시 예를 설명하기 위한 예로 들 것이다.
도 24는 본 명세서의 실시 예11에 따른 스마트 화이트보드의 실시 예를 나타내는 모식도이다.
적용 상황 1: 선생님이 스마트 화이트보드를 사용하고, 학생들은 단말(패드(pad))를 사용한다. 스마트 데스크탑은 화이트보드이고, 학생들이 사용하는 단말들은 관련 디바이스이고, 또는 관련 단말이라고 불린다.
1. 시동 및 연결
스마트 화이트보드 및 연관 단말이 시동되고, 이들 사이의 연결이 다음 방식을 통해 수립될 수 있다:
(1) 블루투스: 스마트 화이트보드 및/또는 관련 단말들의 블루투스 기능을 켜고, 블루투스 기능을 켠 주변 화이트보드 및/또는 관련 단말들을 찾을 수 있다. 이들 사이의 데이터 연결은 연결 요청 또는 자동 연결을 통해 실행될 수 있다. (2) 적외선: 스마트 화이트보드 및/또는 관련 단말의 적외선 기능을 켜고, 적외선 기능을 켠 주변 화이트보드 및/또는 관련 단말들을 찾을 수 있다. 이들 사이의 데이터 연결은 연결 요청 또는 자동 연결을 통해 실행될 수 있다. (3) 무선 네트워크: 스마트 화이트보드 및/또는 연관 단말들은 같은 로컬 네트워크에 연결함으로써 데이터 연결을 실행할 수 있다.
블루투스, 적외선 및 무선 네트워크를 포함하는 상기 통신 방식은 스마트 화이트보드와 관련 단말들 사이의 연결을 수립하는 것에 대한 예시이다. 당업자는 이 설명이 단지 몇 가지 예시이고, 본 명세서의 보호 범위를 제한하는 데에 사용되지 않는다는 것을 알 것이다.
2. 신원 인증
스마트 화이트보드 및 관련 단말들 사이의 연결이 수립된 후, 신원 인증 및 권한 설정이 수행된다. 각 사용자의 신원 특성 및 설정된 권한은 블루투스, 적외선, 무선 네트워크와 같은 통신 방식을 통해 스마트 화이트보드 및 관련 디바이스 사이에서 공유될 수 있다. 다음에 특히 주의해야 한다: 신원 인증이 스마트 화이트보드 또는 관련 단말들의 개수와 직접적으로 연관되어 있지 않기 때문에, 사용자의 수는 실제 하드웨어인 스마트 화이트보드 및 관련 단말들의 수보다 클 수 있다.
특히, 신원 인증은 다음을 포함할 수 있다:
(1) 신원 등록
사용자가 신원 특성을 다음과 같이 등록할 수 있고, 시스템은 사용자가 등록한 신원 특성과 사용자 식별자 (이름, 등)을 연관짓고 묶는다. 신원 특성의 등록은 다음을 포함한다: <1> 필적 특성을 등록: 사용자는 어떤 컨텐츠(예를 들면, 어떤 글자)를 필기하고, 시스템이 필적 특성을 분석하고 필적 특성을 다른 신원 특성과 사용자 식별자와 연관 짓는다; <2> 머리 이미지 특성을 등록: 스마트 화이트보드 및/또는 관련 단말들의 카메라가 현재 사용자를 한번 이상 찍고, 시스템이 머리 이미지를 분석하고 머리 이미지를 다른 신원 특성 및 사용자 식별자와 연관 짓는다; <3>서명을 등록: 서명 및 다른 신원 특성 및 사용자 식별자 사이의 연관성을 인식하기 위해 사용자가 화이트보드 및/또는 관련 단말 위에 서명한다; <4> 지문을 등록: 지문 및 다른 신원 특성 및 사용자 식별자의 연관성을 인식하기 위해 사용자가 지문을 입력할 수 있다; <5> 홍채 특성의 등록: 홍채 특성 및 다른 신원 특성 및 사용자 식별자 사이의 연관성을 인식하기 위해 스마트 화이트보드 및/또는 관련 단말의 카메라를 통해서 홍채 특성을 수집할 수 있다.
(2) 신원 인증
스마트 화이트보드 및/또는 관련 단말들이 사용자의 신원 특성을 수집 및 분석하고, 이를 시스템 내에 저장되어 있는 신원 특성 라이브러리와 비교하여 현재 사용자의 인증을 완수한다. 수집된 정보는 다음을 포함한다: <1> 필적: 사용자가 어떤 컨텐츠 (어떤 글자)를 필기하고, 시스템은 필적 특성을 분석하고 현재 사용자를 인식하기 위해서 신원 라이브러리와 비교한다; <2> 머리 이미지: 스마트 화이트보드 및/또는 관련 단말들의 카메라가 현재 사용자를 찍고, 시스템이 머리 이미지 특성을 분석하고 현재 사용자를 인식하기 위해서 신원 라이브러리와 비교한다; <3> 서명 : 사용자가 스마트 화이트보드 및/또는 다른 단말 위에 서명하고, 현재 사용자를 인식하기 위해 시스템이 이를 신원 라이브러리와 비교한다; <4> 지문: 사용자가 지문을 입력하고, 현재 사용자를 인식하기 위해 시스템은 이를 신원 라이브러리와 비교한다; <5> 홍채: 스마트 화이트보드 및/또는 관련 단말의 카메라가 홍채 정보를 획득하고, 현재 사용자를 인식하기 위해 시스템은 이를 신원 라이브러리와 비교한다.
3. 권한 설정
신원 인증이 끝난 후에, 스마트 화이트보드 및/또는 관련 단말들은 다른 사용자들에 대하여 권한을 설정할 수 있다. 교습 상황을 예로 들어보자. 선생님은 스마트 화이트보드 상에서 스마트 화이트보드 및 관련 디바이스 사이의 조작 권한과 디바이스들 사이의 조작 권한을 설정할 수 있다, 선생님과 학생들 사이의 조작 권한과 학생들 사이의 조작 권한을 설정한다. 학생들은 관련 디바이스 상에서 다른 관련 단말들과의 조작 권한을 설정할 수 있다, 학생들 사이의 조작 권한을 설정한다. 조작 권한은 다음을 포함하지만 한정되어 있지는 않다: (1) 정보 입력 권한: 스마트 화이트보드 및/또는 관련 단말에 대하여 텍스트, 이미지 및 음성과 같은 정보에 대한 입력 권한이 설정될 수 있다; (2) 표시 및 브라우징(browsing) 권한: 특정 사용자가 특정 컨텐츠를 표시하고 브라우징하는 것에 대한 권한; (3) 업로드 및 공유 권한: 특정 사용자가 필기한 컨텐츠를 공유 영역에 업로드 또는 공유하는 것에 대한 권한; (4) 편집 권한: 다른 사용자들의 컨텐츠를 편집(주석 달기 및 수정, 등)하는 것에 대한 권한, 등.
이하, 교습을 위해 선생님이 스마트 화이트보드를 사용하고 학생들이 관련 단말을 사용하는 세부적인 사용 상황이 설명되어 있다.
사용 상황1: 선생님이 과제를 학생들에게 배포한다.
배포할 컨텐츠를 스마트 화이트보드의 컨텐츠 안에서 결정되고, 배포할 컨텐츠를 수신하는 관련 단말은 관련 단말들 중에서 결정된다; 컨텐츠 배포 인스트럭션에 따라, 베포할 컨텐츠는 배포할 컨텐츠를 수신 받는 관련 단말로 전송한다.
컨텐츠는 하나 또는 여러 개의 관련 단말로 동시에 전송될 수 있다. 또는, 컨텐츠의 여러 부분들이 하나 혹은 여러 개의 관련 단말로 동시에 전송될 수 있다.
더 나아가, 스마트 화이트보드의 컨텐츠는 하나 이상의 컨텐츠 그룹을 생성하도록 분류될 수 있고, 관련 단말들은 하나 이상의 단말 그룹을 생성하도록 분류된다. 하나 이상의 컨텐츠 그룹으로부터 컨텐츠 그룹이 선택되고, 관련 단말 그룹은 하나 이상의 단말 그룹으로부터 선택된다; 컨텐츠 배포 인스트럭션이 수신되고, 컨텐츠 배포 인스트럭션에 따라 컨텐츠 그룹 내에서 선택된 컨텐츠가 선택된 관련 단말 그룹 내의 각 관련 단말로 전송된다.
특히, 도 24에 도시된 바와 같이, 선생님은 여러 사용자들을 위해 스마트 화이트보드의 한편에 과제를 나열할 수 있다. 과제에 대한 설명이 상대적으로 길다면, 요약의 형태로 표시할 수 있다. 이후, 제스처와 같은 조작을 통해 요약의 세부 사항을 볼 수 있다. 예를 들어, 선생님이 글쓰기 과제를 한 학생에게 내주고, 그리기 과제를 다른 두 학생에게 내준다. 음성, 스크린 터치, 및 제스처와 같은 조작들을 통해, 선생님은 학급 내 학생들의 정보를 불러올 수 있다. 머리 이미지 또는 이름과 같은 정보가 스마트 화이트보드의 한 편에 표시될 수 있다. 하나 혹은 여러 명의 학생들을 선택함으로써, 선생님은 학생들을 그룹들로 분류할 수 있다, 관련 단말들을 그룹들로 분류할 수 있다. 비슷하게, 선생님은 과제를 선택함으로써 과제들을 그룹들로 분류할 수 있다, 스마트 화이트보드의 컨텐츠를 분류한다. 왼쪽의 과제 그룹에서 오른쪽의 학생 그룹의 과제물이 완수 될 수 있다. 이때, 학생들이 사용하는 관련 디바이스들은 지정된 과제를 과제를 표시한다.
사용 상황 2: 선생님이 완성한 것을 확인하고 채점하는 상황
스마트 화이트보드가 지정된 관련 단말로부터 제공된 컨텐츠에 대한 편집 정보를 획득하고, 편집 정보를 지정된 관련 단말로 전송한다.
특히, 도 24에 도시된 바와 같이, 학생들이 각각 그들의 과제를 끝낼 때, 선생님은 스마트 데스크탑 상에서 학생의 이미지 또는 이름을 선택할 수 있고, 학생의 숙제 완료 상황을 (또는 배포된 컨텐츠에 대한 편집 정보로 간주될 수 있다) 스마트 화이트보드의 지정된 영역에 표시할 수 있다. 선생님은 지정된 시간이 되면 학생의 완료 상황을 자동적으로 업데이트 하도록, 시간을 설정할 수도 있다. 숙제를 할 때, 선생님은 여러 관련 단말들 사이에서 공유하는 것을 금지시킬 수 있다. 학생들이 숙제를 마친 뒤, 숙제는 스마트 화이트보드에 업로드될 수 있다. 이때, 선생님에게 프롬프트가 제공될 수 있다, 음성, 빛나는 머리 이미지, 등. 숙제가 많은 컨텐츠를 갖는다면, 썸네일 표시가 제공될 수 있다. 선생님이 숙제를 편집할 수 있다, 각주, 정정, 채점 등. 편집 정보는 숙제를 완료한 사람의 단말과 동기화 되고 이 단말에 표시될 수 있다.
사용 상황3: 선생님이 교습 컨텐츠를 공유
스마트 화이트보드 상에서 공유될 컨텐츠는 결정되고, 공유될 컨텐츠는 지정된 관련 단말로 전송된다.
특히, 선생님은 학급에서 수업을 할 때 멀티미디어(multimedia) 이미지, 비디오, 노트를 제스처 또는 음성 지시를 통해 특정 학생의 관련 단말로 공유할 수 있다. 다른 학생들은 그들의 단말을 통해 공유하거나, 비교하거나, 보상할 수 있다.
사용 상황4: 여러 학생들이 같은 단말을 사용
학생의 수가 관련 단말의 수보다 많다면, 여러 학생들이 하나의 관련 단말을 공유할 수 있다. 스크린 공간 할당 및 사용 솔루션은 여러 사용자들이 스마트 데스크탑을 공유할 때와 일치한다. 선생님은 관련 단말 대신에 사용자 신원을 통해 학생을 지정할 수 있다.
사용 상황5: 개인정보 설정
도 24에 도시된 바와 같이, 스마트 화이트보드 및/또는 관련 단말을 사용할 때, 사용자가 지정된 영역 내의 컨텐츠 또는 영역을 지정함으로써 지정된 컨텐츠 또는 컨텐츠를 지정하는 것 (요약, 모두 선택, 등에 따라 지정하는 것 포함) 에 대해 개인 설정을 수행할 수 있다. 개인적인 컨텐츠로 설정된 컨텐츠는 업로드 및 공유를 하는 동안 표시하지 않거나, 흐려지게 프로세싱하는 등 숨겨질 수 있다.
사용 상황6: 수업 노트 저장 및 접근
수업 혹은 컨텐츠의 교습이 끝나고 난 후, 학생은 그가 조작할 권한이 있는 컨텐츠를 저장할 수 있다. 선생님은 전체 수업의 컨텐츠를 저장할 수 있다. 이후 저장된 컨텐츠에 접근할 수 있다. 학생은 그의 수업 노트를 생성하기 위해 컨텐츠를 편집할 수 있다.
적용 상황2: 여러 사용자들이 스마트 데스크탑을 회의를 위해 사용하고, 사용자가 관련 모바일 디바이스를 통해 컨텐츠를 저장 및/또는 도출한다.
본 명세서의 실시예는 컨텐츠의 저장 및 도출에 대하여 적용가능하다. 예를 들어, 회의 후에, 사용자가 관련 모바일 디바이스를 사용하여 컨텐츠를 저장해야 할 수 있다.
솔루션은 다음을 포함할 수 있다:
(1) 관련 디바이스로 가려진 스마트 데스크탑의 영역을 결정하고, 스마트 데스크탑의 이 영역 내의 컨텐츠를 관련 디바이스로 전송한다. 특히, 사용자가 관련 모바일 디바이스 내에서 대응하는 어플리케이션 프로그램을 열고, 그가 저장하기를 원하는 컨텐츠의 영역 위에 관련 모바일 디바이스를 올려놓을 수 있다. 이때, 스마트 데스크탑은 관련 모바일 디바이스에 의해 영역이 가려져 있는 것을 감지한다. 이 영역 내의 컨텐츠는 NFC, Wi-Fi와 같은 방식을 통해 어플리케이션으로 전송될 수 있고, 모바일 관련 단말 내에 저장될 수 있다. 경우에 따라, 사용자가 스마트 데스크탑 상의 모든 컨텐츠를 저장하고 싶어하는 경우, 어떤 조작을 통해 모든 컨텐츠의 저장이 실행될 수 있다. (관련 모바일 디바이스를 스마트 데스크탑 위에서 돌린다)
추가로, 스마트 데스크탑은 관련 디바이스로부터 송신된 컨텐츠를 수신할 수 있고, 관련 디바이스가 가리고 있는 영역을 결정하고, 지정된 영역 내에 수신된 컨텐츠를 표시한다. 특히, 회의에서 사용자가 이전에 저장된 기록을 호출하고 싶을 수 있다. 사용자가 관련 모바일 디바이스를 컨텐츠가 표시될 스마트 데스크탑의 빈 영역에 놓는다. 이때, 관련 모바일 디바이스에 저장된 기록이 NFC, Wi-Fi등을 통해 스마트 데스크탑으로 전송되고, 빈 영역에 표시될 수 있다. 사용자는 호출하고자 하는 컨텐츠 및 스마트 데스크탑 상에 표시될 컨텐츠를 미리 선택할 수도 있다.
(2) 스마트 데스크탑 상의 지정된 컨텐츠를 지정된 관련 디바이스 또는 어플리케이션으로 전송. 특히, 회의 후에 사용자가 특정 조작 (컨텐츠 전송 버튼을 클릭)을 수행할 수 있다. 사용자의 조작을 검출한 후, 스마트 데스크탑은 기록 컨텐츠를 지정된 관련 디바이스 또는 어플리케이션으로 전송한다. 전송은 사전에 설정된 방식(사전에 설정된 방식은 이메일을 통한 전송을 포함할 수 있다)을 통해 실행될 수 있고, 컨텐츠를 수신 받을 이메일 주소가 설정되고, 스마트 데스크탑은 기록 컨텐츠를 지정된 이메일 주소로 전송할 수 있다. 스마트 데스크탑 상의 모든 컨텐츠는 지정된 관련 디바이스로 전송될 수 있다. 또는 사용자가 스마트 데스크탑 상의 어떤 컨텐츠를 지정하고, 스마트 데스크탑이 지정된 컨텐츠를 지정된 디바이스로 전송할 수 있다. 지정된 스마트 데스크탑을 처음 사용할 때 지정된 관련 디바이스를 설정할 수 있다. 또는, 관련 디바이스들 가운데 관련 디바이스는 컨텐츠가 전송되었을 때 컨텐츠를 수신 받도록 지정될 수 있다.
일 실시 예에 따라, 컨텐츠는 원래의 포맷으로 저장될 수 있고, 손으로 필기한 컨텐츠를 저장, 또는 저장하기 전에 사전에 설정된 포맷(활자 포맷)으로 변환될 수 있다.
실시 예 12
사용자 신원 인증: 본 명세서에 의해 제공된 사용자 신원 인증 방법은 실시 예 1부터 11에서, 스마트 데스크탑의 사용자의 신원을 인증해야 하는 어떤 상황에도 적용 가능하고, 또한 스마트 데스크탑을 제외한 어떤 신원 인증 상황에도 적용 가능하다.
일 실시 예에 따라, 사용자가 서명 컨텐츠를 사전에 등록하지 않아도 되고, 서명 컨텐츠를 사전에 필기하지 않아도 된다. 신원 인증을 실행하기 위해서, 사용자는 자유롭게 필기해도 된다. 사용자 인증은 사용자가 자유롭게 필기하는 과정 중에 실행될 수 있다.
세부적인 인증 과정은 다음을 포함한다:
사용자가 필기하기 시작할 때, 스마트 데스크탑은 사용자가 자유롭게 필기하는 것을 허용한다. 이때, 시스템은 사용자의 신원 정보를 모른다. 스마트 데스크탑이 실시간으로 사용자가 필기한 컨텐츠 입력을 수신받는다. 이때, 스마트 데스트탑이 압력, 속도, 가속도, 및 획 특성 등과 같은 필기한 컨텐츠의 필적 특성을 기록한다. 스마트 데스크탑은 필기 위치 좌표, 시간 정보, 필기 방향, 텍스트 줄 방향 등과 같은 필기 보조 특성 또한 기록한다. 그 다음, 필기된 컨텐츠의 필적 특성과 필기 보조 특성에 따라, 현재 사용자의 사용자 특성이 특성 도출 알고리즘에 기초하여 생성되고, 스마트 데스크탑 내에 자동적으로 저장된다. 사용자가 연속적으로 필기하는 동안, 스마트 데스크탑은 인증 대상인 사용자가 필기한 컨텐츠를 수신하고, 인증될 사용자가 필기한 컨텐츠의 필적 특성과 필기 보조 특성에 기초하여, 인증될 사용자 특성을 생성한다. 상기 사용자의 특성은 실시간으로 업데이트된다. 이때, 스마트 데스크탑이 인증될 사용자 특성과 저장된 사용자 특성을 비교하고, 필기된 컨텐츠의 필적 특성, 필기 위치 좌표, 시간 연속성, 필기 방향, 텍스트 줄 방향, 필기 영역 및 의미론적 정보를 포함하는 여러 측면에서 사용자 신원을 인식한다. 인증될 사용자 특성이 저장된 사용자 특성과 일치하면, 사용자 신원의 인증이 성공한다. 그렇지 않으면, 현재 사용자에 대해 새로운 계정 (사용자 식별자)이 생성되고, 필기한 컨텐츠의 필기 위치 좌표, 시간 정보, 필기 방향, 텍스트 줄 방향 및 의미상의 정보 또한 기록된다.
사용자 신원 인증이 성공한 후, 사용자가 필기한 컨텐츠는 사용자의 사용자 식별자와 관련하여 저장될 수 있다. 이후, 저장된 사용자 식별자 및 이에 대응하는 필기된 컨텐츠를 기초하여 스마트 데스크탑 상의 어떤 컨텐츠가 사용자에 의해 필기되었는지 인식할 수 있다.
일 실시 예에 따라, 스마트 데스크탑 단말에 적용가능한, 스마트 데스크탑을 위한 컨텐츠 표시 장치를 더 제공한다. 도 25는 본 명세서의 일부 실시 예에 따라 스마트 데스크탑을 위한 컨텐츠 표시 장치의 예시적인 구조를 나타낸다.
도 25에 도시된 바와 같이, 컨텐츠 표시 장치 2500은 다음을 포함한다:
일 실시 예에 따르면, 사용자 인증 장치를 더 제공한다. 도 26은 본 명세서의 일부 실시 예에 따라 사용자 인증 장치의 예시적인 구조를 나타낸다. 장치 2600은 다음을 포함한다:
일 실시 예에 따르면, 스마트 데스크탑 단말을 더 제공한다. 도 27은 본 명세서의 일부 실시 예에 따라 스마트 데스크탑 단말의 예시적인 구조를 나타낸다. 도 27에 도시된 바와 같이, 장치 2700은 다음을 포함한다:
관련 디바이스와 연결을 관계를 수립하기에 적합한 연결 수립 모듈(2701)
연결 관계에 기초하여 스마트 데스크탑의 컨텐츠 및/또는 관련 디바이스의 컨텐츠를 관련 디바이스와 교환하기에 적합한 상호 작용 모듈(2702)
위 관점에서, 일 실시 예에 따라, 스마트 데스크탑의 컨텐츠에 대하여 다양한 표시 필요조건을 충족하기 위해서, 지정된 표시 방식에 기초하여 스마트 데스크탑 상에 컨텐츠를 표시할 수 있다.
또한, 일 실시 예에 따르면, 다른 방향의 사용자들의 뷰잉필요조건을 충족할 수 있다. 예를 들어, 썸네일을 통해, 사용자는 자신의 시선 방향으로 조정된 다른 사용자들의 컨텐츠를 볼 수 있다; 공유 영역의 회전을 통해, 각 사용자는 공유 영역 내의 컨텐츠를 자신에게 적절한 시선 방향에서 확인할 수 있다.
더 나아가, 일 실시 에에 따르면, 공개적인 공유 영역을 제공할 뿐만 아니라, 각 사용자의 컨텐츠의 위치와 방향을 제한하지 않는다. 각 사용자는 각 사용자 개개인이 원하는 필요조건에 맞게 스마트 데스크탑 상에 자유롭게 필기하고, 다른 컨텐츠를 볼 수 있다.
또한, 일 실시 예에 따라, 여러 사용자들의 동시 필기 요구사항을 충족하고, 각 사용자가 필기한 컨텐츠를 동시에 인식할 수 있고, 실시간 썸네일 업데이트, 요약 도출 및 업데이트, 폐색 프로세싱, 지능적인 프롬프트 와 같은 다양한 개인 맞춤 기능을 제공하고, 여러 사용자들이 필기한 컨텐츠의 편리한 공유를 구현한다.
일 실시 예에 따르면, 종래기술의 “보이지 않음” 문제를 해결한다. 썸네일과 주제 요약 및 사용자 요약을 통해, 사용자가 얼마나 멀리 있고 그들의 시선 방향이 같던 간에, 사용자는 본인에게 적합한 위치와 각도에서 관심 가는 다른 사용자들의 컨텐츠를 편리하게 볼 수 있다. 또한 스마트 데스크탑을 사용할 때 여러 사용자들이 컨텐츠를 더 편리하고 효율적으로 볼 수 있도록, 사용자는 다른 사용자들의 컨텐츠를 편집할 수 있다.
또한 일 실시 예에 따르면, 종래기술의 “닿지 않음” 문제를 해결한다. 지정된 사용자와 공유, 지정된 위치와 공유 영역에서 공유하는 것과 같은 컨텐츠 공유 방식을 통해, 사용자가 얼마나 멀리 있고 필기 각도가 적합하던 간에, 사용자는 그의 컨텐츠를 다른 하나의 또는 여럿의 사용자들과 편리하게 공유할 수 있다. 공유된 컨텐츠는 다른 사용자가 보기에 적합한 위치와 각도로 자동적으로 조정된다. 이와 같이, 여러 사용자들은 스마트 데스크탑을 사용하여 더 편리하고 효율적으로 컨텐츠를 공유할 수 있다.
일 실시 예에 따르면, 종래기술의 “필기하기에 충분하지 않은 공간” 문제를 더 해결한다. 기존의 컨텐츠를 부분적으로 숨기고 재배열하고, 새 컨텐츠와 예전의 컨텐츠를 분리함으로써, 필기 과정 동안 사용자가 필기 공간이 없는 어려움을 해결되고, 이는 사용자의 스마트 데스크탑 상에서 필기 만족도를 매우 향상시킨다.
또한 일 실시 예에 따르면, 종래기술의 “움직일 수 없음” 문제를 해결한다. 사용자의 초점을 검출하고, 가려진 컨텐츠의 레이아웃을 재배열하고, 스크린을 절약하기 위한 스크롤 보기 방식을 통해, 사용자가 컨텐츠를 볼 때 폐색 문제를 지능적으로 해결한다. 사용자는 그가 관심 있는 컨텐츠 전체를 방해 물체를 이동하지 않고 편리하게 볼 수 있고, 이는 사용자의 스마트 데스크탑 상에서의 뷰잉(viewing) 만족도를 매우 향상시킨다..
일 실시 예에 따르면, 종래기술의 “공유할 수 없음” 문제를 더 해결한다. 기록 스위치와 기록된 컨텐츠의 인식 및 분할의 제어를 통해, 각 사용자는 관심 있는 컨텐츠를 자유롭게 기록할 수 있고, 다른 사용자들이 기록한 컨텐츠와 컨텐츠의 키포인트(key point)를 편리하고 명확하게 확인할 수 있고, 이는 스마트 데스크탑의 마이크를 통해 여러 사람들이 기록하는 것을 구현할 뿐만 아니라, 사용을 매우 편리하게 한다. 다른 상황에 알림 시계 소리를 재생하고 알림을 표시하도록 제어함을 통해, 사용자가 구독한 알람 시계 알림에 기초하여 다른 사용자를 방해하지 않으며 사용자를 상기시킬 수 있고, 이는 스마트 데스크탑 상에서 알람 시계 사용 만족도를 매우 향상시킨다.
또한 일 실시 예에 따르면, 종래기술의 “모름” 문제를 해결한다. 각 사용자가 필기한 컨텐츠를 인식함으로써, 사용자에게 본인이 필기하지 않았지만 다른 사용자들이 필기한 컨텐츠 또는 요약에 대한 프롬프트를 지능적으로 제공하는 것이 가능하다. 모든 사용자들이 필기한 컨텐츠를 분석함으로써, 사용자가 필기한 컨텐츠를 지능적으로 정정하는 것이 가능하고, 사용자의 필기 만족도를 향상시킬 뿐만 아니라, 여러 사용자들이 같은 과제를 완수하는 것에 대한 효율을 높이고, 여러 사용자들이 같은 컨텐츠를 반복적으로 나타내고 필기하는 것을 방지한다.
앞서 말한 설명은 본 명세서의 바람직한 실시 예일 뿐이고, 이의 보호 범위를 한정하는 데 사용하지 않는다. 본 명세서의 사상으로부터 벗어나지 않는 범위에서 당업자는 변경 및 변형을 할 수 있고, 그러므로 첨부된 특허청구범위에 기재된 보호 범위 내에서 다루어져야 한다.
도 28은 일 실시 예에 따른 스마트 데스크탑을 설명하기 위한 구성도이다. 스마트 데스크탑(2800)은 프로세서(2810), 터치 패널(2820) 및 메모리(2830)를 포함한다.
프로세서(2810)는 터치 패널(2820) 및 메모리(2830)를 제어할 수 있다. 프로세서(2810)는 터치 패널(2820)이 표시하는 컨텐츠 및 윈도우 등을 결정할 수 있다. 프로세서(2810)는 터치 패널(2820)을 통해 입력된 컨텐츠를 메모리(2830)에 저장할 수 있고, 메모리(2830)에 저장된 컨텐츠를 독출할 수 있다.
터치 패널(2820)은 프로세서(2810)의 제어에 따라, 컨텐츠 또는 윈도우를 표시한다. 터치 패널(2820)은 사용자의 입력을 수신하여 프로세서(2810)로 사용자의 입력을 전송할 수 있다.
메모리(2830)는 컨텐츠 또는 사용자 정보 등을 저장할 수 있다.
도 29는 일 실시 예에 따라 윈도우의 위치 및 각도를 변경하는 것을 설명하는 도면이다. 스마트 데스크탑(2800)은 사용자의 위치에 따라 윈도우(2910)의 위치 및 각도를 변경할 수 있다.
사용자가 스마트 데스크탑(2800)의 중앙에 위치하고 있고, 스마트 데스크탑(2800)은 사용자의 위치를 감지하여 윈도우(2910)를 사용자의 정면에 표시한다. 윈도우(2910)는 사용자에게 할당된 영역을 나타낸다. 사용자는 윈도우(2910)에 컨텐츠를 입력할 수 있다.
도 29에서와 같이, 사용자가 스마트 데스크탑(2800)의 모서리로 이동하고, 스마트 데스크탑(2800)은 사용자의 움직임을 감지하고, 윈도우(2910)가 사용자의 정면에 위치하도록 윈도우(2910)의 위치 및 각도를 결정한다. 스마트 데스크탑(2800)은 결정된 위치 및 결정된 각도에 따라 윈도우(2910)를 표시한다. 따라서, 스마트 데스크탑(2800)은 사용자가 이동하더라도 사용자에게 할당된 윈도우(2910)를 터치 패널(2820)에 표시할 수 있다.
도 30은 일 실시 예에 따른 컨텐츠를 조정하는 방법을 설명하기 위한 도면이다. 스마트 데스크탑(2800)은 사용자에 의해 입력된 컨텐츠를 분석하여, 컨텐츠의 크기, 기울기, 위치 등을 조정할 수 있다.
스마트 데스크탑(2800)은 한 문장으로 인식된 글자를 동일한 크기로 조정할 수 있다. 도 30에 도시된 바와 같이, 사용자가 입력한 글자의 크기가 점점 작아지는 경우, 스마트 데스크탑(2800)은 글자의 크기를 동일하게 조정할 수 있다. 스마트 데스크탑(2800)은 한 문장 또는 한 단락에 포함된 글자들의 크기를 동일하게 조정할 수 있다.
또 다른 예로, 스마트 데스크탑(2800)은 문장의 기울기를 조정할 수 있다. 스마트 데스크탑(2800)은 문장이 기울어진 경우, 사용자에게 할당된 윈도우의 방향과 평행하게 문장의 기울기를 조정할 수 있다. 도 30에 도시된 바와 같이, 사용자가 입력한 문장이 점점 올라가는 경우, 스마트 데스크탑(2800)은 문장의 기울기를 윈도우의 방향과 동일하게 조정할 수 있다.
또 다른 예로, 스마트 데스크탑(2800)은 문장의 기울기를 검출하고, 문장의 기울기가 임계값 이상인 경우, 문장이 입력된 윈도우의 각도를 문장의 기울기와 동일하게 조정할 수 있다. 다시 말해서, 스마트 데스크탑(2800)은 문장의 기울기를 조정하지 않고, 윈도우의 각도를 조정할 수 있다. 예를 들어, 문장의 기울기가 20도 인 경우, 스마트 데스크탑(2800)은 윈도우의 각도를 20도로 조정하여 터치 패널(2820)에 표시할 수 있다.
또 다른 예로, 스마트 데스크탑(2800)은 문장을 정렬할 수 있다. 도 30에 도시된 바와 같이, 서로 다른 행에 쓰여진 문장의 첫번째 단어들의 위치가 상이할 대, 스마트 데스크탑(2800)은 첫번째 단어들의 위치를 일치시킬 수 있다.
도 31은 일 실시 예에 따라 썸네일을 표시하는 방법을 설명하기 위한 순서도이다. 스마트 데스크탑(2800)은 복수의 사용자들이 입력한 컨텐츠를 썸네일에 표시한다. 스마트 데스크탑(2800)은 사용자들 각각의 윈도우에 썸네일을 표시한다. 예를 들어, 제1 내지 제3 사용자들이 스마트 데스크탑(2800)에 컨텐츠를 입력하면, 스마트 데스크탑(2800)은 제1 사용자의 윈도우(제1 윈도우)에 제1 썸네일을 표시하고, 제2 사용자의 윈도우(제2 윈도우)에 제2 썸네일을 표시하고, 제3 사용자의 윈도우(제3 윈도우)에 제3 썸네일을 표시한다. 제1 썸네일은 제1 윈도우의 일부 영역에 표시되고, 사용자의 조작에 의해 확대되어 표시될 수 있다.
스마트 데스크탑(2800)은 사용자마다 썸네일들을 다르게 표시할 수 있다. 예를 들어, 제1 썸네일과 제2 썸네일은 서로 다를 수 있다. 제1 사용자가 제1 윈도우에 입력한 컨텐츠가 개인 정보를 포함하고 있는 경우, 제2 썸네일에는 제1 윈도우에 입력된 컨텐츠는 표시되지 않을 수 있다. 또는, 스마트 데스크탑(2800)은 제1 윈도우에 입력된 컨텐츠를 요약하여 제2 썸네일에 표시할 수 있다. 또는, 스마트 데스크탑(2800) 제1 윈도우에 입력된 컨텐츠의 일부를 제2 썸네일에 표시할 수 있다.
단계 3110에서, 프로세서(2810)는 터치 패널(2820)에 사용자들에게 할당된 윈도우를 표시한다. 윈도우는 각각의 사용자들에게 할당된다. 윈도우는 사용자가 컨텐츠를 입력할 수 있는 영역을 나타낸다.
단계 3120에서, 프로세서(2810)는 윈도우에 사용자로부터 입력된 컨텐츠를 표시한다.
단계 3130에서, 프로세서(2810)는 윈도우에 썸네일을 표시한다. 프로세서(2810)는 썸네일 안에 모든 윈도우에 표시된 컨텐츠를 표시한다.
프로세서(2810)는 사용자들의 위치에 따라 컨텐츠의 위치를 지정하여, 썸네일 안에 컨텐츠를 표시한다. 다시 말해서, 프로세서(2810)는 스마트 데스크탑(2800)을 중심으로 사용자들의 상대적인 위치를 판단하고, 사용자들의 상대적인 위치에 대응하는 썸네일 내부의 위치에 사용자들이 입력한 컨텐츠를 표시한다.
프로세서(2810)는 각각의 윈도우의 방향에 따라 썸네일 안에 표시되는 컨텐츠의 방향을 조정하고, 조정된 방향에 따라 컨텐츠를 썸네일 안에 표시한다. 다시 말해서, 복수의 사용자가 입력한 컨텐츠의 방향이 서로 상이할 수 있다. 프로세서(2810)는 다른 사용자가 입력한 컨텐츠를 용이하게 볼 수 있도록, 컨텐츠를 한 방향으로 정렬하여 썸네일 안에 표시할 수 있다. 예를 들어, 제1 사용자가 6시 방향에 위치하고 있고, 제2 사용자가 9시 방향에 위치하고 있고, 제3 사용자가 12시 방향에 위치하고 있고, 제4 사용자가 3시 방향에 위치하고 있을 때, 제1 사용자의 썸네일 안에 표시되는 모든 컨텐츠는 6시 방향으로 정렬될 수 있다. 예를 들어, 컨텐츠를 정렬한다는 것은 컨텐츠가 표시되는 각도를 변경하거나, 컨텐츠의 사이즈를 변경하거나, 컨텐츠들이 표시되는 위치를 변경하는 것일 수 있다.
프로세서(2810)는 컨텐츠를 썸네일 안에 표시할 때 여분의 영역을 생략하고, 컨텐츠의 위치 및 크기를 조정하여 컨텐츠를 썸네일 안에 표시한다. 예를 들어, 윈도우들은 터치 패널(2820)의 가장 자리에 할당되고, 터치 패널(2820)의 중앙에는 컨텐츠가 입력되지 않을 수 있다. 따라서, 프로세서(2810)는 여분의 영역을 생략하여, 컨텐츠 사이의 공간을 줄여서 컨텐츠를 배치할 수 있다.
프로세서(2810)는 사용자에 입력에 따라 썸네일에 인접한 영역에 썸네일을 확대한다. 썸네일은 윈도우 내에 표시될 수 있으며, 윈도우 외부 영역에 확대되어 표시될 수 있다. 사용자가 썸네일을 터치하면, 프로세서(2810)는 확대된 썸네일을 표시할 수 있다. 썸네일이 확대되기 전에는 컨텐츠는 요약된 형태로 썸네일에 표시될 수 있다.
프로세서(2810)는 컨텐츠가 업데이트 되면, 썸네일 안에 업데이트된 컨텐츠를 표시한다. 사용자가 윈도우에 입력하는 컨텐츠와 썸네일에 표시되는 컨텐츠는 동기화될 수 있다.
스마트 데스크탑(2800)은 터치 패널(2820) 위에 물체를 감지하는 센서(미도시)를 더 포함할 수 있다. 예를 들어, 센서는 적외선 센서일 수 있다. 또는, 스마트 데스크탑(2800)은 카메라(미도시)를 이용하여 물체를 감지할 수도 있다.
프로세서(2810)는 물체에 의해 컨텐츠가 가려지는 경우, 물체가 차지한 영역을 제외한 영역에 컨텐츠를 재배열하여 표시할 수 있다. 물체에 의해 컨텐츠가 가려지는 것은 물체가 터치 패널(2820) 위에 놓여져, 사용자가 컨텐츠를 볼 수 없는 경우를 나타낸다.
도 32는 일 실시 예에 따라 윈도우를 표시하는 방법을 설명하기 위한 도면이다. 스마트 데스크탑(2800)은 사용자 또는 컨텐츠에 따라 윈도우를 표시할 수 있다.
단계 3210에서, 프로세서(2810)는 복수의 사용자들에게 각각의 윈도우를 할당한다. 프로세서(2810)는 사용자들의 위치에 따라 각각의 사용자들의 앞에 윈도우를 할당한다. 윈도우를 할당한다는 것은 사용자가 컨텐츠를 입력할 수 있는 영역을 표시하는 것을 나타낼 수 있다. 윈도우는 사용자가 컨텐츠를 입력하는 영역을 나타내고, 터치 패널(2820)의 일부 영역을 나타낸다. 프로세서(2810)는 윈도우들이 겹치지 않도록 윈도우를 할당한다. 프로세서(2810)는 사용자들의 위치에 따라 윈도우들의 크기를 서로 다르게 할당할 수도 있다.
단계 3220에서, 프로세서(2810)는 사용자의 움직임 또는 컨텐츠의 입력 방향에 따라 윈도우의 방향 및 위치를 결정한다. 사용자가 위치를 이동하면, 프로세서(2810)는 사용자가 움직인 위치로 윈도우를 이동시킨다. 예를 들어, 사용자가 우측으로 50cm 이동하면, 프로세서(2810)는 윈도우를 50cm 우측으로 이동시킨다.
프로세서(2810)는 사용자의 신체의 방향 또는 시선의 방향에 따라 윈도우를 회전시킨다. 예를 들어, 사용자의 신체가 30도 기울어져 있거나 시선의 방향이 30도이면, 프로세서(2810)는 윈도우를 30도 기울여서 표시한다. 신체의 방향 또는 시선의 방향은 스마트 데스크탑(2800)의 모서리를 기준으로 계산될 수 있다.
프로세서(2810)는 컨텐츠의 입력 방향에 따라 윈도우를 회전시킨다. 사용자는 컨텐츠를 기울여서 입력할 수 있다. 프로세서(2810)는 컨텐츠의 기울기를 계산하고, 컨텐츠의 기울기와 동일하게 윈도우를 회전시킨다.
단계 3230에서, 프로세서(2810)는 결정된 방향 및 위치로 윈도우의 방향 및 위치를 변경하여 윈도우를 터치 패널(2820)에 표시한다.
프로세서(2810)는 사용자로부터 일정 시간 동안 입력이 없는 경우, 사용자에게 할당된 윈도우를 숨긴다. 또한, 프로세서(2810)는 사용자가 스마트 데스크탑(2800)으로부터 일정 거리 이상 멀어진 경우, 윈도우를 숨길수 있다.
프로세서(2810)는 터치 패널(2820)의 중앙에 공유 영역을 표시한다. 공유 영역은 모든 사용자가 입력할 수 있는 영역을 나타낸다. 사용자는 윈도우에 컨텐츠를 입력한 후, 컨텐츠를 복사하여 공유 영역에 컨텐츠를 입력할 수 있다. 다시 말해서, 프로세서(2810)는 사용자에 의해 터치되고 공유 영역에 드래그 앤 드랍(drag and drop)된 컨텐츠를 공유 영역에 표시한다. 공유 영역은 회전 가능하다. 사용자는 터치 앤 드래그 동작으로 공유 영역을 원하는 방향으로 회전시킬 수 있다.
일 실시 예에 따른 스마트 데스크탑(2800)은 썸네일에 모든 사용자들이 입력한 컨텐츠를 표시할 수 있다.
일 실시 예에 따른 스마트 데스크탑(2800)은 사용자의 움직임 또는 컨텐츠의 입력 방향에 따라 윈도우의 방향, 크기 및 위치를 변경할 수 있다.

Claims (14)

  1. 터치 패널에 사용자들에게 할당된 윈도우를 표시하는 단계;
    상기 윈도우에 사용자로부터 입력된 컨텐츠를 표시하는 단계; 및
    상기 윈도우에 썸네일을 표시하는 단계;를 포함하고,
    상기 썸네일을 표시하는 단계는 상기 썸네일 안에 모든 윈도우에 표시된 컨텐츠를 표시하는 것을 특징으로 하는, 컨텐츠 표시 방법.
  2. 제 1 항에 있어서,
    상기 썸네일을 표시하는 단계는 상기 사용자들의 위치에 따라 상기 컨텐츠의 위치를 지정하여, 썸네일 안에 상기 컨텐츠를 표시하는 것을 특징으로 하는, 컨텐츠 표시 방법.
  3. 제 1 항에 있어서,
    상기 썸네일을 표시하는 단계는 상기 썸네일 안에 표시되는 컨텐츠의 방향을 상기 각각의 윈도우의 방향에 따라 조정하여 상기 컨텐츠를 상기 썸네일 안에 표시하는 것을 특징으로 하는, 컨텐츠 표시 방법.
  4. 제 1 항에 있어서,
    상기 썸네일을 표시하는 단계는 상기 컨텐츠를 상기 썸네일 안에 표시하였을 때 여분의 영역을 생략하고, 상기 컨텐츠의 위치 및 크기를 조정하여 상기 컨텐츠를 상기 썸네일 안에 표시하는 것을 특징으로 하는, 컨텐츠 표시 방법.
  5. 제 1 항에 있어서,
    상기 사용자에 입력에 따라 상기 썸네일에 인접한 영역에 상기 썸네일을 확대하는 단계를 더 포함하는, 컨텐츠 표시 방법.
  6. 제 1 항에 있어서,
    상기 썸네일을 표시하는 단계는 상기 컨텐츠가 업데이트 되면, 상기 썸네일 안에 상기 업데이트된 컨텐츠를 표시하는 단계를 더 포함하는, 컨텐츠 표시 방법.
  7. 제 1 항에 있어서,
    상기 터치 패널 위에 물체가 감지되고, 상기 물체에 의해 상기 컨텐츠가 가려지는 경우, 상기 물체가 차지한 영역을 제외한 영역에 상기 컨텐츠를 재배열하여 표시하는 단계를 더 포함하는, 컨텐츠 표시 방법.
  8. 메모리;
    터치 패널; 및
    상기 터치 패널을 제어하는 프로세서;를 포함하고,
    상기 프로세서는 상기 터치 패널에 사용자들에게 할당된 윈도우를 표시하고, 상기 윈도우에 사용자로부터 입력된 컨텐츠를 표시하고, 상기 윈도우에 썸네일을 표시하고, 상기 썸네일 안에 모든 윈도우에 표시된 컨텐츠를 표시하는 것을 특징으로 하는, 스마트 데스크탑.
  9. 제 8 항에 있어서,
    상기 프로세서는 상기 사용자들의 위치에 따라 상기 컨텐츠의 위치를 지정하여, 썸네일 안에 상기 컨텐츠를 표시하는 것을 특징으로 하는, 스마트 데스크탑.
  10. 제 8 항에 있어서,
    상기 프로세서는 상기 썸네일 안에 표시되는 컨텐츠의 방향을 상기 각각의 윈도우의 방향에 따라 조정하여 상기 컨텐츠를 상기 썸네일 안에 표시하는 것을 특징으로 하는, 컨텐츠 표시 방법.
  11. 제 8 항에 있어서,
    상기 프로세서는 상기 컨텐츠를 상기 썸네일 안에 표시하였을 때 여분의 영역을 생략하고, 상기 컨텐츠의 위치 및 크기를 조정하여 상기 컨텐츠를 상기 썸네일 안에 표시하는 것을 특징으로 하는, 스마트 데스크탑.
  12. 제 8 항에 있어서,
    상기 프로세서는 상기 사용자에 입력에 따라 상기 썸네일에 인접한 영역에 상기 썸네일을 확대하는, 스마트 데스크탑.
  13. 제 8 항에 있어서,
    상기 프로세서는 상기 컨텐츠가 업데이트 되면, 상기 썸네일 안에 상기 업데이트된 컨텐츠를 표시하는, 스마트 데스크탑.
  14. 제 8 항에 있어서,
    상기 터치 패널 위에 물체를 감지하는 센서를 더 포함하고,
    상기 프로세서는 상기 물체에 의해 상기 컨텐츠가 가려지는 경우, 상기 물체가 차지한 영역을 제외한 영역에 상기 컨텐츠를 재배열하여 표시하는 것을 특징으로 하는, 스마트 데스크탑.
PCT/KR2017/000013 2015-12-31 2017-01-02 스마트 데스크탑 및 스마트 단말에 기반한 컨텐츠 표시 방법 WO2017116216A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/067,491 US11221745B2 (en) 2015-12-31 2017-01-02 Method for displaying contents on basis of smart desktop and smart terminal
EP17733938.9A EP3379399A4 (en) 2015-12-31 2017-01-02 Method for displaying contents on basis of smart desktop and smart terminal

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201511030274.6A CN106933465B (zh) 2015-12-31 2015-12-31 一种基于智能桌面的内容显示方法和智能桌面终端
CN201511030274.6 2015-12-31

Publications (1)

Publication Number Publication Date
WO2017116216A1 true WO2017116216A1 (ko) 2017-07-06

Family

ID=59225214

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/000013 WO2017116216A1 (ko) 2015-12-31 2017-01-02 스마트 데스크탑 및 스마트 단말에 기반한 컨텐츠 표시 방법

Country Status (5)

Country Link
US (1) US11221745B2 (ko)
EP (1) EP3379399A4 (ko)
KR (1) KR102694571B1 (ko)
CN (2) CN106933465B (ko)
WO (1) WO2017116216A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059913A1 (ko) * 2018-09-20 2020-03-26 주식회사 인에이블와우 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체
CN111783175A (zh) * 2020-07-10 2020-10-16 深圳传音控股股份有限公司 显示界面隐私保护方法、终端和计算机可读存储介质

Families Citing this family (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11126321B2 (en) 2007-09-04 2021-09-21 Apple Inc. Application menu user interface
US12080421B2 (en) 2013-12-04 2024-09-03 Apple Inc. Wellness aggregator
US20160019360A1 (en) 2013-12-04 2016-01-21 Apple Inc. Wellness aggregator
EP3147747A1 (en) 2014-06-27 2017-03-29 Apple Inc. Manipulation of calendar application in device with touch screen
EP3195098B1 (en) 2014-07-21 2024-10-23 Apple Inc. Remote user interface
KR102319896B1 (ko) 2014-08-02 2021-11-02 애플 인크. 상황 특정 사용자 인터페이스
WO2016036552A1 (en) 2014-09-02 2016-03-10 Apple Inc. User interactions for a mapping application
CN111180039B (zh) 2014-09-02 2023-10-24 苹果公司 身体活动和健身监视器
CN115695632B (zh) 2014-09-02 2024-10-01 苹果公司 电子设备、计算机存储介质和操作电子设备的方法
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
EP3337583B1 (en) 2015-08-20 2024-01-17 Apple Inc. Exercise-based watch face
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
US10736543B2 (en) 2016-09-22 2020-08-11 Apple Inc. Workout monitor interface
JP2018136766A (ja) * 2017-02-22 2018-08-30 ソニー株式会社 情報処理装置、情報処理方法、プログラム
US10845955B2 (en) 2017-05-15 2020-11-24 Apple Inc. Displaying a scrollable list of affordances associated with physical activities
US10783320B2 (en) * 2017-05-16 2020-09-22 Apple Inc. Device, method, and graphical user interface for editing screenshot images
US10503396B2 (en) * 2017-06-02 2019-12-10 Apple Inc. Device, method, and graphical user interface for simulating and interacting with handwritten text
CN107580143B (zh) * 2017-09-30 2019-03-01 维沃移动通信有限公司 一种显示方法及移动终端
CN107861935A (zh) * 2017-11-13 2018-03-30 掌阅科技股份有限公司 躲避手指按压位置的文字重排方法、终端及存储介质
JP6911730B2 (ja) * 2017-11-29 2021-07-28 京セラドキュメントソリューションズ株式会社 表示装置、画像処理装置、処理実行方法、処理実行プログラム
JP7124336B2 (ja) * 2018-02-23 2022-08-24 京セラドキュメントソリューションズ株式会社 表示制御装置
CN108762628B (zh) * 2018-04-23 2020-10-02 广州视源电子科技股份有限公司 页面元素移动显示方法、装置、终端设备及存储介质
US11317833B2 (en) 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
CN109388498B (zh) * 2018-09-30 2020-05-12 武汉斗鱼网络科技有限公司 一种互斥的处理方法、装置、设备及介质
US11450069B2 (en) 2018-11-09 2022-09-20 Citrix Systems, Inc. Systems and methods for a SaaS lens to view obfuscated content
CN109656456B (zh) * 2018-12-25 2020-10-20 杭州达现科技有限公司 一种显示界面的目录共享方法及装置
CN109683772A (zh) * 2018-12-25 2019-04-26 杭州达现科技有限公司 一种基于显示界面的目录组合方法及装置
US11201889B2 (en) 2019-03-29 2021-12-14 Citrix Systems, Inc. Security device selection based on secure content detection
US11551480B2 (en) * 2019-04-11 2023-01-10 Ricoh Company, Ltd. Handwriting input apparatus, handwriting input method, program, and input system
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
US11863700B2 (en) 2019-05-06 2024-01-02 Apple Inc. Providing user interfaces based on use contexts and managing playback of media
JP7297940B2 (ja) 2019-06-01 2023-06-26 アップル インコーポレイテッド マルチモードの活動追跡ユーザインタフェース
CN112463008A (zh) * 2019-09-09 2021-03-09 西安诺瓦星云科技股份有限公司 电子白板的控制方法、装置及系统和计算机可读存储介质
TWI784219B (zh) * 2019-12-12 2022-11-21 宏碁股份有限公司 電子裝置與其資料傳輸方法
US11544415B2 (en) 2019-12-17 2023-01-03 Citrix Systems, Inc. Context-aware obfuscation and unobfuscation of sensitive content
US11539709B2 (en) 2019-12-23 2022-12-27 Citrix Systems, Inc. Restricted access to sensitive content
CN111144069B (zh) * 2019-12-30 2021-12-03 北大方正集团有限公司 一种基于表格的目录排版方法、装置及存储介质
US11582266B2 (en) 2020-02-03 2023-02-14 Citrix Systems, Inc. Method and system for protecting privacy of users in session recordings
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
US11361113B2 (en) 2020-03-26 2022-06-14 Citrix Systems, Inc. System for prevention of image capture of sensitive information and related techniques
US11468224B2 (en) * 2020-08-17 2022-10-11 IT Cadre, LLC Method for resizing elements of a document
WO2022041058A1 (en) * 2020-08-27 2022-03-03 Citrix Systems, Inc. Privacy protection during video conferencing screen share
WO2022041163A1 (en) 2020-08-29 2022-03-03 Citrix Systems, Inc. Identity leak prevention
CN112307518B (zh) * 2020-10-16 2024-06-11 神州融安科技（北京）有限公司 签名信息处理、显示方法、装置、电子设备及存储介质
CN112287691B (zh) * 2020-11-10 2024-02-13 深圳市天彦通信股份有限公司 会议录音方法及相关设备
CN112698777A (zh) * 2020-12-30 2021-04-23 北京安博盛赢教育科技有限责任公司 一种调整全景智能黑板板面的方法、装置
EP4323992A1 (en) 2021-05-15 2024-02-21 Apple Inc. User interfaces for group workouts
US12045449B2 (en) * 2021-06-04 2024-07-23 Apple Inc. Activity stream foundations
TWI841880B (zh) * 2021-11-17 2024-05-11 王士華 生物簽章驗證系統與生物簽章驗證方法
US11977729B2 (en) 2022-06-05 2024-05-07 Apple Inc. Physical activity information user interfaces
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032004A (ko) * 2005-04-07 2011-03-29 마이크로소프트 코포레이션 탭형 브라우저 내에서 탭을 선택하기 위한 시스템 및 방법
KR20140049324A (ko) * 2012-10-17 2014-04-25 삼성전자주식회사 필기 입력에 따른 콘텐츠 디스플레이 방법 및 장치
KR20140058860A (ko) * 2012-11-07 2014-05-15 (주)아바비젼 다수의 사용자를 위한 터치 테이블 탑 디스플레이장치
US20140298246A1 (en) * 2013-03-29 2014-10-02 Lenovo (Singapore) Pte, Ltd. Automatic display partitioning based on user number and orientation
KR20150084302A (ko) * 2014-01-13 2015-07-22 엘지전자 주식회사 디스플레이 장치, 및 그 동작방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05197507A (ja) * 1992-01-17 1993-08-06 Hitachi Ltd ポータブルコンピュータ
US20050183035A1 (en) * 2003-11-20 2005-08-18 Ringel Meredith J. Conflict resolution for graphic multi-user interface
JP4095040B2 (ja) * 2004-02-12 2008-06-04 株式会社日立製作所 テーブル型情報端末の表示方法
US20060068870A1 (en) * 2004-09-13 2006-03-30 Pokertek, Inc. Electronic card table and method with host console
US7345688B2 (en) * 2004-10-18 2008-03-18 Microsoft Corporation Semantic thumbnails
US7493566B2 (en) * 2005-12-19 2009-02-17 International Business Machines Corporation Display of information for two oppositely situated users
US20070213116A1 (en) * 2006-03-08 2007-09-13 Crawford James T Electronic gaming system and method of house collection
US8943410B2 (en) 2006-12-22 2015-01-27 Apple Inc. Modified media presentation during scrubbing
US9047004B2 (en) * 2007-09-11 2015-06-02 Smart Internet Technology Crc Pty Ltd Interface element for manipulating displayed objects on a computer interface
KR20090050577A (ko) * 2007-11-16 2009-05-20 삼성전자주식회사 멀티미디어 컨텐츠를 표시 및 재생하는 사용자인터페이스및 그 장치와 제어방법
CN101526992A (zh) * 2008-03-03 2009-09-09 汉王科技股份有限公司 手写签名识别的方法、装置及手写签名开机系统
US20100207888A1 (en) * 2009-02-18 2010-08-19 Mr. Noam Camiel System and method for using a keyboard with a touch-sensitive display
JP2011030130A (ja) * 2009-07-29 2011-02-10 Kyocera Corp 携帯電子機器
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US20120076414A1 (en) * 2010-09-27 2012-03-29 Microsoft Corporation External Image Based Summarization Techniques
US8686958B2 (en) 2011-01-04 2014-04-01 Lenovo (Singapore) Pte. Ltd. Apparatus and method for gesture input in a dynamically zoned environment
US20140181753A1 (en) 2011-04-26 2014-06-26 Kyocera Corporation Electronic device
KR20130017241A (ko) 2011-08-10 2013-02-20 삼성전자주식회사 터치 스크린 단말기에서 입출력 방법 및 장치
US9164648B2 (en) 2011-09-21 2015-10-20 Sony Corporation Method and apparatus for establishing user-specific windows on a multi-user interactive table
JP5845783B2 (ja) 2011-09-30 2016-01-20 カシオ計算機株式会社 表示装置、表示制御方法及びプログラム
CN102510469A (zh) * 2011-11-10 2012-06-20 深圳市赛野展览展示有限公司 智能会议桌集成系统
JP5957892B2 (ja) 2012-01-13 2016-07-27 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP5879536B2 (ja) * 2012-01-18 2016-03-08 パナソニックＩｐマネジメント株式会社 表示装置および表示方法
JP5896757B2 (ja) * 2012-01-20 2016-03-30 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
CN103677507B (zh) * 2012-09-24 2020-01-14 腾讯科技（深圳）有限公司 一种显示终端及界面窗口显示方法
US20140109012A1 (en) * 2012-10-16 2014-04-17 Microsoft Corporation Thumbnail and document map based navigation in a document
JP6014170B2 (ja) * 2013-01-04 2016-10-25 株式会社Ｕｅｉ 情報処理装置及び情報更新プログラム
EP2770443B1 (en) 2013-02-22 2023-10-18 Samsung Electronics Co., Ltd. Method and apparatus for making contents through writing input on touch screen
CN103399959A (zh) * 2013-08-21 2013-11-20 珠海市魅族科技有限公司 一种网页的交互控件的显示方法及终端
CN104423845B (zh) * 2013-09-03 2018-06-01 联想(北京)有限公司 一种信息处理的方法及一种电子设备
CN103593138B (zh) * 2013-11-15 2017-11-28 努比亚技术有限公司 实现单手操作移动终端的方法和移动终端
US10139990B2 (en) 2014-01-13 2018-11-27 Lg Electronics Inc. Display apparatus for content from multiple users
JP2016006613A (ja) * 2014-06-20 2016-01-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US9514333B1 (en) * 2014-12-16 2016-12-06 Amazon Technologies, Inc. Secure remote application shares

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110032004A (ko) * 2005-04-07 2011-03-29 마이크로소프트 코포레이션 탭형 브라우저 내에서 탭을 선택하기 위한 시스템 및 방법
KR20140049324A (ko) * 2012-10-17 2014-04-25 삼성전자주식회사 필기 입력에 따른 콘텐츠 디스플레이 방법 및 장치
KR20140058860A (ko) * 2012-11-07 2014-05-15 (주)아바비젼 다수의 사용자를 위한 터치 테이블 탑 디스플레이장치
US20140298246A1 (en) * 2013-03-29 2014-10-02 Lenovo (Singapore) Pte, Ltd. Automatic display partitioning based on user number and orientation
KR20150084302A (ko) * 2014-01-13 2015-07-22 엘지전자 주식회사 디스플레이 장치, 및 그 동작방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3379399A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020059913A1 (ko) * 2018-09-20 2020-03-26 주식회사 인에이블와우 단말기, 이의 제어 방법 및 상기 방법을 구현하기 위한 프로그램을 기록한 기록 매체
CN111783175A (zh) * 2020-07-10 2020-10-16 深圳传音控股股份有限公司 显示界面隐私保护方法、终端和计算机可读存储介质

Also Published As

Publication number Publication date
CN106933465B (zh) 2021-01-15
CN112631488A (zh) 2021-04-09
EP3379399A4 (en) 2018-12-12
KR20170080538A (ko) 2017-07-10
KR102694571B1 (ko) 2024-08-13
EP3379399A1 (en) 2018-09-26
US20190026011A1 (en) 2019-01-24
CN106933465A (zh) 2017-07-07
US11221745B2 (en) 2022-01-11
CN112631488B (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
WO2017116216A1 (ko) 스마트 데스크탑 및 스마트 단말에 기반한 컨텐츠 표시 방법
WO2020214006A1 (en) Apparatus and method for processing prompt information
WO2015178611A1 (en) Server and method of providing collaboration services and user terminal for receiving collaboration services
WO2016017978A1 (en) Device and method for performing functions
WO2017111234A1 (en) Method for electronic device to control object and electronic device
WO2016129940A1 (ko) 촬영된 물체의 이미지에 노트 정보를 입력하는 장치 및 방법
WO2018034402A1 (en) Mobile terminal and method for controlling the same
WO2016085173A1 (en) Device and method of providing handwritten content in the same
WO2017111501A1 (en) Privacy protection method in a terminal device and the terminal device
WO2017135665A1 (ko) 영상 서비스 제공 방법 및 장치
WO2018093182A1 (en) Image management method and apparatus thereof
WO2017164716A1 (en) Method and device for processing multimedia information
WO2016068581A1 (en) Device and method of managing user information based on image
WO2016018039A1 (en) Apparatus and method for providing information
WO2014011000A1 (en) Method and apparatus for controlling application by handwriting image recognition
WO2016048102A1 (en) Image display method performed by device including switchable mirror and the device
WO2013022223A2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
WO2016018072A1 (en) Method and apparatus for sharing data
WO2013022218A2 (en) Electronic apparatus and method for providing user interface thereof
WO2013022221A2 (en) Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
EP3019944A1 (en) User terminal device for supporting user interaction and methods thereof
WO2013168860A1 (en) Method for displaying text associated with audio file and electronic device
WO2013022222A2 (en) Method for controlling electronic apparatus based on motion recognition, and electronic apparatus applying the same
WO2016017992A1 (en) Method and device for classifying content
WO2013069936A1 (en) Electronic apparatus and method for controlling thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17733938

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE